<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />JMP peut traiter dans une table de données environ la moitié de la mémoire physique totale de la machine. Ainsi, une machine de 16 Go peut gérer une table de données, une table de 8 Go et une machine de 8 Go, une table de 4 Go.
Cette directive signifie que JMP doit pouvoir ouvrir un tableau de données de cette taille et procéder à des analyses simples et basiques. De nombreuses analyses, manipulations de tables et plates-formes de création de modèles peuvent nécessiter d'importantes quantités de mémoire, en fonction des options et des données utilisées. Nous ne pouvons pas garantir que chaque analyse ou opération puisse être effectuée avec des tables de données de cette taille.
La meilleure estimation de la taille d'une table de données est sa taille (non compressée) sur le disque. La taille des données au format texte (par exemple, .csv, .txt) est également un substitut raisonnable.
Nous ne pouvons fournir aucune indication sur le nombre de lignes ou de colonnes que JMP peut gérer car il dépend fortement de la combinaison des deux et des types de données stockées.
Il existe deux formes différentes de «compression» pour les tables de données JMP.
Compresser les colonnes sélectionnées
a) Sélectionnez les colonnes à affecter
b) Cols -> Compresser les colonnes sélectionnées
Cette option:
• ajoute une vérification de liste (ordre par défaut) à la colonne de caractères si celle-ci contient moins de 255 valeurs distinctes.
• remplace les colonnes numériques par le plus petit entier de 1 octet, 2 octets ou 4 octets si toutes les valeurs de la colonne peuvent être stockées. Seules les colonnes de valeurs entières sont vérifiées.
• Pour les entiers sur 1 octet, la plage de nombres que vous pouvez stocker va de -126 à 127.
• Pour les entiers sur 2 octets, la plage de nombres que vous pouvez stocker va de -32 766 à 32 767.
• Pour un entier de 4 octets, la plage de nombres que vous pouvez stocker est comprise entre -2 147 483 646 et 2 147 483 647.
• Les colonnes ne seront pas modifiées si la liste est déjà vérifiée.
Cette option affecte la quantité de mémoire nécessaire pour conserver une table de données en mémoire et peut donc permettre à JMP de travailler avec plus de données.
Tables de compression
a) Définissez l'option «Compresser le fichier lors de l'enregistrement» dans le menu triangle rouge du tableau de données.
Cette option utilise la compression gz pour réduire la taille du fichier sur le disque uniquement. Les données sont stockées non compressées en mémoire.
Jeff Perkinson
Responsable du service clientèle JMP
SAS Institute Inc.
SAS Campus Drive • Cary, Caroline du Nord 27513 • États-Unis d'Amérique
Tél.: 919-531-6521
Email: Jeff.Perkinson@jmp.com <> Jeff.Perkinson@jmp.com >
Partager. Demander. Apprendre. Relier. - community.jmp.com < https://community.jmp.com >
Connectez-vous avec moi dans la communauté d'utilisateurs JMP < https://community.jmp.com/people/jeff.perkinson >
Le 17 juillet 2016 à 8h12, Chuck Boiler < Chuck.Boiler@jmp.com <> Chuck.Boiler@jmp.com >> a écrit:
Salut Jeff Je me demande si votre groupe a produit de la documentation dans ce domaine? J'espère vous voir cette semaine et si vous avez accès à ce type de contenu, pouvons-nous en parler? Les bénédictions d'un week-end soient sur vous. . Mandrin
Envoyé de mon iPhone, parfois avec la voix au texte. Veuillez excuser les erreurs.
Début du message réexpédié:
De: Chuck Boiler < Chuck.Boiler@jmp.com <> Chuck.Boiler@jmp.com >>
Date: 17 juillet 2016 à 05:08:55 HAP
À: Laura Higgins < Laura.Higgins@jmp.com <> Laura.Higgins@jmp.com >>
Cc: Louis Valente < Louis.Valente@jmp.com <> Louis.Valente@jmp.com >>
Sujet: Re: Quelle est la taille maximale du jeu de données que JMP gérera (efficacement), en supposant que les spécifications du MacBook Pro soient optimales?
Merci Laura Je parie que nous pouvons trouver quelqu'un qui a des données sur ce sujet dans Cary. Parlons-en cette semaine. Bon voyage. Mandrin
Envoyé de mon iPhone, parfois avec la voix au texte. Veuillez excuser les erreurs.
Le 16 juillet 2016 à 12h03, Laura Higgins < Laura.Higgins@jmp.com <> Laura.Higgins@jmp.com >> a écrit:
J'ai besoin d'aide pour ça. Nous devons produire un document pour la gestion de XXXXX. Je peux expliquer plus la semaine prochaine. Je veux juste que ceci soit sur le radar. Peut-être que l'un de vous a déjà fait quelque chose comme ça?
Laura.Higgins@JMP.com <> Laura.Higgins@jmp.com > en mobilité
Début du message réexpédié:
De:
Date: le 15 juillet 2016 à 18h39:23 HAP.
À: Laura Higgins < Laura.Higgins@jmp.com <> Laura.Higgins@jmp.com >>
Sujet: Re: Quelle est la taille maximale du jeu de données que JMP gérera (efficacement), en supposant que les spécifications du MacBook Pro soient optimales?
Merci pour cette Laura, je suis en Chine tout à l'heure - je vais donc chercher à renouer contact avec vous dans quelques semaines.
La question primordiale posée par nos dirigeants est essentiellement la suivante: «Quand le JMP rompt-il en raison de la taille des données» et «que pouvons-nous faire pour optimiser l'efficacité de l'analyse JMP, par exemple la compression, etc.»
Je ferai un cercle avec vous pour que nous puissions produire un document de référence (que ce soit moi ou quelqu'un d'autre), à moins que vous ne possédiez déjà un tel fichier / doc. pousser aux équipes.
Le 16 juillet 2016 à 05h55, Laura Higgins < Laura.Higgins@jmp.com <> Laura.Higgins@jmp.com >> a écrit:
Salut John-
Il n'y a pas de limite architecturale sur les tables de données JMP pour le nombre de lignes ou de colonnes.
Il est un peu difficile de répondre à votre question car cela dépend de ce qui est dans les colonnes et de l’opération que vous faites dans JMP.
Les nombres occupent moins d’espace que les données de caractères. Vous pouvez compresser des colonnes (en supprimant les bits inutilisés) et utiliser des tables de données compressées. Cela réduit considérablement la taille du fichier JMP.
De nombreuses opérations sont multithread pour tirer parti de plusieurs cœurs. La seule chose qui va ralentir JMP est un graphique visuel dense avec des tonnes de colonnes et / ou de points.
Je viens de constituer une table de données avec 1.000.000 de lignes et 3600-ish colonnes de
1) nombres non compressés = 29,13 Go;
2) Colonnes comprimées = 3,5 Go
Ainsi, la compression des colonnes permet d'économiser presque 10 fois plus d'espace!
1 exécution 16 mémoire GM et il était SLOW pour créer / enregistrer la table JMP initialement. En utilisant des colonnes compressées, il s’agissait d’une table de données plus petite!
Aussi, de la documentation. Prenez la maison -> la compression des colonnes accélère l'analyse; la compression de la table de données n'accélère PAS l'analyse.
Compresser le fichier lors de l'enregistrement
Compresse le tableau de données lorsqu’il est enregistré. Une fois la table de données sauvegardée, une icône de fichier compressé apparaît en regard du nom de la table de données dans le panneau de la table. Voir Tables de compression < http://www.jmp.com/support/help/Edit_Data_Tables.shtml#626887 > dans Entrer et éditer les données < http://www.jmp.com/support/help/Edit_Data_Tables.shtml#626887 >
Conseil: vous pouvez également configurer JMP pour qu'il utilise toujours la compression GZ lors de l'enregistrement de tableaux en sélectionnant Préférences> Général> Enregistrer les colonnes du tableau de données GZ compressé.
Remarque: L'option Compresser le fichier lors de l'enregistrement réduit uniquement la taille du fichier. Cette commande n'affecte pas la mémoire requise pour analyser les données. Pour réduire à la fois la taille du fichier et la mémoire requise pour l'analyse, utilisez Cols> Utilitaires> Compresser les colonnes sélectionnées. Voir Compresser les colonnes sélectionnées < http://www.jmp.com/support/help/Restructure_Data.shtml#769643 > dans Entrer et éditer les données < http://www.jmp.com/support/help/Restructure_Data.shtml#769643 >
Les données de personnage sont plus difficiles à prédire, car cela dépend de ce que contient la colonne. Lorsque vous compressez des données de caractères, cela les transforme en une liste de contrôle (en limitant efficacement les options de saisie au jeu d'options existant - ce n'est pas grave, sauf si vous modifiez les données d'origine).
Pas une réponse limpide, mais espérons que cette information vous aidera!
À votre santé!
Laura
Laura A. Higgins, Ph.D.
JMP Sr. Ingénieur Systèmes
650.454.0633 | Laura.Higgins@jmp.com <> Laura.Higgins@jmp.com > | #LauraHigginsPhD | www.jmp.com < http://www.jmp.com/ > | SAS Institute Inc. | San Francisco
Je me suis amusé avec les données Kaggle pour ce défi: https://www.kaggle.com/c/bosch-production-line-performance
Il y a trois tables, deux avec environ 1000 colonnes et une avec environ 2000, les trois sont des lignes de 1,18 MM et il manque beaucoup de données. (3 tables pour la formation et 3 pour les tests).
Avec 16 Go de RAM sur un Mac, j'ai pu ouvrir les fichiers, utiliser des colonnes compressées, puis très très soigneusement joindre les tables ensemble. Pensez à diviser les tableaux par rangée ou par colonne pour certaines étapes.
L'ensemble du fichier de colonne 4K + et toutes les lignes tiennent dans la mémoire, ce qui est pratique. Les fichiers se chargent lentement et sauvegardent lentement. Lorsque j'ajoute une formule pour noter les données, l'évaluation complète d'une colonne de modèle d'arborescence peut prendre une minute. Travailler avec de gros fichiers est fastidieux. Économisez tôt, de sorte que lorsque JMP souhaite subitement 64 Go de mémoire et s’arrête, vous la videz et recommencez.
Je pense que c'est correct de partager mot à mot:
JMP can handle at data table about half as big as the total amount of physical memory on the machine. So, a 16GB machine can handle a data table can 8GB data table and an 8 GB machine can deal with a 4GB data table.This guideline means that JMP should be able open a data table of this size and do simple and basic analyses on it. There are many analyses, table manipulations and model building platforms that can require significant amounts of memory, depending on the options and the specific data being used. We can’t promise that every analysis or operation can be performed with data tables of this size.The best estimate of the size of a data table is its (uncompressed) size on disk. The size of the data in text (e.g. .csv, .txt) format is a reasonable surrogate also.We can’t provide guidance on how many rows or columns JMP can handle since it’s highly dependent on the combination of the two and the types of data stored.There are a two different forms of “compression” for JMP data tables.Compress Selected Columnsa) Select the columns to be affectedb) Cols -> Compress Selected ColumnsThis option:• adds a List Check (default order) to character column if the column has less than 255 distinct values.• changes numeric columns to the smallest 1-byte, 2-byte, or 4-byte integer if all values in the column can be stored. Only integer values columns are checked.• For 1-byte integer, the range of numbers that you can store is from -126 to 127.• For 2-byte integer, the range of numbers that you can store is from -32,766 to 32,767.• For 4-byte integer, the range of numbers that you can store is from -2,147,483,646 to 2,147,483,647.• It will not change the columns if they have list check already.This option affects the amount of memory required to hold a data table in memory and, therefore, can allow JMP to work with more data.Compress Tablesa) Set option, “Compress File when Saved”, from red triangle menu on data table.This option uses gz compression to make the file smaller on disk only. The data is stored uncompressed in memory.
