Conseils pour rendre une grande table de données plus petite/plus légère/plus rapide<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />Quelqu'un a-t-il des astuces pour réaliser une table plus rapidement ?Je travaille avec environ 300 millions de lignes et je me demande simplement s'il existe des astuces pour que cela ne nécessite pas de travail aussi dur.
Par exemple, j'ai essayé de transformer quelques colonnes de conditions (valorisées 1, 2, 3, 4,...) du caractère au numérique en pensant que les entiers seraient plus petits que les caractères et que cela rendait la table plus lente et plus grande.Certains types de données/modélisation sont-ils intrinsèquement plus petits que d’autres ?Ou vraiment tout ce que quelqu'un a trouvé qui pourrait faciliter le travail avec cette chose.
J'essaie actuellement de regrouper mes colonnes de données avec des valeurs int de 0 à 255 et de n'avoir qu'une colonne de fréquence.Mais si j’ai besoin de données en pleine résolution, puis-je faire quelque chose ?
Re : Conseils pour rendre une grande table de données plus petite/plus légère/plus rapideNate et Vince,
J'ai déjà essayé cela sur une grande table de données. En plus de rendre une table de données invisible, on peut également essayer de rendre la table de données privée pour une optimisation plus poussée (encore une fois, il peut y avoir des compromis)
1. Invisibles
2. Privé
Le webcast suivant de Brady (une petite partie) montre également la même chose.
Langage de script JMP pour les utilisateurs JSL expérimentés – Partie 1 | JMP
Re : Conseils pour rendre une grande table de données plus petite/plus légère/plus rapideVince,
Je vais tirer parti du fait que j'ai vu des articles dans lesquels vous écrivez des scripts.Si vous êtes déjà familier avec les types de données présentes et avez quelques idées sur les rapports/analyses que vous souhaitez effectuer sur un ensemble de données plus vaste, pourquoi ne pas essayer l'option invisible lors de l'ouverture ?Si vous ouvrez une table de données invisible (et la gardez invisible), cela enregistrera les E/S sur l'écran.
Discussion communautaire :
https://community.jmp.com/thread/59784
Document d'appui :
http://www.jmp.com/support/help/Basic_Data_Table_Scripting.shtml#Invisible
Guide de script :
Salutations,
Nate
Re : Conseils pour rendre une grande table de données plus petite/plus légère/plus rapideEh bien, cela rend tout facile.Merci
Re : Conseils pour rendre une grande table de données plus petite/plus légère/plus rapidejeff.perkinson La stratégie de est la bonne à utiliser. La clé est d'obtenir la taille d'octet correcte - ce que "compresser les colonnes sélectionnées" fait pour vous.Vous pouvez également réduire la taille du fichier sur le disque en utilisant la fonction « Compresser le fichier lors de l'enregistrement » sous le triangle rouge supérieur gauche dans la zone des scripts de la table de données.Une troisième option que j'aime pour travailler avec des catégories basées sur du texte est ce complément : https://community.jmp.com/docs/DOC-6111
meilleur,
M
Re : Conseils pour rendre une grande table de données plus petite/plus légère/plus rapideEssayer Cols->Utilitaires->Compresser les colonnes sélectionnées . Il examinera les données stockées dans les colonnes sélectionnées et verra s'il existe un format plus compact pour les stocker.
Depuis Compression de tables et de colonnes JMP :
Voici ce que fait Compresser les colonnes sélectionnées :
- Il ajoute une vérification de liste (ordre par défaut) à la colonne de caractères si la colonne a moins de 255 valeurs distinctes.
- Remplacez les colonnes numériques par le plus petit entier de 1 octet, 2 octets ou 4 octets si toutes les valeurs de la colonne peuvent être stockées . Seules les colonnes de valeurs entières sont vérifiées.
- Pour un entier de 1 octet, la plage de nombres que vous pouvez stocker est comprise entre -126 et 127.
- Pour un entier de 2 octets, la plage de nombres que vous pouvez stocker est comprise entre -32 766 et 32 767.
- Pour un entier de 4 octets, la plage de nombres que vous pouvez stocker va de -2 147 483 646 à 2 147 483 647.
- Cela ne changera pas les colonnes si elles ont déjà une vérification de liste.
