Gestion de grands ensembles de donnéesPour certains ensembles de données que nous collectons au fil du temps, la taille du fichier continue d’augmenter et éventuellement les choses peuvent ralentir un peu. Parfois, la division en plusieurs fichiers est une solution, mais vous souhaiterez peut-être alors des parties de plusieurs fichiers pour une comparaison qui pourrait s'avérer gênante.
J'ai lu des articles sur Virtual Join mais je ne l'ai pas exploité. Est-ce une approche appropriée à utiliser dans cette situation ? Existe-t-il de bons exemples de mise en œuvre d'une solution JMP pour ce type de problème ?
Re : Gestion de grands ensembles de donnéesLa seule chose qui accélérera JMP est d'utiliser la commande Columns pour compresser les colonnes :
Cols -> Utilitaires -> Compresser les colonnes sélectionnées.
- Pour les données numériques, vous ne verrez pas de différence. Ce qui se passe en coulisses, c'est que JMP supprime tous les bits inutilisés (nous avons rarement besoin de tous les 64 bits pour stocker les données).
- Pour les données catégorielles, cela les transforme en vérification de la liste , la saisie future des données peut donc être plus difficile. Cela réduit également considérablement l’empreinte globale des données.
La compression des colonnes peut réduire la taille du fichier d'un montant considérable, voire plus ! Et cela accélère absolument le calcul dans JMP.
Vous pouvez en savoir plus à ce sujet dans le Documentation JMP .
Re : Gestion de grands ensembles de donnéesIl s'agit généralement d'un fichier concaténé, car davantage de données sont collectées au fil du temps.
Dans une situation actuelle qui est relativement gérable, il s'agit d'un fichier de 200 Ko avec environ 250 000 lignes et 100 colonnes. J'ai eu des scénarios avec >>1 million de lignes et 100 à 300 colonnes.
Pour ces scénarios plus extrêmes, les choses peuvent vraiment ralentir même lors de la création de graphiques simples. Je ne sais pas s'il existe des limites spécifiques que nous devrions éviter en ce qui concerne la taille des fichiers ou les stratégies permettant d'atténuer les impacts d'une telle quantité de données - si c'est le cas, j'aimerais les entendre !Re : Gestion de grands ensembles de donnéesSi votre fichier devient plus volumineux en raison de jointures avec d'autres tables de données, alors jointures virtuelles peut aider car les données ne sont pas dupliquées sur les lignes.
Toutefois, si la table de données s'agrandit à mesure que davantage de données sont ajoutées ou concaténées, les jointures virtuelles ne seront pas vraiment utiles.
Comment vos tables de données s'agrandissent-elles ?
Quelle taille obtenez-vous, à la fois en lignes et en colonnes, mais également en taille sur le disque lorsqu'il est enregistré en tant que fichier .jmp ?
