Gestion de grands ensembles de donnéesPour certains ensembles de données que nous collectons au fil du temps, la taille du fichier continue d'augmenter et les choses peuvent éventuellement ralentir un peu. Parfois, la division en plusieurs fichiers est une solution, mais vous voudrez peut-être des parties de plusieurs fichiers pour une comparaison qui pourrait être gênante.
J'ai lu sur Virtual Join mais je ne l'ai pas exploité. Est-ce une approche appropriée à utiliser dans cette situation? Existe-t-il de bons exemples d'implémentation d'une solution JMP pour ce type de problème?
Re: Gestion de grands ensembles de donnéesSi votre fichier s'agrandit en raison de jointures avec d'autres tables de données, jointures virtuelles peut aider car les données ne sont pas dupliquées entre les lignes.
Cependant, si la table de données s'agrandit à mesure que davantage de données sont ajoutées ou concaténées, les jointures virtuelles n'aideront pas vraiment.
Comment vos tableaux de données évoluent-ils?
Quelle taille finissez-vous avec, à la fois en lignes et en colonnes, mais aussi en taille sur le disque lors de l'enregistrement en tant que fichier .jmp?
Re: Gestion de grands ensembles de donnéesIl s'agit généralement d'un fichier concaténé car davantage de données sont collectées au fil du temps.
Dans une situation actuelle qui est relativement gérable, c'est un fichier de taille 200 Ko avec environ 250 000 lignes et 100 colonnes. J'ai eu quelques scénarios avec >> 1 million de lignes et 100 à 300 colonnes.
Pour ces scénarios plus extrêmes, les choses peuvent vraiment ralentir même lorsque vous créez des graphiques simples. Je ne sais pas s'il y a des limites spécifiques à éviter en ce qui concerne la taille des fichiers ou les stratégies pour atténuer les impacts d'avoir autant de données - s'il y en a, j'aimerais les entendre!Re: Gestion de grands ensembles de donnéesLa seule chose qui accélérera JMP est d'utiliser la commande Columns pour compresser les colonnes:
Colonnes -> Utilitaires -> Compresser les colonnes sélectionnées.
- Pour les données numériques, vous ne verrez aucune différence. Ce qui se passe dans les coulisses, c'est que JMP supprime tous les bits inutilisés (nous avons rarement besoin des 64 bits pour stocker les données).
- Pour les données catégorielles, il en fait un vérification de la liste , la saisie future des données peut donc être plus difficile. Cela réduit également considérablement l'empreinte globale des données.
La compression des colonnes peut réduire la taille du fichier d'une magnitude ou plus! Et cela accélère absolument le calcul dans JMP.
Vous pouvez en savoir plus à ce sujet dans le Documentation JMP .
