Performances du générateur de graphiques JMP v19 avec des tables volumineuses (plus de 13 millions de lignes)Je rencontre d'importants problèmes de performances avec Graph Builder dans JMP v19 lorsque je travaille avec une table volumineuse (environ 13 millions de lignes). Dans JMP v18, j'ai pu interagir facilement avec le même jeu de données : le déplacement, le zoom et le changement de variables étaient parfaitement gérables. Il s'agit d'une table unique d'environ 13 millions de lignes et de quelques dizaines de colonnes, sur une station de travail assez lourde avec 64 Go de RAM.
Cependant, dans JMP v19, je constate fréquemment des retards de type « sablier » et des messages « JMP ne répond pas » lorsque j'essaie de créer ou d'ajuster des graphiques. Revenir à JMP v18 avec les mêmes données et paramètres fonctionne à nouveau sans problème.
Je me demande si d'autres personnes ont constaté une baisse des performances de Graph Builder avec des tables volumineuses depuis la mise à niveau vers JMP v19. Si c'est le cas, il pourrait être intéressant pour JMP d'analyser les changements entre les versions.
Quelqu'un a-t-il trouvé des solutions de contournement ou des paramètres qui aident (par exemple, les préférences de mémoire, les paramètres du GPU, etc.) ?
Exploration et visualisation des donnéesWindowsRé : Performances du générateur de graphiques JMP v19 avec des tables volumineuses (plus de 13 millions de lignes)1,3 million de lignes ici. J'ai l'impression que GB réagit lentement dans les JMP 18 et 19.
Ré : Performances du générateur de graphiques JMP v19 avec des tables volumineuses (plus de 13 millions de lignes)Par le passé, j’ai rencontré de graves problèmes de performances, que je pouvais souvent attribuer à des recalculs inattendus de formules de colonnes.
un problème grave qui a été corrigé dans JMP18 :
Pourquoi la sélection/désélection de lignes déclenche-t-elle la réévaluation des formules de colonnes ?
Un peu d'aide : dans les versions de JMP jusqu'à la version 18 incluse, ces recalculs sont indiqués dans la barre d'état.
Dans JMP 19, si vous souhaitez être averti d'un recalcul, vous pouvez demander à JMP de vous informer :
https://community.jmp.com/t5/Discussions/Undocumented-Secrets/mp/908936/highlight/true#M106749
Si ce n'est pas la cause des mauvaises performances, vous pouvez vérifier la consommation de mémoire. Si la mémoire est partagée entre les programmes et la carte graphique, une mémoire limitée pourrait entraîner de graves conséquences.
Pour approfondir, pourriez-vous créer un fichier factice que nous pourrions analyser ?
Parfois, le problème est spécifique à un certain type de données ou de tracé.
Je ne discute pas pourquoi quelque chose a changé dans JMP19 - mais je suis d'accord avec @Ressel :
Pour de nombreux types de tracés, certains millions de lignes constituent le point où JMP commence à réagir lentement.
JMP peut gérer des fichiers de données beaucoup plus volumineux, mais à un moment donné, l'utilisateur ne veut pas attendre.
Si 0,5 s est acceptable, 5 x 0,5 s sont beaucoup moins confortables. Par exemple, si 1 million de rangs semble facile, 5 millions de rangs ne le sont pas.
Ré : Performances du générateur de graphiques JMP v19 avec des tables volumineuses (plus de 13 millions de lignes)Je ne sais pas si cela vous aide, mais j'utilise JMP 18 sur une machine de 16 Go. Je viens de tester Graph Builder sur un fichier de 26 colonnes et 3,5 millions de lignes, et cela a fonctionné rapidement et sans délai.
Ré : Performances du générateur de graphiques JMP v19 avec des tables volumineuses (plus de 13 millions de lignes)Je pense que le nombre de colonnes n'affecte pas la vitesse.
Et pour les lignes, le temps est différent pour le calcul d'un graphique à barres de la moyenne et d'un graphique à points de tous les points de données individuels.
Par exemple, sur mon ancien ordinateur portable, il faut environ 6 secondes pour calculer un box plot de sin() contre 2 secondes pour un box plot de row() - et un temps assez comparable dans JMP 18 et JMP19.
Le calcul d'un point plot prend plus de temps, et il semble : un peu plus de temps avec JMP19 qu'avec JMP18 ?
Et votre système ?
New Table( "test",
Add Rows( 10000000 ),
New Table Variable( "categories", 20),
New Column( "row",
Formula( Row() )
),
New Column( "sin",
Formula( Sin( :row / 10 ) )
),
New Column( "rnd",
Formula( Random Integer( :categories ) )
)
)
Ré : Performances du générateur de graphiques JMP v19 avec des tables volumineuses (plus de 13 millions de lignes)5'' pour que toutes les colonnes soient remplies sur ma machine, à peu près.
le temps d'exécution du JSL lui-même est <0,1''.
Est-ce que c'est bien ? 10 millions de lignes, je pense que c'est tout à fait acceptable. Cependant, en réduisant ces colonnes à des Go, la réponse est un peu longue. C'est toujours bien mieux que d'essayer de résoudre un problème comme celui-ci dans (si j'ose le dire) Excel.
Ré : Performances du générateur de graphiques JMP v19 avec des tables volumineuses (plus de 13 millions de lignes)rond-point et acceptable.
D’un autre côté, imaginez combien de calculs il faut pour restituer un jeu graphique en temps réel.
Étape suivante : créer un graphique. Qu'est-ce qui est fluide, sans délai, et qu'est-ce qui représente un temps d'attente excessif ?
Pour obtenir des valeurs plus précises pour la création de la table, on peut utiliser hptime() .
et pour prendre en compte le calcul des formules de colonnes, on peut attendre dt << run formulas .
t0 = hp time ();
dt = New Table( "test",
Add Rows( 10000000 ),
New Table Variable( "categories", 20),
);
New Column( "row",
Formula( Row() )
);
New Column( "sin",
Formula( Sin( :row / 10 ) )
);
New Column( "rnd",
Formula( Random Integer( :categories ) )
);
dt << run formulas;
write("t(s): ", (hptime()-t0)/1000000)
