Il y a longtemps pour le Big DataSalut,
J'utilise JMP pour des ensembles de données plus volumineux, 1 000 variables et 500 sujets. Cela prend beaucoup de temps, comme quelques minutes pour exécuter un modèle d'ajustement simple. J'ai un bon ordinateur portable avec 64 Go de RAM, 4 Go de GPU, etc. Lors de l'exécution de JMP, rien n'atteint même une utilisation proche de 30 %, mais il faut une éternité à JMP pour faire quoi que ce soit. J'ai donné la priorité à JMP Realtime.
Aucune suggestion?
Meilleur
Kamil
Modélisation statistique avancéeExploration et visualisation des donnéesRe : Le temps est long pour le Big DataSalut Kamil,
Le goulot d’étranglement est l’implémentation du modèle Ajuster>Moins carrés standard. Même avec un ajustement séparé, il essaie de regrouper 1 000 résultats de modèles dans un seul rapport. Et ce n'est que le début. Je suppose qu'il le fait en temps linéaire (un à la fois), donc un processeur/thread est utilisé pour générer le rapport. Mais je ne fais que deviner.
Je ne sais pas si vous pouvez spécifier comment utiliser les ressources informatiques par JMP (sauf pour désactiver le multithreading par plate-forme dans certaines boîtes de dialogue de la plate-forme). De nombreuses plates-formes sont déjà multithread (je pense que Response Screening pourrait en faire partie). Je ne suis pas sûr de l'ajustement du modèle> des moindres carrés standard. Je suppose également que la génération de rapports est monothread. Mais j’aurais besoin d’un développeur pour me faire savoir comment cette situation fonctionne en coulisses. Certaines fonctions ne peuvent pas être multithread, donc l'utilisation maximale de la capacité du processeur peut ne pas être possible. La mémoire est similaire. Vous pouvez consommer toute votre mémoire simplement en regroupant de grands ensembles de données (des milliers par milliers dans un cluster hiérarchique bidirectionnel). Il s'agit principalement de stocker les informations permettant de générer la sortie graphique.
J'espère que cela donne une idée de ce que fait JMP en arrière-plan. Il essaie d'utiliser toutes les ressources disponibles pour cette fonction/capacité/plate-forme, si cela est possible.
D'ailleurs, nous continuons d'améliorer JMP Pro pour prendre en charge de vastes ensembles de données, comme le vôtre. Ajuster le modèle> Modèles mixtes est un exemple dans lequel nous avons une option de triangle rouge pour supprimer les rapports et afficher uniquement les tableaux. Cela permet d'adapter rapidement un modèle mixte à des milliers de réponses, mais ne donne pas de rapport graphique.
Re : Le temps est long pour le Big DataSalut chris,
J'ai JMP 17 Pro. Merci pour le conseil. Cela rend les choses plus rapides. Existe-t-il néanmoins un moyen/un paramètre permettant à JMP d'utiliser davantage la capacité de mon ordinateur ? Essayer de comprendre ce qu’est un goulot d’étranglement.
Meilleur
Kamil
Re : Le temps est long pour le Big DataSalut @Kamil ,
Quelle version de JMP utilisez-vous ? Avez-vous essayé le modèle de dépistage de la personnalité dans le modèle d'ajustement ? Si vous disposez de JMP Pro, alors cette personnalité est présente. S'il s'agit uniquement de JMP, Response Screening peut être trouvé sous Analyse>Screening>Response Screening (cette méthode ne permet de tester qu'un seul effet de modèle à la fois). Le dépistage des réponses est spécialement conçu pour cela et il est très rapide.
Re : Le temps est long pour le Big DataSalut P_Bartell et à tous,
Merci pour votre réponse. Il s’agit donc de données métabolomiques. 1 000 variables continues sous forme de colonnes mesurées sur 500 sujets (lignes). Le modèle d'ajustement que j'essayais d'exécuter n'est qu'un test t pour l'effet du génotype (seulement 2 groupes catégoriels) avec des covariables. Donc, tous mes métabolites en Y et mon génotype, mon IMC, mon sexe et mon âge comme effets de modèle. Monter séparément.
J'essaie de comprendre pourquoi mon ordinateur n'est pas utilisé à sa pleine capacité lors de ces opérations. Mon CPU est à 30 % et ma RAM peut être à 10 %. Quel est le goulot d’étranglement ici ? Puis-je configurer JMP pour utiliser davantage mon ordinateur ?
Merci
Kamil
Re : Le temps est long pour le Big DataS'agit-il également de données numériques ou de chaînes ? S’il s’agit de chaînes, combien de variables contiennent des chaînes et quelle est la nature d’une chaîne ?
Re : Le temps est long pour le Big DataPour ajouter un peu à @peng_liu Selon moi, cela pourrait nous aider à vous guider si vous nous en dites un peu plus sur vos données, comme la nature des « variables »... elles sont toutes des x et/ou combien de y ? Veuillez différencier/expliquer une « variable » et un « sujet ». Le type de données peut également jouer un rôle dans le temps de traitement sur certaines plateformes. Et le « modèle simple » ne nous dit pas quelle personnalité vous avez réellement choisie. Certains peuvent également prendre plus de temps que d’autres. Chaque boîte de dialogue de plateforme nécessite un modèle. Pouvez-vous nous dire quelle est la structure de votre modèle ? Enfin, en savoir plus sur vos objectifs de modélisation ? Avec '...1000 variables...' si votre objectif de modélisation est l'identification des variables, c'est probablement la dernière plate-forme que je regarderais si elle correspondait au modèle et à l'une des personnalités qui s'y trouvent.
Re : Le temps est long pour le Big DataQuand vous avez dit 30 % d'utilisation, s'agit-il du processeur ? Je suppose que vous ne parlez pas de taille de mémoire. Je pense que vous parlez d'un type de modélisation spécifique, pour la taille (ou la complexité) de vos données, les performances sont lentes. Par exemple, les moindres carrés ne devraient pas avoir de problèmes comme celui-ci, mais d'autres méthodes peuvent le faire.
Re : Le temps est long pour le Big DataSi vous le faites en script, assurez-vous d'ouvrir les tables de données en mode privé pour économiser le temps d'adressage de la mémoire.
Fermez toutes les autres applications afin d’avoir autant de RAM disponible que possible et éliminez les échanges.
