Regroupement hiérarchique : JMP et R ne sont pas d'accordLorsque je regroupe le même ensemble de données exact dans JMP et dans R, en utilisant la méthode de Ward, j'obtiens des résultats non identiques.R propose deux options (ward.D et ward.D2), dans lesquelles cette dernière met au carré les valeurs de la matrice de distance avant de les regrouper.Selon Murtagh & Legendre (2014) , c'est aussi ce que fait JMP. Mais même lorsque je spécifie method="ward.D2" dans R, la sortie que j'obtiens n'est pas trivialement différente : environ 15 % des observations ne correspondent pas à ce que j'obtiens de JMP.
Donc, Question 1 : Ai-je tort de m'attendre à ce que la même méthode produise les mêmes résultats en HCA ?Je ne m'attendrais pas à ce que dans le clustering k-means (sans définir de graine, au moins), mais pour HCA, les résultats sont totalement stables * dans * un package donné, donc j'ai supposé qu'ils devraient également être les mêmes * entre * packages.
Question 2 : S'ils *devraient* être identiques... pourquoi ne le sont-ils pas ?
- Possibilité A : il y a une différence dans la façon dont la matrice de distance est calculée
- Possibilité B : il y a une différence dans la façon dont la méthode de Ward est mise en œuvre
- Possibilité C : la fonction cutree() dans R fait quelque chose de différent de la fonction "Sélectionner le nombre de clusters" dans JMP
- Possibilité X... ???
J'ai téléchargé le dendrogramme de R (excuses si c'est une mauvaise nétiquette !) ; vous pouvez voir le problème dont je parle en examinant de près les étiquettes le long de l'axe des x.Ces libellés se terminent tous par un chiffre compris entre 1 et 5, qui représente le numéro du cluster auquel ils ont été attribués dans JMP.Comme vous pouvez le voir, le groupe vert ("3") était le seul où il y avait un match parfait 1:1 entre JMP et R.
Reconnaissant pour tout conseil, -Matt
AnalytiqueRe : Regroupement hiérarchique : JMP et R ne sont pas d'accordHmmm... Je viens de faire une comparaison sur trois ensembles de données différents dans JMP et R (sans utiliser "standardize data" ou "scale()") et j'ai trouvé que les classifications correspondaient exactement à chacune en utilisant le même nombre de clusters.Les seules méthodes que j'ai spécifiées dans R consistaient à utiliser 'euclidean' pour la fonction "dist" et 'ward.D2' pour la fonction "hclust". Spécifiez-vous autre chose dans vos workflows R et/ou JMP ? Dans quelle mesure vos données sont-elles désordonnées (manquantes... valeurs aberrantes...) ?Je propose juste un peu de matière à réflexion...
Re : Regroupement hiérarchique : JMP et R ne sont pas d'accordBien pensé, mais je ne pense pas que ce soit le problème : étant donné que l'ensemble de données avec lequel je travaille implique des variables qui sont toutes à la même échelle, je désélectionne toujours "Standardize Data" dans JMP. Et pour normaliser les données dans R, il faut utiliser la fonction scale(), ce que je ne fais jamais. Donc, pour autant que je sache, les deux packages doivent fonctionner sur des données non standardisées.Re : Regroupement hiérarchique : JMP et R ne sont pas d'accordMerci de nous l'avoir transmis ; cela m'a fait réaliser qu'il vaudrait la peine d'exporter la matrice de distance de JMP et de comparer ces valeurs à la matrice de distance que j'obtiens dans R !Ce sera une façon de préciser d'où vient l'écart.
Re : Regroupement hiérarchique : JMP et R ne sont pas d'accordMerci pour la suggestion; il est bon de savoir que l'envoi du code à l'équipe technique est une option si je ne peux pas résoudre ce problème d'une autre manière.
Pour répondre à votre autre question, oui : les résultats HCA dans chaque package sont complètement stables.
Re : Regroupement hiérarchique : JMP et R ne sont pas d'accordEst-il possible que les données soient standardisées dans un paquet et pas dans l'autre ? La valeur par défaut dans JMP est "Standardize Data".
Re : Regroupement hiérarchique : JMP et R ne sont pas d'accordCe fil pourrait également aider avec la matrice de distance :
https://community.jmp.com/t5/Discussions/which-distance-does-JMP-use-in-clustering/mp/275384#M53438
Re : Regroupement hiérarchique : JMP et R ne sont pas d'accordSalut matthal_resear,
La comparaison de différents packages est toujours un sujet brûlant. Comme je ne peux pas jeter un œil aux codes sources dans JMP, je ne peux pas vérifier s'il y a une différence dans l'un des calculs que vous avez mentionnés au point 2 entre JMP et R. Ils se réfèrent tous deux à Murtagh & Legendre (2014), mais cela ne signifie pas que l'algorithme est implémenté de la même manière. Surtout avant et après le cœur de l'algorithme, il peut y avoir des différences. Également dans les sous-programmes potentiels. Encore une fois, comme il n'y a aucun moyen de vérifier le code complet, on ne pourra pas répondre à cette question. vous pouvez essayer d'envoyer votre question au support technique de JMP, en fournissant des informations détaillées sur le R-Package que vous utilisez ainsi que la routine concrète. Parfois, plusieurs fonctions R sont disponibles. Ensuite, ils pourraient avoir une chance de vérifier les différences, sans dire qu'ils trouveront quelque chose.
Juste une autre pensée. Les résultats dans les packages sont-ils stables pour HCA ? Ou sont-ils légèrement différents? C'est aussi une information importante. Enfin, je jetterais un coup d'œil au diagramme de constellation pour y identifier également les différences.
Juste mes 2 cents
