Hierarchisches Clustering: JMP & R widersprechenWenn ich denselben exakten Datensatz in JMP und in R mit der Methode von Ward clustere, erhalte ich Ergebnisse, die nicht identisch sind.R bietet zwei Optionen (ward.D und ward.D2), wobei letztere die Werte in der Distanzmatrix quadriert, bevor sie geclustert werden.Entsprechend Murtagh & Legendre (2014) , das macht JMP auch. Aber selbst wenn ich method="ward.D2" in R angebe, ist die Ausgabe, die ich erhalte, nicht trivial anders: Etwa 15 % der Beobachtungen stimmen nicht mit dem überein, was ich von JMP erhalte.
Frage 1: Liege ich falsch in der Erwartung, dass die gleiche Methode die gleichen Ergebnisse bei HCA liefern sollte?Ich würde das beim k-Means-Clustering nicht erwarten (zumindest ohne Setzen eines Seeds), aber für HCA sind die Ergebnisse *innerhalb* eines bestimmten Pakets absolut stabil, also nahm ich an, dass sie auch *zwischen* Paketen gleich sein sollten.
Frage 2: Wenn sie gleich sein *sollten*, warum nicht?
- Möglichkeit A: Es gibt einen Unterschied in der Berechnung der Abstandsmatrix
- Möglichkeit B: Es gibt einen Unterschied, wie Wards Methode implementiert wird
- Möglichkeit C: Die Funktion cutree() in R macht etwas anderes als die Funktion "Anzahl Cluster auswählen" in JMP
- Möglichkeit X... ???
Ich habe das Dendrogramm von R hochgeladen (Entschuldigung, wenn das eine schlechte Netiquette ist!); Sie können das Problem sehen, von dem ich spreche, indem Sie sich die Beschriftungen entlang der x-Achse genau ansehen.Diese Bezeichnungen enden alle mit einer Ziffer von 1 bis 5, die die Nummer des Clusters darstellt, dem sie in JMP zugewiesen wurden.Wie Sie sehen können, war die grüne Gruppe ("3") die einzige, in der es ein perfektes 1:1-Match zwischen JMP und R gab.
Dankbar für jede Anleitung, -Matt
AnalytikBetreff: Hierarchisches Clustering: JMP & R sind anderer MeinungHmmm... Ich habe gerade drei verschiedene Datensätze in JMP und R verglichen (ohne "Daten standardisieren" oder "scale()" zu verwenden) und festgestellt, dass die Klassifizierungen bei Verwendung der gleichen Anzahl von Clustern jeweils genau übereinstimmen.Die einzigen Methoden, die ich in R angegeben habe, waren die Verwendung von „euclidean“ für die „dist“-Funktion und „ward.D2“ für die „hclust“-Funktion. Geben Sie in Ihren R- und/oder JMP-Workflows noch etwas anderes an? Wie chaotisch sind Ihre Daten (fehlende ... Ausreißer ...)?Biete nur ein paar Denkanstöße...
Betreff: Hierarchisches Clustering: JMP & R sind anderer MeinungGuter Gedanke, aber ich glaube nicht, dass das das Problem ist: Da der Datensatz, mit dem ich arbeite, Variablen umfasst, die alle auf derselben Skala liegen, deaktiviere ich in JMP immer die Option „Daten standardisieren“. Und um Daten in R zu standardisieren, muss man die Funktion scale() verwenden, was ich nie mache. Soweit ich feststellen kann, sollten beide Pakete mit nicht standardisierten Daten arbeiten.Betreff: Hierarchisches Clustering: JMP & R sind anderer MeinungDanke, dass du das weitergegeben hast; Mir wurde klar, dass es sich lohnen wird, die Entfernungsmatrix tatsächlich aus JMP zu exportieren und diese Werte mit der Entfernungsmatrix zu vergleichen, die ich in R erhalte!Das wird eine Möglichkeit sein, einzugrenzen, woher die Diskrepanz kommt.
Betreff: Hierarchisches Clustering: JMP & R sind anderer MeinungDanke für den Vorschlag; Es ist gut zu wissen, dass das Senden des Codes an das Technikteam eine Option ist, wenn ich das Problem nicht anders lösen kann.
Um Ihre andere Frage zu beantworten, ja: Die HCA-Ergebnisse in jedem Paket sind absolut stabil.
Betreff: Hierarchisches Clustering: JMP & R sind anderer MeinungIst es möglich, dass die Daten in einem Paket standardisiert werden und in dem anderen nicht? Die Voreinstellung in JMP ist „Daten standardisieren“.
Betreff: Hierarchisches Clustering: JMP & R sind anderer MeinungDieser Thread könnte auch bei der Distanzmatrix helfen:
https://community.jmp.com/t5/Discussions/which-distance-does-JMP-use-in-clustering/mp/275384#M53438
Betreff: Hierarchisches Clustering: JMP & R sind anderer MeinungHallo matthal_resear,
Der Vergleich verschiedener Pakete ist immer ein heißes Thema. Da ich die Quellcodes in JMP nicht einsehen kann, kann ich nicht überprüfen, ob es einen Unterschied in einer der von Ihnen in Punkt 2 erwähnten Berechnungen zwischen JMP und R gibt. Sie beziehen sich beide auf Murtagh & Legendre (2014), dies bedeutet jedoch nicht, dass der Algorithmus in der vollständig ähnlichen Form implementiert ist. Insbesondere vor und nach dem Kern des Algorithmus können Unterschiede bestehen. Auch in möglichen Unterprogrammen. Da es also keine Möglichkeit gibt, den vollständigen Code zu überprüfen, kann man diese Frage nicht beantworten. Sie können versuchen, Ihre Frage an den technischen Support von JMP zu richten und detaillierte Informationen über das von Ihnen verwendete R-Paket sowie die konkrete Routine bereitzustellen. Manchmal ist mehr als eine R-Funktion verfügbar. Dann haben sie vielleicht die Möglichkeit, nach Unterschieden zu suchen, ohne zu sagen, dass sie etwas finden werden.
Nur ein weiterer Gedanke. Sind die Ergebnisse in den Paketen für HCA stabil? Oder sind sie etwas anders? Dies ist auch eine wichtige Information. Zuletzt würde ich einen Blick auf das Konstellationsdiagramm werfen, um auch dort Unterschiede zu identifizieren.
Nur meine2 Cent
