Hallo,
Ein Kunde fragte, warum das im Clustervergleichsbericht für kmeans-Clustering angegebene optimale CCC manchmal niedriger ist als das CCC anderer Cluster, was der Dokumentation widerspricht.
Ich konnte dieses Verhalten mit dem Nicardipin-Datensatz und den angehängten kmeans-Clustern reproduzieren (führen Sie das Script für das Clustering aus).
Gibt es andere Kriterien für die Entscheidung, die nicht in der Dokumentation aufgeführt sind, oder warum geschieht dies?
Ich denke, dass es mehrere Dinge geben kann, die diese Anomalie verursachen. Wenn einer dieser Fehler die Ursache ist, sollte in der Dokumentation darauf hingewiesen werden. Daher sind meines Erachtens weitere Details in der Dokumentation erforderlich.
Meine Gedanken:
Die von Ihnen verwendeten Nicardipin-Variablen sind wirklich kategorisch und nicht kontinuierlich. Das könnte zum Problem beitragen. Die Diskretion der Daten führt normalerweise dazu, dass der CCC zu viele Cluster auswählt.
Zwei der Variablen sind konstante Werte. Sogar der Arzt sagt, dass sie ignoriert werden, deshalb glaube ich nicht, dass das das Problem ist.
Jeder Cluster ab 6 hat einen Cluster mit nur einer Beobachtung. Das mag der Grund sein, warum diese Cluster nicht "optimal" sind (aber ich glaube das auch nicht wirklich, aber es ist möglich).
Betrachtet man den CCC über Cluster hinweg, fällt der CCC dramatisch ab und wird negativ. Negative CCC-Werte weisen normalerweise auf Ausreißer hin. Da es 5 Clustergrößen in einer Reihe mit einem niedrigeren CCC gibt, glaube ich, dass alles mit einem höheren CCC als dem 3-Cluster-Modell auf eine Überanpassung hindeutet. Könnte JMP eine ähnliche Logik anwenden?
Wenn Sie KMeans mit Clustern von 4 bis 12 anstelle von 3 ausführen, erhalten Sie die erwarteten Ergebnisse. Ist dies also möglicherweise ein Fehler?
Der Vollständigkeit halber verweist das JMP-Dokument auf ein technisches Dokument von SAS. Der Vollständigkeit halber habe ich die Schlussfolgerung aus diesem Dokument beigefügt. Das vollständige Dokument finden Sie hier: https://support.sas.com/kb/22/addl/fusion_22540_1_a108_5903.pdf
Mit Sicherheit eine interessante Situation. Ich würde gerne den wahren Grund für die Wahl von 3 erfahren!
Ich habe jetzt also mehr Informationen zu den Kundendaten:
613 Beobachtungen, 39 Variablen [basierend auf der SAS-Dokumentation könnten etwa 60 Cluster betrachtet werden]
- Sind Variablen kategorisch / binär?
6 Variablen haben einen Wert zwischen 85% und 90% von 0.
8 Variablen haben nur 20-25 verschiedene Werte.
- Wie wäre es mit Ausreißern (negatives CCC)?
Grobe Überprüfung mit PCA und Ausreißeranalyse, nur die extremsten Ausreißer wurden entfernt. Wird verwendet, um Cluster nachträglich mit Hilfe von Parallelkoordinatendiagrammen zu überprüfen. Deklarieren Sie wenige als Rauschen, wenige zusammen. Ein optimales CCC ist also nur eine Richtlinie und muss die Cluster näher betrachten. Es ist jedoch schwer zu verstehen, dass Optimal CCCC in einem früheren Cluster mit nicht dem höchsten Wert ausgewählt wurde. In meinem Fall sind nur die Cluster N = 2 und N = 3 negativ, N = 4 ist optimal, obwohl N = 7 und noch höher N ein höherer Wert ist.
- Gibt es Cluster mit einzelnen Werten?
Ja Nein:
Methode NCluster N Rows CCC Best
K bedeutet Cluster 2. -11.181
K bedeutet Cluster 3. -25.497
K bedeutet Cluster 4. 4,46481 Optimales CCC
K bedeutet Cluster 5. 0,87854
K bedeutet Cluster 6. 7,58562
K bedeutet Cluster 7. 4,0766 à ein Cluster mit 1 Beobachtung
K bedeutet Cluster 8. 25,9692
K bedeutet Cluster 9. 16,4746
K bedeutet Cluster 10. 23,1449 à ein Cluster mit 0 Beobachtungen (y, 0…)
K bedeutet Cluster 11. 24,0572
K bedeutet Cluster 12. 26,9875
K bedeutet Cluster 13. 27.7786 à ein Cluster mit 0 Beobachtungen (y, 0…)
K bedeutet Cluster 14. 29.0657 à ein Cluster mit 0 Beobachtungen (y, 0…)
K bedeutet Cluster 15. 18.975 à ein Cluster mit 0 Beobachtungen (y, 0…)
Ab NCluster = 3 gibt es mindestens einen Cluster mit ca. 10 Beobachtungen
- Wie wäre es mit nur 5-15 Clustern?
Ja, dann wird das Optimal CCC korrekt angezeigt!
!!! Auch wenn ich "Standardabweichungen innerhalb des Clusters verwenden" deaktiviere und 2-15 Cluster verwende, ist das angezeigte Ergebnis wie erwartet.
Methode NCluster CCC Best
K bedeutet Cluster 2 -8,3209
K bedeutet Cluster 3 -14,199
K bedeutet Cluster 4, 9, 28967
K bedeutet Cluster 5, 5, 42936
K bedeutet Cluster 6 24,6335
K bedeutet Cluster 7 30,4458
K bedeutet Cluster 8 23,5854
K bedeutet Cluster 9, 36, 858
K bedeutet Cluster 10, 35, 6172
K bedeutet Cluster 11 36,5099
K bedeutet Cluster 12, 38, 4017
K bedeutet Cluster 13, 48, 2059
K bedeutet Cluster 14, 44, 3545
K bedeutet Cluster 15 49,7344 Optimal CCC
==> Es scheint also, dass in den Clustern eine Art Standardisierung stattfindet, die zu einem anderen Optimal CCC führt, als wenn diese Option nicht verwendet wird. Wenn dies der Fall ist, sollte die Anzeige korrigiert werden, da das CCC andere Werte für die nicht aktivierte und die aktivierte Option zu haben scheint. Dies sollte natürlich auch irgendwo im Bericht in der Dokumentation erwähnt werden.
Einsichten von Entwicklern / Testern / Autoren können von Wert sein. Ich kann das natürlich auch über den technischen Support sagen, wenn dies in JMP geändert werden sollte.
Vielen Dank,
Martin
