Hallo zusammen,
Ich arbeite mit einem System, bei dem ich sowohl Variablenreduktion als auch Clustering durchführen muss. Ich studiere das Verhalten von Fischen. Ich habe drei Verhaltensbehandlungen und wenn ich mir ein PCA-Biplot ansehe, ist es offensichtlich, dass meine Daten in zwei Gruppen gruppiert sind und diese ungefähr meinen niedrigsten und höchsten Behandlungskategorien entsprechen. Ich habe eine Zwischenkategorie, die zwischen den beiden aufgeteilt ist. Ich möchte K-Means verwenden, um meine Behandlungsvariable in zwei statt drei Behandlungen zu konsolidieren, um sie in späteren Analysen zu verwenden.
Zwei Fragen:
1: Wenn ich mehrere sehr ähnliche, stark korrelierte Eingaben verwende (mehrere verschiedene Möglichkeiten, die Körperkrümmung zu messen), beeinträchtigt das dann den Clusteralgorithmus? Sollte ich meine Variablenreduktion vor dem Clustern durchführen?
2: Ich habe Kommentare von Gutachtern erhalten, in denen es heißt: „Diese Cluster bedeuten nichts, natürlich wird ein Clusteralgorithmus Unterschiede finden.“ Gibt es eine Möglichkeit, auf diese Kommentare mit Bezug auf die Funktionsweise von K-Means-Clustern einzugehen?
Danke,
Stephan
Hallo Stephen2020 - Sie haben sehr starke PCA-Ergebnisse, wenn Sie sich das Bild ansehen. Dies ist Ihre statistische Unterstützung für zwei Gruppen. K-means verwendet die PCA-Ergebnisse, sodass Sie im Rahmen von K-means eine variable Reduzierung durchgeführt haben.
Führen Sie auf der Plattform Hauptkomponenten einen Bartlett-Test zur Signifikanz Ihrer Eigenwerte durch. Wenn Sie K-Mittel verwenden, sehen Sie diese Eigenwerte unter dem Bi-Plot. Wenn beim Bartlett-Test nichts von Bedeutung ist, erhalten Sie in K-means keine sehr guten Gruppen. Wenn Sie keine Eigenwerte haben, die einen Großteil der Variation erklären, haben Sie nicht wirklich viel Korrelationsstruktur und die Variablenreduktion macht nicht viel (und daher erzeugen K-Mittel auf magische Weise keine klaren Gruppierungen).
Sie können das CCC verwenden, um auf eine andere Anzahl von Clustern zu testen. Wenn Sie 2 erhalten, ist dies eine zusätzliche Unterstützung dafür, dass 2 eine gute Anzahl von Clustern ist. Das CCC ist das kubische Clustering-Kriterium. Probieren Sie eine Reihe von Clustern aus, z. B. 2 bis 5. Die Dokumentation enthält eine Referenz für diese Methode. Wenn Sie keine 2 erhalten, ist dies keine gute Rechtfertigung dafür, KEINE 2 Gruppen zu verwenden (da Ihr Fachwissen die Auswahl von 2 Gruppen bestimmt). CCC ist nur ein Leitfaden und ein unterstützender Beweis.
Verwenden Sie schließlich die Mittelwerte und Standardabweichungen, die für Ihre Gruppen in K-Mittelwerten angegeben wurden. Überlappen sich die Standardabweichungen zwischen Clustern (hoch von einer Überlappung mit niedrig von der anderen - Sie müssen dies berechnen)? Wenn nicht, können Sie auch eine Erklärung dazu abgeben.
Der einzige Warnhinweis ist, dass alles, was Sie in PCA und K-means eingeben, später nicht mehr herausgezogen und als Y-Variable für die weitere Analyse verwendet werden kann.
Vielen Dank für Ihre Hilfe, damit habe ich viel zu tun. Können Sie Ihren Hinweis zur Vorsicht näher erläutern? Ich habe eine Reihe von (9) Eingangs- und (9) Ausgangsvariablen. Momentan werfe ich sie alle in den K-Means-Cluster. Das Identifizieren von Clustern mit K-Mitteln reduziert effektiv meine Anzahl von Behandlungen von 3 auf 2. Dann würde ich das Tool "Clustervariablen" verwenden, um repräsentative Eingabe- und Ausgabevariablen (als eine Form der Variablenreduktion) zu identifizieren, und dann diese repräsentativen Variablen verwenden, um mein Modell zu erstellen. Ich würde für jeden Datencluster ein eigenes Modell erstellen. Wenn ich es vereinfachen und sagen würde, ich hätte eine Eingabe und eine Ausgabe, beide zur Identifizierung von Clustern verwenden und dann die Eingabe und Ausgabe in jedem Cluster zurückführen würden, würde ich die Daten nicht ordnungsgemäß verwenden?
Ich bin ein bisschen verloren in dem, was du tust und deinem ultimativen Ziel. In Anbetracht dessen sind hier einige Dinge zu beachten.
Sie sagen, haben 9 Eingänge (Xs) und 9 Ausgänge (Ys). Sie ändern auch etwas für eine Behandlung - ist dies eine dieser 18 Variablen?. Ich verstehe nicht, was das ultimative Modell darstellen wird - die Xs gegen die Ys oder 18 Variablen gegen etwas anderes wie die Behandlung?
Sie können definitiv Clustering-Techniken wie K-means verwenden, um Ihre Daten zu segmentieren (also welche Zeilen zusammenpassen) und aus jeder Teilmenge Ihrer Daten ein Modell zu erstellen. Normalerweise verwenden Benutzer die Ergebnisse des Clusters im tatsächlichen Modell nicht, wenn Sie segmentieren, außer um Zeilen aufzuteilen. Sie können jedes Segment unabhängig voneinander weiter verkleinern. Dies bedeutet, dass Sie sich entschieden haben, jedes Segment Ihrer Daten unabhängig zu behandeln.
Die Verwendung von Variablenclustern zur Identifizierung führender Variablen für Ihr Modell ist eine verwandte, aber andere Art der Clusterbildung als K-Mittel. Sie führen also zwei verschiedene Clustering-Methoden durch und es ist nicht klar, wie Sie sie zusammen verwendet haben. Sie verwenden mit Sicherheit kein Variablenclustering für zukünftige Y-Variablen. Sie müssen sich aus der Analyse heraushalten, bis Sie modellieren. Wenn Sie K-means mit allen 18 Variablen (X und Y) ausführen, teilen Sie die Daten auf dieser Grundlage in 2 auf und führen Sie dann für jeden Abschnitt ein Modell aus. Stellen Sie nur fest, dass Sie Ihr Ergebnis verzerrt haben, weil Sie die Beziehungen zwischen X zulassen und Ys müssen berücksichtigt werden, bevor ein anderes Modell erstellt wird. Cluster auf Xs, wenn Sie sie in einem Modell verwenden möchten, nicht auf Ys.
Wenn Sie Dimensionsreduktionstechniken für eine Gruppe von Variablen verwenden und diese als X in einem weiteren Modell verwenden, wird Ihre zukünftige Y-Variable dort nicht eingefügt. Beim Ausführen eines Modells müssen einige Xs erklären, was für eine oder mehrere interessierende Y-Variablen vor sich geht. Wenn Sie diese Xs und Ys PCA oder Cluster zusammenfassen, verwechseln Sie, warum Sie überhaupt ein Modell erstellen würden.
Hier sind einige andere Ideen, abhängig von Ihren Zielen.
Es gibt eine Möglichkeit, eine Variablenauswahl mit einem Y auf X durchzuführen - verwenden Sie Partition oder eine andere Baummethode wie Bootstrap Forest. Dies würde Ihnen die Variablen geben, die in Bezug auf ein Y den höchsten Rang haben, und Sie können andere X von klein bis ohne Wirkung ignorieren. Nehmen Sie dann diese Xs und erstellen Sie ein Modell in Fit Model.
Sie können auch einige Ihrer Variablen verkleinern - wie die gesamte Körperkrümmung. Sie würden PCA durchführen und die obersten PCA-Komponenten im Modell verwenden (beispielsweise könnten 9 Krümmungsmessungen in 3 PCA-Komponenten erklärt werden). Verwenden Sie dann die PCA-Komponenten als Xs im Modell. Nehmen Sie die zukünftigen Ys erneut nicht in die PCA auf. Dies ist gut, da die PCAs orthogonal sind, was eine Annahme der linearen Modellierung ist.
Wenn Sie über JMP Pro verfügen, können Sie LASSO in GenReg verwenden, um sowohl die Variablenreduzierung als auch die Anpassung eines Modells gleichzeitig durchzuführen. Es gibt Grenzen, wie komplex dieses Modell sein kann. Sie können zuerst eine Baummethode verwenden, um die Anzahl der Variablen zu verringern.
Da Sie angegeben haben, dass Sie Verhaltensdaten haben, können Sie auch GenReg verwenden, um ein Modell anzupassen, da es einige Resampling-Methoden für kleine Datenmengen enthält.
Wenn Sie sich 9Xs und 9Ys ansehen, möchten Sie vielleicht PLS.
Schließlich versuchen Sie vielleicht tatsächlich eine Diskriminierungsanalyse. Wenn Sie versuchen, ein Modell zu erstellen, das die Behandlung mit allen 18 Variablen beschreibt, ist die Diskriminierungsanalyse eine kategoriale Regression mit Variablenreduzierung und hierfür durchaus geeignet. Sie können DA mit 2 oder 3 Behandlungen durchführen und die Passungen vergleichen, um zu entscheiden, ob Sie 2 oder 3 Gruppen haben.
Es gibt Masting JMP-Themen zu allen oben genannten Punkten.
Hast du das gesehen Video zur multivariaten Analyse ? Da ist auch ein Tagebuch das geht mit dem video.
