Wenn eine große Anzahl von Variablen angezeigt wird, um ein Ergebnis vorherzusagen, möchten Sie möglicherweise die Anzahl der Variablen in gewisser Weise reduzieren, damit das Vorhersageproblem leichter gelöst werden kann. Eine mögliche Dimensionsreduzierungstechnik ist die bekannte Methode von Hauptkomponentenanalyse (PCA). Die aus PCA resultierenden Variablen können jedoch schwer zu interpretieren sein. Eine alternative Strategie ist zu verwenden variable Clusterung eine Methode, die in verfügbar ist JMP Pro .
Erstellt von SAS / STAT Entwicklungsdirektor Warren Sarle für die VARCLUS-Verfahren Variable Clustering reduziert die Anzahl der Variablen, indem ähnliche Variablen zusammen gruppiert werden. Dadurch können Sie das Ergebnis verwenden Cluster-Komponenten , die erste Hauptkomponente aus Variablen in jedem Cluster, als neue Variablen. Diese neuen Variablen haben insofern eine Ähnlichkeit, als sie nur aus Variablen in jedem Cluster bestehen. Um die Interpretation weiter zu verbessern und gleichzeitig die Kollinearität zu reduzieren, können Sie alternativ nur die repräsentativste Variable aus jedem Cluster anstelle der jeweiligen Clusterkomponente verwenden.
Wie funktioniert das variable Clustering?
Der Variablen-Clustering-Algorithmus ist ein iterativer Algorithmus, der mit allen Variablen in einem einzelnen Cluster beginnt und fortlaufend splittet und Variablen neuen Clustern zuordnet, bis keine neuen Splits oder Zuweisungen möglich sind. Insbesondere werden Cluster iterativ in kleinere Cluster entsprechend den Hauptkomponenten der Cluster aufgeteilt. Bei jeder Iteration des Algorithmus wird der Cluster mit dem größten zweiten Eigenwert so gewählt, dass er in zwei neue Cluster aufgeteilt wird. Die Mitglieder des Clusters, das aufgeteilt wird, werden den neuen Clustern zugewiesen, basierend auf ihrer Korrelation zu den ersten beiden orthoblique gedrehten Hauptkomponenten des Clusters, das aufgeteilt wird. Nach dem Aufteilen werden alle anderen Variablen untersucht und einem anderen Cluster zugewiesen, wenn eine höhere Korrelation mit einem anderen Cluster festgestellt wird. Das variable Clustering endet, sobald der zweite Eigenwert aller Cluster weniger als eins ist.
Beispiel: Vorhersage der Weinqualität
Um das variable Clustering zu demonstrieren, lassen Sie uns die Weinqualität mit Hilfe von vorhersagen Weinqualitätsdatensatz bereitgestellt am UCI Machine Learning Repository . Getrennt von Rot- und Weißwein besteht dieser Datensatz aus den folgenden 11 Variablen, die den Inhalt jedes Weins beschreiben: feste Säure, flüchtige Säure, Zitronensäure, Restzucker, Chloride, freies Schwefeldioxid, Gesamtschwefeldioxid, Dichte, pH-Wert, Sulfate und Alkohol.
Um die Dimension dieser Variablen mit variablem Clustering zu reduzieren, starten Sie zuerst die Hauptkomponenten Plattform aus dem Menü Analysieren. Als nächstes wählen wir die Variablen als aus Y, Spalten und klicken Sie auf OK.
Damit wird die Principal Components-Plattform für die Weinqualitätsdaten gestartet. Wählen Sie hier die Option "Cluster-Variablen" unter dem roten Dreieck "Principal Components" aus. Sie sollten die Zusammenfassung des variablen Clustering-Clusters sehen. Wie diese Zusammenfassung zeigt, wurden die 11 Variablen in vier Clustern zusammengefasst, wobei jeder Cluster 4, 3, 2 bzw. 2 Mitglieder hatte. Das Repräsentative Variable Die Spalte zeigt die Variable, die jeden Variablencluster am besten darstellt. Der in jedem Cluster erläuterte Variationsanteil ist in der Spalte aufgeführt Anteil der Variation erklärt Der erläuterte Gesamtanteil der Abweichung von 0,558 ist unten in der Zusammenfassung aufgeführt.
Wir können eine Tabelle mit Clustermitgliedern über das Menü "Rotes Dreieck mit variablem Clustering" anfordern. Diese Clustermitglieder geben einen Einblick in die Ähnlichkeit zwischen Variablen. Diese Tabelle zeigt beispielsweise, dass die vier Mitglieder des Clusters Nr. 1 ähnlich sind: feste Azidität, Chloride, Dichte und Sulfate.
Das RSquare zwischen den einzelnen Variablen und dem Cluster, in dem es Mitglied ist, ist in der Spalte aufgeführt RSquare mit eigenem Cluster . Das RSquare mit Nächster Nächster Spalte ist das Rechteck zwischen jeder Variablen und dem nächst ähnlichsten Cluster. Das 1-Quadrat-Verhältnis Die Spalte ist ein Maß für die relative Nähe zwischen dem Cluster, zu dem eine Variable gehört, und dem nächst ähnlichsten Cluster. Zum Beispiel wird das 1-RSQuare-Verhältnis für feste Acidität mit (1-0,527) / (1-0,106) = 0,473 / 0,894 = 0,529 berechnet. Dies zeigt, wie diese Größe die relative Nähe misst. Ein Wert von 1-RSquare Ratio größer als 1 würde bedeuten, dass der nächstgelegene Cluster tatsächlich ähnlicher ist als der Cluster, in dem die Variable derzeit Mitglied ist, und daher sollten alle 1-RSquare Ratios kleiner als 1 sein.
Vergleich der Weinqualität
Um zu vergleichen, wie diese verschiedenen Reduktionstechniken die Weinqualität vorhersagen, passen wir eine lineare Regression mit drei verschiedenen Sätzen von Prädiktorvariablen an:
- Die ersten vier Hauptkomponenten (PCs).
- Die vier Clusterkomponenten (CCs).
- Die vier repräsentativsten Variablen aus jedem Cluster (MRVs).
Diese Modelle passen zu einem Drittel des Trainingsdatensatzes, und wir verwenden den Modellvergleich Plattform, um die Modelle zu vergleichen.
Das Trainingsbeispiel RSQuare und das Validierungsbeispiel RSquare erzählen eine ähnliche Geschichte: Das Modell mit Hauptkomponenten übertrifft das Modell mit Clusterkomponenten leicht, während das Modell mit den repräsentativsten Variablen beide übertrifft. Dies ist eine ideale Lösung, da wir nicht nur ein sparsameres Modell gefunden haben, sondern auch ein Modell gefunden haben, das eine einfachere Interpretation der Ergebnisse ermöglicht.
Erwägen Sie das Hinzufügen von variablem Clustering aus JMP Pro zu Ihrem variablen Reduktions-Toolkit noch heute!
Verweise
P. Cortez, A. Cerdeira, F. Almeida, T. Matos und J. Reis. Modellierung von Weinpräferenzen durch Data Mining aus physikochemischen Eigenschaften. In Decision Support Systems, Elsevier, 47 (4): 547-553, 2009.
Das Clustering von Variablen war für meine Arbeit sehr hilfreich.
Können Sie mir sagen, wie die endgültige Anzahl der Cluster kontrolliert wird - anhand welcher Kriterien wird diese Entscheidung getroffen, dh der Eigenwert?
Erwägen Sie für JMP 14, eine Option zur Auswahl der Anzahl der Cluster hinzuzufügen?
Es wäre auch schön, ein Dendrogramm oder eine visuelle Darstellung zu haben, um die Beziehung zu zeigen
Lene
