Ich habe vor ein paar Wochen einen guten Tipp von Scott Allen erhalten, wie man mithilfe von Variablen-Clustering die Komplexität von Datensätzen reduzieren kann. Ich habe eine sehr umfangreiche Datentabelle: 16 Zeilen und 35.000 oder mehr Spalten. Seltsamerweise erfolgt das bidirektionale Clustering (nach Zeile und nach Spalte) innerhalb von Sekunden, wenn ich unter hierarchischem Clustering „Fast Ward“ verwende und unter dem roten Dreieck „Zwei-Wege“ auswähle. Allerdings kann ich die Option zum Suchen der „repräsentativsten Spalte“ innerhalb jedes Clusters nicht finden, eine Option, wenn Sie direkt zu „Clustervariablen“ wechseln. Wenn ich auf meinem Mac mit 64 GB RAM alle 35.000 Spalten zu Clustervariablen hinzufüge, wird es nicht einmal annähernd vollständig sein (vielleicht 5-10 % nach drei Tagen!). Meine Frage ist: Ist es möglich, Daten aus der Fast Ward-Ausgabe aus hierarchischem Clustering zu extrahieren, die mir die repräsentativste Spalte liefern würden? Ich denke tatsächlich, dass dies der Fall sein könnte (z. B. Regression der Rohdaten gegenüber dem Mittelwert des jeweiligen Clusters). Wenn nicht, muss ich möglicherweise eine Anfrage auf der Wunschliste stellen, dass ein „schneller“ Algorithmus zur Cluster-Variablen-Plattform hinzugefügt wird!
