Zwei-Wege-Clustering vs. ClustervariablenIch habe vor ein paar Wochen einen guten Tipp von Scott Allen erhalten, wie man mithilfe von Variablen-Clustering die Komplexität von Datensätzen reduzieren kann. Ich habe eine sehr umfangreiche Datentabelle: 16 Zeilen und 35.000 oder mehr Spalten. Seltsamerweise erfolgt das bidirektionale Clustering (nach Zeile und nach Spalte) innerhalb von Sekunden, wenn ich unter hierarchischem Clustering „Fast Ward“ verwende und unter dem roten Dreieck „Zwei-Wege“ auswähle. Allerdings kann ich die Option zum Suchen der „repräsentativsten Spalte“ innerhalb jedes Clusters nicht finden, eine Option, wenn Sie direkt zu „Clustervariablen“ wechseln. Wenn ich auf meinem Mac mit 64 GB RAM alle 35.000 Spalten zu Clustervariablen hinzufüge, wird es nicht einmal annähernd vollständig sein (vielleicht 5-10 % nach drei Tagen!). Meine Frage ist: Ist es möglich, Daten aus der Fast Ward-Ausgabe aus hierarchischem Clustering zu extrahieren, die mir die repräsentativste Spalte liefern würden? Ich denke tatsächlich, dass dies der Fall sein könnte (z. B. Regression der Rohdaten gegenüber dem Mittelwert des jeweiligen Clusters). Wenn nicht, muss ich möglicherweise eine Anfrage auf der Wunschliste stellen, dass ein „schneller“ Algorithmus zur Cluster-Variablen-Plattform hinzugefügt wird!
Datenmischung und -bereinigungDatenexploration und -visualisierungMac OSBetreff: Zwei-Wege-Clustering vs. ClustervariablenEs ist immer eine gute Idee, so etwas auf den Wunschzettel zu setzen. Aber bis dahin ... Ich bin mir nicht sicher, ob das funktionieren würde ... irgendwie klug und ich habe keine Ahnung, ob die Mathematik hinter dem, was ich vorschlage, gültig ist ... aber könnten Sie jeden Cluster in Teilmengen aufteilen? Führen Sie dann für jeden Cluster eine PCA durch. Und dann können Sie zwischen dem Eigenwert-Pareto, dem Score und dem Ladediagramm durch eine Hintertür zur repräsentativsten Spalte gelangen? Hören Sie gerne, was andere hier denken?
Betreff: Zwei-Wege-Clustering vs. ClustervariablenDanke. Ich denke, Sie sind auf dem richtigen Weg, und es ist erwähnenswert, dass es irgendwo bei etwa 20.000 bis 25.000 Spalten einen rechnerischen „Unterbruch“ zu geben scheint. Damit meine ich: Bei 25.000 Analyten (mehr oder weniger) läuft es in 24–36 Stunden (was für mich akzeptabel ist), aber viel mehr als diese Zahl und es hängt. Daher könnte ich wahrscheinlich den Prädiktor- oder Antwortbildschirm (oder sogar den Spaltenviewer) verwenden, um Proben ohne oder mit geringer Variation auszusortieren, meine ca. 35.000 Spalten auf 20–25.000 zu reduzieren und sie dann mit diesen „variablen“ Analyten auszuführen. Aber ich denke schon, dass mir allein die Verwendung von PCA mit ALLEN Analyten einen Eindruck von der effektiven Redundanz vermitteln könnte, insbesondere, weil viele dieser Proteine miteinander korreliert sind!
Betreff: Zwei-Wege-Clustering vs. ClustervariablenIch finde @P_Bartell Der Vorschlag ist gut. Der Variablen-Clustering-Ansatz verwendet PCA „hinter den Kulissen“ und nutzt die Eigenwerte, um die repräsentativste Variable zu bestimmen.
Das bidirektionale Clustering verfügt über keine Eigenwerte oder andere Kriterien, die bei der Bestimmung des repräsentativsten Werts helfen könnten. Die Verwendung von PCA nach dem bidirektionalen Clustering wäre also eine Möglichkeit, das nachzuahmen, was beim Variablen-Clustering geschieht.
Betreff: Zwei-Wege-Clustering vs. ClustervariablenGroßartig. Danke euch beiden. Ich werde das gleich hier ausprobieren, aber es hört sich so an, als ob es mir genau das geben sollte, was ich brauche.
