Clustering bidirezionale rispetto alle variabili clusterQualche settimana fa ho ricevuto un buon suggerimento da Scott Allen per l'utilizzo del clustering variabile per ridurre la complessità del set di dati. Ho una tabella dati molto ampia: 16 righe e 35.000 o più colonne. Stranamente, se utilizzo "Fast Ward" sotto il clustering gerarchico e scelgo "a due vie" sotto il triangolo rosso, il clustering a due vie (per riga e per colonna) si verifica in pochi secondi. Tuttavia, non riesco a trovare l'opzione per trovare la "colonna più rappresentativa" all'interno di ciascun cluster, un'opzione se vai direttamente a "variabili cluster". Se aggiungo tutte le 35.000 colonne alle variabili cluster sul mio Mac con 64 GB di RAM, non si avvicinerà nemmeno completamente (forse il 5-10% dopo tre giorni!). La mia domanda è: è possibile estrarre i dati dall'output di Fast Ward dal clustering gerarchico che mi darebbe la colonna più rappresentativa? In realtà penso che potrebbe esserci (ad esempio, regredire i dati grezzi rispetto alla media del rispettivo cluster). In caso contrario, potrei aver bisogno di inserire una richiesta nella Wish List per aggiungere un algoritmo "veloce" alla piattaforma delle variabili del cluster!
Miscelazione e pulizia dei datiEsplorazione e visualizzazione dei datiMac OSRi: Clustering a due vie vs variabili clusterL'elenco dei desideri è sempre una buona idea. Ma fino ad allora ... Non sono sicuro che funzionerebbe ... un po 'klugey e non ho idea se la matematica alla base di ciò che sto suggerendo sia valida ... ma potresti inserire ogni cluster? Quindi esegui un PCA su ciascun cluster. E poi tra l'autovalore pareto, il punteggio e il grafico di caricamento puoi in qualche modo backdoor verso la colonna più rappresentativa? Ti piace sentire cosa pensano gli altri qui?
Ri: Clustering a due vie vs variabili clusterGrazie. Penso che tu stia facendo qualcosa, e vale la pena ricordare che sembra esserci una "interruzione" computazionale da qualche parte intorno alle 20-25.000 colonne. Con ciò intendo: con 25.000 analiti (più o meno), funzionerà in 24-36 ore (il che è accettabile per me), ma molto al di sopra di questo numero e si blocca. Quindi potrei probabilmente utilizzare il predittore o la schermata di risposta (o anche il visualizzatore di colonne) per eliminare i campioni con nessuna o poca variazione, portare le mie ~ 35.000 colonne a 20-25.000 e quindi eseguirlo con quegli analiti "variabili". Ma penso che anche solo l'uso di PCA con TUTTI gli analiti potrebbe darmi un'idea dell'effettiva ridondanza, specialmente così tante di queste proteine saranno correlate tra loro!
Ri: Clustering a due vie vs variabili clusterPenso @P_Bartell il suggerimento di è buono. L'approccio del clustering variabile utilizza PCA "dietro le quinte" e utilizza gli autovalori per aiutare a determinare la variabile più rappresentativa.
Il clustering a due vie non ha autovalori o altri criteri per aiutare a determinare il più rappresentativo. Quindi, l'utilizzo di PCA dopo il clustering a due vie sarebbe un modo per imitare ciò che sta accadendo con il clustering variabile.
Ri: Clustering a due vie vs variabili clusterGrande. Grazie ad entrambi. Lo proverò tra un po ', ma sembra che dovrebbe darmi esattamente ciò di cui ho bisogno.
