Clustering bidirectionnel vs variables de clusterJ'ai reçu un bon conseil de Scott Allen il y a quelques semaines pour l'utilisation du clustering variable afin de réduire la complexité des ensembles de données. J'ai une table de données très large : 16 lignes et 35 000 colonnes ou plus. Étrangement, si j'utilise "Fast Ward" sous le clustering hiérarchique et que je choisis "bidirectionnel" sous le triangle rouge, le clustering bidirectionnel (par ligne et par colonne) se produit en quelques secondes. Cependant, je ne trouve pas l'option permettant de trouver la "colonne la plus représentative" dans chaque cluster, une option si vous accédez directement aux "variables de cluster". Si j'ajoute les 35 000 colonnes aux variables de cluster sur mon Mac avec 64 Go de RAM, cela ne s'approchera même pas complètement (peut-être 5 à 10 % après trois jours !). Ma question est la suivante : est-il possible d'extraire des données de la sortie Fast Ward à partir d'un clustering hiérarchique qui me donnerait la colonne la plus représentative ? Je pense en fait qu'il peut y en avoir (par exemple, régresser les données brutes par rapport à la moyenne du cluster respectif). Sinon, je devrai peut-être mettre dans une liste de souhaits une demande pour qu'un algorithme "rapide" soit ajouté à la plate-forme de variables de cluster !
Fusion et nettoyage des donnéesExploration et visualisation des donnéesmacOSRe : clustering bidirectionnel vs variables de clusterListe de souhaits quelque chose comme ça est toujours une bonne idée. Mais jusque-là... Je ne suis pas sûr que cela fonctionnerait... un peu klugey et je n'ai aucune idée si les mathématiques derrière ce que je suggère sont valides... mais pourriez-vous sous-ensembler chaque cluster ? Effectuez ensuite une PCA sur chaque cluster. Et ensuite, entre la valeur propre de Pareto, le score et le graphique de chargement, vous pouvez en quelque sorte vous frayer un chemin vers la colonne la plus représentative ? Vous aimez entendre ce que les autres pensent ici ?
Re : clustering bidirectionnel vs variables de clusterMerci. Je pense que vous êtes sur quelque chose, et il convient de mentionner qu'il semble y avoir une "pause" de calcul quelque part autour de 20 à 25 000 colonnes. J'entends par là : avec 25 000 analytes (plus ou moins), il fonctionnera en 24-36 heures (ce qui est acceptable pour moi), mais bien au-delà de ce nombre et ça pend. Je pourrais donc probablement utiliser le prédicteur ou l'écran de réponse (ou même la visionneuse de colonnes) pour éliminer les échantillons sans ou avec peu de variation, ramener mes ~ 35 000 colonnes à 20-25 000, puis l'exécuter avec ces analytes "variables". Mais je pense que même le simple fait d'utiliser PCA avec TOUS les analytes pourrait me donner une idée de la redondance efficace, d'autant plus que bon nombre de ces protéines seront corrélées les unes aux autres !
Re : clustering bidirectionnel vs variables de clusterJe pense @P_Bartell La suggestion de est bonne. L'approche de regroupement des variables utilise l'ACP "dans les coulisses" et utilise les valeurs propres pour aider à déterminer la variable la plus représentative.
Le regroupement bidirectionnel n'a pas de valeurs propres ou d'autres critères pour aider à déterminer le plus représentatif. Ainsi, l'utilisation de PCA après le clustering bidirectionnel serait un moyen d'imiter ce qui se passe avec le clustering variable.
Re : clustering bidirectionnel vs variables de clusterSuper. Merci à vous deux. Je vais essayer cela ici dans un instant, mais il semble que cela devrait me donner exactement ce dont j'ai besoin.
