Agrupación bidireccional frente a variables de agrupaciónRecibí un buen consejo de Scott Allen hace unas semanas sobre el uso de agrupamiento de variables para reducir la complejidad del conjunto de datos. Tengo una tabla de datos muy amplia: 16 filas y 35 000 o más columnas. Extrañamente, si uso "Fast Ward" en el agrupamiento jerárquico y elijo "bidireccional" debajo del triángulo rojo, el agrupamiento bidireccional (por fila y por columna) ocurre en segundos. Sin embargo, no puedo encontrar la opción para encontrar la "columna más representativa" dentro de cada grupo, una opción si va directamente a "variables de grupo". Si agrego las 35,000 columnas a las variables de clúster en mi Mac con 64 GB de RAM, ni siquiera se acercará por completo (¡tal vez 5-10% después de tres días!). Mi pregunta es: ¿es posible extraer datos de la salida de Fast Ward del agrupamiento jerárquico que me daría la columna más representativa? De hecho, creo que puede haber (por ejemplo, regresión de datos sin procesar contra la media del grupo respectivo). Si no es así, es posible que deba incluir una solicitud en la Lista de deseos para que se agregue un algoritmo "rápido" a la plataforma de variables de clúster.
Fusión y limpieza de datosExploración y visualización de datosMac OSRe: Agrupación bidireccional frente a variables de agrupaciónHacer una lista de deseos de algo como esto siempre es una buena idea. Pero hasta entonces... No estoy seguro de que esto funcione... algo confuso y no tengo ni idea de si las matemáticas detrás de lo que estoy sugiriendo son válidas... pero ¿podría subdividir cada grupo? Luego haga un PCA en cada clúster. Y luego, entre el valor propio de Pareto, la puntuación y el gráfico de carga, ¿puedes abrirte camino hacia la columna más representativa? ¿Te encanta escuchar lo que otros aquí piensan?
Re: Agrupación bidireccional frente a variables de agrupaciónGracias. Creo que está en lo cierto, y vale la pena mencionar que parece haber un "descanso" computacional en algún lugar alrededor de 20-25,000 columnas. Con eso quiero decir: con 25,000 analitos (más o menos), se ejecutará en 24-36 horas (lo cual es aceptable para mí), pero mucho más de este número y se cuelga. Así que probablemente podría usar el predictor o la pantalla de respuesta (o incluso el visor de columnas) para descartar muestras con poca o ninguna variación, reducir mis ~35 000 columnas a 20-25 000 y luego ejecutarlo con esos analitos "variables". Pero sí creo que incluso usar PCA con TODOS los analitos podría darme una idea de la redundancia efectiva, ¡especialmente porque muchas de estas proteínas se correlacionarán entre sí!
Re: Agrupación bidireccional frente a variables de agrupaciónCreo @P_Bartell La sugerencia de es buena. El enfoque de agrupamiento de variables utiliza PCA "detrás de escena" y utiliza los valores propios para ayudar a determinar la variable más representativa.
El agrupamiento bidireccional no tiene valores propios ni ningún otro criterio para ayudar a determinar el más representativo. Por lo tanto, usar PCA después del agrupamiento bidireccional sería una forma de imitar lo que sucede con el agrupamiento variable.
Re: Agrupación bidireccional frente a variables de agrupaciónExcelente. Gracias a los dos. Voy a probar esto aquí en un momento, pero parece que debería darme exactamente lo que necesito.
