En mi publicación anterior del blog de JMP , hablé sobre dos algoritmos utilizados para la agrupación: k-medias y mezclas normales (usando la maximización de expectativas). Aquí, miro un ejemplo de agrupación jerárquica. 
Mientras que k-means generalmente proporciona asignaciones de conglomerados estrictas (cada punto de datos pertenece a un solo conglomerado), las mezclas normales ofrecen asignaciones de conglomerados suaves o probabilísticas. En la agrupación de mezclas normales, cada punto de datos, ya sea una persona o un cultivo celular, pertenece acadaagruparse con cierta probabilidad. De manera similar, la agrupación jerárquica nos permite ver los puntos como pertenecientes amúltipleracimos. Pero en el clustering jerárquico, los clusters son –tal vez obviamente– de naturaleza jerárquica.
Cuándo utilizar la agrupación jerárquica
La agrupación jerárquica es más útil cuando hay una estructura jerárquica en los datos. Los datos jerárquicos tienen grupos que a su vez están formados por subgrupos que a su vez están formados por subgrupos... y así sucesivamente para siempre. Por ejemplo, cuando miramos la sangre, podemos tener glóbulos rojos, glóbulos blancos, plasma y plaquetas. 
Dentro de los glóbulos blancos, puedes tener neutrófilos, basófilos, linfocitos… y muchos otros. 
Dentro de los linfocitos, puede haber células T, células B y células asesinas naturales. 
Dentro de las células T, puede haber células T auxiliares, células T de memoria, células T supresoras o células T asesinas. Podría seguir, pero este es un blog de estadísticas, no de inmunología. 
Si bien suele ser útil observar grupos muy específicos de células, hay muchas situaciones en las que necesitamos generalizar y observar un grupo de nivel superior, como cuando los médicos analizan un recuento de glóbulos blancos a partir de un análisis de sangre. 
Al agrupar a los clientes según sus hábitos de compra, es posible que a veces tenga fondos suficientes para crear 50 correos electrónicos de marketing diferentes para atender los hábitos específicos de los compradores. Pero otras veces, es posible que solo tengas un presupuesto para crear cinco. La agrupación en clústeres jerárquica le permite seleccionar cualquier número de clústeres y, al mismo tiempo, proporciona clústeres que sean lo más cohesivos posible.
TL;DR: utilice la agrupación jerárquica cuando crea que sus datos podrían tener una estructura jerárquica. Realmente puede ser así de simple.
Agrupación jerárquica aglomerativa
JMP utiliza jerárquicoAglomerativoAgrupación (HAC para abreviar), que modela relaciones jerárquicas en los datos fusionando sucesivamente grupos similares hasta que todos los datos estén en un solo grupo. Al principio, cada punto de datos es su propio grupo singleton. Pero eso es terriblemente solitario, por lo que luego fusionamos los dos grupos más cercanos para formar un nuevo grupo. Luego fusionamos elpróximodos grupos más cercanos juntos, y luego lo hacemos de nuevo. Y otra vez. Y otra vez. Hasta que todos los datos estén en un grupo. A menudo nos referimos a HAC como agrupación ascendente porque comenzamos desde abajo y ahora estamos aquí, con un grupo que contiene todos nuestros puntos de datos. Se podría decir que todo el equipo está aquí. 
Métricas de distancia
Decidir qué grupos están cerca unos de otros no siempre es sencillo; Hay muchos criterios de vinculación que podemos utilizar para determinar qué tan separados están dos grupos.
SolteroEl vínculo define la distancia entre dos grupos (A y 
como lamínimo distancia entre cualquier punto de A y cualquier punto de B. 
PromedioEl vínculo define la distancia entre los grupos (A y como lapromediodistancia entre puntos en A y puntos en B. 
CompletoEl vínculo define la distancia entre los grupos (A y como lamáximodistancia entre cualquier punto de A y cualquier punto de B.
ElcentroideEl método define la distancia entre grupos (A y como la distancia entre sus respectivos vectores medios (centroides). 
PabellónEl método es ligeramente diferente de los métodos anteriores. En lugar de utilizar una medida pura de distancia, se ajusta un ANOVA univariado utilizando asignaciones de conglomerados como grupos. Se combinan dos grupos (A y si dan como resultado elpequeñísimoaumento en las sumas de errores de los cuadrados cuando se ejecuta otro ANOVA con A y B combinados en un grupo. De nuestro artículo ANOVA , sabemos que el error es eldentrovariación del grupo. Así, el método de Ward pregunta qué dos grupos podemos combinar y seguir teniendo niveles bajos.dentrovariación del grupo (es decir, qué dos grupos son los más similares). 
Cómo leer un dendograma
Una vez que hayamos determinado la estructura jerárquica de nuestros datos, podemos examinar los diferentes grupos en cualquier nivel. A menudo queremos hacer observaciones sobre la estructura. La forma más sencilla de hacerlo es mirando un dendograma.
Los dendrogramas muestran cómo se combinaron los grupos. En JMP , el eje Y representa puntos/grupos de datos y el eje X representa la distancia. Por ejemplo, si dos grupos se unen más abajo en el dendrograma (a la izquierda), entonces son más similares que otros dos grupos que se unen más arriba en el dendrograma (más a la derecha). 
Los dendrogramas que son densos en la parte inferior (izquierda) suelen tener grupos que son más separables, mientras que los dendrogramas que no son densos en la parte inferior (izquierda) tienden a tener grupos menos separables y más dispersos.
La agrupación en clusters es más un arte que una ciencia, por lo que la interpretación de sus clusters probablemente requiera experiencia en el dominio para producir algo significativo. Usando su dendrograma, puede crear cualquier cantidad de grupos de 1 a N (donde N es la cantidad de puntos de datos que tiene). "Cortar" el dendrograma en cualquier nivel le indicará la membresía de cada grupo. 
En JMP
Echemos un vistazo a un conjunto de datos que registra los gramos promedio de proteínas, grasas y carbohidratos de 150 personas. Hay muchas razones por las que podríamos querer agrupar estas dietas diferentes. Quizás queramos observar si diferentes dietas tienen diferentes tasas de enfermedad cardíaca. O tal vez queramos observar los niveles de colesterol o hierro de cada grupo.
En JMP, realizar agrupaciones jerárquicas es bastante sencillo. solo ve aAnalizar > Agrupación > Clúster jerárquicoy seleccione las columnas en las que desea agrupar. Si cada punto de datos tiene un nombre o etiqueta, selecciónelo y agréguelo comoEtiqueta. También puede seleccionar sus criterios de vinculación aquí. Hacer clicDE ACUERDOy JMP creará sus clústeres y un dendrograma por usted. 
Una vez dentro de la plataforma Jerárquica, puede colorear su dendrograma por grupos, lo que puede ayudarle a seleccionar diferentes patrones en los grupos. 
También puede obtener asignaciones de conglomerados estrictos para cualquier número de conglomerados del 1 al N (donde N es el tamaño de su muestra). Simplemente vaya al menú del triángulo rojo y seleccioneNúmero de gruposy escriba el número deseado. También puede arrastrar el pequeño diamante negro en el dendrograma para seleccionar varios grupos. Luego regrese al menú del triángulo rojo y seleccioneGuardar grupos. Cuando selecciona ak (número de grupos), JMP "cortará" el dendrograma en el lugar donde hay exactamente k grupos.
También puede arrastrar el diamante al costado del trazado hasta el punto del dendrograma en el que desea cortar. 
Guardar nuestros grupos como una columna nos permite visualizarlos mejor y utilizar la asignación de grupos como una variable de grupo en análisis posteriores (como un ANOVA para ver si la pertenencia a un grupo tiene un efecto significativo en las tasas de enfermedad cardíaca).
Al observar solo dos grupos, podemos ver que hay un grupo relativamente alto en proteínas, bajo en carbohidratos y bajos en grasas, y un grupo relativamente bajo en proteínas, alto en grasas y carbohidratos. 
También podríamos considerar la solución de tres grupos, que nos permite separar el grupo alto en proteínas, bajo en carbohidratos y bajo en grasas en un grupo extremo y más moderado. La estructura jerárquica nos ayuda a comprender cómo se relacionan estos grupos y, al mismo tiempo, nos permite tratarlos por separado cuando sea necesario. 
JMP le recomendará ak según el gráfico de distancia que se muestra debajo del dendrograma. El eje x del gráfico representa cada vez que se fusionan dos grupos. El eje y representa la distancia entre los dos últimos grupos que se unieron. Cuando la pendiente cambia dramáticamente, eso significa que los dos últimos grupos fusionados estaban relativamente separados. Esto sugiere que los clústeres restantes están relativamente separados y que la configuración actual es una buena opción para k.
El dendrograma de este conjunto de datos es más denso en la parte inferior (izquierda), lo que significa que probablemente haya algunos grupos separables, lo cual podemos confirmar al observar los gráficos de arriba.
Intentalo
La agrupación jerárquica (y la agrupación en general) no es una panacea para todos los problemas de los datos sin etiquetar. Pero es extremadamente bueno para modelar la estructura jerárquica de los datos que realmentetieneuna estructura jerárquica. Nos brinda información que va más allá de la agrupación no jerárquica porque nos dice cómo se relacionan los diferentes grupos entre sí. Esta información puede ser invaluable si necesitamos combinar o dividir grupos. La agrupación jerárquica le brinda cierta flexibilidad en la forma de agrupar sus datos y, al final, todos debemos ser un poco más flexibles. Pruébelo usted mismo con la tabla de datos adjunta a esta publicación.
Hola Chelsea,
Gracias por este artículo. es muy claro y explicativo.
Tengo una pregunta sobre la agrupación y me preguntaba si podrían ayudarme.
Estoy probando la agrupación jerárquica (y K-medias) con un conjunto de datos relativamente pequeño (17 filas y +/- 90 columnas).
Cuando hago la agrupación utilizando todas las columnas, algunas de las filas quedan excluidas de la agrupación. Por lo tanto, puedo tener grupos 1-2-3, etc. dependiendo del número de grupos elegido, pero el número de filas (observaciones) en esos grupos es menor que 17 (es decir, a algunas filas no se les asigna ningún grupo).
¿Hay alguna razón por la que esto debería suceder?
Cualquier ayuda es bienvenida.
¡Gracias!
asier
