Agrupación jerárquica: JMP & R no están de acuerdoCuando agrupo exactamente el mismo conjunto de datos en JMP y en R, usando el método de Ward, obtengo resultados que no son idénticos.R proporciona dos opciones (ward.D y ward.D2), donde el último eleva al cuadrado los valores en la matriz de distancia antes de agruparlos.De acuerdo a Murtagh y Legendre (2014) , eso es lo que hace JMP también. Pero incluso cuando especifico method="ward.D2" en R, el resultado que obtengo no es trivialmente diferente: aproximadamente el 15 % de las observaciones no coinciden con lo que obtengo de JMP.
Entonces, Pregunta 1: ¿Me equivoco al esperar que el mismo método produzca los mismos resultados en HCA?No esperaría eso en el agrupamiento k-means (sin establecer una semilla, al menos), pero para HCA los resultados son totalmente estables *dentro* de un paquete determinado, por lo que supuse que también deberían ser los mismos *entre* paquetes.
Pregunta 2: Si *deberían* ser iguales... ¿por qué no lo son?
- Posibilidad A: hay una diferencia en cómo se calcula la matriz de distancia
- Posibilidad B: hay una diferencia en cómo se implementa el método de Ward
- Posibilidad C: la función cutree() en R hace algo diferente a la función "Seleccionar número de clústeres" en JMP
- Posibilidad X... ???
He subido el dendrograma de R (¡disculpas si eso es mala etiqueta de la red!); puede ver el problema del que estoy hablando al observar de cerca las etiquetas a lo largo del eje x.Todas esas etiquetas terminan en un dígito del 1 al 5, que representa el número del grupo al que fueron asignadas en JMP.Como puede ver, el grupo verde ("3") fue el único en el que hubo una coincidencia perfecta de 1:1 entre JMP y R.
Agradecido por cualquier orientación, -Matt
AnalíticaRe: Agrupación jerárquica: JMP & R no están de acuerdoMmm... Acabo de hacer una comparación en tres conjuntos de datos diferentes en JMP y R (sin usar "estandarizar datos" o "escala()") y encontré que las clasificaciones coinciden exactamente en cada uno cuando se usa la misma cantidad de grupos.Los únicos métodos que especifiqué en R fueron usar 'euclidean' para la función "dist" y 'ward.D2' para la función "hclust". ¿Está especificando algo más en sus flujos de trabajo R y/o JMP? ¿Qué tan desordenados son sus datos (faltantes... valores atípicos...)?Solo ofrezco algo de comida para el pensamiento...
Re: Agrupación jerárquica: JMP & R no están de acuerdoBuen pensamiento, pero no creo que ese sea el problema: dado que el conjunto de datos con el que estoy trabajando involucra variables que están todas en la misma escala, siempre anulo la selección de "Estandarizar datos" en JMP. Y para estandarizar los datos en R, uno tiene que usar la función scale(), que nunca hago. Por lo que puedo determinar, ambos paquetes deberían operar con datos no estandarizados.Re: Agrupación jerárquica: JMP & R no están de acuerdoGracias por transmitir eso; me hizo darme cuenta de que valdría la pena exportar la matriz de distancia de JMP y comparar esos valores con la matriz de distancia que obtengo en R.Esa será una forma de reducir el origen de la discrepancia.
Re: Agrupación jerárquica: JMP & R no están de acuerdoGracias por la sugerencia; es bueno saber que enviar el código al equipo técnico es una opción si no puedo resolver esto de otra manera.
Para responder a su otra pregunta, sí: los resultados de HCA dentro de cada paquete son completamente estables.
Re: Agrupación jerárquica: JMP & R no están de acuerdo¿Es posible que los datos estén estandarizados en un paquete y no en el otro? El valor predeterminado en JMP es "Estandarizar datos".
Re: Agrupación jerárquica: JMP & R no están de acuerdoEste hilo también podría ayudar con la matriz de distancia:
https://community.jmp.com/t5/Discussions/what-distance-does-JMP-use-in-clustering/mp/275384#M53438
Re: Agrupación jerárquica: JMP & R no están de acuerdoHola matthal_resear,
Comparar diferentes paquetes siempre es un tema candente. Como no puedo echar un vistazo a los códigos fuente en JMP, no puedo verificar si hay una diferencia en alguno de los cálculos que mencionaste en el punto 2 entre JMP y R. Ambos se refieren a Murtagh & Legendre (2014), sin embargo, esto no significa que el algoritmo se implemente de manera completamente similar. Especialmente antes y después del núcleo del algoritmo pueden existir diferencias. También en subrutinas potenciales. Entonces, nuevamente, como no hay forma de verificar el código completo, no podrá responder esta pregunta. puede intentar enviar su pregunta al soporte técnico de JMP, proporcionando información detallada sobre el R-Package que está utilizando, así como la rutina concreta. A veces hay más de una función R disponible. Entonces podrían tener la oportunidad de buscar diferencias, sin decir que encontrarán algo.
Sólo otro pensamiento. ¿Los resultados dentro de los paquetes son estables para HCA? ¿O son ligeramente diferentes? Esta es también una información importante. Por último, echaría un vistazo al gráfico de la constelación para identificar las diferencias allí también.
solo mis 2 centavos
