Hola,
un cliente preguntó por qué el CCC óptimo especificado en el informe de comparación de conglomerados para la agrupación de kmeans a veces es más bajo que el CCC de otros conglomerados, lo cual es contradictorio con la documentación.
Podría reproducir este comportamiento usando el conjunto de datos de nicardipina y kmeans clustering como adjunto (ejecute el script para clustering)
¿Hay otro criterio involucrado en la decisión que no se menciona en la documentación o por qué sucede esto?
Creo que puede haber varias cosas que causan esta anomalía. Si uno de estos lo está causando, la documentación debería mencionarlo, por lo que creo que se necesitan más detalles en el documento.
Mis pensamientos:
Las variables de nicardipina que usó son realmente categóricas, no continuas. Eso podría estar contribuyendo al problema. La discreción de los datos generalmente lleva a que el CCC elija demasiados grupos.
Dos de las variables son valores constantes. Incluso el doctor dice que son ignorados, así que no creo que ese sea el problema.
Cada grupo de 6 en adelante tiene un grupo con una sola observación. Esa puede ser la razón por la cual esos grupos no son "óptimos" (pero tampoco creo esto, pero es posible).
Mirando el CCC a través de los grupos, el CCC cae dramáticamente y se vuelve negativo. Los valores negativos de CCC generalmente indican valores atípicos. Debido a que hay 5 tamaños de grupo en una fila con un CCC más bajo, creo que cualquier cosa con un CCC más alto que el modelo de 3 grupos indicaría un sobreajuste. ¿Podría JMP estar aplicando una lógica similar?
Si ejecuta KMeans con clústeres de 4 a 12, en lugar de 3, obtiene los resultados que espera, ¿entonces quizás esto sea un error?
Para completar, el documento JMP hace referencia a un documento técnico SAS, he incluido la conclusión de ese documento para completar. El documento completo está aquí: https://support.sas.com/kb/22/addl/fusion_22540_1_a108_5903.pdf
Sin duda una situación interesante. ¡Me encantaría escuchar la verdadera razón por la que se eligió a 3!
Entonces, ahora tengo más información sobre los datos del cliente:
613 observaciones, 39 variables [basadas en la documentación de SAS, uno podría ver aproximadamente 60 grupos]
- ¿Son las variables categóricas / binarias?
6 variables tienen aproximadamente 85% -90% valor 0.
8 variables tienen solo 20-25 valores diferentes.
- ¿Qué hay de los valores atípicos (CCC negativo)?
Comprobación aproximada utilizando PCA y análisis de valores atípicos, eliminó solo los valores atípicos más extremos. Se usa para verificar grupos de todos modos después, usando gráficos de coordenadas paralelas, declara pocos como ruido, pocos juntos. Por lo tanto, un CCC óptimo es solo una guía y necesita una mayor mirada a los grupos. sin embargo, es difícil de entender que Optimal CCCC se seleccione en un clúster anterior sin el valor más alto. En mi caso, solo los grupos N = 2 y N = 3 son negativos, N = 4 es óptimo, aunque N = 7 e incluso N más alto es un valor más alto.
- ¿Hay grupos con valores únicos involucrados?
Sí No:
Método NCluster N Filas CCC Mejor
K Significa Cluster 2. -11,181
K Significa Cluster 3. -25,497
K Significa Cluster 4. 4,46481 CCC óptimo
K Significa Cluster 5. 0,87854
K Significa Cluster 6. 7,58562
K Significa Cluster 7. 4,0766 à un racimo con 1 observación
K Significa grupo 8. 25,9692
K Significa Cluster 9. 16,4746
K Significa Cluster 10. 23,1449 à one Cluster con 0 observación (y, 0 ...)
K Significa Cluster 11. 24,0572
K Significa grupo 12. 26,9875
K Significa grupo 13. 27,7786 à un Clúster con 0 observaciones (y, 0 ...)
K Significa racimo 14. 29,0657 à un Clúster con 0 observaciones (y, 0 ...)
K Significa Clúster 15. 18,975 à un Clúster con 0 observaciones (y, 0 ...)
A partir de NCluster = 3 hay al menos un grupo con aproximadamente 10 observaciones
- ¿Qué tal usar solo 5-15 grupos?
Sí, entonces el Optimal CCC se muestra correctamente.
!!! Además, si desmarco "usar desviaciones estándar dentro del clúster" y uso 2-15 clústeres, el resultado mostrado es el esperado.
Método NCluster CCC Best
K Significa Cluster 2 -8,3209
K Significa Cluster 3 -14,199
K Significa Cluster 4 9,28967
K Significa Cluster 5 5,42936
K Significa Cluster 6 24,6335
K Significa Cluster 7 30,4458
K Significa grupo 8 23,5854
K Significa Cluster 9 36,858
K Significa Cluster 10 35,6172
K Significa Cluster 11 36,5099
K Significa Cluster 12 38,4017
K Significa Cluster 13 48,2059
K Significa Cluster 14 44,3545
K Significa Cluster 15 49,7344 Optimal CCC
==> Por lo tanto, parece que hay un tipo de estandarización en curso dentro de los clústeres que dan como resultado un CCC óptimo diferente de no usar esta opción. Si ese es el caso, entonces la pantalla debe corregirse ya que el CCC parece tener diferentes valores para la opción no marcada y marcada, esto también debe mencionarse en algún lugar del informe, por supuesto, en la documentación.
Cualquier idea de los desarrolladores / probadores / escritores podría ser de valor. Por supuesto, también puedo poner eso a través del soporte técnico, si esto es algo que debería cambiarse en JMP.
Gracias,
Martín
