Salut,
un client a demandé pourquoi le CCC optimal spécifié dans le rapport de comparaison de cluster pour le cluster kmeans est parfois inférieur au CCC des autres clusters, ce qui est contradictoire avec la documentation.
Je pourrais reproduire ce comportement en utilisant l'ensemble de données nicardipine et le clustering kmeans comme joint (exécutez le script pour le clustering)
y a-t-il un autre critère impliqué dans la décision non mentionné dans la documentation ou pourquoi cela se produit-il?
Je pense qu'il peut y avoir plusieurs choses qui causent cette anomalie. Si l'un d'entre eux est à l'origine de cela, la documentation devrait le mentionner, donc je pense que plus de détails sont nécessaires dans la doc.
Mes pensées:
Les variables de nicardipine que vous avez utilisées sont vraiment catégoriques et non continues. Cela pourrait contribuer au problème. Le caractère discret des données conduit généralement le CCC à choisir trop de grappes.
Deux des variables sont des valeurs constantes. Même le doc dit qu'ils sont ignorés, donc je ne pense pas que ce soit le problème.
Chaque cluster à partir de 6 a un cluster avec une seule observation. C'est peut-être la raison pour laquelle ces clusters ne sont pas «optimaux» (mais je n'y crois vraiment pas non plus, mais c'est possible).
En regardant le CCC à travers les clusters, le CCC chute de façon spectaculaire et devient négatif. Les valeurs CCC négatives indiquent généralement des valeurs aberrantes. Puisqu'il y a 5 tailles de grappe dans une rangée avec un CCC inférieur, je crois que tout ce qui a un CCC supérieur au modèle à 3 grappes indiquerait un sur-ajustement. JMP pourrait-il appliquer une logique similaire?
Si vous exécutez KMeans avec des clusters de 4 à 12, au lieu de 3, vous obtenez les résultats que vous attendez, donc c'est peut-être un bug ??
Par souci d'exhaustivité, le document JMP fait référence à un document technique SAS, j'ai inclus la conclusion de ce document par souci d'exhaustivité. Le document complet est ici: https://support.sas.com/kb/22/addl/fusion_22540_1_a108_5903.pdf
Certainement une situation intéressante. J'adorerais entendre la vraie raison de choisir 3!
Merci @Dan_Obermiller . Je vérifierai avec mon client les valeurs aberrantes, les # valeurs dans les clusters et le type de colonnes utilisées. Cela pourrait nous éclairer.
Mais j'espère que quelqu'un pourrait connaître la raison sous-jacente (bug, attendu, type de données, ...).
Donc, j'ai maintenant plus d'informations sur les données du client:
613 observations, 39 variables [sur la base de la documentation SAS, on pourrait être en mesure d'examiner environ 60 grappes]
- Les variables sont-elles catégoriques / binaires?
6 variables ont environ 85% -90% valeur 0.
8 variables ont seulement 20-25 valeurs différentes.
- Qu'en est-il des valeurs aberrantes (CCC négatif)?
Une vérification grossière à l'aide de l'ACP et de l'analyse des valeurs aberrantes n'a supprimé que les valeurs extrêmes les plus extrêmes. Utilisé pour vérifier les clusters de toute façon après en utilisant des tracés de coordonnées parallèles, en déclarer peu comme du bruit, peu assemblés. Un CCC optimal n'est donc qu'une ligne directrice et nécessite un examen plus approfondi des grappes. cependant, il est difficile de comprendre qu'Optimal CCCC est sélectionné sur un cluster antérieur n'ayant pas la valeur la plus élevée. Dans mon cas, seuls les groupes N = 2 et N = 3 sont négatifs, N = 4 est optimal bien que N = 7 et encore plus N soit une valeur plus élevée.
- Y a-t-il des clusters avec des valeurs uniques impliqués?
Oui Non:
Méthode NCluster N Rows CCC Best
K signifie groupe 2. -11.181
K signifie groupe 3. -25 497
K signifie groupe 4. 4,46481 Optimal CCC
K signifie groupe 5. 0,87854
K signifie groupe 6. 7,58562
K signifie groupe 7. 4,0766 à un cluster avec 1 observation
K signifie groupe 8. 25,9692
K signifie groupe 9. 16,4746
K signifie groupe 10. 23,1449 à un Cluster avec 0 observation (y, 0…)
K signifie groupe 11. 24,0572
K signifie groupe 12. 26,9875
K signifie groupe 13. 27,7786 à un Cluster avec 0 observation (y, 0…)
K signifie groupe 14. 29,0657 à un cluster avec 0 observation (y, 0…)
K signifie groupe 15. 18 975 à un cluster avec 0 observation (y, 0…)
A partir de NCluster = 3 il y a au moins un cluster avec environ 10 observations
- Que diriez-vous d'utiliser seulement 5-15 clusters?
Oui, alors le CCC optimal s'affiche correctement!
!!! De plus, si je décoche «Utiliser les écarts std intra-cluster» et utilise 2-15 clusters, le résultat affiché est comme prévu.
Méthode NCluster CCC Best
K Means Cluster 2 -8,3209
K Means Cluster 3 -14,199
K Means Cluster 4 9,28967
K signifie groupe 5 5 42936
K Means Cluster 6 24,6335
K Means Cluster 7 30,4458
K Means Cluster 8 23,5854
K signifie groupe 9 36 858
Groupe K signifie 10 356172
K Means Cluster 11 36 5099
K Means Cluster 12 38,4017
K Means Cluster 13 48,2059
K Means Cluster 14 44,3545
K Means Cluster 15 49,7344 Optimal CCC
==> Il semble donc qu'il existe une sorte de normalisation en cours au sein des clusters qui se traduit par différents CCC optimaux que de ne pas utiliser cette option. Si tel est le cas, l'affichage doit être corrigé car le CCC semble avoir alors des valeurs différentes pour l'option non cochée et cochée, cela doit être mentionné quelque part dans le rapport ainsi bien sûr dans la documentation.
Toute idée des développeurs / testeurs / écrivains peut être utile. Je peux bien sûr aussi mettre cela à travers le support technique, si c'est quelque chose qui devrait être changé dans JMP.
Merci,
Martin
