Estimation des caractéristiques les plus importantes de chaque cluster de k-moyennesSalut,
J'utilise le cluster kmeans pour regrouper les données. Je souhaite maintenant découvrir, pour chaque cluster de données, quelle fonctionnalité a un impact élevé. Je me demande si JMP pro K-mean fournit une estimation des caractéristiques les plus importantes de chaque cluster k-means ? Quelqu'un peut-il me suggérer comment le calculer s'il n'est pas disponible ? Je pensais que peut-être la distance pouvait être utilisée pour l'estimation. Mais quand même ?
Modélisation prédictive et apprentissage automatiqueles fenêtresRe : Estimation des caractéristiques les plus importantes de chaque cluster de k-moyennesSalut @dadawasozo ,
Je réfléchis à deux manières possibles d'expliquer le clustering réalisé avec K-means :
- Vous pouvez utiliser la formule de cluster comme réponse et essayer de modéliser cette réponse de cluster en fonction de vos entrées. Une plateforme flexible et efficace pour ce faire peut être Bootstrap Forest (JMP Pro) ou Predictor Screening (JMP). Vous pouvez ensuite comparer les contributions de vos facteurs au clustering.
- On peut aussi penser cela de manière "statistique" : plus un facteur a d'importance sur le clustering, plus les points sur cet axe factoriel sont séparés (il est plus facile de créer des clusters si l'on peut séparer/discriminer des points en fonction d'un ou d'un autre). plusieurs facteurs). Vous pouvez donc utiliser la plateforme "Fit Y by X", utiliser les clusters comme X et vos facteurs comme Y, et comparer les ratios F des différents ajustements à l'aide d'un test paramétrique (t-test, Welch, ...) .
En fonction de l'utilisation adéquate du test statistique et de la vérification des hypothèses (normalité, égalité des variances, indépendance, absence de valeurs aberrantes, ...), vous pourrez trouver un résultat similaire à celui de l'option 1.
Par exemple:
Sur le très célèbre et public jeu de données "Iris", j'ai effectué le regroupement K-means sur les facteurs longueur des sépales, largeur des sépales, longueur des pétales et largeur des pétales. Je suis capable de trouver trois groupes, qui correspondent étroitement aux trois espèces trouvées. Je sauvegarde la formule de cluster.
- Lorsque j'utilise la plateforme de filtrage Predictor, en saisissant la formule de cluster comme Y, la réponse et les facteurs comme X, je peux jeter un œil à la différence de contribution de mes facteurs sur le clustering :
- Lorsque j'utilise la plate-forme "Fit Y by X", en saisissant la formule de cluster sous la forme X et les facteurs sous la forme Y, je fais un test de Welch et crée une table de données combinée avec tous les ratios F. Avec un graphique montrant le rapport F en fonction des facteurs, j'arrive à trouver des résultats similaires :
Il existe une différence entre les deux plates-formes et un échange entre les deux principaux facteurs contribuant au regroupement, car la longueur et la largeur des pétales ont toutes deux deux distributions non normales. Par conséquent, le test de Welch ne serait pas l'option la plus appropriée ici, mais un test Steel-Dwass All Pair serait probablement meilleur.
Sur cet ensemble de données, le filtrage Predictor serait une option plus sûre car il est robuste contre les valeurs aberrantes et ne nécessite pas d'hypothèses sur la distribution des données (la plateforme utilise un modèle Random Forest).
J'ai joint le datatable Iris afin que vous puissiez consulter les différentes analyses et reproduire les tests que j'ai effectués.
Le dernier aspect à prendre en compte (même s'il sort du cadre de votre question) est de vous assurer que l'approche K-Means est adaptée à votre jeu de données car elle repose sur deux hypothèses :
- Les clusters sont sphériques (toutes les variables ont la même variance),
- Les grappes ont une taille similaire (nombre d'observations à peu près égal dans chaque grappe).
D'autres approches de clustering peuvent être plus flexibles si ces hypothèses ne sont pas remplies (mélanges gaussiens/normaux par exemple), ou plus "appropriées" selon votre contexte de clustering : clustering basé sur la densité de points, basé sur des distributions sous-jacentes supposées, sur des relations hiérarchiques entre les points. ,...
J'espère que cette réponse vous aidera,
Re : Estimation des caractéristiques les plus importantes de chaque cluster de k-moyennesSalut Victor,
est-il possible d'obtenir les fonctionnalités les plus importantes pour chaque cluster séparément ? K signifie aide à regrouper les données en quelques groupes. Je souhaite comprendre les fonctionnalités les plus marquantes de chaque cluster afin de comprendre ce qui en fait des clusters différents.
Re : Estimation des caractéristiques les plus importantes de chaque cluster de k-moyennesSalut @dadawasozo ,
Si je comprends mieux votre objectif, vous souhaiteriez mieux évaluer les disparités et différences entre clusters en fonction des valeurs des caractéristiques ?
Si oui, vous pouvez consulter les options "Parallel Coordonnées Plot", "Scatterplot Matrix" et les différents graphiques "Biplot" disponibles dans le triangle rouge à côté de "KMeans NCluster = (X)", comme ils le fournissent, avec les statistiques récapitulatives. "Cluster Means", visualisations intéressantes sur la manière dont les différents clusters diffèrent en fonction des valeurs moyennes des caractéristiques.
Exemple de tracé de coordonnées parallèles sur l'ensemble de données Iris (vous pouvez le reproduire avec le générateur de graphiques pour le personnaliser et ajouter des légendes de valeurs) :
Exemple de matrice de nuages de points sur l'ensemble de données Iris :
Exemple de biplot 2D (avec composants principaux) sur le jeu de données Iris :
J'espère avoir mieux compris votre objectif et que cette réponse pourra vous aider,
