Lorsqu'on vous présente un grand nombre de variables pour prédire un résultat, vous pouvez réduire le nombre de variables de manière à rendre le problème de prédiction plus facile à résoudre. Une technique possible de réduction des dimensions est la méthode bien connue de analyse en composantes principales (PCA). Les variables résultant de la PCA peuvent toutefois être difficiles à interpréter. Une stratégie alternative consiste à utiliser clustering variable , une méthode disponible en JMP Pro .
Créé par SAS / STAT Directeur du développement Warren Sarle pour le Procédure VARCLUS , le regroupement de variables réduit le nombre de variables en regroupant des variables similaires. Cela vous permet d'utiliser le résultat composants du cluster , le premier composant principal des variables de chaque cluster, en tant que nouvelles variables. Ces nouvelles variables partagent une similitude en ce sens qu’elles ne sont composées que de variables au sein de chaque cluster. Pour améliorer encore l'interprétation tout en réduisant la colinéarité, vous pouvez également utiliser uniquement la variable la plus représentative de chaque cluster à la place de chaque composant du cluster.
Comment fonctionne le clustering variable
L'algorithme de regroupement de variables est un algorithme itératif qui commence par toutes les variables d'un cluster, puis divise et attribue de manière itérative des variables à de nouveaux clusters jusqu'à ce qu'il ne soit plus possible de créer de nouveaux groupes ou affectations. Plus spécifiquement, les grappes sont divisées de manière itérative en grappes plus petites en fonction des principales composantes des grappes. À chaque itération de l'algorithme, le groupe avec la deuxième plus grande valeur propre est choisi pour être divisé en deux nouveaux groupes. Les membres de la grappe en cours de fractionnement sont affectés aux nouvelles grappes en fonction de leur corrélation avec les deux premières composantes principales pivotées orthobliquement de la grappe en cours de scission. Une fois divisées, toutes les autres variables sont examinées et réaffectées à un cluster différent s'il s'avère que sa corrélation est supérieure à celle d'un cluster différent. La classification variable prend fin lorsque la seconde valeur propre de toutes les grappes est inférieure à un.
Exemple: Prédire la qualité du vin
Pour démontrer le groupement variable, prédisons la qualité du vin en utilisant le ensemble de données sur la qualité du vin fourni à la Référentiel UCI Machine Learning . Séparé par les vins rouges et blancs, cet ensemble de données comprend les 11 variables suivantes décrivant le contenu de chaque vin: acidité fixe, acidité volatile, acide citrique, sucre résiduel, chlorures, anhydride sulfureux libre, anhydride sulfureux total, densité, pH, sulfates et de l'alcool.
Pour réduire la dimension de ces variables avec le clustering de variables, nous lançons d’abord le Composants principaux plate-forme dans le menu Analyser. Ensuite, nous sélectionnons les variables comme Y, colonnes et cliquez sur OK.
Cela lance la plate-forme Composants principaux pour les données de qualité du vin. À partir de là, sélectionnez l’option Variables du cluster dans le menu triangle rouge Principaux composants. Vous devriez voir le résumé de la grappe de clustering variable. Comme le montre ce résumé, les 11 variables ont été résumées par quatre grappes, chaque grappe ayant respectivement 4, 3, 2 et 2 membres. le Variable la plus représentative La colonne affiche la variable qui représente le mieux chaque grappe de variables. La proportion de variation expliquée dans chaque groupe est indiquée dans la colonne. Proportion de variation expliquée alors que la proportion globale de variation expliquée, 0,558, est indiquée au bas du résumé.
Nous pouvons demander une table des membres du cluster à l'aide du menu triangle rouge Variable Clustering. Ces membres de la grappe donnent un aperçu de la similarité entre les variables. Par exemple, ce tableau montre que les quatre membres du groupe 1 sont similaires: acidité fixe, chlorures, densité et sulfates.
Le RSquare entre chaque variable et le cluster dont il est membre est répertorié dans la colonne RSquare avec Own Cluster . le RSquare avec Next plus proche column est le RSquare entre chaque variable et le cluster le plus similaire suivant. le Ratio 1-carré column est une mesure de la proximité relative entre le cluster dont une variable est membre et le cluster le plus similaire suivant. Par exemple, le rapport 1-RSQuare pour une acidité fixe est calculé avec (1-0.527) / (1-0.106) = 0.473 / 0.894 = 0.529. Ceci illustre comment cette quantité mesure la proximité relative. Une valeur de 1-RSquare Ratio supérieure à 1 signifierait que le prochain cluster le plus proche est en réalité plus similaire que le cluster dont la variable est actuellement membre, de sorte que tous les ratios 1-RSquare devraient être inférieurs à 1.
Comparaison de la réduction de la qualité du vin
Pour comparer la manière dont ces différentes techniques de réduction prédisent la qualité du vin, nous ajustons une régression linéaire en utilisant trois ensembles différents de variables prédictives:
- Les quatre premières composantes principales (PC).
- Les quatre composants du cluster (CC).
- Les quatre variables les plus représentatives de chaque cluster (MRV).
Ces modèles sont adaptés à un ensemble de données de formation des deux tiers, et nous utilisons le Comparaison de modèles plate-forme pour comparer les modèles.
L'échantillon d'apprentissage RSQuare et l'exemple de validation RSquare racontent une histoire similaire: le modèle avec les composants principaux surclasse légèrement le modèle avec les composants de cluster, tandis que le modèle utilisant les variables les plus représentatives surpasse les deux. C'est une solution idéale, car nous avons non seulement trouvé un modèle plus parcimonieux, mais également un modèle offrant une interprétation plus facile des résultats.
Envisagez d’ajouter du clustering variable à partir de JMP Pro dans votre boîte à outils de réduction variable aujourd'hui!
Références
P. Cortez, A. Cerdeira, F. Almeida, T. Matos et J. Reis. Modélisation des préférences viticoles par extraction de données à partir de propriétés physicochimiques. Dans Decision Support Systems, Elsevier, 47 (4): 547-553, 2009.
La fonction de regroupement de variables a été très utile pour mon travail.
Pouvez-vous me dire comment le nombre final de grappes est contrôlé - quels critères sont utilisés pour prendre cette décision, c'est-à-dire la valeur propre?
Pour JMP 14, envisagez-vous d’inclure une option permettant de choisir le nombre de clusters?
En outre, il serait bon d’avoir un dendrogramme ou une sorte de visuel pour montrer la relation
Lene
Ryan Parker a écrit:
Bonjour Jose, ce n’est actuellement pas une option de JMP 11 Pro. Nous prévoyons d’ajouter ce futur dans une future version de JMP Pro!
Ryan
Jose Guerrero a écrit:
Bonjour,
Avons-nous une option pour choisir le nombre de clusters comme dans VARCLUS pour JMP 11 pro PC
Merci
