L'industrie manufacturière d'aujourd'hui est hautement compétitive et les entreprises doivent constamment rechercher des moyens innovants pour améliorer leur efficacité, réduire leurs coûts et maintenir la qualité de leurs produits. Dans cet environnement dynamique et complexe, les outils d’analyse statistique sont devenus un outil puissant dans l’industrie, et l’un des outils les plus utilisés est celui des arbres de décision. Les arbres de décision sont de puissants modèles statistiques qui peuvent aider l'industrie manufacturière à résoudre divers problèmes, de l'analyse des défauts des produits à l'optimisation de l'efficacité de la production, en passant par la gestion de la chaîne d'approvisionnement et le contrôle qualité. Dans cet article, nous explorerons ce qu'est un arbre de décision, ses scénarios d'application et ses techniques d'utilisation pour faire face à l'évolution des besoins du marché.
Qu'est-ce qu'un arbre de décision ?
L'arbre de décision est une méthode d'apprentissage automatique qui sélectionne à chaque fois une fonctionnalité selon une certaine règle et utilise une certaine valeur de la fonctionnalité comme seuil pour diviser récursivement l'échantillon d'apprentissage en plusieurs sous-arbres et les diviser récursivement selon les mêmes règles. Enfin, on obtient un classificateur arborescent qui peut être utilisé pour la classification décisionnelle. Ses principaux algorithmes sont : ID3, C4.5, CART, etc. L'arbre de décision est une méthode de classification couramment utilisée qui nécessite un apprentissage supervisé. L'apprentissage supervisé consiste à donner un ensemble d'échantillons, chaque échantillon a des variables correspondantes et des résultats de classification en partant du principe que les résultats de la classification sont connus, grâce à l'apprentissage. Cet ensemble d'échantillons obtient un. arbre de décision, qui peut prédire et classer de nouveaux échantillons. Ensuite, nous utilisons un cas simple pour aider chacun à comprendre la pensée analytique des arbres de décision.
Partage de cas d'arbre de décision
Étant donné l'ensemble de données suivant, qui contient 20 échantillons, nous espérons prédire « si vous devez sortir pour regarder un film » à l'aide de la figure suivante (1) « si c'est aujourd'hui le week-end » et « quelle est votre humeur aujourd'hui ».
Figure 1)
Utilisez ensuite cet ensemble d'échantillons avec les résultats de classification pour la formation. Pour simplifier le processus, nous supposons que l'arbre de décision est un arbre binaire et est similaire à la figure suivante (2) :
Figure II)
Grâce à l'étude d'échantillons de données, nous pouvons constater que chaque nœud variable possède un indicateur de jugement spécifique, tel que les week-ends, les non-week-ends, la bonne humeur, l'humeur moyenne et la mauvaise humeur. Nous l'appelons « seuil ». S'il s'agit d'un nœud variable numérique, le seuil est généralement une valeur spécifique. Par exemple, si le résultat est jugé si l'âge est supérieur à 30 ans, 30 est appelé seuil.
La génération d'un arbre de décision est généralement divisée en deux étapes, qui sont réalisées par l'apprentissage des résultats de classification d'échantillons connus :
- D'une manière générale, lorsque le nœud d'une variable ne peut pas donner un jugement sur le résultat, le nœud sera divisé en deux, ou s'il ne s'agit pas d'un arbre binaire, il sera divisé en plusieurs jusqu'à ce qu'il ne puisse plus être divisé. Par exemple, dans cet exemple de données, « si aujourd'hui c'est le week-end » ne peut pas déterminer directement s'il faut regarder un film ou non, puis ajouter un nouveau nœud variable « comment est votre humeur », puis le diviser jusqu'à ce qu'il ne puisse pas être divisé ;
- Le choix d’un seuil approprié peut minimiser le taux de classification erronée.
Algorithmes d'arbre de décision couramment utilisés
Comme introduit précédemment, les algorithmes d'arbre de décision couramment utilisés incluent ID3, C4.5 et CART (Classification And Regression Tree). Parmi eux, l'effet de classification CART est meilleur que les autres algorithmes, et c'est également la méthode utilisée par JMP. Ensuite, nous les présenterons respectivement :
ID3algorithme
Le gain d'informations est utilisé pour évaluer les conditions de fractionnement. Plus le gain pour un groupe d'échantillons de données est important, meilleur est l'effet de classification. Le processus de gain d'informations est en fait un processus de réduction de l'entropie. L'entropie définit le degré de chaos de l'information. Le processus de modélisation ID3 est également un processus de transformation de l'information du chaos à la simplicité.
Dans le cas ci-dessus, deux variables sont mentionnées, s'il s'agit du week-end et quelle est l'ambiance. Voyons quel est l'effet de classification de chaque nœud variable :
- « Aujourd'hui, c'est le week-end » pour déterminer la décision de « regarder un film » : 11 des échantillons ont été déterminés comme étant le week-end, mais 10 échantillons ont finalement décidé de regarder un film, et un a été mal classé ;
- « De bonne humeur » pour juger la décision de « regarder un film » : 6 échantillons étaient définitivement de bonne humeur, et 6 échantillons ont finalement décidé de regarder un film, avec 0 erreur de classification ;
- « D'humeur normale » pour juger de la décision de « regarder un film » : 6 des échantillons ont été déterminés comme étant d'humeur normale, mais à la fin 4 échantillons ont décidé de regarder un film et 2 ont été mal classés.
Enfin, il a été constaté que « de bonne humeur » détermine « regarder un film » avec le taux d'erreur de classification le plus faible, ce qui signifie que le gain d'informations est le plus important. Par conséquent, lorsque ID3 construit un arbre de décision, il donnera la priorité au fractionnement de la variable. "comment vous sentez-vous aujourd'hui".
C4.5algorithme
En observant l'algorithme ID3 ci-dessus, vous constaterez que plus le nombre de niveaux est élevé, plus le taux d'erreur de classification lors de la division des nœuds variables est faible et plus l'entropie sera petite. Si « ID » est utilisé comme variable de division, la pureté des sous-ensembles peut être atteinte au maximum (car chaque sous-ensemble n'a qu'un seul échantillon à ce moment) et le gain d'informations est le plus important. Mais évidemment, de telles variables divisées n’ont aucun sens pour la prédiction, également appelée surajustement.
Par conséquent, afin d'éviter le « piège » d'un trop grand nombre de catégories divisées, l'algorithme C4.5 utilise le taux de gain d'informations pour évaluer les conditions de division. Le dénominateur du taux de gain d'informations augmentera à mesure que le nombre de niveaux de division augmente, ce qui entraîne. dans le taux de gain d’information. S'il est divisé selon l'algorithme C4.5, bien que « comment vous sentez-vous aujourd'hui » comme variable de fractionnement puisse obtenir un sous-ensemble plus simple, il comporte trois niveaux de « bonne humeur, moyenne et mauvaise humeur », ce qui entraîne son taux de gain d'informations. étant inversée, elle est inférieure à la variable "si aujourd'hui est un week-end", donc C4.5 donne la priorité à "si aujourd'hui est un week-end" comme variable de partage. L’algorithme spécifique du taux de gain d’informations ne sera pas décrit en détail dans cet article.
CHARIOTalgorithme
L'algorithme CART est très similaire à l'algorithme C4.5 dans les idées, mais est légèrement différent dans les scénarios de mise en œuvre et d'application spécifiques : l'algorithme CART peut non seulement gérer des réponses cibles catégorielles, mais également des réponses cibles continues. C'est la raison pour laquelle il est appelé classification. et arbre de régression ; l'algorithme ID3 ne peut traiter que les réponses de classification, c'est-à-dire qu'il ne peut construire que des arbres de classification.
CART peut être un arbre de régression. Idéalement, la classification devrait s'arrêter lorsqu'il n'y a qu'une seule catégorie dans chaque nœud enfant. Cependant, de nombreuses données ne sont pas faciles à diviser complètement, ou une division complète nécessite de nombreuses divisions, ce qui entraînera inévitablement un long temps d'exécution, afin que CART puisse classer. chaque nœud enfant. Les données de l'analyse sont son écart type moyen. Lorsque l'écart type est inférieur à une certaine valeur, le fractionnement peut être terminé, réduisant ainsi le coût de calcul.
L'algorithme CART utilise l'indice de Gini (arbre de classification) et l'écart type (arbre de régression) comme mesure de pureté tandis que l'algorithme ID3 utilise l'entropie de l'information comme mesure de pureté ; Il existe également des similitudes entre les deux. Plus les catégories incluses dans la population sont confuses, plus l’indice de Gini est élevé. L'algorithme CART ne peut construire que des arbres binaires, tandis que les algorithmes ID3 et C4.5 peuvent construire des arbres multiples (Remarque : seule la construction d'arbres binaires ne signifie pas que la variable de réponse ne peut sélectionner que des variables à deux niveaux. L'algorithme CART adoptera le principe de fusion de plusieurs niveaux produisant ainsi un arbre binaire).
CART a quelques petits problèmes de segmentation, c'est-à-dire un surajustement. Afin de résoudre ce problème, les arbres particulièrement longs sont élagués et coupés directement. Bien entendu, certaines méthodes de validation croisée peuvent également être utilisées pour aider à créer des arbres de décision afin d'éviter les problèmes de surajustement.
utiliserJMPconduireCHARIOTConstruction de maquettes
À l'aide de la modélisation-segmentation-analyse-prédictive JMP (c'est-à-dire l'arbre de décision), vous pouvez rapidement créer un modèle CART et former un arbre. Dans JMP, G² (rapport de vraisemblance chi carré, similaire à l'indice de Gini) est utilisé pour les arbres de classification. Plus le G² est petit, plus la pureté est élevée et meilleur est l'effet de classification. Comme le montre la figure (3) ci-dessous :
La figure (3) montre comment placer les variables de réponse et les facteurs dans la boîte de dialogue Plateforme de segmentation.
L'arbre de classification CART de la figure (4) ci-dessus montre que pour la décision de « regarder ou non un film », « si aujourd'hui c'est le week-end » est la variable la plus importante, et c'est aussi la variable qui fait baisser G² le plus rapidement. . Divisez ensuite la branche "Aujourd'hui, c'est le week-end" et vous pouvez obtenir une sous-branche avec un G² de 0 (c'est le week-end et vous êtes de bonne humeur, c'est-à-dire décidé à 100% de regarder un film), en obtenant le but d’être indissociables, et l’arbre de classification est construit. C'est le processus de création d'un arbre de décision avec JMP. J'espère qu'il sera utile à tout le monde.
>> Vidéo explicative : Utiliser JMP pour dessiner un arbre de décision
>> En savoir plus : Modélisation prédictive et apprentissage automatique avec JMP
>> Téléchargez JMP : Essayez le logiciel pendant 30 jours
