Pourquoi mon arbre de décision comporte-t-il des attributs en double dans la même branche ?Bonjour à tous. Je me demande simplement si quelqu'un sait pourquoi l'arbre de décision sélectionne (dans le cas ci-dessous) la pression d'air de la buse > 42,09, puis semble se contredire dans le nœud suivant en sélectionnant et en divisant à nouveau la pression d'air de la buse ? Je crois comprendre qu'une fois qu'un attribut est divisé, il ne doit plus être pris en compte dans les branches suivantes. J'utilise une validation croisée 10 fois avec une retenue de 30 %. Je suppose que, comme j'ai des données continues et nominales, JMP utilise l'algorithme CART ?
Modélisation prédictive et apprentissage automatiqueRe : Pourquoi mon arbre de décision a-t-il des attributs en double dans la même branche ?@Dan_Obermiller Heureusement, je n'ai pas à donner de directives pratiques sur celui-ci, mais cela m'a fait réfléchir à ce que je ferais à l'avenir si je devais voir un tel «double fractionnement» séquentiel.
@ DiedrichSchmidt Je commence à comprendre maintenant : si la pression est entre 42 et 45, alors il y a une forte probabilité d'étranglement. Si la pression est supérieure à 45, alors 38% de probabilité d'un étranglement. Je me suis accroché au > 42 ET > 45, ce qui n'avait aucun sens dans le scénario du monde réel. Tout se résume à la façon dont vous lisez la répartition du même paramètre. Pas besoin d'utiliser ANN dans ce cas car je ne cherchais pas à créer un modèle - identifiez simplement les variables importantes, leurs points de partage respectifs et l'impact potentiel sur la variable de réponse (via une petite profondeur d'arbre et un surajustement minimal).
Merci à tous pour votre participation!Re : Pourquoi mon arbre de décision a-t-il des attributs en double dans la même branche ?Salut @kom ,
Pour la décision que certaines valeurs sont> = 42 et> = 45, a toujours un sens logique. Si la réponse Y est >=45, elle est toujours en même temps >=42 et remplit la répartition logique des décisions. Je pense que la question la plus pertinente est de savoir s'il est logique ou non qu'il y ait cette division supplémentaire. Si vous utilisez une retenue (partie de validation) ou une colonne de validation stratifiée sur votre sortie Y, vous devriez pouvoir diviser automatiquement l'arbre de décision, et cela devrait réduire l'arbre au nombre minimum de divisions nécessaires pour faire le R2 le plus élevé pour les données de validation. Cela étant dit, vous voulez toujours déterminer si ces divisions sont raisonnables pour les données compte tenu de la science avec laquelle vous travaillez.
Utilisez-vous l'arbre de décision pour trouver un modèle prédictif ? Si c'est le cas, vous voudrez peut-être le faire en utilisant d'autres plates-formes, comme NN, etc., pour voir quel modèle prédit réellement le meilleur en utilisant un ensemble de données de test.
Bonne chance!,
DS
Re : Pourquoi mon arbre de décision a-t-il des attributs en double dans la même branche ?Le prédicteur est une variable continue. S'il existe une relation linéaire avec la réponse, plusieurs fractionnements avec ce prédicteur peuvent être nécessaires pour obtenir une approximation de la relation.
Re : Pourquoi mon arbre de décision a-t-il des attributs en double dans la même branche ?Oh, et si c'était une relation quadratique ? Selon vous, à quoi ressembleraient les scissions d'arbres dans ce cas ?
Re : Pourquoi mon arbre de décision a-t-il des attributs en double dans la même branche ?Je pense que vous seul pouvez déterminer si la répartition de 42 à 45 a un sens pratique. Mais pour comprendre plusieurs fractionnements sur la même variable, supposons que vous ayez une situation où la relation entre Y et X est linéaire. Ainsi, par exemple, nous SAVONS que Y=10+20*X. Dans le monde réel, nous ne connaîtrions pas ce vrai modèle, donc si vous adaptez un arbre aux données avec cette relation, vous obtiendrez plusieurs divisions pour X. C'est la seule façon dont l'arbre peut essayer d'imiter une relation linéaire continue.
Re : Pourquoi mon arbre de décision a-t-il des attributs en double dans la même branche ?Salut Diedrich. Merci beaucoup d'avoir pris le temps de répondre. Tout d'abord, vous avez raison - dans ma vitesse d'écriture du courrier, j'ai mal écrit k-fold AND holdback. En fait, j'ai essayé les deux et j'ai obtenu des résultats quelque peu similaires.
L'arbre de décision suit la logique SI x ET y ALORS z pour classer les données. je comprends que je t fait la 1ère division à une pression d'air >=42, et je peux accepter que >=42 ET <45 a du sens maintenant (en fait, c'est la 1ère fois que je vois un arbre de décision spécifier le même attribut pour être entre 2 valeurs). Cela dit, être >=42 ET >=45 n'a aucun sens pratique. Tu es d'accord?
Kieran
Re : Pourquoi mon arbre de décision a-t-il des attributs en double dans la même branche ?Salut @kom ,
Je ne connais pas l'algorithme exact que JMP utilise lors de la division des arbres de décision, cependant, conceptuellement, il fonctionne comme prévu et ne se contredit pas. Si vous regardez les autres divisions de votre arbre de décision, vous pouvez voir que d'autres attributs sont également utilisés plusieurs fois. Ce qui n'est pas utilisé plusieurs fois est la même valeur.
Dans votre exemple, au nœud où la pression atmosphérique est >=42, JMP l'utilise simplement comme point de décision pour séparer les données. Au nœud suivant, JMP dit que pour toutes les instances où la pression atmosphérique est >=42, il fait une division supplémentaire où la pression atmosphérique est toujours >=42, mais est (>=42 et aussi <45) OU c'est ( >=42 et aussi >45).
Comment utilisez-vous à la fois la validation croisée 10 fois et une retenue de 30 %. En règle générale, vous n'utiliserez qu'un seul type de méthode de validation.
DS
