À une récente Construire de meilleurs modèles séminaire, quelqu'un m'a demandé: «Si vous avez un facteur qui a une relation courbe-réponse, pouvez-vous utiliser un modèle d'arbre de décision pour modéliser cette relation?» Pour montrer que cela est effectivement possible, j'ai créé un jeu de données simulé simple avec 200 lignes, basées sur le modèle
où une , b , c sont des constantes, et e est une variable aléatoire normalement distribuée. Un graphique des données, ainsi que du modèle de régression quadratique ajusté, est présenté à la figure 1.
Alors, à quoi ressemble un modèle d'arbre de décision lorsqu'il est adapté à ces données? Pour le savoir, j'ai utilisé le Cloison plate-forme (Analyser> Modélisation> Partition) pour s’adapter à un arbre de décision simple. La figure 2 présente une vue compacte du modèle d’arbre de décision.
En examinant un graphique du modèle ajusté (Figure 3), nous voyons que la forme générale du modèle quadratique est capturée par le modèle d'arbre de décision. À l'intérieur de la plage des données X (-100 <100), ce modèle établit des prévisions très similaires au modèle quadratique. En fait, les deux modèles ont les mêmes erreurs de prédiction moyennes et le R 2 pour les deux modèles est 0,98. C'est bien parce que les arbres de décision ne supposent rien sur la forme de la relation entre le Y et le X.
Il est important de savoir que le modèle d'arbre de décision utilisé ici était le modèle le plus grand / le plus complexe possible, la seule restriction imposant à chaque nœud terminal de l'arborescence de disposer d'au moins cinq points de données. Le bruit dans ces données est relativement faible comparé à la variabilité globale de ces données, ce qui explique pourquoi les modèles quadratique et de partition peuvent avoir un si bon ajustement.
Mais, si nous avons des données beaucoup plus bruyantes? Prenons un deuxième jeu de données simulé à partir du même modèle quadratique, mais dans lequel l’écart type de l’erreur aléatoire est 10 fois plus grand. Vous pouvez voir le modèle quadratique ajusté et le modèle d'arbre de décision complet superposés aux données de la figure 4.
Dans ce cas, l’arbre de décision n’a plus l’impression de bien saisir la nature quadratique des données. En effet, le modèle de partition est overfit. Une trop grande partie de l'erreur aléatoire présente dans les données est affectée au modèle, ce qui aboutit à un modèle trop complexe.
Pour créer un meilleur modèle d’arbre de décision qui capturera la nature essentielle des données sans sur-habillage, nous utiliserons une rétention aléatoire de 20% des données en tant qu’ensemble de validation permettant de choisir automatiquement la taille du modèle d’arbre de décision. Ceci est une fonctionnalité intégrée dans JMP Pro , la version d'analyse avancée de JMP. Le modèle résultant a été choisi en fonction de l'ensemble de validation et ne comporte que cinq nœuds terminaux. La superposition de ce modèle d'arbre de décision plus simple (Figure 5) montre que l'arbre de décision capture maintenant cette nature quadratique globale des données. La réponse à la question initiale reste donc "oui" et JMP Pro vous aide à le faire de manière rapide et automatique.
Eric Cai a écrit:
Salut Sam,
Merci pour ce post très clair et instructif. Pourriez-vous expliquer pourquoi vous avez utilisé la validation de maintien au lieu de la validation croisée? La validation de maintien n'est-elle pas sujette à des variations à partir de laquelle les données ont été conservées comme jeu de validation? La validation croisée peut surmonter cette variation et c’est la méthode de validation que j’utilise habituellement. Je serais ravi de connaître les avantages de la validation en attente.
Merci pour votre temps.
Eric
