L'exploration de données recherche des modèles et des relations dans (parfois de grands volumes) de données. De nombreuses méthodes, telles que la partition récursive et les réseaux de neurones, sont extrêmement sensibles à l'échantillon de données en cours d'exploitation. Comment savoir si vous créez un modèle qui serait utile pour prédire les résultats futurs?
Nous voulons un modèle reproductible. Autrement dit, si vous l'utilisiez dans des données futures, vous auriez le même succès pour prédire le résultat. Les Data Miners séparent leurs données en trois sous-ensembles différents pour assurer la précision du modèle. Ce sont des données de formation, des données de validation et des données de test. Il n'y a pas de règle définie quant à la proportion de données dans chaque ensemble de données, mais une bonne règle empirique est 40/40/20.
Créons deux nouvelles variables. La première variable attribue des valeurs à partir d'une distribution uniforme aléatoire, qui attribue de manière aléatoire une valeur comprise entre 0 et 1 inclus. Ensuite, créez une nouvelle variable appelée «Sous-jeu» à l’aide de l’éditeur de formule qui regroupe nos données dans les trois sous-ensembles. Si la valeur est inférieure à 0,40, ces données seront utilisées pour l’entraînement. Les données entre 0,40 et 0,80 sont utilisées pour valider. Des données supérieures à 0,80 sont utilisées pour tester. Voir l'éditeur de formules ci-dessous. Restez à l’écoute pour trouver un moyen plus facile de le faire dans la prochaine version de JMP .
Les données de formation sont utilisées pour construire votre modèle. Lorsque vous avez l'impression d'avoir modélisé le modèle et non le bruit, exécutez le modèle sur votre jeu de données de validation. Les résultats, surtout si les ensembles de données sont volumineux, devraient être similaires. Si les résultats sont différents, le modèle que vous avez créé surpasse les données (c.-à-d. Modélisé le bruit). Il y aura des va-et-vient dans ce processus. Une fois que les résultats de formation et de validation sont similaires, vous avez trouvé un bon modèle que vous vous attendriez à pouvoir répéter. Ce modèle est mis à tester avec l'ensemble de données de test. Les trois modèles devraient avoir un ajustement similaire; sinon, vous n'avez pas découvert le modèle sous-jacent dans les données.
Entraînez votre modèle à l'aide des données d'apprentissage en masquant et en excluant les données de validation et de test à l'aide du filtre de données dans JMP. Relancez votre modèle à l'aide de la validation, puis testez les jeux de données en basculant entre les données de validation et les données de test à l'aide du filtre de données.
L'utilisation de la méthode train-validation-test est particulièrement importante lorsque vous comparez des modèles de différentes méthodes. Si, par exemple, vous trouvez que les modèles sont reproductibles pour les réseaux neuronaux, mais pas pour le partitionnement récursif, vous aurez découvert le modèle et la meilleure méthode pour prédire le résultat à l'avenir.
Note de l'éditeur: Cet article a été posté par un autre blogueur.
Créer rapidement de meilleurs modèles prédictifs avec JMP a écrit:
[...] à son retour, ce blog présentait un excellent article sur le concept de formation, de validation et de test pour construire vos modèles. Construire un modèle non seulement descriptif, mais aussi prédictif, [...]
Michael Joner a écrit:
Dans la capture d'écran de l'éditeur de formules, il existe en réalité deux appels "Random Uniform ()". Cela aboutit à obtenir 40% dans le train, puis à effectuer une répartition 40/60 sur les 60% restants (hors train) des données. Ainsi, vous obtenez un fractionnement 40/24/36 avec ce code. Vous pouvez le voir directement en créant la colonne de formule comme décrit, puis en exécutant la plateforme de distribution sur cette colonne de formule. Il existe quelques solutions à ce problème. Une façon consiste à créer deux colonnes: une colonne de nombres Random Uniform () et la deuxième colonne à classer.
