JMP Pro est un excellent outil pour construire rapidement plusieurs modèles avec vos données en utilisant diverses techniques, notamment des méthodes arborescentes (forêt Boostrap, options de l'arbre boosté dans la plate-forme Partition), des réseaux de neurones et une régression pénalisée (en utilisant Régression généralisée personnalité dans Fit Model).
Lors de la création de modèles prédictifs, vous avez besoin de moyens valables pour valider votre modèle, ou vous pouvez facilement avoir des problèmes de surajustement. De nombreuses plates-formes de modélisation dans JMP Pro prennent en charge une colonne de validation. La colonne de validation permet de fractionner vos données en parties d’entraînement et de validation. Entraînement les données sont utilisées pour construire le modèle, et validation les données sont utilisées pour ajuster le modèle. Parfois, une troisième division - tester - est utilisé pour simuler de nouvelles données entrées afin que vous puissiez voir comment le modèle fonctionne avec des données précédemment non vues par le modèle.
Supposons que vous souhaitiez utiliser 70% de vos données pour créer le modèle et en économiser 30% pour valider ou ajuster le modèle. Vous pensez peut-être qu’il est préférable de sélectionner un échantillon aléatoire de toutes vos lignes - mais cela peut facilement poser problème si vous devez gérer beaucoup de valeurs aberrantes ou un événement rare. Un échantillon aléatoire simple pourrait facilement placer tous les points de données importants (tels que les événements rares) dans l'ensemble d'apprentissage ou de validation. Cela crée des conditions de modélisation non optimales et peut vous amener à créer des modèles qui ne sont pas très utiles.
La plate-forme Neural de JMP Pro peut vous aider à créer automatiquement une colonne de validation impartiale et équilibrée en seulement quelques étapes. J'utilise l'ensemble de données Boston Housing, qui se trouve dans les exemples de données dans JMP (Aide> Exemples de données). Pour ces données, je veux prédire une maison mvalue basé sur un certain nombre de prédicteurs possibles. La distribution ci-dessous montre que la réponse a un certain nombre de mvalues que nous voulons nous assurer sont également répartis dans nos ensembles de formation et de validation.
Dans le lancement du modèle neuronal, je peux spécifier une proportion de retenue pour la méthode de validation. Parce que je veux un partage 70/30, je vais mettre .3 dans le champ. La plate-forme Neural triera automatiquement la réponse de la valeur la plus basse à la valeur la plus élevée, puis assignera de manière aléatoire l'enregistrement à l'ensemble de formation ou de validation en fonction de la proportion souhaitée.
Le modèle actuel de Neural ne m'intéresse pas particulièrement, je peux donc accepter les valeurs par défaut et cliquer: Go. Ensuite, dans le menu du triangle rouge, je vais sélectionner l’option «Enregistrer la validation».
Cela créera automatiquement une nouvelle colonne de validation dans ma table de données, chaque ligne étant étiquetée «Formation» ou «Validation».
Si nous adaptons à nouveau une distribution à la réponse avec validation en tant que Par , vous pouvez voir que les propriétés des ensembles d’apprentissage et de validation sont très proches. La plate-forme Neural a très bien divisé les données de manière intelligente - de manière automatique.
Je suis maintenant prêt à créer mes modèles, sachant que je dispose d'un système de fractionnement des données solide qui me permettra de construire le modèle le plus informatif et le plus utile avec mes données. Grâce à Chris Gotwalt , le développeur de la plate-forme Neural, pour m'avoir montré cette capacité puissante. C’est certainement le moyen le plus rapide et le plus fiable de créer une colonne de validation dans JMP Pro que j’ai trouvée jusqu’à présent.
Daniel Valente a écrit:
Merci Scott, content que tu aies aimé! Vous avez raison, vous ne pouvez produire qu'un ensemble de formation et de validation avec cette méthode. L'ensemble de test est disponible uniquement lors de l'utilisation d'une colonne de validation (lors du lancement de la plate-forme).
Scott Wise a écrit:
Super blog Dan! Pouvons-nous également effectuer une division Test, Entraînement et Validation avec cette méthode ... ou uniquement une division Test et Entraînement? Je pense connaître la réponse (non), mais je voulais vérifier!
