Utilisez cette méthode pour diviser les données en deux ensembles : un ensemble d'entraînement (pour construire le modèle) et un ensemble de validation (pour évaluer ses performances prédictives). Si plusieurs modèles sont ajustés, celui qui obtient les meilleurs résultats sur les données de validation est généralement retenu. Parfois, un troisième ensemble (test) est utilisé pour évaluer les performances prédictives du modèle choisi sur de nouvelles données. Cette méthode est considérée comme plus précise pour évaluer les performances futures du modèle, car l'ensemble de test n'a été utilisé ni pour sa construction ni pour sa sélection. L'utilisation d'une colonne de validation est particulièrement utile pour les modèles ayant tendance au surapprentissage. Certaines plateformes de modélisation comme JMP offrent la possibilité de spécifier la partie validation lors de l'ajustement du modèle ; la création d'une colonne de validation n'est donc pas nécessaire.
Création d'une colonne de validation (Entraînement, Validation, Test) dans JMP Pro
- À partir d'une table de données JMP ouverte, sélectionnez Analyser > Modélisation prédictive > Créer une colonne de validation .
- Les colonnes Stratification, Groupement et Seuil permettent de personnaliser le partitionnement. Si vous souhaitez une simple colonne de validation, cliquez sur D'ACCORD .
- Dans la fenêtre qui s'affiche, saisissez les valeurs (effectifs ou proportions) indiquant la répartition des données entre les ensembles d'entraînement, de validation et de test. Choisissez une valeur initiale aléatoire pour reproduire la même répartition aléatoire si vous le souhaitez. Cliquez sur OK. Une nouvelle colonne est créée, contenant les valeurs 0, 1 et 2 selon les proportions (ou les effectifs) spécifiées.
• 3 576 (60 %) des observations (ensemble d'entraînement) seront utilisées pour construire (entraîner) le modèle.
• 1 758 (30 %) des observations (ensemble de validation) seront utilisées pour valider et sélectionner le meilleur modèle.
• 596 (10%) des observations (ensemble de test) seront utilisées pour tester les performances du modèle choisi sur de nouvelles données.
Création d'une colonne de validation dans JMP
- Dans un tableau de données JMP ouvert, sélectionnez Nouvelle colonne dans le menu Colonnes .
- Dans la fenêtre Nouvelle colonne qui s'affiche, remplacez le nom de la colonne par Validation .
- À côté de Initialiser les données , cliquez sur la flèche et sélectionnez Aléatoire .
- Sélectionnez « Indicateur aléatoire » . Saisissez les proportions souhaitées. Ici, nous avons choisi 50 % de 0 (entraînement), 30 % de 1 (validation) et 20 % de 2 (test).
- Pour afficher les étiquettes Train, Validate et Test au lieu de 0, 1 et 2, cliquez avec le bouton droit sur la colonne et sélectionnez Propriétés de la colonne > Étiquettes de valeur . Saisissez la valeur et l' étiquette souhaitée, puis cliquez sur Ajouter une valeur à la fois.
- Cliquez sur Appliquer pour visualiser la nouvelle colonne dans le tableau de données (afin de vérifier que la colonne sera bien créée). Cliquez ensuite sur D'ACCORD pour créer la colonne.
Pour en savoir plus, consultez la section Modèles prédictifs et spécialisés > Créer une colonne de validation dans l'aide de JMP .
