Permet de sous-ensembleer les données en un ensemble servant à construire un modèle (apprentissage) et un ensemble servant à évaluer les performances prédictives du modèle (validation). Si plusieurs modèles sont ajustés, le plus performant sur les données de validation est souvent choisi. Parfois, un troisième ensemble est utilisé (test) pour évaluer les performances prédictives du modèle choisi sur de nouvelles données. Cette méthode est considérée comme plus précise pour évaluer les performances futures d'un modèle, car l'ensemble de test n'a été utilisé ni lors de la construction ni lors de la sélection. L'utilisation d'une colonne de validation est particulièrement utile pour construire des modèles ayant tendance à surajuster les données. Certaines plateformes de modélisation JMP permettent de spécifier la partie validation lors de l'ajustement du modèle ; la création d'une colonne de validation n'est donc pas nécessaire.
Création d'une colonne de validation (Train, Validate, Test) dans JMP Pro
- À partir d'une table de données JMP ouverte, sélectionnez Analyser > Modélisation prédictive > Créer une colonne de validation .
- Les colonnes de stratification, de regroupement et de point de coupure permettent d'adapter le partitionnement. Si vous souhaitez une colonne de validation simple, cliquez sur D'ACCORD .
- Dans la fenêtre qui s'affiche, saisissez les valeurs (nombres ou proportions) indiquant comment les données seront réparties entre les ensembles d'apprentissage, de validation et de test. Choisissez une valeur de départ aléatoire afin de reproduire la même affectation aléatoire si vous le souhaitez. Cliquez sur OK. Une nouvelle colonne est créée, renseignée avec les valeurs 0, 1 et 2 dans les proportions (ou nombres) spécifiées.
• 3 576 (60 %) des observations (ensemble d’entraînement) seront utilisées pour construire (entraîner) le modèle.
• 1 758 (30 %) des observations (ensemble de validation) seront utilisées pour valider et sélectionner le meilleur modèle.
• 596 (10 %) des observations (ensemble de test) seront utilisées pour tester les performances du modèle choisi sur de nouvelles données.
Création d'une colonne de validation dans JMP
- À partir d’une table de données JMP ouverte, sélectionnez Nouvelle colonne dans le menu Cols .
- Dans la fenêtre Nouvelle colonne qui apparaît, remplacez le nom de la colonne par Validation .
- À côté de Initialiser les données , cliquez sur la flèche et sélectionnez Aléatoire .
- Sélectionnez l'indicateur aléatoire . Saisissez les proportions souhaitées. Ici, nous avons choisi 50 % de 0 (entraînement), 30 % de 1 (validation) et 20 % de 2 (test).
- Pour afficher les étiquettes Train, Validate et Test plutôt que 0, 1 et 2, faites un clic droit sur la colonne et sélectionnez Propriétés de la colonne > Étiquettes de valeur . Saisissez la valeur et l' étiquette souhaitée, puis cliquez sur Ajouter une valeur à la fois.
- Cliquez sur « Appliquer » pour afficher la nouvelle colonne dans la table de données (afin de vérifier qu'elle sera créée comme souhaité). Cliquez ensuite sur « D'ACCORD » pour créer la colonne.
Visitez Modèles prédictifs et spécialisés > Créer une colonne de validation dans l'aide JMP pour en savoir plus.
