Dans le fichier JMP ci-joint, j'ai construit trois modèles de régression distincts pour chaque variable de réponse : poids, rayon de braquage et puissance avec trois colonnes de validation distinctes (ensemble d'entraînement = 70 %, ensemble de validation = 15 %, ensemble d'entraînement = 15 %).
Est-il nécessaire de créer une colonne de validation pour chaque variable de réponse pour créer des modèles de régression ou une colonne de validation avec une seule variable de réponse est-elle suffisante ?
Salut @madhu ,
Bonne année 2025 !
Il n’y a pas de bonne ou de mauvaise solution à votre question.
Étant donné que vous construisez un modèle prédictif de manière Machine Learning (alias piloté par les données) pour différentes réponses, voici l'utilisation des différents ensembles :
- Kit d'entraînement :Utilisé pour la formation proprement dite du ou des modèles,
- Ensemble de validation :Utilisé pour l'optimisation du modèle (réglage fin des hyperparamètres, sélection de caractéristiques/seuils, ... par exemple) et la sélection du modèle,
- Ensemble de test : Utilisé pour la généralisation et l'évaluation des performances prédictives du modèle sélectionné sur des données nouvelles/inédites. À ce stade, vous ne devriez pas avoir plusieurs modèles en concurrence.
Je considérerais plus utile pour « déboguer » l’utilisation d’une colonne de validation pour les trois réponses, afin de comprendre quelle quantité d’informations peut être extraite des données et de fournir une meilleure évaluation/comparaison de la difficulté de la tâche prédictive en fonction de la réponse, en utilisant les mêmes données de formation et de validation.
Si vous modifiez la répartition des observations dans vos ensembles d'entraînement, de validation et de test avec des colonnes de validation différentes, il peut être plus difficile de comprendre pourquoi une certaine réponse n'est pas prédite correctement/précisément : est-ce à cause de la stratification/répartition des points utilisés pour ajuster le modèle ? Ou est-ce parce que la prédiction de cette réponse est plus difficile à réaliser ?
Par ailleurs, même si vous utilisez une seule colonne de validation, je vous recommande de créer une formule de colonne de validation stratifiée : la stratification des caractéristiques permet de garantir que les distributions de vos ensembles d'entraînement, de validation et de test sont similaires, évitant ainsi tout décalage de distribution des données entre les ensembles qui pourrait compromettre la généralisation de l'apprentissage/ajustement du modèle de votre algorithme. L'utilisation d'un type de colonne de validation de formule vous permet de créer des simulations et d'évaluer la robustesse de votre algorithme avec différentes répartitions similaires de vos données.
Voir Résolu : Comment puis-je automatiser et résumer de nombreuses validations répétées dans une seule table de sortie ? - Communauté d'utilisateurs JMP
et résolu : Boosted Tree - Tuning TABLE DESIGN - Communauté d'utilisateurs JMP
Vous pouvez également utiliser une colonne de validation croisée K-Fold avec une graine aléatoire fixe (pour garantir la reproductibilité des résultats du modèle) pour évaluer la robustesse et les performances prédictives de votre algorithme sur les différentes réponses.
J'espère que cette réponse vous aidera,
Bonjour @Victor_G
Merci pour vos commentaires sur ma question. Ils sont tout à fait pertinents. Cordialement
