Comment effectuer une validation croisée k fois sur des modèles ML (par exemple, réseau neuronal et forêt aléatoire) et vérifier les performances du modèle sur des données de test fixes ?J'ai un ensemble de données de classification sur lequel je souhaite adapter un réseau neuronal et un modèle de forêt aléatoire. J'effectue la validation croisée k-fold pour sélectionner le meilleur modèle .
J'ai des données distinctes (données de test fixes) sur lesquelles je souhaite tester les performances du modèle. Comment puis-je transmettre ces données à JMP et obtenir un rapport de classification ?
Modélisation prédictive et apprentissage automatiqueRe : Comment effectuer une validation croisée k fois sur des modèles ML (par exemple, réseau neuronal et forêt aléatoire) et vérifier les performances du modèle sur des données de test fixes ?Salut @abhinavsharma91 ,
Afin d'utiliser la validation croisée K-folds sur plusieurs modèles de Machine Learning, vous pouvez utiliser la plateforme "Model Screening" (accessible dans "Analyze", "Predictive Modeling", "Model Screening"), et sélectionner les algorithmes que vous souhaitez essayer (dans votre exemple Réseaux de neurones et Forêt aléatoire), et le nombre de plis utilisés pour la validation croisée (exemple ici sur l'ensemble de données de jouets "Diamonds Data" avec une validation croisée à 5 volets) :
Pour vos données de test, plusieurs options s'offrent à vous :
- Si vos données sont divisées en deux ensembles de données (un pour la formation, un pour les tests), vous pouvez exécuter le modèle sur votre table de données de formation avec validation croisée, enregistrer les formules pour le modèle le plus performant, puis copier et coller la colonne de formule du modèle. sur votre table de données de test, afin qu'aucune fuite de données ne soit effectuée pour l'évaluation impartiale des performances du modèle sur les données de test.
- Vous pouvez également avoir toutes vos données sur la même table de données, mais "masquer et exclure" les lignes qui seront utilisées pour les tests ; de cette façon, les modèles n'utiliseront pas vos données de test pour la formation et la validation croisée, mais en enregistrant les formules, vous aurez toujours des prédictions pour vos lignes masquées et exclues (et sur la même table).
J'espère que cette réponse vous aidera,
