Accès aux métriques hors pli pour la validation croisée à K plisExiste-t-il un moyen d'accéder aux métriques hors du pli lors de l'utilisation de la validation croisée K-Fold avec des méthodes comme les réseaux de neurones et les SVM ? À ma connaissance, JMP ne fournit que les métriques du pli le plus performant, ce qui est très peu utile.
Modélisation statistique avancéeModélisation prédictive et apprentissage automatiqueRe: Accès aux métriques hors pli pour la validation croisée à K plisBonjour @CentroidError56 ,
Oui, veuillez utiliser la plateforme Sélection de modèles en cochant les modèles que vous souhaitez tester afin d'accéder aux résultats des plis de validation dans le rapport.
Mesures d'ajustement pour la formation, la validation et les tests
À partir des options de la plateforme de sélection de modèles, vous pouvez enregistrer un tableau de résultats KFolds .
J'espère que cette solution vous aidera.
Re: Accès aux métriques hors pli pour la validation croisée à K plisSalut Victor,
Merci pour votre réponse. Il me semble que cela ne fonctionne qu'avec les paramètres par défaut de chaque méthode. J'ai des configurations issues de l'optimisation de modèles que j'aimerais comparer à l'aide de données de repliement. Cela ne semble pas possible à moins d'exécuter chaque repliement manuellement, ce qui serait très long. Ai-je mal compris quelque chose ?
Re: Accès aux métriques hors pli pour la validation croisée à K plisBonjour @CentroidError56 ,
Vous avez raison, cette option ne fonctionnera qu'avec les paramètres d'hyperparamètres par défaut.
Voici comment je procéderais avec des configurations d'hyperparamètres spécifiques à tester sur les mêmes plis :
- Créez une colonne de validation croisée K-folds à l'aide de la plateforme « Créer une colonne de validation » . Spécifiez les colonnes de stratification (les X) et la cible (Y). Vous pouvez ensuite définir le nombre de plis et initialiser la génération aléatoire.
- Lancez la plateforme de modélisation de votre choix avec cette colonne K-folds dans le rôle de validation.
Dans cet exemple, j'ai utilisé le jeu de données JMP Diabetes et la plateforme SVM. J'ai mis en œuvre une stratégie d'optimisation pour trouver trois configurations d'hyperparamètres appropriées (modèles 2, 3 et 20) :
-
J'appuie ensuite sur CTRL et je clique sur l'option « Publier la formule de prédiction » (accessible via le triangle rouge à côté de chaque modèle). Une nouvelle fenêtre « Dépôt de formules » s'ouvre, affichant la formule des trois modèles présentés précédemment.
-
Dans le triangle rouge à côté de Formula Depot, je clique sur l'option Comparaison de modèles et je sélectionne mes trois modèles :
JMP remarque que ma colonne de validation à 5 plis est utilisée pour tous les modèles et me demande s'il peut l'utiliser comme colonne de regroupement. Je clique donc sur « oui » pour obtenir les résultats des modèles individuels pour chaque pli.
- J'ai maintenant accès aux mesures de performance individuelles pour chacun des trois modèles :
Cette méthode devrait fonctionner quelle que soit la plateforme de modélisation utilisée, car elle utilise uniquement la formule de prédiction des modèles ; vous pouvez donc combiner différents types de modèles.
J'espère que cette réponse résoudra votre problème.
Re: Accès aux métriques hors pli pour la validation croisée à K plisSalut Victor,
Ça marche ! Merci beaucoup !
