On attend une validation croiséeBonjour, je souhaite effectuer une validation croisée pour la forêt aléatoire, mais je ne sais pas si JMP pro propose cette option ou non. Si c'est le cas, où puis-je le trouver ?
Modélisation prédictive et apprentissage automatiqueRe : On attend une validation croiséeAah, merci @Victor_G pour m'avoir expliqué cela, je vois maintenant que les paramètres par défaut utilisés pour la forêt d'amorçage à l'intérieur de la plate-forme de sélection de modèles ne sont pas appropriés pour cette table, ce qui entraîne des résultats manquants.
Re : On attend une validation croiséeSalut @ih ,
Oui, pas de problème pour le message en lui-même (car il n'arrête pas l'analyse), mais selon la table de données que vous utilisez, vous pourriez avoir des espaces vides partout au lieu des résultats attendus (voir capture d'écran "Error_RandomForest_Model-screening_LOOcrossval" réalisée sur le ensemble de données sur les prix de l’immobilier avec validation croisée sans intervention).
Comme je l'ai mentionné précédemment, j'ai le même problème lors de l'utilisation de la plateforme Bootstrap Forest "normale" avec une colonne de formule de validation (avec une seule observation en validation pour effectuer une validation croisée sans intervention) et l'option "Early Stopping" cochée, donc cela pourrait être le même problème avec la plate-forme Model Screening, où l'option "Early Stopping" est probablement cochée par défaut.
Vous pouvez consulter le tableau des prix des logements ci-joint, avec plusieurs scripts pour illustrer les problèmes évoqués :
- "Model Screening Random Forest of Price" : Pour illustrer le problème de la plateforme "Model Screening" sans résultat affiché,
- "Bootstrap Forest of Price (with Early Stopping)" : Pour illustrer le problème d'erreur similaire avec la plateforme "Bootstrap Forest" lorsque "Early Stopping" est coché,
- "Bootstrap Forest of Price (sans Early Stopping)" : Pour illustrer la solution présentée dans ma réponse et réalisée par Chris Gotwalt dans son exemple,
- « Formation Rsquare Leave-One-Out » et « Contribution aux colonnes (portion) Leave-One-Out » : pour afficher les tables de données créées avec cette méthode et la validation croisée Leave-One-Out.
J'espère que le problème que j'ai mentionné est maintenant plus clair.
En fonction de l'ensemble de données de @tuo88138 , vous pouvez choisir entre deux méthodes pour réaliser une validation croisée sans intervention.
Re : On attend une validation croiséeSalut @Victor_G , je ne pense pas que ce soit une erreur, juste un message d'avertissement.Je ne pense pas que les méthodes indisponibles n'affecteront pas cette analyse.
Re : On attend une validation croiséeSalut @ih ,
De mon côté, l'utilisation du « Criblage de modèle » et de la configuration que vous avez proposée fonctionne pour la validation croisée K-folds, mais pas toujours pour la méthode Leave-One-Out (en fonction de l'ensemble de données).
Si je précise K = nombre d'observations, un message d'erreur apparaît "Les ensembles de validation à l'intérieur de chacun des plis sont trop petits pour prendre en charge certaines méthodes", même si seules les forêts Bootstrap sont cochées dans le panneau "Méthode". J'ai donc également pensé à utiliser la "Plateforme de sélection de modèles" mais cela peut ne pas être possible, selon l'ensemble de données (sur l'ensemble de données "Boston housingprices" avec cette méthode, je n'ai pas de résumé des plis et des valeurs manquantes dans les détails de chaque pli). Cela fonctionne pour l'ensemble de données "Big Class".
Salut @tuo88138
Vous pouvez suivre la méthode décrite par Chris Gotwalt, je viens de la tester et elle a parfaitement fonctionné. Vous devrez peut-être décocher "Early Stopping" dans le panneau d'analyse Bootstrap Forest, afin d'éviter les "valeurs vides" pour les différentes métriques dans la sortie (Rsquare, RASE, etc...).
Cette technique peut être intéressante pour comparer l'importance de la contribution des variables sur plusieurs simulations (voir capture "Contribution-importance_simulations" ci-jointe), ou fournir des intervalles de confiance sur certaines métriques comme Rsquare par exemple (voir capture "Confidence_Intervals_Rsquare" pour entraîner Rsquare sur le même ensemble de données avec le même nombre de simulations).
J'espère que cette réponse vous aidera,
Re : On attend une validation croiséeLa plate-forme Model Screening rend cela assez simple, il suffit de définir K dans la section Folded Crossvalidation égal au nombre de lignes actives.
Recherchez les détails de chaque pli dans la section Détails du rapport, et si vous voulez savoir quelle ligne correspond à quel pli, vous pouvez ouvrir la section Formation, sélectionner une ligne correspondant à ce pli et appuyer sur « Enregistrer le script sélectionné » sous le tableau. .Une nouvelle colonne sera ajoutée au tableau qui indique les lignes de validation.
Re : On attend une validation croiséeOui je l'ai fait. Le problème est le suivant : j'ai un ensemble de données de petite taille, je dois donc en utiliser un.
Re : On attend une validation croiséeoui, laisse-en un exactement
Re : On attend une validation croiséeSalut @tuo88138 ,
Comme @Mark_Bailey suggère, vous pouvez consulter la documentation et les informations derrière les modèles Random Forests, car ce modèle est déjà robuste et ne nécessite pas spécifiquement de validation croisée, en raison du processus d'amorçage utilisé :
- Modèle de forêt aléatoire ajuste un modèle d'ensemble en faisant la moyenne de nombreux arbres de décision, chacun d'entre eux étant ajusté à un échantillon bootstrap des données d'entraînement. Étant donné que l'amorçage est effectué sur les données d'entraînement, toutes les données ne sont pas utilisées pour créer des arbres individuels, de sorte que les échantillons non utilisés dans la création d'arbres individuels (appelés échantillons « Out Of Bag » (OOB)) sont utilisés pour estimer les erreurs dans le modèle, et peut également être utilisé pour évaluer les performances de chaque arbre dans la Random Forest : Résumés par arbre (jmp.com)
Cependant, si vous souhaitez relancer plusieurs fois la plateforme Random Forest avec divers échantillons de formation et de validation, il est possible de le faire en :
- Création d'une colonne de formule de validation dans votre ensemble de données (vous pouvez spécifier la taille de chaque ensemble, afin de pouvoir faire quelque chose de similaire à la validation croisée K-fold ou à la validation Leave-One-Out),
- Créez un modèle Random Forest et précisez dans la partie "Validation" du menu votre colonne de formule de validation.
- Une fois le modèle ajusté, vous pouvez cliquer avec le bouton droit sur toutes les métriques que vous souhaitez évaluer par validation croisée (par exemple, Rsquare ou RASE pour les ensembles de formation et de validation, ou Somme des carrés dans la colonne des contributions pour voir si des facteurs importants sont toujours présents). classés de la même manière quels que soient les ensembles de formation/validation) et cliquez sur « Simuler ». La "colonne à changer" sera votre colonne de formule de validation, ainsi que la "colonne à changer" (afin de générer et d'échanger divers ensembles d'entraînement et de validation). Vous pouvez également spécifier le nombre de simulations à exécuter et spécifier une graine aléatoire si vous envisagez de réaliser une simulation reproductible.
- Une nouvelle table de données avec les simulations uniques effectuées et les résultats seront créés.
L'ensemble du processus peut être vu dans cette présentation de Chris Gotwalt : Différents objectifs, différents modèles : comment utiliser des modèles pour affiner votre question... - Communauté d'utilisateurs JMP (environ 17 minutes)
La validation croisée des forêts aléatoires est en effet possible dans JMP, mais les forêts aléatoires sont des modèles robustes aux données désordonnées/bruyantes et précis sur un petit ensemble de données en raison du bootstrap, donc à moins que vous n'ayez une idée spécifique en tête pour utiliser cette validation croisée, vous pouvez avoir une bonne estimation de la précision (avec des échantillons OOB) et des résultats fiables avec le modèle "tel quel".
J'espère que cette réponse vous aidera,
Re : On attend une validation croiséeAvez-vous lu la documentation de Forêt d'amorçage des modèles?
Re : On attend une validation croiséeLorsque vous dites : « ... la validation croisée est exclue... voulez-vous dire ce que l'on appelle plus communément "en laisser une de côté" ?
