Validation croisée k-fold avec le modèle de forêts bootstrap et la régression standard des moindres carrésSalut,
Est-il possible d'utiliser la validation croisée k-fold avec le modèle de forêts bootstrap et la régression des moindres carrés standard dans JMP ?
J'ai effectué la validation croisée k fois avec le modèle de réseaux de neurones et je recherche des méthodes qui pourraient utiliser la même validation croisée, afin de pouvoir effectuer des comparaisons de modèles.
Merci.
Re : validation croisée k-fold avec modèle de forêts bootstrap et régression standard des moindres carrésMerci, @russ_wolfinger . Aujourd'hui, j'ai joué avec XGBoost pour une réponse continue. Un grand merci pour votre invitation envoyée. Plus tard, je vois comment gérer les réponses catégoriques et donner le feedback final dans le champ prévu.
En fait, en parlant de validation croisée de plis K, je voulais dire un point faible de JMP Pro : il ne démontre pas le contenu des plis. Juste comme ça: https://en.wikipedia.org/wiki/Cross-validation_(statistics) . L'écriture de scripts n'est pas ma grande compétence, je ne peux donc compter que sur les développeurs de JMP pour fournir une telle option.
Et je n’ai peut-être pas bien compris pourquoi le rendement doit être énorme. Normalement, il est représenté sous la forme d'une liste de plis avec à la fin la moyenne des métriques (R2, RASE, AIC, etc.). S'il vous plait corrigez moi si je me trompe.
Merci beaucoup!
Mike
Re : validation croisée k-fold avec modèle de forêts bootstrap et régression standard des moindres carrésSalut @Nazarkovski , La nouvelle plate-forme Model Screening propose des répartitions par pli pour le pli K et le pli K imbriqué, et comme vous pouvez le deviner, le résultat peut devenir volumineux.Dans le complément XGBoost, les résultats sont toujours résumés pour tous les plis, mais pour tout modèle Triangle Rouge > Enregistrer la formule de prédiction produit des colonnes dans le tableau pour l'appartenance au pli et les prédictions correspondantes dans le pli ou hors du pli.Nous vous recommandons d'obtenir la dernière version de JMP 16 Pro Early Adopter pour essayer la nouvelle fonctionnalité, et nous apprécions vraiment vos commentaires alors que nous continuons à apporter des améliorations dans ce sens.
Re : validation croisée k-fold avec modèle de forêts bootstrap et régression standard des moindres carrésCher M. Wolfinger,
Ce problème me concerne également, car je suis un utilisateur de JMP Pro15 et je vois certaines choses à ajuster dans les sections de validation croisée K-fold pour tous les modèles. En particulier, JMP ne dispose pas encore d'option importante pour visualiser les plis, mais affiche juste sa précision moyenne (R2) sans détails dans chaque pli. Par exemple, j'exécuterais la validation 5 fois et j'aimerais voir la liste des 4 fois + leur moyenne avec les métriques (R2, AUC, AIC, RASE, etc.). S'il existe un complément avec cette option, veuillez me le faire savoir, car cela est très important lors de la gestion de petits ensembles de données. Merci beaucoupRe : validation croisée k-fold avec modèle de forêts bootstrap et régression standard des moindres carrésMerci pour le résumé. La validation croisée k-fold n'est donc pas nécessaire ou n'est pas possible avec la forêt bootstrap dans JMPpro ?
Lors de la création d'une colonne de validation lorsque vous avez un résultat binaire, opteriez-vous pour une méthode aléatoire stratifiée, statistique par groupe ou groupée ?
Re : validation croisée k-fold avec modèle de forêts bootstrap et régression standard des moindres carrésJ'aimerais ajouter que nous expérimentons une nouvelle manière automatisée d'effectuer un CV plié en K dans le nouveau complément XGBoost pour JMP Pro.Si vous avez accès à JMP Pro 15 et souhaitez essayer une version précoce, faites-le moi savoir.De plus, nous prévoyons provisoirement de rendre le complément disponible dans le laboratoire JMP de Discovery Munich avec JMP Pro 16 Early Adopter.
Re : validation croisée k-fold avec modèle de forêts bootstrap et régression standard des moindres carrésComme je l'ai mentionné dans votre autre discussion sur le même sujet, vous pourriez envisager d'utiliser AICc sur tous les modèles candidats. JMP Pro fournit également une plateforme de comparaison de modèles pour vous aider.
Re : validation croisée k-fold avec modèle de forêts bootstrap et régression standard des moindres carrésJ'ai trouvé les réponses à ma question sur le site : https://learning.oreilly.com/library/view/Building+Better+Models+with+JMP+Pro/9781629599564/xhtml/Chapter08.xhtml#_Toc423436241 .
