Quelle est la qualité de la validation croisée K-fold pour les petits ensembles de données ?J'ai un petit ensemble de données avec 154 molécules (ci-joint). J'essaie de prédire le KV40 en utilisant 6 facteurs. En examinant des études similaires dans la littérature, beaucoup utilisent la méthode de validation Leave-One-Out pour créer des modèles pour des ensembles de données aussi petits. Ainsi, pour reproduire cela dans JMP, j'ai procédé comme suit :
Modèle d'ajustement : régression pas à pas
- utilisé la surface de réponse pour les facteurs
- utilisé k (validation croisée k-fold) = nombre d'échantillons = 154
- j'ai laissé tout le reste par défaut
Résultat:
r2 = 0,84 ; r2 (k-fold) = 0,72
Après transformation box-cox : r2 = 0,87 (r2_adj = 0,86)
J'ai essayé de le faire avec une colonne de validation (70:30) et je n'ai pas obtenu un résultat aussi bon que celui-ci. J'ai JMP pro. Ma préoccupation est la suivante : est-ce que je crée un modèle faux ou surajusté lorsque j'effectue ce type de validation croisée ? Y a-t-il une meilleure manière de faire cela? Y a-t-il quelque chose que je devrais surveiller ou tester ? Merci.
Re : Quelle est la qualité de la validation croisée K-fold pour les petits ensembles de données ?Bonjour @tnad Je viens de tomber sur ce post et j'espère que cela ne vous dérange pas une réponse supplémentaire 3,5 ans plus tard !
Je pense que définir K = 154 pour Stepwise dans ce cas n'est pas recommandé puisque l'algorithme recherche le meilleur pli, qui dans ce cas consisterait en une seule observation.En général, il est important d'effectuer une imbrication par étapes dans chaque pli pour éviter le surajustement, et ceci est disponible dans l'option Nested K-Fold dans Model Screening.Je pense également que 154 observations suffisent pour un pli k et que ce pli k imbriqué répété est un excellent moyen de comparer les modèles.
Le filtrage du modèle révèle que Neural Boosted fonctionne mieux que Stepwise pour ces données avec le test R2 = 0,87 contre 0,77 en utilisant Log10 (KV40) comme Y, K = 5 et L = 4.J'ai également essayé le nouveau complément Torch Deep Learning (disponible sur demande à Adopteur précoce de JMP ) et avec un peu de réglage, j'obtiens des résultats similaires, voire meilleurs, avec sa validation croisée 5 fois.
En général, Neural, Torch, XGBoost et d'autres plates-formes de JMP peuvent être utiles pour la modélisation prédictive QSAR.
Re : Quelle est la qualité de la validation croisée K-fold pour les petits ensembles de données ?Oui, K = N produit une validation croisée « en laisser un de côté ».
Re : Quelle est la qualité de la validation croisée K-fold pour les petits ensembles de données ?Je viens de comprendre ça...
cuisson : incorporer l'œuf au mélange
géologie : plissement intense du manteau terrestre
affaires : le club a fermé ses portes au bout d'un an
sport : le coureur s'est plié au bout d'un kilomètre
cartes : sachez quand les plier
géographie : la ville est située dans un repli dans les collines
conception Web : le texte au-dessus de la ligne de flottaison ne nécessite pas de défilement
changement : une multiplication par 10 des accidents
papier : plis en origami pour faire un canard
expression : croisez les mains
agriculture : mettre les moutons au bercail
Ce doit être la version agricole ! Ça veut dire stylo ! Les données sont divisées en K stylos/sous-ensembles/plis.
Re : Quelle est la qualité de la validation croisée K-fold pour les petits ensembles de données ?Ouah! C'est assez surprenant pour moi, car l'idée de la vérification croisée K-fold repose sur la division d'un ensemble de données en K-folds où K-1 est destiné à la formation et 1 - à la validation. Je peux cependant être confus. D'après votre message, il semble que cette stratégie soit davantage attribuée au « laisser de côté », n'est-ce pas ?Re : Quelle est la qualité de la validation croisée K-fold pour les petits ensembles de données ?L'évaluation honnête par validation croisée est généralement mise en œuvre de l'une des trois manières suivantes : conserver des ensembles (entraîner, valider, tester), plier en K ou en laisser un de côté. Utiliser k = N (taille de l'échantillon) est une manière d'utiliser le CV k fois pour obtenir la dernière approche.
Re : Quelle est la qualité de la validation croisée K-fold pour les petits ensembles de données ?Bonjour! Puis-je vous demander pourquoi k = 154 était pour votre validation croisée ?
Normalement, je mets 5 (20 % pour la validation) pour k en fonction de l'ensemble de données, même si tous étaient suffisamment petits pour les tests de formation-validation normaux.
Merci!
À l'avenir, il est souhaitable que JMP Pro implémente une option permettant de visualiser la répartition des plis lors du traitement des données de cette manière.
Re : Quelle est la qualité de la validation croisée K-fold pour les petits ensembles de données ?Le surajustement est la préoccupation, mais la raison de ma déclaration est basée sur l'ensemble du système « d'évaluation honnête ». On utilise certaines données pour entraîner le modèle et des données séparées entièrement nouvelles pour valider ou sélectionner le modèle (deux ensembles d'exclusion). Cette approche est valable mais reste limitée aux données déjà vues par apprentissage et sélection. Cela ne peut pas parler de généralisation de nouvelles données. De nouvelles données sont nécessaires pour tester le choix des modèles. Ces données peuvent être un troisième ensemble d'exclusion ou des données futures. Le risque d'attendre des données futures dépend de la situation, donc si une grande quantité de données est disponible, le troisième ensemble d'exclusions est préféré.
Re : Quelle est la qualité de la validation croisée K-fold pour les petits ensembles de données ?@Mark_Bailey Lorsque vous avez mentionné : « Vous avez utilisé la validation croisée pour la sélection du modèle. Vous aurez besoin de nouvelles données pour tester le modèle sélectionné et voir si la formation se généralise à une population plus large."
Est-ce parce que la validation croisée a tendance à être trop ajustée ?
Re : Quelle est la qualité de la validation croisée K-fold pour les petits ensembles de données ?Une évaluation correcte et honnête pour la sélection de modèles avec validation croisée est toujours valide, mais l'utilisation d'ensembles d'attente pour la validation et les tests n'est pratique et enrichissante que si vous disposez de grands ensembles de données. (Il existe également un problème de cibles rares, même avec des données volumineuses. ensembles.) C’est pourquoi la validation croisée K-fold a été inventée. Leave-one-out ne fait que pousser les plis K à l'extrême. Je ne m'attendrais pas à ce que l'approche avec une attente de 70 : 30 fonctionne bien avec cette petite taille d'échantillon.
Vous avez utilisé la validation croisée pour la sélection du modèle. Vous aurez besoin de nouvelles données pour tester le modèle sélectionné et voir si la formation se généralise à une population plus large.
