Proportion entre la taille de la formation et l'ensemble de données de testSalut, j'ai un ensemble de données relativement petit avec 95 observations / enregistrements et environ 70 variables pour chaque enregistrement. Le but est de détecter quelles variables influencent la réponse et de trouver les paramètres optimaux de ces variables. En raison du petit nombre d'observations, j'ai décidé de diviser les données en seulement deux catégories, l'ensemble de données de formation et de test (en omettant l'ensemble de données de validation). Ma stratégie est d'appliquer un arbre de décision avec la plateforme de partition suivi d'une régression des moindres carrés avec les variables qui semblent les plus importantes. Ma question est la suivante: s'il existe un conseil général concernant les proportions des tailles de l'ensemble de données de formation et de test? J'ai essayé avec une division où 75% des observations sont incluses dans les données de formation et 25% dans l'ensemble de données de test, mais je ne sais pas si c'est la proportion optimale.
Je me demande également si une procédure de bootstrap pourrait être appliquée pour la division en ensemble de données de formation et de test. L'idée est de faire un grand nombre de divisions et de faire la moyenne des résultats. Je ne sais pas si cela a du sens. J'utilise JMP 15.
AnalytiqueRe: Proportion entre la taille de la formation et l'ensemble de données de testVous pouvez utiliser la validation croisée k-folds, l'adaptation du CV pour les petits ensembles de données.
De plus, avec JMP Pro, vous pouvez utiliser la régression généralisée avec LASSO pour la sélection des variables.
Re: Proportion entre la taille de la formation et l'ensemble de données de testMerci, il est logique d'appliquer la validation croisée des plis k. Je suppose que je devrais alors utiliser une régression pas à pas, puisque validation croisée k-folds n'est pas une option avec les moindres carrés standard. Malheureusement, je ne suis pas (encore) un utilisateur Pro, je n'ai donc pas accès à la régression généralisée.
Je suppose que vous réserveriez toujours une partie des données pour tester la capacité prédictive du modèle final?
Re: Proportion entre la taille de la formation et l'ensemble de données de testLe rôle de l'ensemble de tests est utile pour une évaluation honnête par validation croisée, mais il y a des compromis. Vous utilisez K-fold CV car vous disposez d'un petit ensemble de données. Tenir une partie pour les tests pourrait compromettre à la fois la formation et la sélection du meilleur modèle. La méthode de validation croisée est basée sur la confirmation du modèle avec des données futures, mais en utilisant à la place certaines des données existantes. Avez-vous l'intention d'évaluer le modèle avec de nouvelles observations? Ensuite, l'ensemble de test peut ne pas fournir un avantage unique.
