Exigence de taille d'échantillon pour l'apprentissage automatiqueJMP a-t-il des exigences en matière de taille d'échantillon pour la méthode d'apprentissage automatique ?
JMP dispose de nombreuses méthodes d'apprentissage automatique pour s'adapter au modèle approprié, combien d'échantillons devrions-nous obtenir si nous voulons ajuster le modèle par la méthode d'apprentissage automatique ?
Ou existe-t-il une règle pour la valeur que la taille des échantillons divise par la taille des facteurs ?
Comme la taille de l'échantillon au moins 10 fois la taille du facteur de type de données catégorielles.
Merci pour toute suggestion.
Re : Exigence de taille d'échantillon pour l'apprentissage automatiqueSalut Eric,
C'en est un autre où je ne pense pas qu'il soit possible de donner une réponse définitive.
Tout d'abord, tout le monde ne s'accorde pas sur la même définition du "machine learning".
Pour moi, une partie importante de l'apprentissage automatique est la validation des retenues. Je dis aux utilisateurs que vous avez probablement besoin d'au moins 100 lignes pour utiliser la validation de retenue.
Vous pourriez probablement utiliser retenue avec moins de lignes, si vous n'aviez que 2 ou 3 variables prédictives. Mais avec un si petit nombre de prédicteurs, l'apprentissage automatique n'est probablement pas nécessaire.
Je ne pense pas que vous puissiez facilement dire combien de lignes en fonction du nombre de prédicteurs. Parce que le nombre de lignes requis sera également fonction de la complexité des comportements dans le système, que vous ne saurez pas tant que vous n'aurez pas adapté les modèles.
Bien sûr, il existe d'autres méthodes de validation que vous pouvez utiliser pour appliquer une approche d'apprentissage automatique avec moins de lignes (k-fold, SVEM).
Il peut être utile de jeter un œil cette étude de cas de démonstration.L'ensemble de données complet comporte 4608 lignes. Il n'y a que 5 prédicteurs mais ils sont catégoriels à plusieurs niveaux, c'est donc un système assez complexe. Vous pouvez prélever des échantillons aléatoires pour voir dans quelle mesure les méthodes d'apprentissage automatique se comparent à la modélisation statistique traditionnelle. Je n'ai pas mené d'études rigoureuses mais j'ai été surpris de constater que le ML semble faire mieux que les modèles standards avec des échantillons assez petits (~150 lignes).
J'espère que ça aide,
Phil
Re : Exigence de taille d'échantillon pour l'apprentissage automatiqueje suis d'accord avec @Phil_Kay . N'oubliez pas que les méthodes de ML et d'IA sont destinées aux modèles prédictifs, et non aux modèles explicatifs. L'inférence n'est pas un objectif, la taille de l'échantillon n'est donc pas une considération. De plus, pratiquement tous les cas impliquent le Big Data, donc l'inférence est également sans objet. Utilisez les métriques développées pour comparer les performances de la prédiction avec la validation croisée. Par exemple, AICc est probablement le meilleur à plus d'un titre.
Re : Exigence de taille d'échantillon pour l'apprentissage automatiqueBien sûr, je suis d'accord avec ce que disent Phil et Mark. Une réflexion supplémentaire, si par Machine Learning votre client signifie réellement un modèle de régression multiple (avec ou sans termes d'ordre supérieur), il peut alors utiliser l'option d'évaluation de la conception du menu DOE qui donnera des estimations de puissance pour les termes du modèle à condition qu'ils puissent indiquer le vraie variation d'erreur. Sinon, suivez les conseils de Phil et Mark.
