Réseaux de neurones et petits ensembles de données : quelles solutions en matière de validation et de modélisation prédictive ?Chers collègues,
Cette question est peut-être assez philosophique et j'aimerais connaître l'avis des spécialistes afin d'éviter les spéculations.
En parlant de petits ensembles de données, par exemple, d'environ 80 à 300 instances (lignes), serait-il suffisant d'appliquer les réseaux de neurones en général ? Si oui, alors :
- quels paramètres sont respectivement les plus critiques pour les réponses catégoriques et continues ?
- quelle stratégie de validation est préférable à l'exception de la validation croisée K-fold ? Ou seulement une validation croisée K-fold ?
Je serais très reconnaissant pour vos conseils.
Merci beaucoup,
Michael
Ingénierie Qualité et ProcédésRe : Réseaux de neurones et petits ensembles de données – quelles sont les solutions en matière de validation et de modélisation prédictive ?Les 2 réponses ci-dessus sont absolument EXCELLENTES ! Je dis presque toujours que la taille n'a pas d'importance (vraiment pour souligner les problèmes de représentativité). Je donne un exemple conceptuel. Je demande quelle est la meilleure taille d’échantillon ?
un. 10 000 ou
b. 5
Le problème qu’il faut désormais découvrir est celui des variations quotidiennes. Les 10 000 échantillons sont prélevés en 1 jour, les 5 sont 1 échantillon par jour pendant 5 jours. Alors, quel est le meilleur ?... évident.
Re : Réseaux de neurones et petits ensembles de données – quelles sont les solutions en matière de validation et de modélisation prédictive ?Vous devez TOUJOURS vous soucier de la taille de l'ensemble de données tant que l'ensemble de données est un échantillon d'une ou plusieurs populations d'intérêt. Mais il ne s’agit pas seulement de la taille… la taille influence le risque statistique, mais ne contribue que peu, voire rien, au risque de représentation.
Pourquoi faut-il toujours se soucier de la taille ? Parce qu’il y aura toujours un risque d’erreurs de type I ou de type II, quelle que soit la taille de l’échantillon. Je me souviens qu'il y a des années, dans une brochure publicitaire pour le programme de maîtrise ès sciences en statistiques mathématiques appliquées du Rochester Institute of Technology, dans la brochure, ils définissaient les « statistiques » comme la « science de la prise de décision face à l'incertitude ». Il s'agit de cette incertitude, composée de deux composantes : le risque statistique, qui est influencé/contrôlé en partie par la taille de l'échantillon, et le risque de représentation. La taille de l’échantillon ne parle que du risque statistique… et non du risque de représentation.
Un exemple petit mais illustratif de l'interaction des risques statistiques et de représentation : supposons que nous ayons une multitude (c'est un terme non scientifique pour une GRANDE quantité de données) d'observations sur un équipement pilote et à l'échelle et que nous ayons des valeurs p à tomber par terre... la certitude presque absolue que nous avons TOUTES les variables x clés et aucune des variables non influentes dans notre modèle. MAIS, et voici un grand MAIS, nous allons maintenant faire des PRÉVISIONS sur les processus de fabrication et l'échelle de fabrication... disons, en passant de l'échelle du bécher (pilote) à l'échelle du wagon (fabrication). Et nos résultats ne sont même pas proches des prévisions. Ensuite, la TAILLE de l'échantillon ne signifiait rien. Le risque de représentation vous a mordu les fesses.
Pourquoi les gens se concentrent sur la taille de l’échantillon et ignorent pratiquement le risque de représentation me paraissent tout simplement ahurissants. Je comprends... il est facile de parler de risque statistique, d'alpha, de bêta, de différence à détecter, d'erreurs de type I et II, tout cela est facile à comprendre et nous avons maintenant des ordinateurs pour nous dire ce dont nous avons besoin. je sais... plus besoin de ces satanées tables de recherche ASQ/ANSI.
Mais n’oubliez JAMAIS le risque de représentation… déclamez.
Re : Réseaux de neurones et petits ensembles de données – quelles sont les solutions en matière de validation et de modélisation prédictive ?C’est un sujet vaste et il n’est pas facile de répondre.Je dirais simplement que cela vaut toujours la peine d'essayer de modéliser vos données - mais plus l'ensemble de données est petit, plus vous devez être humble à propos de tout ce que vous pensez trouver.Il n’existe certainement pas de nombre critique d’observations pouvant être dérivées d’un nombre donné de variables – et il est clair que plus vous avez de variables, plus vous avez besoin d’observations pour donner un sens aux données.En fait, l'inverse mérite d'être réfléchi : si vous n'avez que quelques variables, vous n'avez pas besoin d'autant d'observations pour construire un modèle « raisonnable », mais cela ne devrait pas être une source de confiance.Bien au contraire : si vous n’avez que quelques variables, alors il vous manque une grande partie (ou la majeure partie) de l’image.Une pièce essentielle du puzzle concerne la structure théorique que vous pouvez imposer à vos données.En sciences physiques, il existe souvent une théorie bien développée qui mène plus ou moins directement à une structure de modélisation des données.En sciences sociales, c’est beaucoup moins vrai.Mais l’essentiel pour moi est qu’il n’y a pas d’autre alternative que d’essayer de construire des modèles (si vous ne construisez aucun modèle, sur quoi les décisions vont-elles être basées ?).La clé (pour moi) est de ne pas surestimer la puissance de vos modèles, et cela est lié au nombre de variables et d'observations dont vous disposez.
Re : Réseaux de neurones et petits ensembles de données – quelles sont les solutions en matière de validation et de modélisation prédictive ?Tu as raison. Et maintenant, une nouvelle question émerge : vaut-il la peine de créer un ensemble de modèles pour les petits ensembles de données en général ? Pas seulement NN. J'ai peur de proposer une modélisation prédictive dans de tels cas.
Permettez-moi de reformuler cette question : quel nombre d'instances (lignes) et/ou de propriétés (colonnes) est suffisant pour effectuer une modélisation prédictive sans se soucier de la taille de l'ensemble de données ?
Merci
Re : Réseaux de neurones et petits ensembles de données – quelles sont les solutions en matière de validation et de modélisation prédictive ?Concernant votre question sur les réseaux de neurones en particulier, je n'ai pas eu beaucoup de succès avec NN pour les petits ensembles de données - je pense qu'ils fonctionnent généralement mieux lorsque vous avez beaucoup de données.Cependant, indépendamment de cela, je vous suggère d'exécuter une variété de modèles prédictifs : arbres de décision, arbres boostés, forêts aléatoires, régression logistique/multiple, etc.Je les comparerais en termes de précision (en utilisant ROC, R2, certaines erreurs de classification d'intérêt, etc.) mais aussi en termes de variables qu'ils identifient comme les plus importantes.Bien que la question de la prédiction par rapport à la compréhension soit importante, je pense que la prédiction sans compréhension sera en fin de compte moins précieuse que d'avoir un modèle qui a du sens.Il n'est pas nécessaire de choisir une seule technique de modélisation : il est facile de les exécuter toutes sur les mêmes données et de comparer/contraster ce que vous obtenez.
Re : Réseaux de neurones et petits ensembles de données – quelles sont les solutions en matière de validation et de modélisation prédictive ?C'est une excellente interview, merci @P_Bartel . Je vais être aussi philosophique ...Je pense que la modélisation prédictive nécessite de comprendre les relations causales entre les « phénomènes » d'intérêt. Un ordre de pensée rationnel pourrait ressembler à ceci : nous devons trouver comment quantifier les phénomènes d’intérêt (et les systèmes de mesure sont-ils adéquats). Ensuite, nous construisons des hypothèses sur les raisons pour lesquelles les phénomènes varient (j'aime penser que ces hypothèses ont leurs racines dans les sciences naturelles). Cela conduit à tester nos hypothèses par le biais d’un échantillonnage dirigé ou d’une expérimentation. Oui, les hypothèses sont construites avant la collecte des données. Si vous n'avez pas d'hypothèses, vous pouvez alors utiliser des techniques de « data mining » pour stimuler votre esprit pour créer/développer des hypothèses. De mon point de vue, disposer d'un modèle qui décrit l'ensemble de données en main (par exemple, les réseaux de neurones) sans fournir un aperçu et une compréhension des relations causales ne sera pas un modèle prédictif efficace.
Des mots à suivre : toutes les questions auxquelles il est possible de répondre, les outils à utiliser pour l'analyse, la confiance dans les conclusions à tirer et la capacité à extrapoler les résultats DÉPENDENT DE LA FAÇON LES DONNÉES ONT ÉTÉ ACQUISES.
Re : Réseaux de neurones et petits ensembles de données – quelles sont les solutions en matière de validation et de modélisation prédictive ?Je laisserai la conversation de validation croisée à d'autres. Voici mon point de vue sur l'applicabilité des réseaux de neurones, et je serai également philosophique. Je pense que la question de l'applicabilité sans contexte par rapport au problème pratique en question, les données (l'ensemble de données est-il large/étroit, multicolinéaire, etc.), les risques à la fois statistiques et de représentation, et le cas d'utilisation final du modèle, auront tous un une plus grande influence sur l’applicabilité de la méthode par rapport à la seule taille de l’échantillon.
Par exemple : Quel est le but de l’étude ? Prédiction ou exploration ? Existe-t-il la possibilité de mener des études supplémentaires... peut-être dans le contexte d'expériences conçues ? Et ainsi de suite.
Pour des commentaires perspicaces sur la construction prédiction vs exploration, je suggère de jeter un œil à ceci :
https://www.jmp.com/en_us/events/ondemand/analyticically- Speaking/to-explain-or-predict-that-is-the-question.html
