Je mène une étude de modèle de prédiction avec des mélanges DoE (3 composants) et un facteur de processus et une variable de réponse (quantitative). Je vais appliquer SVEM, mais j'ai une question, de quoi cela dépend-il lors de l'utilisation de réseaux de neurones ou de Lasso ?
Merci pour vos réponses.
Salut @CrhistianDoE ,
Pour les données du DoE, je dirais qu’aucune de ces options ne serait mon premier choix, pour différentes raisons.
Les Réseaux de Neurones et le Lasso (de Régression Généralisée ) sont deux techniques d'analyse très différentes :
- Les réseaux de neurones sont des modèles d'apprentissage automatique complexes capables d'approcher n'importe quelle fonction avec suffisamment de couches et de neurones (voir Le théorème d'approximation universelle : https://en.m.wikipedia.org/wiki/Universal_approximation_theorem ), qui nécessitent une construction minutieuse avec un nombre approprié de couches. et les neurones et plus important encore, une bonne stratégie de validation. Comme les réseaux de neurones peuvent être très flexibles dans la modélisation et l'approximation de n'importe quelle fonction, vous pouvez rapidement avoir tendance au surajustement sans une bonne stratégie de validation et commencer à modéliser le bruit dans vos données. Un ensemble de tests (ou des points de test/nouveaux points dans votre espace de conception du DOE) est également fortement recommandé pour vous assurer que le modèle du NN est capable de bien se généraliser à de nouveaux points de données inconnus. Plus d'explications sur les Réseaux de Neurones et leur utilisation prudente dans ces articles précédents :
Différence entre les nœuds d’une même couche de réseau neuronal ?
Criblage de modèle : réseau neuronal / validation croisée K-fold
aide à la comparaison des modèles : DOE vs ANN améliorés
- Le lasso de régression généralisée est une technique de pénalisation dans les modèles de régression qui est très utile dans le contexte de grands ensembles de données avec une possible colinéarité élevée entre les variables/facteurs et/ou lorsque vous avez plus de variables que d'observations, car elle facilite la sélection de caractéristiques/variables : Lasso aide à sélectionner les variables les plus importantes parmi les variables corrélées et réduira le coefficient des variables corrélées non sélectionnées à 0 (c'est pourquoi il est très utile dans le contexte de la sélection de fonctionnalités).
Pour en savoir plus, cliquez ici : Aperçu de la personnalité de régression généralisée (jmp.com)
Dans votre cas avec les données DoE, vous disposez d'un ensemble de données restreint mais soigneusement planifié, avec un modèle supposé si vous avez utilisé une plateforme de conception personnalisée ou une conception de mélange traditionnelle, ou vous disposez d'une répartition homogène des points dans votre espace de conception si vous avez créé un espace. -Conception de remplissage.
- Avec un mélange design personnalisé/traditionnel, puisque le modèle est déjà assumé avec la création du design, je ne commencerais pas par le Lasso, le SVEM ou toute autre technique complexe. Utiliser Neural Network ne serait pas non plus approprié, car la répartition des points est basée sur un modèle et peut ne pas fournir une couverture suffisamment homogène/bonne de votre espace de conception. Il se peut donc qu'il n'y ait pas suffisamment de niveaux pour chacun de vos facteurs pour utiliser un modèle d'interpolation complexe et performant comme le réseau neuronal.
Commencez par le modèle supposé et les termes du modèle inclus avec une régression « traditionnelle » (moindres carrés standard), et visualisez/analysez l'ajustement de votre modèle.
À quoi ressemblaient les tracés « Réel vs. Prédit » ? Comment sont les résidus ? etc...
Si vous constatez que votre modèle n'est peut-être pas suffisamment complexe pour capturer les liens entre vos 3 variables de mélange, essayez d' augmenter votre conception pour inclure des termes d'ordre supérieur. Tenez compte du fait que les conceptions de mélange mettent l'accent sur la prédictivité, il serait donc préférable d'affiner le modèle sur d'autres critères que les valeurs p, par exemple le maximum de vraisemblance, le RMSE, les critères d'information comme l'AICc ou le BIC, ...
Quelques articles sur ce sujet : Résolu : Re : Analyse d'un mélange DOE avec régression pas à pas - Communauté d'utilisateurs JMP
Résolu : Mélange cubique de Scheffe et valeur p - Communauté d'utilisateurs JMP
Si vous souhaitez utiliser des plateformes de régression généralisée, il peut exister d'autres méthodes d'estimation mieux adaptées, comme la « sélection anticipée élaguée » (avec la méthode de validation AICc/BIC), la « sélection anticipée en deux étapes » ou éventuellement le « meilleur sous-ensemble » (uniquement si vous disposez d'un nombre limité de facteurs, car cela testera de nombreux modèles avec des effets principaux et de nombreuses combinaisons de termes d'ordre supérieur).
- Avec les conceptions Space-Filling, il existe de nombreuses méthodes d'apprentissage automatique que vous pouvez (et devriez) essayer avant d'envisager les réseaux de neurones. Généralement, les forêts aléatoires et les machines à vecteurs de support sont des algorithmes de ML intéressants :
Ils ont de bonnes performances prédictives sur de petits ensembles de données, sont moins sujets au surajustement (plus simples), sont assez robustes aux valeurs aberrantes, ont de bonnes performances de généralisation, gèrent des situations non linéaires, nécessitent peu de réglages d'hyperparamètres (les forêts aléatoires fonctionnent très bien avec les paramètres par défaut et vous pouvez facilement affiner le SVM avec l'option Tuning design intégrée), sont plus faciles à interpréter, etc...
Random Forest (appelée Bootstrap Forests dans JMP) fournit une bonne référence pour la comparaison de modèles et constitue souvent un choix par défaut à tester. Quelques articles personnels sur LinkedIn écrits sur ces deux algorithmes pour les ensembles de données du DoE :
- Forêts aléatoires : https://www.linkedin.com/posts/victorguiller_doe-machinelearning-randomforests-activity-7127557799810625536-FH7K
- Machine à vecteurs de support : https://www.linkedin.com/posts/victorguiller_doe-machinelearning-statsjoke-activity-7117395916130537472-pJoB
J'espère que cette (longue) réponse vous aidera,
