aide à la comparaison des modèles : DOE vs ANN améliorésBonjour les gars!
1) J'ai un DOE et quelques modèles de réseaux neuronaux boostés que j'aimerais comparer leurs respectifs Rsquared (le plus grand), RASE (le plus petit) et AAE (le plus petit) pour sélectionner les modèles les mieux optimisés de mes expériences.
J'ai vu que dans l'outil "Comparaison de modèles", grâce aux formules prédictives enregistrées dans la feuille de calcul d'expérience, je peux faire la sélection selon les critères au-dessus du modèle, comme le montre l'image ci-jointe. Mais j'aimerais inclure mon DOE avec ses Rsquared, RASE et AAE dans ce tableau généré. Quelqu'un aurait-il des conseils pour procéder ?
2) Autre question : lors du lancement du modèle, le champ « nombre de tournées » serait-il les numéros d'époque ? Comment fonctionne l’augmentation de ce champ ? Quelqu'un a-t-il des suggestions pour tester les valeurs ?
*** ajouter
J'ai oublié de demander:
3) Je ne dispose que de 27 expériences (tripplicats de 8 expériences + 3 points centraux issus d'un DOE factoriel complet), et je ne peux plus en réaliser faute de matériel. J'ai fini par choisir de tester les modèles ANN avec boosting car je pensais que cela créerait un modèle avec une plus grande capacité prédictive grâce à la combinaison de plusieurs petits modèles. Serait-ce la meilleure option ? Quelqu'un recommanderait-il une autre construction ANN pour ce scénario ? Des idées pour optimiser les réseaux, augmenter Rsquared et diminuer RASE et AAE ? Je débute vraiment avec ANN, toute contribution serait très pertinente !
* Le fichier JMP ci-joint suit.
Conception d'expériencesModélisation prédictive et apprentissage automatiqueles fenêtresRe : aide à la comparaison des modèles : DOE vs ANN boostéSalut @ivanpicchi ,
Je suis confus et je ne peux pas répondre directement à vos questions, car je ne suis pas sûr de savoir quel est/sont votre (vos) objectif(s) dans ce plan : H/W et FN MED sont-ils les deux réponses ?
Aussi, quel est votre objectif :
- Expliquer votre système en fonction de vos facteurs ?
- Filtrer les facteurs importants ?
- Créer un modèle prédictif ?
Quelles sont vos connaissances sur le système ? et bien d'autres questions... Voici quelques premières réflexions, mais il reste encore beaucoup à discuter (mais cela peut prendre trop de temps à écrire sur un forum).
Utiliser un réseau neuronal pour un DoE basé sur un modèle me semble complètement erroné, car vous n'avez que 3 niveaux pour chacun de vos facteurs et vous utilisez un modèle très flexible qui peut se rapprocher de toutes les fonctions complexes... C'est comme utiliser un bazooka pour tuer une mouche : approche trop complexe et inadaptée. Un ou plusieurs NN sont donc complètement prématurés à ce stade. Il existe d'autres algorithmes (plus simples) que vous pouvez essayer : Arbre de décision/Forêts aléatoires, Machines à vecteurs de support, ...
De plus, la colonne de validation n'est pas définie correctement pour l'apprentissage automatique, car les expériences (par le biais de répétitions) peuvent concerner à la fois des ensembles de formation, de validation et/ou de test. Cela entraîne un surajustement des modèles et un excès de confiance dans les résultats des prédictions. Pour la validation d'un modèle prédictif sur un ensemble de données de petite taille, vous devez conserver le même traitement dans le même ensemble pour éviter les fuites de données et le surajustement dans votre modèle. Les approches de validation croisée, comme les K-folds et Leave-One-Out, pourraient être intéressantes à envisager (avec la même précaution avec l'utilisation de réplicats).
Quoi qu'il en soit, un conseil général est de visualiser vos données avant la modélisation, et d'utiliser le principe du rasoir Occam lors de la modélisation : commencez votre modélisation avec un modèle simple, puis itérez et ajoutez de la complexité (si nécessaire !). Comparez votre nouveau modèle avec le précédent et évaluez l'amélioration que vous avez obtenue (et l'augmentation de la complexité). Je recommanderais de commencer simplement, d'utiliser d'abord des modèles de régression et d'évaluer correctement les avantages et les inconvénients de vos modèles.
Je ne sais pas quel type de modèle de régression et les termes que vous avez inclus, mais la réponse H/W peut être assez bien modélisée via le modèle Ajuster les moindres carrés (voir le script "Ajuster le groupe"). Pour la réponse FN, il semble qu'il y ait beaucoup de bruit dans les mesures, donc peut-être un travail plus approfondi sur les gammes, le protocole expérimental, les facteurs (contrôler les facteurs de nuisance, et/ou bloquer l'utilisation, ...), le dispositif de mesure, et peut-être que le modèle a priori pourrait être envisagé pour améliorer les résultats.
Ajuster un modèle compliqué sur cette réponse n'aidera pas : il n'y a pas de grandes différences entre les résultats de votre meilleur NN (R² = 0,772 - RASE = 0,174 (avec surajustement...)) et un modèle de régression simple (R² = 0,758 - R² ajusté = 0,715 - RMSE = 0,586).
Tenez également compte du fait que l'approche de modélisation, les métriques et la conception utilisées doivent être définies en conséquence. Par exemple , dans un objectif prédictif axé sur l'intérieur de l'espace expérimental, une conception Space-Filling est adaptée pour utiliser des algorithmes d'apprentissage automatique, avec des métriques possibles telles que RMSE/RASE/MSE se concentrant sur l'exactitude des prédictions.
J'espère que ces premiers points de discussion vous aideront,
Re : aide à la comparaison des modèles : DOE vs ANN boostéSalut @ivanpicchi ,
Encore une fois, la complexité du modèle que vous pourrez adapter sera liée au nombre de niveaux, à la qualité et à la représentativité de vos points de données. Avec seulement 3 niveaux pour vos facteurs min, médian et max, les méthodes de régression traditionnelles ne pourront s'adapter qu'à un modèle quadratique (avec termes d'interaction et termes quadratiques). Si vous vous attendez à une surface de réponse plus complexe, je vous recommande d'augmenter votre conception avec des points de conception remplissant l'espace à l'intérieur de votre espace expérimental.
Quelques réponses à vos questions :
- Dans la plateforme Neural, vous pouvez sélectionner comme méthodes de validation "K-folds". Si vous spécifiez K = nombre de lignes, vous utiliserez la méthode de validation Leave-One-Out. Veillez à ne pas avoir de répliques dans votre table de données, car cela pourrait grandement induire en erreur les résultats (puisqu'un traitement utilisé lors de la validation pourrait également être présent dans la formation s'il était répliqué).
Plus d'infos sur les méthodes de validation dans Neural platform : Validation Methods for Neural
Vous pouvez trouver une explication pour le nombre de tours (une de vos questions initiales) ici : Options d'ajustement neuronal
Et je peux vous recommander d'utiliser ce complément pour vous aider à affiner votre réseau neuronal : https://community.jmp.com/t5/Discovery-Summit-Americas-2023/JMP-Pro-Neural-Network-Tuning-Add -In-2023-US-30MP-1408/ta-p/651647
Plus généralement, le Machine Learning est un état d’esprit différent de la modélisation statistique « traditionnelle ». L'apprentissage automatique met l'accent sur la précision prédictive, avec le choix et l'optimisation du meilleur modèle d'interpolation avec très peu d'hypothèses, tandis que la modélisation statistique met l'accent sur la compréhension du processus de génération de données, nécessitant le choix d'un modèle approprié et la vérification des hypothèses, et peut nécessiter l'utilisation de répétitions pour distinguer ce qui est une variation de la réponse due à des facteurs de ce qui est une variation aléatoire ou un bruit.
- Concernant la réponse FN : la répétition consiste à effectuer plusieurs mesures de réponse sur la même série expérimentale (même échantillon sans aucune réinitialisation entre les mesures), tandis que la réplication consiste à effectuer plusieurs séries expérimentales randomisées indépendantes (plusieurs échantillons avec réinitialisation entre chaque série) pour chaque traitement. combinaison. Les répétitions réduisent uniquement la variation par rapport au système de mesure (en utilisant la moyenne des mesures répétées), tandis que les répétitions réduisent la variation expérimentale totale (processus + mesures) afin de fournir une estimation de l'erreur pure et de réduire l'erreur de prédiction (avec des mesures plus précises). estimations des paramètres). Si vous avez encore du bruit dans votre réponse moyenne, cela pourrait probablement indiquer que la majeure partie du bruit/nuisance provient du processus, et non de la mesure seule. Peut-être que certains facteurs de nuisance pourraient être pris en compte via le blocage, ou que certaines parties du protocole expérimental pourraient être améliorées. Est-ce que plusieurs opérateurs effectuent les mesures ?
- Pour certaines raisons, le lien ne fonctionne pas pour moi. Je ne connais pas la conclusion de cet article, mais en regardant les résultats, je vois clairement qu'il n'y a pas de grande différence entre le modèle de régression et le réseau de neurones utilisé en termes de précision prédictive lors du tracé des résidus :
Vous pouvez regarder les résultats avec le datatable ci-joint, ainsi que la modélisation effectuée (régression + réseau de neurones).
Grâce à la plateforme Neural Network, je parviens à trouver un modèle assez intéressant à des fins prédictives (masquer et exclure les 2 réplications avant de le lancer et utiliser la réponse Y moyenne par modèle), mais qui ne prend pas en compte la répétabilité/reproductibilité, ce n'est donc peut-être pas un modèle robuste à utiliser. Encore une fois, en fonction de votre objectif, vous risquez de perdre quelque chose en termes de précision prédictive : avec les réseaux de neurones, vous perdez l'interprétabilité (comme chaque facteur est combiné et utilisé dans les fonctions d'activation du NN, vous ne pouvez pas évaluer l'influence individuelle relative et l'importance de chacun). facteur) en faveur de l’exactitude prédictive.
Si vous souhaitez combiner des modèles, je pense que faire une moyenne ou assembler différents types de modèles peut être plus intéressant que de combiner le même type de modèles, car ils peuvent souffrir des mêmes problèmes et hypothèses « théoriques » (performances de généralisation, robustesse, performances prédictives). , surapprentissage, ...). La combinaison de différents types de modèles peut aider à faire la moyenne des erreurs et à compenser les inconvénients de certains modèles par les avantages d'autres, et à homogénéiser l'emplacement optimal trouvé (qui peut être très différent entre la régression et les réseaux de neurones).
J'espère que cette réponse plus complète vous aidera 
Re : aide à la comparaison des modèles : DOE vs ANN boostéMerci pour cette réponse si détaillée !
L'expérience a été réalisée par le DOE pour prédire - dans l'espace expérimental défini - des murs WAAM par robot GMAW avec 10 soudures superposées, où chaque expérience correspond à un mur exécuté.
Je dois prédire les deux réponses suivantes : 1) H/W (rapport hauteur/largeur) et FN (teneur en ferrite dans les dépôts, obtenue par une moyenne de 10 points mesurés au ferritoscope sur le mur). Grâce au DOE factoriel réalisé, les étudiants ont pu proposer une impression optimisée maximisant le rapport H/W et avec un objectif pour la teneur en FN. Nous commençons ce voyage DOE et ANN visant le paramétrage du soudage.
Cependant, le modèle n'est pas aussi satisfaisant pour prédire certaines expériences de soudage en dehors des analyses du DOE, certaines des mesures effectuées se situant en dehors de l'IC à 95 % prédit par le modèle. D’où la tentative de maximiser la capacité prédictive avec les expériences déjà réalisées. Je dois prédire les réponses DANS l'espace échantillon, car en dessous, il n'est pas soudable et au-dessus, j'endommage les composants de la machine.
En lisant certains livres et articles, j'ai envisagé d'appliquer K-fold à ANN en raison de la faible quantité de données comme vous l'avez indiqué dans votre réponse, mais où puis-je le sélectionner dans JMP pro ? Merci pour votre conseil concernant la mise des triplets dans le même ensemble de données de validation, je n'ai même pas pensé que cela influencerait le surajustement de l'ANN.
Oui, j'ai appliqué le modèle Ajuster les moindres carrés à ma régression. Le niveau de bruit dans le FN pourrait-il être dû au fait qu'il s'agit d'une moyenne de points ? Si oui, des conseils concernant ce qui précède ?
Encore une fois, merci pour l'excellente réponse et les questions !
Re : aide à la comparaison des modèles : DOE vs ANN boostéPar exemple : je souhaite réaliser une analyse similaire à ces images tirées de l'article « Une étude comparative utilisant la méthodologie de surface de réponse et un réseau de neurones artificiels vers une production optimisée de mélanine par Aureobasidium pullulans AKW » ( https://doi.org/ 10.1038/s41598-023-40549 -z).
Re : aide à la comparaison des modèles : DOE vs ANN boostéJe serais prudent avec les résultats, car nous ne savons pas (du moins je ne le sais pas) comment le partitionnement a été effectué pour la validation du réseau neuronal.
- Ont-ils pris en compte le fait que les 3 dernières lignes sont des répliques, et donc pour Neural Network, il serait plus "juste" d'utiliser une moyenne de la réponse pour ce traitement, au lieu de partitionner les 3 résultats différents dans des ensembles éventuellement différents ?
- De plus il y a un manque d'explications sur la partie modélisation de la régression, donc je ne sais pas quels sont les termes conservés dans la modélisation et sur quelle base des termes ont été éventuellement supprimés du modèle : est-ce fait dans un "Machine Learning" "/de manière prédictive, tester différents modèles de régression et conserver celui avec les meilleurs résultats de validation ? Ou sur la base de la signification statistique, d'un critère d'information, de vraisemblance... ?
Cependant, même s'il y a un manque d'informations sur la manière dont la modélisation a été réalisée (peut-être présentes dans l'article, mais auxquelles on ne peut pas accéder avec le lien fourni), il est intéressant de voir le compromis biais-variance en action lors de la comparaison des résultats. de l'optimum avec validation expérimentale :
Le modèle de régression peut avoir un biais plus élevé (la plus grande différence moyenne entre l'optimum réel et l'optimum prédit) que le réseau neuronal, mais il peut avoir une variance plus faible (puisque l'optimum trouvé avec le modèle de régression a une incertitude (SD ?) plus faible que celle trouvée avec Neural Network), cela peut donc s'avérer un choix plus robuste.
