Pourquoi la validation n'est-elle pas incluse dans le DOE ?Salut tout le monde, j'apprends le cours en ligne maintenant. Dans la partie modélisation prédictive, la validation permet d'évaluer les performances du modèle sur de nouvelles données, et d'éviter de choisir le modèle de surajustement.
La validation nécessite des données supplémentaires. Cependant, dans la partie DOE, ces données supplémentaires ne sont pas incluses. Toutes les données collectées sont utilisées pour entraîner le modèle. Même les points centraux sont utilisés pour évaluer les effets quadratiques dans le modèle.
Prenons l'exemple de la surface de réponse DOE. L'objectif de ce DOE est de trouver le point optimal, qui sont généralement de "nouvelles données" (par rapport aux points du DOE). Pourquoi dans ce cas un ensemble de validation n'est pas inclus ? N'est-ce pas important?
AnalytiqueBICHERe : Pourquoi la validation n'est-elle pas incluse dans le DOE ?Bien dit Byron. J'ai négligé de différencier la Validation comme tu l'as si bien fait.
Re : Pourquoi la validation n'est-elle pas incluse dans le DOE ?Il est peut-être important de vérifier ce que tout le monde entend par "valider".
En règle générale, dans la modélisation de données ad hoc, la validation du modèle à l'aide d'un ensemble de données retenues est une très bonne idée. Les statistiques d'ajustement des données d'exclusion sont utilisées pour évaluer la qualité du modèle à partir des données d'apprentissage. Dans la modélisation de données ad hoc, nous essayons de construire des estimations sur la population sous-jacente, travailler avec de petits ensembles de données compromet la capacité de former et d'évaluer le modèle. Maximiser le nombre d'observations sur le système que nous modélisons est important pour de meilleures estimations.
Les données d'un DOE sont très soigneusement planifiées et collectées avant l'analyse. Cette conception prend en charge l'inclusion/l'utilisation de termes de modèle qui sont spécifiés a priori contrairement à la modélisation de données fortuites où nous ne savons peut-être pas quels termes peuvent être inclus dans le modèle jusqu'à ce qu'ils soient évalués.
Dans le cas d'un DOE, aucune des données n'est conservée pour la validation du modèle car toutes les données sont nécessaires pour estimer les coefficients du modèle par conception. L'un des principaux objectifs du DOE est de générer le moins de données nécessaires pour modéliser les phénomènes physiques. Le terme « validation » dans le cas d'un DOE implique que des analyses supplémentaires seront effectuées une fois l'expérience terminée. Les exécutions de "validation" seront comparées aux valeurs prédites pour évaluer la qualité des prédictions du modèle DOE. Souvent, le nombre d'exécutions de validation est faible, peut-être seulement 1 à 3. Ces exécutions fournissent des preuves pour prendre en charge les modifications apportées à un système physique qui générera ensuite de nombreuses exécutions/observations aux mêmes paramètres d'entrée. Le modèle sera utilisé pour régler le système/processus physique à l'avenir.
DOE World utilise des méthodes similaires à Modeling World mais l'approche est très différente.
Re : Pourquoi la validation n'est-elle pas incluse dans le DOE ?D'accord avec les commentaires de Mark et Pete ... les résultats de l'expérience et le modèle créé à la suite de l'analyse (quelles que soient les statistiques ou les jugements pratiques que vous utilisez pour ce faire) sont fonction de l'espace d'inférence de l'expérience. Si l'expérience ne représente pas les conditions futures, alors le modèle, peu importe sa "significativité statistique" dans l'analyse, ne produira pas de résultats reproductibles utiles.
"Malheureusement, les expériences futures (essais futurs, production de demain) seront affectées par des conditions environnementales (température, matériaux, personnes) différentes de celles qui affectent cette expérience... Ce n'est que par la connaissance du sujet, peut-être aidé par d'autres expériences (italiques ajoutés) pour couvrir un plus large éventail de conditions, que l'on peut décider, avec un risque de se tromper, si les conditions environnementales du futur seront suffisamment proches de celles d'aujourd'hui pour permettre l'utilisation des résultats en main.
Dr Deming
Re : Pourquoi la validation n'est-elle pas incluse dans le DOE ?Pour ajouter un peu à @Mark_Bailey Les conseils de , avec lesquels je suis d'accord ... philosophiquement, le DOE en tant que méthode de résolution de problèmes a l'efficacité de la collecte de connaissances comme principe fondamental. L'un de mes instructeurs du DOE des années 1980 a défini «l'efficacité du DOE» comme le désir d'obtenir les informations requises en dépensant le moins de ressources possible. De nos jours, nous pouvons dire qu'avec des tactiques DOE optimales basées sur un modèle, le modèle est notre « information requise ». En tant que telles, les méthodes DOE optimales offrent cette efficacité, ce qui rend nécessaire chaque combinaison de traitement. Aucune course supplémentaire requise.
Mais comme le suggère Mark, et tous les bons praticiens du DOE suivent généralement, c'est une fois que nous avons le modèle, nous effectuons des exécutions supplémentaires pour vérifier que le modèle est en fait utile pour le problème pratique à résoudre. Ainsi, le processus DOE inclut la validation (certains l'appellent confirmation ou vérification) comme une étape obligatoire... cela se produit simplement à un moment différent, après l'expérimentation initiale.
Re : Pourquoi la validation n'est-elle pas incluse dans le DOE ?La validation du modèle est une étape importante. Utilisez le modèle sélectionné pour trouver les niveaux de facteur d'intérêt (par exemple, ils sont censés donner une réponse souhaitée et une réponse indésirable), puis configurez quelques exécutions (5-6) et comparez la réponse moyenne des nouvelles exécutions à la réponse prédite. réponse moyenne. Je recommande d'utiliser un test d'équivalence et non de différence.
Ces données, validées seules, peuvent être combinées avec l'expérience originale, si vous souhaitez améliorer les estimations des termes du modèle.
