Pourquoi la validation n'est-elle pas incluse dans le DOE ?Bonjour à tous, J'apprends le cours en ligne maintenant. Dans la partie modélisation prédictive, la validation est utilisée pour évaluer les performances du modèle sur de nouvelles données et éviter de choisir le modèle de surapprentissage.
La validation nécessite des données supplémentaires. Cependant, dans la partie DOE, ces données supplémentaires ne sont pas incluses. Toutes les données collectées sont utilisées pour entraîner le modèle. Même les points centraux sont utilisés pour évaluer les effets quadratiques dans le modèle.
Prenons l'exemple de la surface de réponse DOE. L'objectif de ce DOE est de trouver le point optimal, qui sont généralement de "nouvelles données" (par rapport aux points du DOE). Pourquoi dans ce cas un ensemble de validation n'est-il pas inclus ? N'est-ce pas important ?
AnalytiqueBICHERe : Pourquoi la validation n'est-elle pas incluse dans le DOE ?La validation du modèle est une étape importante. Utilisez le modèle sélectionné pour trouver les niveaux de facteurs d'intérêt (par exemple, ils sont prédits pour donner une réponse souhaitée et une réponse indésirable), puis configurez quelques pistes (5-6) et comparez la réponse moyenne des nouvelles pistes à la prévision réponse moyenne. Je recommande d'utiliser un test d'équivalence, pas de différence.
Ces données, validées seules, peuvent être combinées avec l'expérience originale, si vous souhaitez améliorer les estimations des termes du modèle.
Re : Pourquoi la validation n'est-elle pas incluse dans le DOE ?Pour rajouter un peu @markbailey Le conseil avec lequel je suis d'accord...philosophiquement, le DOE en tant que méthode de résolution de problèmes a l'efficacité de la collecte de connaissances comme principe fondamental. L'un de mes instructeurs du DOE des années 1980 a défini « l'efficacité du DOE » comme le désir d'obtenir les informations requises pour le moins de dépenses de ressources. De nos jours, nous pouvons dire qu'avec les tactiques optimales du DOE basées sur un modèle, le modèle est notre « information requise ». En tant que telles, les méthodes optimales du DOE offrent cette efficacité, ce qui rend chaque combinaison de traitement nécessaire. Aucune course supplémentaire n'est requise.
Mais comme le suggère Mark, et tous les bons praticiens du DOE suivent généralement, une fois que nous avons le modèle, nous effectuons des analyses supplémentaires pour vérifier que le modèle est en fait utile pour le problème pratique à résoudre. Ainsi, le processus du DOE inclut la validation (certains l'appellent confirmation ou vérification) en tant qu'étape obligatoire... cela se produit simplement à un moment différent, après l'expérimentation initiale.
Re : Pourquoi la validation n'est-elle pas incluse dans le DOE ?D'accord avec les commentaires de Mark et Pete... les résultats de l'expérience et le modèle créé à la suite de l'analyse (quelles que soient les statistiques ou les jugements pratiques que vous utilisez pour ce faire) sont fonction de l'espace d'inférence de l'expérience. Si l'expérience ne représente pas les conditions futures, alors le modèle, même s'il est "statistiquement significatif" dans l'analyse, ne produira pas de résultats reproductibles utiles.
« Malheureusement, les expérimentations futures (essais futurs, production de demain) seront affectées par des conditions environnementales (température, matériaux, personnes) différentes de celles qui affectent cette expérimentation… Ce n'est que par la connaissance du sujet, éventuellement aidé par d'autres expériences (italiques ajoutés) pour couvrir un plus large éventail de conditions, que l'on peut décider, au risque de se tromper, si les conditions environnementales du futur seront suffisamment proches de celles d'aujourd'hui pour permettre l'utilisation des résultats en main.
Dr Deming
Re : Pourquoi la validation n'est-elle pas incluse dans le DOE ?Peut-être est-il important de vérifier ce que tout le monde entend par « valider ».
En règle générale, dans la modélisation de données ad-hoc, la validation du modèle à l'aide d'un ensemble de données de réserve est une très bonne idée. Les statistiques d'ajustement des données d'exclusion sont utilisées pour évaluer la qualité du modèle à partir des données d'apprentissage. Dans la modélisation de données ad-hoc, nous essayons de construire des estimations sur la population sous-jacente, travailler avec de petits ensembles de données sape la capacité de former et d'évaluer le modèle. Maximiser le nombre d'observations sur le système que nous modélisons est important pour de meilleures estimations.
Les données d'un DOE sont soigneusement planifiées et collectées avant l'analyse. Cette conception prend en charge l'inclusion/l'utilisation de termes de modèle qui sont spécifiés a priori contrairement à la modélisation de données de hasard où nous pouvons ne pas savoir quels termes peuvent être inclus dans le modèle jusqu'à ce qu'ils soient évalués.
Dans le cas d'un DOE, aucune des données n'est conservée pour la validation du modèle car toutes les données sont nécessaires pour estimer les coefficients du modèle par conception. Un objectif clé du DOE est de générer le moins de données nécessaires pour modéliser les phénomènes physiques. Le terme « validation » dans le cas d'un DOE implique que des analyses supplémentaires seront effectuées une fois l'expérience terminée. Les exécutions de « validation » seront comparées aux valeurs prédites pour évaluer la qualité des prédictions du modèle DOE. Souvent, le nombre d'exécutions de validation est faible, peut-être seulement 1 à 3. Ces analyses fournissent des preuves à l'appui des modifications apportées à un système physique qui générera ensuite de nombreuses analyses/observations avec les mêmes paramètres d'entrée. Le modèle sera utilisé pour régler le système/processus physique à l'avenir.
DOE World utilise des méthodes similaires à Modeling World mais l'approche est très différente.
Re : Pourquoi la validation n'est-elle pas incluse dans le DOE ?Bien dit Byron. J'ai négligé de différencier la Validation comme tu l'as si bien fait.
