supprimer des termes d'un modèle à la suite d'une expérience conçueOk, supposons que j'ai effectué un plan factoriel complet avec quatre facteurs à 2 niveaux. Lors de l'ajustement du modèle, j'ai inclus toutes les interactions bidirectionnelles. Certains des principaux effets et interactions de ces facteurs ne sont pas significatifs à 0,05. Si je supprime ensuite les facteurs les moins significatifs (ceux en bas du tableau récapitulatif des effets), certains des termes non significatifs deviennent significatifs. Si j'essayais de développer le « meilleur » modèle, je me sentirais à l'aise de le faire. Mais si j'essaie de déterminer si un facteur joue un rôle dans la variable de réponse, je ne suis pas sûr que ce soit légitime. Existe-t-il une justification appropriée, dans le contexte du DOE, pour supprimer les termes insignifiants et décrire ensuite les termes restants comme significatifs ?
Analyse et modélisation des données de baseConception d'expériencesRe : supprimer des termes d'un modèle suite à une expérience conçueVoici mes réflexions en général (des conseils spécifiques nécessiteraient une compréhension plus approfondie de la situation) :
Tout d'abord, je suppose que vous disposez d'une factorielle non répliquée avec 16 traitements. Le modèle inclut tous les termes possibles jusqu'au 4ème ordre.
Vous évoquez un concept important en ce qui concerne l'expérimentation et le test F (ou tout autre test peut-être). Le test de signification typique en expérimentation consiste à comparer le MS du terme du modèle avec le MSe (erreur). Il s'agit de la ration F ou de la valeur F. Les questions importantes sont les suivantes : Comment le terme d’erreur a-t-il été estimé ? Dans quelle mesure l’estimation est-elle représentative de la véritable erreur ? Les comparaisons effectuées sont-elles utiles et représentatives ?
Si vous supprimez les termes insignifiants du modèle (manque d'ajustement), vous biaisez potentiellement le MSe vers le bas (petit SS divisé par DF). Par conséquent, lorsque vous comparez le MS du terme du modèle avec le MSe plus petit, vous obtenez des valeurs F plus grandes (et des valeurs p plus petites).
Une lecture rapide :
https://www.additive-net.de/images/software/minitab/downloads/SCIApr2004MSE.pdf
Je recommande d'abord d'évaluer la signification pratique des termes du modèle à l'aide de diagrammes d'effets de Pareto ET d'utiliser la méthode de Daniel pour évaluer la signification statistique pour les expériences non répliquées (tracés normaux/semi-normaux) et peut-être complétées par des tracés de Bayes (encadré). Cela vous donnera à la fois une signification pratique et une signification statistique sans biais.
Daniel, Cuthbert, "Utilisation de tracés semi-normaux pour interpréter des expériences factorielles à deux niveaux", Technométrie , Vol. 1, n°4 novembre 1959
Une fois que vous avez déterminé les facteurs/interactions actifs dans l’expérience, simplifiez/réduisez le modèle. L’objectif de la simplification du modèle est double :
1. pour obtenir un modèle plus utile pour l'itération et la prédiction
2. obtenir des résidus pour aider à évaluer l'adéquation du modèle et si des hypothèses ont été violées.
Remarque : vous ne réévaluez pas la signification statistique pour le modèle simplifié
Re : supprimer des termes d'un modèle suite à une expérience conçueMerci. Votre point concernant la distorsion du MSe est au cœur de mes préoccupations concernant mes conclusions sur la signification des termes restants… que j'ai probablement un taux d'erreur de type I plus élevé que je ne le pense. Je peux donc prétendre à tort à un effet de facteur.
J'ajouterai qu'il s'agissait d'une expérience répliquée avec quatre répétitions, car nous nous attendions à un mauvais rapport signal/bruit. Cela aide-t-il à se prémunir contre les fausses affirmations sur la signification des termes ?
Les facteurs étaient binaires/catégoriques et la réponse était continue.
Re : supprimer des termes d'un modèle suite à une expérience conçuePour ajouter quelques remarques et commentaires en plus de @statman répondre.
Votre sujet semble très similaire à l'évaluation et à la sélection de modèles. Dans ce processus, la signification statistique peut être une mesure, mais pas la seule (ajoutez toujours une expertise du domaine !).
Les métriques complémentaires d'estimation et d'évaluation du modèle, comme le log de vraisemblance, les critères d'information (AICc, BIC) ou les métriques du modèle (pouvoir explicatif via R2 et R2 ajusté, pouvoir prédictif via MSE/RMSE/RASE, ...) offrent une perspective différente et peuvent mettre en évidence différents modèles.
Vous pouvez ensuite sélectionner, en fonction de l'expertise du domaine et de l'évaluation statistique, lesquels sont les plus appropriés/pertinents pour votre sujet, et choisir d'estimer les prédictions individuelles avec les différents modèles (pour voir comment/où elles diffèrent), et/ ou d'utiliser un modèle combiné pour faire la moyenne des erreurs de prédiction.
"Tous les modèles sont faux, mais certains sont utiles" est une citation tout à fait adéquate lorsqu'on traite plusieurs modèles possibles et qu'on essaie d'en évaluer et d'en sélectionner quelques-uns pour répondre à une question.
J'espère que cette réponse supplémentaire pourra vous aider,
Re : supprimer des termes d'un modèle suite à une expérience conçuePourquoi 4 répétitions ? Qu’est-ce qui changeait au sein et entre les répliques ? Le RMSE semble-t-il raisonnable et comparable à la variation que vous constatez dans le processus ? Le processus est-il stable ?
Les défauts les plus courants du DOE sont (paraphrasés de Daniel) :
- Sursaturation : trop d'effets pour le nombre de traitements
- Surconservation : trop d'observations pour les estimations souhaitées
- Défaut d'étudier les données pour détecter de mauvaises valeurs
- Ne pas prendre en compte tous les alias
- Imprécision due à une mauvaise compréhension de la variance d'erreur.
Le point 5 est important, en particulier si vous vous fiez aux valeurs p pour évaluer la signification.
Les conseils de Victor concernant l'utilisation d'autres statistiques pour déterminer un modèle approprié méritent également d'être pris en considération.
Re : supprimer des termes d'un modèle suite à une expérience conçueL'expérience était « open source » : des équipes de participants volontaires ont effectué quatre essais (traitements attribués au hasard) à partir de la matrice de conception principale. J'ai bloqué pour l'effet d'équipe, ainsi que pour d'autres facteurs de nuisance comme le scénario (il y en avait quatre). Même sans ces facteurs gênants, je m'attendais à ce que le score d'une équipe (la variable de réponse) varie malgré les effets des facteurs. Ces facteurs de nuisance constituaient un compromis malheureux entre le « réalisme » avec des sujets humains et une expérience plus étroitement contrôlée.
