Que se passe-t-il lorsqu’un seul facteur l’emporte largement sur les autres dans un DoE ?Salut les gars,
J'ai créé un DoE qui avait un objectif principal (stabilité) et un objectif secondaire (productivité). J'ai déjà caractérisé la productivité avec un DoE initial. Un excellent modèle a été développé à partir de ces données. Pour ce nouveau DoE, j'ai ajouté un facteur supplémentaire qui n'avait pas été pris en compte auparavant. Je savais que ce facteur aurait un impact important sur la productivité car il s'agit d'un contributeur principal évident, mais je n'étais absolument pas sûr de son impact sur la stabilité.
Le modèle de stabilité est revenu très bien. Le modèle de productivité a été désastreux. Le R^2 ajusté était presque inexistant à la fin de la réduction du modèle, et le terme restant était le nouveau facteur que j'ai ajouté. (Aucune valeur aberrante n'a été détectée par les résidus studentisés en externe).
Ma question est donc la suivante : la faible capacité de modélisation s’explique-t-elle par le fait que le facteur principal a eu un impact BIEN plus important que les autres facteurs, et que les autres effets étaient essentiellement indétectables ?
Plan d'expériencesRé : Que se passe-t-il lorsqu'un seul facteur l'emporte largement sur les autres dans un DoE ?Salut @MetaLizard62080 ,
Il est très complexe d'essayer de vous aider sans plus de contexte et de précision sur l'importance de ce facteur (taille de l'effet pratique, signification statistique, les deux ?), la conception que vous avez créée et la manière dont vous avez analysé et affiné votre modèle.
Vous avez peut-être déjà quelques idées si vous pouvez comparer ce qui a changé entre le DoE initial réussi en matière de productivité et celui-ci : facteurs ? niveaux ? conception ? Choix du modèle ? Objectifs ? Métriques du modèle pour ajustement/affinement ? ...
Cependant, voici quelques réflexions, questions et explications possibles, outre celle que vous proposez :
- Définition de la conception :
- En fonction des différences de portée des facteurs et de l'influence du facteur spécifique sur la réponse, vous avez peut-être amplifié l'importance/la taille de l'effet de ce facteur par rapport aux autres. Vous pouvez essayer d'améliorer votre conception et de réduire la portée de ce facteur (et/ou d'élargir la portée d'autres facteurs), afin de réduire la variabilité de la réponse concernant ce facteur (et/ou d'augmenter la variabilité de la réponse concernant d'autres facteurs).
- En fonction de votre objectif (dépistage de facteurs, exploration de l'espace expérimental, prédiction, ...), vous pouvez choisir un plan différent, avec une taille d'échantillon différente, des essais répétés, ... Votre taille d'échantillon est-elle suffisamment élevée pour la différence que vous souhaitez détecter pour d'autres facteurs ? Le plan choisi est-il adapté à votre objectif ?
- Gestion du bruit : Vos expériences sont-elles « bruyantes » ? Si oui, avez-vous utilisé des stratégies pour identifier et gérer le bruit provenant de différentes sources : répétabilité, reproductibilité, facteurs de bruit, influence externe, etc… ?
- Ce nouveau DoE a-t-il été créé « à partir de zéro » ou avez-vous utilisé l'Augmentation pour bénéficier des informations des données historiques ?
- Construction et perfectionnement de modèles et sélection:
- Vous mentionnez qu'après réduction, le R² ajusté était très faible. Quel est votre objectif par rapport à la construction et à la sélection de votre modèle ? Quelles métriques utilisez-vous et sont-elles liées à vos objectifs ? Quelles étaient les performances métriques de votre modèle complet avant réduction ? Sur quelles informations/bases/métriques avez-vous réduit votre modèle ?
En fonction de votre objectif (explicabilité ou prédictivité ou les deux) et des mesures d'intérêt associées (R²/R² ajusté pour l'explicabilité, RMSE pour la prédictivité et critères d'information pour les deux par exemple), vous pouvez vous retrouver avec des modèles différents. Vous pouvez essayer de construire plusieurs modèles, en particulier pour ne pas vous fier uniquement à la signification statistique et aux valeurs p (vous pouvez lire la discussion sur ce sujet Signification statistique ). Vous pouvez également identifier et évaluer si la taille de l'effet/la signification pratique des facteurs/termes du modèle sont importantes, en fonction de votre expertise du domaine.
- Gardez à l'esprit que la signification et la taille de l'effet des facteurs dépendent des facteurs qui entrent dans le modèle. Ainsi, en fonction de la manière dont vous « réduisez » votre modèle et des termes qui sont supprimés, vous modifiez complètement les valeurs p et l'estimation de la taille de l'effet. Vous pouvez en savoir plus ici Les facteurs significatifs deviennent non significatifs après avoir supprimé les facteurs non significatifs
- Les modèles issus du DoE s'appuient également sur les principes de parcimonie des effets, d'hérédité des effets et de hiérarchie des effets . Vous pouvez essayer de vérifier/évaluer si le modèle que vous construisez respecte ces principes. Voir Est-il possible d'avoir un facteur qui n'est pas significatif dans un modèle de surface de réponse mais que le terme quadratique pour le même facteur l'est ?
- Avez-vous vérifié les résidus ? Existe-t-il des modèles qui pourraient indiquer une violation des hypothèses de régression ( Hypothèses du modèle de régression | Introduction aux statistiques | JMP ) ? Disposez-vous d'un test d'inadéquation ? La réponse est-elle liée à la prédictivité couvrant des ordres de grandeur importants et très différents ? En fonction de vos réponses à ces questions, il peut y avoir quelque chose à vérifier et à corriger pour la construction du modèle, afin de s'assurer que les hypothèses du modèle de régression sont respectées (ou si vous avez besoin d'un modèle de régression différent avec des termes ajoutés/supprimés, une transformation de la réponse, un modèle de régression généralisé, etc...). Voir Problème avec l'ajustement RSM pour un facteur
- Les résultats sont-ils pertinents pour les experts du domaine et alignés avec les résultats précédents ?
En fin de compte, votre modèle est déterminé par le design que vous avez choisi, il est donc difficile de vous aider concernant le modèle sans comprendre comment et pourquoi vous avez choisi et créé le design pour votre sujet.
Tout ensemble de données de jouets montrant à quoi vous êtes confronté peut être utile pour un suivi plus précis.
J'espère que ce premier sujet de discussion pourra vous aider,
Ré : Que se passe-t-il lorsqu'un seul facteur l'emporte largement sur les autres dans un DoE ?Comme le souligne Victor, il n'y a tout simplement pas assez de contexte pour répondre à votre question de manière appropriée. Voici mes réflexions/questions. Avez-vous reproduit votre première expérience ? Quel a été le rôle du facteur que vous avez ajouté au cours de la première expérience ? (par exemple, maintenu constant ou variant de manière aléatoire) Comment avez-vous mesuré la stabilité ? Le système de mesure a-t-il été étudié ? La stabilité est généralement l'une des caractéristiques que vous abandonnez lorsque vous effectuez une expérience, car vous tronquez la série chronologique et la stabilité nécessite une série chronologique.
Rétrospectivement, c'est pourquoi vous commencez avec un espace d'inférence plus large (par exemple, en incluant davantage de facteurs de conception et de bruit dans l'étude). Les résultats de votre première expérience étaient conditionnels. Si l'espace d'inférence, les facteurs de conception ou le bruit qui ont varié au cours de l'expérience changent, les résultats peuvent également changer.
Vos pensées ne sont pas nécessairement fausses. Il est possible que cela ait un effet significatif sur l'analyse et rende difficile la découverte d'autres effets significatifs dans l'étude. Nous essayons de surmonter ce problème en mettant TOUS les facteurs en gras. Si le niveau d'un facteur est beaucoup plus gras que celui des autres, il peut sembler que ce facteur est effectivement beaucoup plus significatif que d'autres facteurs.
