Le modèle RSM était inexact (en désaccord avec les données historiques) - Comment réparer et où cela s'est mal passéSalut les gars,
Nous disposons d'un processus qui est assez bien caractérisé à ce stade, mais nous réduisons désormais les risques de variabilité potentielle du processus à partir du matériau de départ. L'intention est de maximiser la pureté et de maximiser la récupération de cette opération unitaire.
Nous savons que deux paramètres sont des facteurs importants car ils ont été modélisés dans les DoE précédents et ne sont que des paramètres bien connus (B, C). Un troisième paramètre (A) est à l’étude car il pourrait en théorie avoir un impact. Il s'agit de la pureté de départ du matériau, qui peut être variable (et que nous ne pouvons pas totalement contrôler).
À partir d'expériences fortuites, j'ai montré une purification réussie sur une large gamme de A (~ 30 à 50 % de pureté de départ). Je voulais déterminer où se situe le point d'échec (à quelle pureté du matériau de départ, la pureté finale cible ne peut-il pas être atteint) ? Je voulais également caractériser pleinement notre espace de conception autour de cela afin que nous puissions savoir si la condition optimale de B et C a évolué avec un changement dans A.
J'ai réalisé un modèle RSM qui variait entre B et C sur sa plage normalement testée, et A variait d'environ 5 % de pureté à environ 85 % de pureté. Il a identifié A comme paramètre significatif, mais dans l’ensemble, le modèle est dérivé des données historiques. Ainsi, par exemple, après réduction du modèle, il prédit que 30 % du matériau serait pur à environ 60 % d'ici la fin de l'exploitation, mais nous disposons de plusieurs points de données montrant que ce chiffre est sous-estimé et devrait être plus proche de 85 %.
Un problème est survenu lors de la réalisation de cette étude. Les conditions cibles A étaient les suivantes : 5 %, 40 %, 85 %. Après l'exécution, il a été constaté que la condition intermédiaire réellement testée était plus proche de 55 %, il s'agissait donc d'une erreur de performance. Cela pourrait-il être à l'origine du problème ?
Dans l’ensemble, l’ajustement du modèle était très bon, avec un RSME faible. Les conditions de faible pureté constituaient certainement un test de résistance, et non quelque chose que nous nous attendions à voir en production, mais il semblait bénéfique d'explorer un large espace pour la compréhension des processus. Mes théories sont que l'erreur expérimentale qui s'est produite a conduit à un problème, ou que la plage était trop large et que la condition A inférieure qui avait du mal à se purifier à plusieurs reprises, a abaissé le modèle.
1.) Comment puis-je réparer ce DOE pour améliorer la précision ?
Je peux augmenter les analyses et concentrer l'ensemble de données dans la "plage MFG" à laquelle nous nous attendons
Je pourrais ajouter un terme de troisième ordre pour évaluer plus de conditions de A plutôt que seulement 3.
2.) Comment puis-je éviter un modèle inexact à l’avenir ?
Si je n'avais pas eu de données historiques, je n'aurais pas remis en question cet ensemble de données car il semble à première vue, c'est exact.
Conception d'expériencesles fenêtresRe : Le modèle RSM était inexact (en désaccord avec les données historiques) - Comment réparer et où cela s'est mal passéMerci pour la description détaillée. Qu'a montré l'analyse résiduelle sur le modèle de la récente expérience RSM ?
De plus, certaines des exécutions RSM étaient-elles communes avec des expériences ou des tests précédents et pourraient donc servir de contrôles ?
Re : Le modèle RSM était inexact (en désaccord avec les données historiques) - Comment réparer et où cela s'est mal passé^ Je suis désolé, mon ordinateur présente des problèmes et j'ai accidentellement accepté votre commentaire comme solution...
Pour répondre à tes questions:
Voici les tracés résiduels pour le paramètre A :
Aucune condition n’était techniquement entièrement contrôlée. Les DoE précédentes ont été réalisées avec environ 45 % de matière première, la plus proche dans ce RSM était de 55 %.
Re : Le modèle RSM était inexact (en désaccord avec les données historiques) - Comment réparer et où cela s'est mal passéPour plus de précision, « A » n'est pas contrôlable par vous ?S'agit-il d'une « matière première » provenant d'un fournisseur ?Si tel est le cas, il me semble que vous devriez développer un modèle mixte avec A comme variable aléatoire (covariable) dans le modèle.
Réflexions supplémentaires :
1. Avez-vous évalué les systèmes de mesure pour A et pour la pureté ?
2. Où se trouvait A (par exemple, à quels niveaux se trouvait-il) lorsque vous avez étudié B&C lors d'expériences précédentes ?S'il interagit avec B et/ou C, vos modèles précédents seraient conditionnels.
3. Je ne comprends pas ce que tu veux dire par " réparer ce DOE pour améliorer la précision" ?Je suppose que vous souhaitez améliorer le modèle, le DOE est un moyen pour parvenir à une fin.
4. Les modèles sont des approximations, espérons-le utilisables. Ils peuvent être utilisés à des fins explicatives ou prédictives.Leurs performances en matière de prédiction dépendent de la représentativité de vos études (par exemple, celles du DOE) du futur. Les DOE ont, de par leur conception, un espace d'inférence étroit.En effet, vous supprimez/réduisez considérablement les séries chronologiques et empêchez donc les facteurs de varier dans le DOE.Pour surmonter ce handicap, vous devez exagérer le bruit dans votre expérience et utiliser une stratégie pour gérer le bruit de manière appropriée (par exemple, répétitions, répliques, blocs, split-plots, covariables, etc.)
Re : Le modèle RSM était inexact (en désaccord avec les données historiques) - Comment réparer et où cela s'est mal passéMerci pour votre réponse!
Pour plus de précision, « A » n'est pas contrôlable par vous ?S'agit-il d'une « matière première » provenant d'un fournisseur ?Si tel est le cas, il me semble que vous devriez développer un modèle mixte avec A comme variable aléatoire (covariable) dans le modèle.
"A" ne sera pas contrôlable chez MFG mais est contrôlable dans cette expérience. J'ai combiné deux pools de matières premières d'une pureté élevée et d'une faible pureté, même si mon objectif central était hors de l'objectif de pureté (j'ai utilisé une approche moyenne pondérée).
Réflexions supplémentaires :
1. Avez-vous évalué les systèmes de mesure pour A et pour la pureté ?
La mesure de pureté ici est très précise. Nous pouvons généralement estimer à 5 % près, ce qui est généralement plus précis, mais cela reste prudent.
2. Où se trouvait A (par exemple, à quels niveaux se trouvait-il) lorsque vous avez étudié B&C lors d'expériences précédentes ?S'il interagit avec B et/ou C, vos modèles précédents seraient conditionnels.
"A" dans les expériences précédentes du DoE était maintenu constant à une pureté d'environ 40 à 45 %. Les essais à grande échelle sont descendus jusqu'à 30 % sans impact notable sur la pureté finale.
3. Je ne comprends pas ce que tu veux dire par " réparer ce DOE pour améliorer la précision" ?Je suppose que vous souhaitez améliorer le modèle, le DOE est un moyen pour parvenir à une fin.
Exact, ma terminologie était incorrecte. Comment puis-je améliorer le modèle et quelle est la théorie expliquant pourquoi il est inexact.
4. Les modèles sont des approximations, espérons-le utilisables. Ils peuvent être utilisés à des fins explicatives ou prédictives.Leurs performances en matière de prédiction dépendent de la représentativité de vos études (par exemple, celles du DOE) du futur. Les DOE ont, de par leur conception, un espace d'inférence étroit.En effet, vous supprimez/réduisez considérablement les séries chronologiques et empêchez donc les facteurs de varier dans le DOE.Pour surmonter ce handicap, vous devez exagérer le bruit dans votre expérience et utiliser une stratégie pour gérer le bruit de manière appropriée (par exemple, répétitions, répliques, blocs, split-plots, covariables, etc.)
Je comprends tout à fait cela, le problème est que ce modèle suggère que « A » est un facteur important dans un espace où il a été prouvé que ce n'était pas le cas. J'essaie de déterminer si c'est quelque chose que j'ai mal fait dans ma conception DoE, ou si c'était expérimental, etc.
Re : Le modèle RSM était inexact (en désaccord avec les données historiques) - Comment réparer et où cela s'est mal passé"A" ne sera pas contrôlable chez MFG mais est contrôlable dans cette expérience. J'ai combiné deux pools de matières premières d'une pureté élevée et d'une faible pureté, même si mon objectif central était hors de l'objectif de pureté (j'ai utilisé une approche moyenne pondérée).
Je comprends que vous avez réussi A pendant l'expérience, là n'est pas la question.La question est : êtes-vous prêt à gérer A à l’avenir ? Ce que je veux dire par vouloir, c'est ; avez-vous la capacité, l’argent ou le désir de gérer A ?Sinon, A est du bruit. Traiter A comme un facteur de conception n'est pas ce que je recommanderais.
La mesure de pureté ici est très précise. Nous pouvons généralement estimer à 5 % près, ce qui est généralement plus précis, mais cela reste prudent.
Je ne suis pas sûr de comprendre votre terminologie.Il y a une différence entre exactitude et précision, mais semblez-vous les utiliser de manière interchangeable ?La précision est une mesure de la proximité d'une mesure avec la valeur vraie ou acceptée de la quantité mesurée (par exemple, un étalon de référence). La précision est une mesure de la proximité d'une série de mesures les unes par rapport aux autres (c'est-à-dire la répétabilité et la reproductibilité).Mais dans tous les cas, vous suggérez que la mesure n’est pas un problème.
"A" dans les expériences précédentes du DoE était maintenu constant à une pureté d'environ 40 à 45 %. Les essais à grande échelle sont descendus jusqu'à 30 % sans impact notable sur la pureté finale.
Il s'agit d'un problème potentiel.Puisque A était constant, lors des expériences précédentes, il n’existe aucune estimation des effets d’interaction potentiels entre A et d’autres facteurs.De plus, votre modèle dépend du fait que A soit constant aux niveaux de pureté de 40 à 45 %.Si A change, nous n’avons aucune idée des performances de votre modèle.
Je comprends tout à fait cela, le problème est que ce modèle suggère que « A » est un facteur important dans un espace où il a été prouvé que ce n'était pas le cas. J'essaie de déterminer si c'est quelque chose que j'ai mal fait dans ma conception DoE, ou si c'était expérimental, etc.
je Je ne suis pas sûr de suivre votre logique... Comment avez-vous « prouvé » que A n'était pas significatif dans l'espace de conception ?Si vous savez déjà que A est insignifiant, pourquoi expérimentez-vous dessus ?Que vous ayez exécuté la conception appropriée ou qu'il y ait eu d'autres problèmes dans votre expérience, je ne peux que spéculer.Si vous aviez déjà un modèle pour B & C et que vous vouliez simplement ajouter A au modèle, je ne sais pas pourquoi vous avez exécuté une conception de type surface de réponse.De plus, pour les conceptions de type optimisation, la signification statistique est moins importante. Vous devriez avoir déjà établi le modèle, il ne vous reste plus qu'à sélectionner les niveaux des facteurs du modèle afin d'optimiser la réponse. Une sorte de cartographie des contours est typique. Encore une fois, si A est véritablement du bruit, alors il ne doit pas être analysé et interprété comme un facteur de conception (peut-être comme une covariable).
Re : Le modèle RSM était inexact (en désaccord avec les données historiques) - Comment réparer et où cela s'est mal passéSalut @MetaLizard62080
Je vais aborder cela avec une approche différente des autres réponses en me concentrant sur l'approche expérimentale et la qualité des données - Si je comprends bien, votre condition intermédiaire était de 55 % au lieu des 40 % prévus ? Si tel est le cas, il s'agit peut-être de prendre du recul et d'évaluer l'exactitude de votre contrôle sur A - vous avez besoin d'être sûr que vous êtes capable de contrôler les 5, 40 et 85 % que vous avez sélectionnés dans votre conception, si vous avez variabilité inhérente, cela va augmenter l'incertitude dans votre conception. Combien de répétitions de chaque point avez-vous effectué ?
Quel type de modélisation avez-vous utilisé ? Malheureusement, une limitation des régressions standard des moindres carrés est qu'elles sont sensibles aux changements importants sur les plages de facteurs et aux valeurs aberrantes (cela signifie souvent que vous manquez les changements « subtils » dans les données, conduisant éventuellement aux sous-estimations que vous décrivez ici).J'ai eu des problèmes similaires où mon modèle prédictif dans un RSM ne correspondait pas à ma compréhension de la théorie/des données historiques, qui se résumaient à des valeurs aberrantes dans mon ensemble de données - pour m'aider, j'ai examiné les scores Cooks D Influence de mes points de données - une bonne règle de base est que les points ont une valeur > 4/n pour trouver les valeurs aberrantes. Une autre option consiste à explorer différentes formes de modélisation prédictive telles que GenReg.
Une autre considération est que si A est resté constant dans vos expériences précédentes et que vous le faites varier maintenant : la qualité/le type de A a-t-il changé (quel était l'intervalle de temps entre l'expérience précédente et celle-ci ? Existe-t-il également potentiellement un « facteur caché » associé à A qui a un effet sur le processus ?
