Plans de sélection - Comment savoir si les effets ne sont pas significatifs ou si l'ensemble des données n'est pas bon (variation significative) sans effectuer de répétitions ?Pour démontrer la robustesse d'un processus chimique, nous devons souvent montrer aux régulateurs que les paramètres sélectionnés (température, équivalents, temps et ratios de réactifs) n'ont pas d'impact sur la qualité (pureté) du produit final.Afin de le démontrer, les régulateurs préfèrent réaliser des conceptions de dépistage.Habituellement, nous souhaitons montrer que les paramètres n’ont pas d’effet néfaste dans les plages étudiées, afin que le processus soit robuste.
Ma question est la suivante : si l'expérimentateur agit avec la plus grande précision et que les données montrent qu'aucun des facteurs (ou termes d'interaction) n'influence la qualité, alors c'est très bien.Si l’expérimentateur a collecté des données qui ne sont pas bonnes et que le modèle montre qu’aucun des facteurs n’a d’influence, alors comment déterminer si nous pouvons faire confiance aux données et au modèle ?Existe-t-il de toute façon, surtout si nous n'avons pas de répétitions pour voir la variation ?
Je vois que les modèles de dépistage définitif n'incluent pas nécessairement des expériences répétées, alors comment savoir s'il existe une variabilité significative dans les réponses ?
Conception d'expériencesRe : Plans de sélection - Comment savoir si les effets ne sont pas significatifs ou si l'ensemble des données n'est pas bonne (variation significative) sans effectuer de répétitions ?Je crois avoir déjà répondu à votre question. Ce n’est peut-être pas glamour, mais je crois que l’interprétation à travers les yeux du scientifique/ingénieur est une approche rationnelle et logique. Si vous pouvez évaluer si les résultats semblent raisonnables ou s'ils sont « finis » par une analyse pratique (qui est grandement améliorée en prédisant les résultats avant de les obtenir), alors vous devriez avoir des indices que quelque chose n'a pas été fait correctement. Je suppose que vous pourriez développer un modèle et examiner les résidus, le RMSE, le delta R-square-Rsquare-Adj, les valeurs p, etc. Al. pour déterminer dans quelle mesure le modèle décrit mal le processus.
Re : Plans de sélection - Comment savoir si les effets ne sont pas significatifs ou si l'ensemble des données n'est pas bonne (variation significative) sans effectuer de répétitions ?Je conviens que ma déclaration « garder tous les facteurs de bruit constants » n'est pas correcte dans le vrai sens du terme.Mais ma définition du « bruit » est différente dans ce contexte.Laissez-moi vous donner un exemple.
Disons que ma réaction n'est pas super sensible à l'eau.Nous n'avons pas besoin de mesurer la teneur en eau du milieu réactionnel.Cependant, s’il y a une tonne d’eau (environ 20 % d’eau), cela peut avoir un impact sur la qualité.Encore une fois, suffisamment important pour fausser la réponse.Si le chimiste effectue la réaction chimique dans un réacteur de laboratoire correctement séché (pratique courante), cela ne devrait pas poser de problème.Mais disons que le chimiste a fait un mauvais travail en séchant le réacteur à l'échelle du laboratoire et qu'il a pris un réacteur très humide et a réalisé une (ou plusieurs) des expériences dans la table de conception, alors le résultat n'est pas fiable.Dans une bonne pratique de laboratoire, cela ne devrait pas arriver, mais je parle de conditions non idéales.Ce n’est pas un facteur que nous étudierions, mais il pourrait avoir un impact significatif si les pharmaciens ne suivent pas correctement les instructions.Quand je dis « bruit », je parlais d’une situation comme celle-ci.Maintenant, si les expériences du tableau de conception étaient réalisées avec des réacteurs correctement séchés, d'autres partiellement séchés et d'autres pas séchés du tout ; alors que l'instruction est de faire toutes les expériences dans des réacteurs correctement séchés, les résultats peuvent être partout.
Dans ce scénario, est-il possible de déterminer que les données ne sont pas fiables sur la base d’une analyse ?
Re : Plans de sélection - Comment savoir si les effets ne sont pas significatifs ou si l'ensemble des données n'est pas bonne (variation significative) sans effectuer de répétitions ?Merci beaucoup pour vos contributions, vous comprenez parfaitement que les opérateurs prennent les choses en main et les « biais inhérents » pour un paramètre par rapport aux autres.Je peux me connecter à cela et la suggestion est bien prise.
Re : Plans de sélection - Comment savoir si les effets ne sont pas significatifs ou si l'ensemble des données n'est pas bonne (variation significative) sans effectuer de répétitions ?Je partagerai mes réflexions même si vous n'êtes peut-être pas d'accord avec elles. Les conceptions répliquées ne constituent qu’un moyen parmi d’autres d’inclure le bruit dans l’expérience. Les conceptions non répliquées peuvent être très utiles. J'utilise des diagrammes de relations entre facteurs pour afficher graphiquement les relations entre les facteurs de conception et les facteurs de bruit dans une expérience. De cette façon, vous comprenez quels facteurs constituent la base de comparaison et vous pouvez utiliser votre jugement scientifique/technique pour déterminer si ce bruit est représentatif des conditions futures et s'il pourrait stimuler le développement de réflexions et d'hypothèses sur l'effet potentiel d'un tel bruit. Le partitionnement du bruit peut être très utile pour augmenter la précision des conceptions sans affecter négativement l'espace d'inférence.
Votre déclaration " Le but de l'étude est désormais de réaliser des expériences en laboratoire (à petite échelle imitant autant que possible une opération à grande échelle), en faisant varier systématiquement les facteurs A, B et C tout en maintenir tous les autres facteurs de bruit constants .." ça n'a aucun sens pour moi. Premièrement, l'objectif devrait être à mon humble avis, de comprendre le structure causale affectant la pureté chimique ! Deuxièmement, le bruit, par définition, est l'ensemble des facteurs que vous NE VOULEZ/NE POUVEZ PAS CONTRÔLER. La façon dont vous collectez des données consiste à utiliser l'expérimentation (plutôt qu'un échantillonnage dirigé où aucune manipulation n'est effectuée et où vous comptez sur le partitionnement des sources via la manière dont vous échantillonnez et sous-groupez rationnellement les données). Maintenir le bruit constant pendant toute l'expérience est une très mauvaise idée, à moins que vous n'ayez l'intention de le maintenir constant pour toujours (et de payer les dépenses supplémentaires liées au contrôle du bruit), ce qui, bien sûr, rend ces facteurs contrôlables, pas le bruit.
Comme vous le savez probablement, Fisher a découvert que c'était une mauvaise idée car l'espace d'inférence résultant était si étroit qu'il était inutile face à la réalité selon laquelle le bruit varie et peut avoir un impact sur les résultats (voir les articles de Fisher sur ses expériences agricoles). Il a introduit la technique du blocage pour gérer le bruit afin que le bruit soit maintenu constant dans le bloc et varié délibérément entre les blocs afin que vous puissiez à la fois étendre l'espace d'inférence et augmenter simultanément la précision de la conception. Permet également d'estimer les interactions bloc par facteur, une mesure de robustesse.
"Bloquez ce que vous pouvez, randomisez ce que vous ne pouvez pas" GEP Boîte
Shewhart a suggéré dans le cycle Shewhart de "réaliser l'étude, de préférence à petite échelle", je crois que l'intention est de simuler les conditions du monde réel dans l'étude à petite échelle. Je pense que la façon de procéder consiste à exagérer les effets du bruit afin de capturer la variation à long terme du bruit sur une période de temps très courte (l'expérience).
Ceci étant dit, pour répondre à votre question, j'utilise une philosophie pseudo bayésienne. Je demande aux scientifiques/ingénieurs de prédire les données pour chaque traitement de l'expérience (à priori, bien sûr et biaisés par les hypothèses des ingénieurs), de prédire TOUS les résultats possibles (pour atténuer le biais) et de prédire les actions que vous prendriez pour TOUS les résultats possibles. . Cela donne un contexte à l’analyse expérimentale et fournit une approche pratique pour évaluer les données. Par exemple, si vous obtenez un résultat d'un traitement qui est très différent de celui attendu, ces données peuvent-elles être expliquées (hypothèse ou hypothèse modifiée), sinon, peut-être remettre en question l'exécution de ce traitement ou se demander ce qui se passait d'autre pendant l'exécution de ce traitement (et si vous prédisez pourquoi les données ne correspondraient pas, cela augmente les chances que vous trouviez l'effet aléatoire).
Paraphrasé d'une citation de Louis Pasteur « Le hasard favorise les esprits préparés ».
Re : Plans de sélection - Comment savoir si les effets ne sont pas significatifs ou si l'ensemble des données n'est pas bonne (variation significative) sans effectuer de répétitions ?Voici une deuxième idée pour vous qui n'aide pas à DÉTECTER la cause première des « mauvaises données »... mais à la PRÉVENIR... née de l'expérience personnelle. Après quelques années de conseil au DOE pour de nombreux projets chez mon employeur (principalement dans un espace de développement de nouveaux processus/produits), je me suis rendu compte que trop souvent, à notre goût, les personnes qui exécutaient réellement les expériences « prenaient les choses en main ». en exécution expérimentale et ne pas suivre à la lettre la loi ce que nous voulions faire.
Par exemple, la randomisation des essais tombait souvent à l'écart parce que l'opérateur trouvait que la réinitialisation des facteurs de manière aléatoire était pénible et regroupait les essais de « douleur pour changer de facteur » pour rendre l'expérience moins douloureuse. Aïe... il y a la randomisation... et nous n'avons pas spécifié de conception en parcelles divisées. Nous nous exposons donc immédiatement au potentiel de « mauvaises données ».
Ce sur quoi j'ai commencé à insister, c'était d'être présent lorsque l'expérience se déroulait, d'observer et d'essayer d'aider les opérateurs tout au long du processus. J'ai trouvé que cela présentait plusieurs avantages... le premier est que je voyais souvent quelque chose qui pourrait influencer nos résultats d'une manière que nous ne souhaitions pas qu'il se produise... comme le scénario ci-dessus. J'insisterais pour exécuter l'expérience dans l'ordre aléatoire dans lequel nous avons spécifié... et ne pas prendre les choses en main. Du côté du travail d'équipe... cela m'a également aidé à bâtir une crédibilité auprès des opérateurs parce que moi, le statisticien en chemise blanche, j'étais prêt à aller dans le laboratoire ou dans l'atelier, à me salir les mains et parfois à travailler la nuit ou je travaille au cimetière avec tous les autres travailleurs... et je ne reste pas assis toute la journée dans mon bureau d'ivoire à publier des proclamations au prolétariat.
Re : Plans de sélection - Comment savoir si les effets ne sont pas significatifs ou si l'ensemble des données n'est pas bonne (variation significative) sans effectuer de répétitions ?La seule technique à laquelle je peux penser est que vous pourriez utiliser pour le scénario que vous décrivez consiste à examiner les résultats empiriques par rapport à ce qui est attendu SI les essais expérimentaux ont été menés comme prescrit. Évidemment, il devra y avoir une différence entre les réponses attendues et observées qui soit suffisamment grande pour éveiller les soupçons... mais c'est ma seule idée pour vous.
Une technique informative potentiellement utile pourrait consister à utiliser le profileur de prédiction JMP qui contient un modèle que vous croyez... puis, pour des combinaisons données de la « nouvelle » expérience, demandez « à quelle distance de la réponse prédite se trouve la réponse réelle ? ». .en utilisant l'intervalle de prédiction comme critère informatif.
Le scénario que vous avez décrit m'est en fait arrivé une fois sur un projet avec une équipe de sceptiques du DOE en général... J'étais le statisticien de l'équipe et beaucoup de membres de l'équipe pensaient que le DOE s'apparentait à de la magie noire. Nous avons effectué un essai de confirmation basé sur les x optimaux choisis. Les résultats n'étaient même pas proches pour pratiquement toutes nos réponses. L'équipe s'est donc lancée dans notre meilleur mode Sherlock Holmes pour essayer de trouver « qu'est-ce qui n'a pas fonctionné ? » Il s'avère que l'opérateur avait intentionnellement choisi l'un des facteurs clés X comme étant « ce que nous utilisons toujours... pas ce niveau ridicule écrit sur la feuille ». Honte à nous de ne pas tenir l'opérateur au courant... nous voulions ce « niveau ridicule » pour confirmer notre connaissance des processus. Ainsi, une fois que nous avons découvert ce que l'opérateur avait réellement choisi, j'ai sorti le profileur de prédiction JMP et suis entré dans le niveau inapproprié pour le facteur x... et voilà, le profileur a prédit avec une précision remarquable les mauvais résultats que nous avons observés. À la fin de cette réunion, même les sceptiques du DOE étaient convaincus.
Re : Plans de sélection - Comment savoir si les effets ne sont pas significatifs ou si l'ensemble des données n'est pas bonne (variation significative) sans effectuer de répétitions ?Merci statman, veuillez consulter ma réponse à P_Bartell.
Veuillez consulter les détails supplémentaires que j'ai fournis.
Re : Plans de sélection - Comment savoir si les effets ne sont pas significatifs ou si l'ensemble des données n'est pas bonne (variation significative) sans effectuer de répétitions ?Merci pour votre réponse.Permettez-moi de clarifier quelque chose.
Disons que les facteurs A, B, C peuvent potentiellement avoir un impact sur la pureté d'un produit lors d'une réaction chimique, mais uniquement lorsqu'ils sont testés à des niveaux extrêmes.Il y aura de nombreux autres facteurs (appelons-les X) qui auront un effet très marginal sur la pureté.Ces autres facteurs ne sont pas inclus dans l'étude, soit parce qu'ils n'ont qu'un impact négligeable sur la pureté, soit parce qu'ils sont très sûrs qu'ils peuvent être bien contrôlés précisément au point de consigne lorsque le processus arrive à l'usine.
Le but de l'étude est désormais de réaliser des expériences en laboratoire (à petite échelle imitant autant que possible un fonctionnement à grande échelle), en faisant varier systématiquement les facteurs A, B et C tout en gardant constants tous les autres facteurs de bruit.
Dans une situation hypothétique où le chimiste qui dirige ces réactions n'a pas effectué les expériences de manière méticuleuse, ce qui signifie qu'il n'a pas maintenu les facteurs A, B et C aux points dont ils ont besoin pour l'étude et n'a pas contrôlé les facteurs de bruit aux valeurs désignées, alors il y a pourrait être une situation où la combinaison de facteurs de bruit brouille le signal réel provenant d'une variation systématique des facteurs A, B et C.Dans cette situation, les résultats peuvent indiquer que les facteurs n’ont pas d’impact sur la pureté dans les plages testées.
Existe-t-il un moyen de dire que les résultats ne sont pas fiables parce que les expériences n’ont pas été réalisées comme prévu ?Surtout s'il n'y a pas d'expériences répétées dans la matrice ?
Re : Plans de sélection - Comment savoir si les effets ne sont pas significatifs ou si l'ensemble des données n'est pas bonne (variation significative) sans effectuer de répétitions ?Tout d’abord, bienvenue dans la communauté. Nous essaierons de vous donner quelques idées et n'hésitez pas à répondre avec plus d'informations sur votre situation.
Pete a soulevé d'excellents points. Voici mes réflexions supplémentaires :
1. Pour moi, la robustesse signifie performances constantes du modèle sur un bruit changeant (quantitativement l'absence d'interactions bruit par modèle). Le bruit peut être les conditions ambiantes, la pureté des produits chimiques entrants, la propreté de la cuve, les erreurs du système de mesure, la variation des X non spécifiquement contrôlées, la variation des X dans les niveaux de contrôle, etc., ou comme je définis le bruit : les facteurs que vous n’êtes pas prêt à gérer/contrôler ).
2. Pourriez-vous collecter des données pour la variable de réponse tout en enregistrant simultanément les valeurs des X. Utilisez ces données pour effectuer une régression linéaire. On pourrait espérer que la variation de la variable de réponse soit relativement faible et qu'il n'y ait aucune relation avec les X. Cela est dû à la probabilité que les X ne varient pas beaucoup (c'est pourquoi il y a peu de preuves d'une relation causale, même si en réalité il peut y en avoir).
3. Ce qu'ils demandent vraiment (je suppose), ce n'est pas que vous fassiez une conception de dépistage, car l'intention est de changer hardiment les X et de découvrir des relations potentiellement causales, mais quelque chose qui ressemble davantage à une conception de tolérance. C'est peut-être une question de sémantique, mais ce qu'ils veulent savoir, c'est si la variation normale et aléatoire des X a un impact sur la variable de réponse. Choisissez donc des niveaux représentatifs des extrêmes de la variation naturelle des x et exécutez une sorte de plan factoriel. Je pense que vous devriez également utiliser une stratégie pour gérer d'autres sources de bruit (blocage, répétition, tracés fractionnés, etc.)
4. Je ne suis pas sûr de ce que vous entendez par " Si l'expérimentateur a collecté des données, ce n'est pas bon". Cela signifie-t-il que les systèmes de mesure sont suspects ? Dans ce cas, vous devez étudier les systèmes de mesure et, si vous menez une expérience, prendre des mesures répétées pour estimer la composante de mesure et peut-être faire la moyenne de sa variation pour augmenter la précision de la conception.
Re : Plans de sélection - Comment savoir si les effets ne sont pas significatifs ou si l'ensemble des données n'est pas bonne (variation significative) sans effectuer de répétitions ?Je vais essayer quelques réflexions.
Premièrement : si la variation dans les réponses submerge tout signal qui pourrait être masqué par la variation des facteurs dans mon esprit, il y a l'une des trois causes suivantes :
1. Variation excessive du système de mesure. Dans ce scénario, la principale cause de variation de réponse est principalement la variation du système de mesure. Avez-vous mis en place un système de contrôle continu des processus pour le système de mesure ? Connaissez-vous la variation « normale » inhérente au système de mesure ? Sinon, vous ne saurez jamais si votre conclusion selon laquelle « aucun effet » dû à la variation des facteurs est réelle ou s'il s'agit simplement d'une illusion causée par une variation excessive du système de mesure.
2. Variables de bruit/nuisance influençant le processus expérimental d'une manière qui augmente la variation de réponse. Il est important d'être toujours vigilant face à ces types d'influences lors de la conduite expérimentale. C'est une question délicate car on ne peut jamais le savoir avec certitude... mais un œil vigilant, peut-être par un tiers indépendant, pendant la conduite et la planification des expériences peut être utile.
3. Il ne se passe vraiment rien…
Dans l'ensemble, votre question est au cœur du test d'hypothèse, nous ne pouvons jamais « accepter » une hypothèse nulle selon laquelle « rien ne se passe par rapport aux facteurs »… mais seulement échouer à la rejeter. Dans le cas que vous avez décrit, tout ce que vous pouvez vraiment dire, c'est que nous ne parvenons pas à rejeter l'hypothèse nulle selon laquelle chaque effet estimable est égal à zéro.
