Conceptions de dépistage - Comment savons-nous si les effets ne sont pas significatifs ou si l'ensemble des données ne sont pas bonnes (variation significative) sans faire de répétitions ?Pour montrer la robustesse d'un processus chimique, nous devons souvent montrer aux régulateurs que les paramètres sélectionnés (température, équivalents, temps et rapports de réactifs) n'ont pas d'impact sur la qualité (pureté) du produit final.Pour le montrer, les régulateurs préfèrent effectuer des conceptions de criblage.Habituellement, nous voulons montrer que les paramètres n'ont pas d'effet néfaste dans les plages étudiées, de sorte que le processus est robuste.
Ma question est de savoir si l'expérimentateur effectue avec la plus grande précision et si les données montrent qu'aucun des facteurs (ou termes d'interaction) n'influence la qualité, alors c'est très bien.Si l'expérimentateur a collecté des données qui ne sont pas bonnes et que le modèle montre qu'aucun des facteurs n'a d'influence, alors comment savoir si nous pouvons faire confiance aux données et au modèle ?Existe-t-il de toute façon, surtout si nous n'avons pas de répétitions pour voir la variation ?
Je vois que les Definitive Screening Designs n'incluent pas nécessairement des expériences répétées, alors comment savoir s'il existe une variabilité significative dans les réponses ?
BICHERe : Conceptions de criblage - Comment savons-nous si les effets ne sont pas significatifs ou si l'ensemble des données ne sont pas bonnes (variation significative) sans faire de réplicats ?Je vais essayer quelques réflexions.
Premièrement : si la variation des réponses submerge tout signal qui pourrait être caché de la variation des facteurs dans mon esprit, il y a l'une des trois causes suivantes :
1. Variation excessive du système de mesure. Dans ce scénario, la principale cause de variation de la réponse est principalement la variation du système de mesure. Avez-vous un système de contrôle de processus continu en place pour le système de mesure ? Connaissez-vous la variation « normale » inhérente du système de mesure ? Sinon, vous ne saurez jamais si votre conclusion de « pas d'effet » en raison de la variation des facteurs est réelle ou simplement une illusion causée par une variation excessive du système de mesure.
2. Variables de bruit/nuisance influençant le processus expérimental d'une manière qui augmente la variation de réponse. Il est important d'être toujours vigilant pour ces types d'influences lors de la conduite expérimentale. C'est une question délicate parce que vous ne pouvez jamais le savoir avec certitude... mais un œil vigilant, peut-être par un tiers indépendant, pendant la conduite et la planification de l'expérimentation peut être utile.
3. Il ne se passe vraiment rien...
Dans l'ensemble, votre question est au cœur des tests d'hypothèses, nous ne pouvons jamais « accepter » une hypothèse nulle selon laquelle « rien ne se passe en ce qui concerne les facteurs »… ne parvient pas à la rejeter. Dans le cas que vous avez décrit, tout ce que vous pouvez vraiment dire, c'est que nous ne rejetons pas l'hypothèse nulle selon laquelle chaque effet estimable est égal à zéro.
Re : Conceptions de criblage - Comment savons-nous si les effets ne sont pas significatifs ou si l'ensemble des données ne sont pas bonnes (variation significative) sans faire de réplicats ?Tout d'abord, bienvenue dans la communauté. Nous essaierons de vous donner quelques idées, et n'hésitez pas à répondre avec plus d'informations concernant votre situation.
Pete a soulevé d'excellents points. Voici mes réflexions supplémentaires :
1. La robustesse signifie pour moi performance cohérente du modèle sur le bruit changeant (quantitativement l'absence d'interactions bruit par modèle). Le bruit peut être les conditions ambiantes, la pureté des produits chimiques entrants, la propreté de la cuve, les erreurs du système de mesure, la variation des X non spécifiquement contrôlée, la variation des X dans les niveaux de contrôle, etc., ou comme je définis le bruit : les facteurs que vous n'êtes pas prêt à gérer/contrôler ).
2. Pourriez-vous collecter des données pour la variable de réponse tout en enregistrant simultanément les valeurs des X. Utilisez ces données pour effectuer une régression linéaire. Vous espérez que la variation de la variable de réponse est relativement faible et qu'il n'y a aucune relation avec les X. Cela est dû à la probabilité que les X ne varient pas beaucoup non plus (c'est pourquoi il y a peu de preuves d'une relation de causalité même lorsqu'en vérité il peut y en avoir).
3. Ce qu'ils demandent vraiment (je suppose) n'est pas que vous fassiez une conception de dépistage, car l'intention de ceci est de changer hardiment les X et de découvrir des relations potentiellement causales, mais quelque chose qui ressemble plus à une conception de tolérance. C'est peut-être de la sémantique, mais ce qu'ils veulent savoir, c'est si la variation aléatoire normale des X a un impact sur la variable de réponse. Choisissez donc des niveaux représentatifs des extrêmes de la variation naturelle des x et exécutez une sorte de plan factoriel. Je pense que vous devriez également utiliser une stratégie pour gérer d'autres sources de bruit (blocage, répétition, split-plots, etc.)
4. Je ne sais pas ce que vous entendez par " Si l'expérimentateur a collecté des données, ce n'est pas bon". Cela signifie-t-il que les systèmes de mesure sont suspects ? Dans ce cas, vous devriez étudier les systèmes de mesure et, si vous effectuez une expérience, prendre des mesures répétées pour estimer le composant de mesure et peut-être faire la moyenne de sa variation pour augmenter la précision de la conception.
Re : Conceptions de criblage - Comment savons-nous si les effets ne sont pas significatifs ou si l'ensemble des données ne sont pas bonnes (variation significative) sans faire de réplicats ?Merci pour votre réponse.Permettez-moi de clarifier des choses.
Disons que les facteurs A, B, C ont le potentiel d'avoir un impact sur la pureté d'un produit dans une réaction chimique, mais uniquement lorsqu'ils sont testés à des extrêmes.Il y aura de nombreux autres facteurs (appelons-les X) qui auront un effet très marginal sur la pureté.Ces autres facteurs ne sont pas inclus dans l'étude car soit ils n'ont qu'un impact négligeable sur la pureté, soit ils sont très confiants qu'ils peuvent être bien contrôlés avec précision au point de consigne au fur et à mesure que le processus passe à l'usine.
Maintenant, l'objectif de l'étude est de faire des expériences en laboratoire (à petite échelle imitant autant que possible les opérations à grande échelle), en variant systématiquement les facteurs A, B et C tout en gardant tous les autres facteurs de bruit constants.
Dans une situation hypothétique où le chimiste qui exécute ces réactions n'a pas effectué les expériences méticuleusement, ce qui signifie ne pas maintenir les facteurs A, B et C aux points nécessaires pour l'étude et ne pas contrôler les facteurs de bruit aux valeurs désignées, alors il pourrait être une situation où la combinaison de facteurs de bruit brouille le signal réel provenant de la variation systématique des facteurs A, B et C.Dans cette situation, les résultats peuvent indiquer que les facteurs n'ont pas d'impact sur la pureté dans les plages testées.
Existe-t-il un moyen de dire que les résultats ne sont pas fiables parce que les expériences n'ont pas été réalisées comme prévu ?Surtout s'il n'y a pas d'expériences répétées dans la matrice ?
Re : Conceptions de criblage - Comment savons-nous si les effets ne sont pas significatifs ou si l'ensemble des données ne sont pas bonnes (variation significative) sans faire de réplicats ?Merci statman, s'il vous plaît voir ma réponse à P_Bartell.
Veuillez voir les détails supplémentaires que j'ai fournis.
Re : Conceptions de criblage - Comment savons-nous si les effets ne sont pas significatifs ou si l'ensemble des données ne sont pas bonnes (variation significative) sans faire de réplicats ?La seule technique à laquelle je peux penser est que vous pourriez utiliser pour le scénario que vous décrivez consiste à examiner les résultats empiriques à ce qui est attendu SI les essais expérimentaux ont été menés comme prescrit. Évidemment, il va falloir qu'il y ait une différence entre les réponses attendues et observées qui soit suffisamment grande pour éveiller les soupçons... mais c'est ma seule idée pour vous.
Une technique informative potentiellement utile pourrait être d'utiliser le JMP Prediction Profiler qui contient un modèle que vous croyez... puis pour des combinaisons données de la "nouvelle" expérience, demandez "à quelle distance de la réponse prévue se trouve la réponse réelle ?". .en utilisant l'intervalle de prédiction comme critère informatif.
Le scénario que vous décrivez m'est en fait arrivé une fois sur un projet avec une équipe de sceptiques du DOE en général... J'étais le statisticien de l'équipe et de nombreux membres de l'équipe pensaient que DOE s'apparentait à de la magie noire. Nous avons effectué un essai de confirmation basé sur nos x optimaux choisis. Les résultats n'étaient même pas proches pour pratiquement toutes nos réponses. L'équipe a donc utilisé notre meilleur mode Sherlock Holmes pour essayer de trouver « qu'est-ce qui n'allait pas ? » Il s'avère que l'opérateur avait intentionnellement choisi l'un des facteurs x clés pour être «ce que nous utilisons toujours... pas ce niveau ridicule écrit sur la feuille». Honte à nous de ne pas avoir tenu l'opérateur au courant... nous voulions que ce "niveau ridicule" confirme notre connaissance du processus. Ainsi, une fois que nous avons découvert ce que l'opérateur avait réellement choisi, j'ai sorti le JMP Prediction Profiler et j'ai entré le niveau inapproprié pour le facteur x... Et voilà, le Profiler a prédit avec une précision remarquable les résultats médiocres que nous avons observés. À la fin de cette réunion, même les sceptiques du DOE étaient conquis.
Re : Conceptions de criblage - Comment savons-nous si les effets ne sont pas significatifs ou si l'ensemble des données ne sont pas bonnes (variation significative) sans faire de répétitions ?Voici une deuxième idée pour vous qui n'aide pas à DÉTECTER la cause première des « mauvaises données »... mais à la PRÉVENIR... née de l'expérience personnelle. Après quelques années de conseil au DOE pour de nombreux projets chez mon employeur (principalement dans un nouvel espace de développement de processus/produits), il m'est apparu que bien trop souvent à notre goût, les personnes exécutant réellement les expériences « prendraient les choses en main ». en exécution expérimentale et ne pas suivre à la lettre de la loi ce que nous voulions faire.
Par exemple, la randomisation des essais tombait souvent à l'eau parce que l'opérateur trouvait pénible de réinitialiser les facteurs de manière aléatoire et regroupait les essais de « douleur pour changer de facteur » pour rendre l'expérience, eh bien, moins douloureuse. Aïe... il y a la randomisation... et nous n'avons pas spécifié de plan en split plot. Alors là, nous nous ouvrons au potentiel de « mauvaises données ».
Donc, ce sur quoi j'ai commencé à insister, c'était d'être présent lorsque l'expérience a été menée et d'observer et d'essayer d'aider en cours de route avec les opérateurs. J'ai trouvé que cela présentait plusieurs avantages... l'un est que je voyais souvent quelque chose qui pourrait influencer nos résultats d'une manière que nous ne voulions pas qu'il se produise... comme le scénario ci-dessus. J'insisterais pour exécuter l'expérience dans l'ordre aléatoire que nous avons spécifié... et ne pas prendre les choses en main. Du côté du travail d'équipe... cela m'a également aidé à développer une crédibilité auprès des opérateurs parce que moi, le statisticien en chemise blanche, j'étais prêt à entrer dans le laboratoire ou à l'atelier, à me salir les mains et parfois à travailler la nuit ou le cimetière se déplace à droite avec tous les autres travailleurs raides... et ne reste pas assis dans mon bureau d'ivoire toute la journée à émettre des proclamations au prolétariat.
Re : Conceptions de dépistage - Comment savoir si les effets ne sont pas significatifs ou si l'ensemble des données n'est pas bon (variation significative) sans faire de répétitions ?Je partagerai mes pensées même si vous n'êtes pas d'accord avec elles. Les conceptions répliquées ne sont qu'un moyen d'inclure le bruit dans l'expérience. Les conceptions non répliquées peuvent être très utiles. J'utilise des diagrammes de relations factorielles pour afficher graphiquement les relations entre les facteurs de conception et les facteurs de bruit dans une expérience. De cette façon, vous comprenez quels facteurs constituent la base de la comparaison et vous pouvez utiliser un jugement scientifique/d'ingénierie pour déterminer si ce bruit est représentatif des conditions futures et s'il peut stimuler le développement de réflexions et d'hypothèses sur l'effet potentiel d'un tel bruit. Le partitionnement du bruit peut être très utile pour augmenter la précision des conceptions sans affecter négativement l'espace d'inférence.
Votre déclaration " Maintenant, l'objectif de l'étude est de faire des expériences en laboratoire (à petite échelle imitant autant que possible le fonctionnement à grande échelle), en faisant varier systématiquement les facteurs A, B et C tout en garder tous les autres facteurs de bruit constants ." n'a aucun sens pour moi. Tout d'abord, l'objectif devrait être à mon humble avis, de comprendre le structure causale affectant la pureté chimique ! Deuxièmement, le bruit, par définition, est l'ensemble des facteurs que vous NE VOULEZ PAS / NE POUVEZ PAS CONTRÔLER. La façon dont vous collectez les données consiste à utiliser l'expérimentation (plutôt qu'un échantillonnage dirigé où aucune manipulation n'est effectuée et où vous comptez sur le partitionnement des sources via la façon dont vous échantillonnez et sous-groupez rationnellement les données). Maintenir le bruit constant pendant toute l'expérience est une idée terrible à moins que vous n'ayez l'intention de le maintenir constant pour toujours (et de payer les frais supplémentaires de contrôle du bruit), ce qui, bien sûr, rend ces facteurs contrôlables, pas le bruit.
Comme vous le savez probablement, Fisher a découvert que c'était une mauvaise idée car l'espace d'inférence résultant était si étroit qu'il était inutile face à la réalité que le bruit varie et peut avoir un impact sur les résultats (voir les articles de Fisher sur ses expériences agricoles). Il a introduit la technique du blocage pour gérer le bruit afin que le bruit soit maintenu constant dans le bloc et varié délibérément entre les blocs afin que vous puissiez à la fois étendre l'espace d'inférence et augmenter la précision de la conception simultanément. Permettant également d'estimer les interactions bloc-par-facteur, une mesure de robustesse.
"Bloquez ce que vous pouvez, randomisez ce que vous ne pouvez pas" GEP Boîte
Shewhart a suggéré dans le cycle de Shewhart de "réaliser l'étude, de préférence à petite échelle", je crois que l'intention est de simuler les conditions du monde réel dans l'étude à petite échelle. Je pense que la façon dont vous faites cela est d'exagérer les effets du bruit afin de capturer la variation à long terme du bruit dans une période de temps très courte (l'expérience).
Cela étant dit, pour répondre à votre question, j'utilise une philosophie pseudo-bayésienne. Je demande aux scientifiques/ingénieurs de prédire les données pour chaque traitement de l'expérience (à priori, bien sûr et biaisé par les hypothèses des ingénieurs), de prédire TOUS les résultats possibles (pour atténuer le biais) et de prédire les actions que vous prendriez pour TOUS les résultats possibles . Cela donne un contexte à l'analyse expérimentale et fournit une approche pratique pour évaluer les données. Par exemple, si vous obtenez un résultat d'un traitement qui est très différent de ce qui était attendu, ces données peuvent-elles être expliquées (hypothèse ou hypothèse modifiée), sinon, peut-être remettre en question l'exécution de ce traitement ou se demander ce qui se passait d'autre pendant l'exécution de ce traitement (et si vous prédisez pourquoi les données ne correspondraient pas, cela augmente les chances que vous trouviez l'effet aléatoire).
Paraphrasé de la citation de Louis Pasteur "Le hasard favorise l'esprit préparé".
