Screening-Designs – Woher wissen wir, ob die Auswirkungen nicht signifikant sind oder ob die gesamten Daten nicht gut sind (signifikante Variation), ohne Replikationen durchzuführen?Um die Robustheit eines chemischen Prozesses nachzuweisen, müssen wir den Regulierungsbehörden häufig nachweisen, dass ausgewählte Parameter (Temperatur, Äquivalente, Zeit und Reagenzienverhältnisse) keinen Einfluss auf die Qualität (Reinheit) des Endprodukts haben.Um dies nachzuweisen, bevorzugen Regulierungsbehörden die Durchführung von Screening-Designs.Normalerweise wollen wir zeigen, dass die Parameter innerhalb der untersuchten Bereiche keine schädlichen Auswirkungen haben, damit der Prozess robust ist.
Meine Frage lautet: Wenn der Experimentator mit höchster Präzision arbeitet und die Daten zeigen, dass keiner der Faktoren (oder Interaktionsterme) die Qualität beeinflusst, dann ist das in Ordnung.Wenn der Experimentator Daten gesammelt hat, die nicht gut sind, und das Modell zeigt, dass keiner der Faktoren Einfluss hat, wie können wir dann herausfinden, ob wir den Daten und dem Modell vertrauen können?Gibt es das überhaupt, insbesondere wenn wir keine Replikationsläufe haben, um Variationen zu sehen?
Ich sehe, dass definitive Screening-Designs nicht unbedingt Wiederholungsexperimente beinhalten. Wie kann man dann feststellen, ob es erhebliche Unterschiede in den Antworten gibt?
VersuchsplanungBetreff: Screening-Designs – Woher wissen wir, ob die Auswirkungen nicht signifikant sind oder ob die gesamten Daten nicht gut sind (signifikante Variation), ohne Replikationen durchzuführen?Ich glaube, ich habe bereits eine Antwort auf Ihre Frage gegeben. Es mag nicht gerade glamourös sein, aber ich glaube, dass die Interpretation durch die Augen des Wissenschaftlers/Ingenieurs ein rationaler und logischer Ansatz ist. Wenn Sie durch eine praktische Analyse beurteilen können, ob die Ergebnisse vernünftig erscheinen oder „vollständig“ sind (was durch die Vorhersage der Ergebnisse erheblich verbessert wird, bevor Sie sie erhalten), dann sollten Sie Hinweise darauf haben, dass etwas nicht richtig gemacht wurde. Ich nehme an, Sie könnten ein Modell entwickeln und sich die Residuen, RMSE, R-Quadrat-RQuadrat-Adj-Delta, p-Werte usw. ansehen. al. um festzustellen, wie schlecht das Modell den Prozess beschreibt.
Betreff: Screening-Designs – Woher wissen wir, ob die Auswirkungen nicht signifikant sind oder ob die gesamten Daten nicht gut sind (signifikante Variation), ohne Replikationen durchzuführen?Ich stimme zu, dass meine Aussage „Alle Rauschfaktoren konstant halten“ nicht im eigentlichen Sinne korrekt ist.Aber meine Definition von „Lärm“ ist in diesem Zusammenhang eine andere.Lassen Sie mich ein Beispiel geben.
Nehmen wir an, ich reagiere nicht besonders empfindlich auf Wasser.Wir müssen den Wassergehalt des Reaktionsmediums nicht messen.Wenn jedoch eine Menge Wasser vorhanden ist (etwa 20 % Wasser), kann dies Auswirkungen auf die Qualität haben.Wiederum signifikant genug, um die Reaktion zu verzerren.Wenn der Chemiker die chemische Reaktion in einem ordnungsgemäß getrockneten Reaktor im Labormaßstab durchführt (übliche Praxis), sollte dies kein Problem darstellen.Aber nehmen wir an, dass der Chemiker beim Trocknen des Reaktors im Labormaßstab schlechte Arbeit geleistet hat und er einen Reaktor genommen hat, der deutlich nass ist, und eines (oder mehrere) der Experimente in der Versuchstabelle durchgeführt hat, dann ist das Ergebnis nicht zuverlässig.In einer guten Laborpraxis sollte das nicht passieren, aber ich spreche von nicht idealen Bedingungen.Dies ist kein Faktor, den wir untersuchen würden, aber er könnte erhebliche Auswirkungen haben, wenn Chemiker die Anweisungen nicht ordnungsgemäß befolgen.Als ich „Lärm“ sagte, meinte ich eine Situation wie diese.Wenn nun die Experimente in der Entwurfstabelle mit einigen ordnungsgemäß getrockneten Reaktoren und einigen teilweise getrockneten und einigen überhaupt nicht getrockneten Reaktoren durchgeführt würden; Während die Anweisung lautet, alle Experimente in ordnungsgemäß getrockneten Reaktoren durchzuführen, können die Ergebnisse völlig unterschiedlich sein.
Ist es in diesem Szenario möglich, anhand einer Analyse herauszufinden, dass die Daten nicht zuverlässig sind?
Betreff: Screening-Designs – Woher wissen wir, ob die Auswirkungen nicht signifikant sind oder ob die gesamten Daten nicht gut sind (signifikante Variation), ohne Replikationen durchzuführen?Vielen Dank für Ihre Beiträge. Ich habe vollkommenes Verständnis dafür, dass die Betreiber die Dinge selbst in die Hand nehmen und „inhärente Voreingenommenheit“ für einen Parameter gegenüber anderen haben.Dem kann ich mich anschließen und der Vorschlag wird gut angenommen.
Betreff: Screening-Designs – Woher wissen wir, ob die Auswirkungen nicht signifikant sind oder ob die gesamten Daten nicht gut sind (signifikante Variation), ohne Replikationen durchzuführen?Ich werde meine Gedanken mitteilen, auch wenn Sie damit möglicherweise nicht einverstanden sind. Replizierte Designs sind nur eine Möglichkeit, Rauschen in das Experiment einzubeziehen. Nicht replizierte Designs können sehr nützlich sein. Ich verwende Faktorbeziehungsdiagramme, um die Beziehungen zwischen den Designfaktoren und den Rauschfaktoren in einem Experiment grafisch darzustellen. Auf diese Weise verstehen Sie, welche Faktoren die Grundlage für den Vergleich bilden, und Sie können anhand wissenschaftlicher/technischer Beurteilungen feststellen, ob dieser Lärm repräsentativ für zukünftige Bedingungen ist, und dies könnte die Entwicklung von Gedanken und Hypothesen über die möglichen Auswirkungen eines solchen Lärms anregen. Die Partitionierung des Rauschens kann sehr nützlich sein, um die Präzision des Entwurfs zu erhöhen, ohne den Inferenzraum negativ zu beeinflussen.
Deine Meinung " Das Ziel der Studie besteht nun darin, Experimente im Labor durchzuführen (in kleinen Maßstäben, die den Betrieb im großen Maßstab so weit wie möglich nachahmen) und dabei die Faktoren A, B und C systematisch zu variieren Alle anderen Lärmfaktoren bleiben konstant ." ergibt für mich keinen Sinn. Erstens sollte das Ziel meiner Meinung nach sein, das zu verstehen ursächliche Struktur, die die chemische Reinheit beeinflusst! Zweitens ist Lärm per Definition eine Reihe von Faktoren, die Sie NICHT KONTROLLIEREN KÖNNEN/WILLIGEN. Die Art und Weise, wie Sie Daten sammeln, besteht darin, zu experimentieren (anstelle von gezielten Stichproben, bei denen keine Manipulation erfolgt und Sie sich auf die Partitionierung der Quellen verlassen, je nachdem, wie Sie Stichproben durchführen und die Daten rational unterteilen). Das Rauschen während des gesamten Experiments konstant zu halten, ist eine schreckliche Idee, es sei denn, Sie beabsichtigen, es für immer konstant zu halten (und die zusätzlichen Kosten für die Kontrolle des Rauschens zu tragen), was natürlich diese Faktoren kontrollierbar macht und nicht das Rauschen.
Wie Sie wahrscheinlich wissen, stellte Fisher fest, dass dies eine schlechte Idee war, da der resultierende Schlussfolgerungsraum so eng war, dass er angesichts der Tatsache, dass Lärm variiert und die Ergebnisse beeinflussen kann, nutzlos war (siehe Fishers Aufsätze zu seinen landwirtschaftlichen Experimenten). Er führte die Blockierungstechnik ein, um mit dem Rauschen umzugehen, sodass das Rauschen innerhalb des Blocks konstant gehalten und gezielt zwischen den Blöcken variiert wird, sodass sowohl der Rückschlussraum erweitert als auch die Präzision des Designs erhöht werden kann. Ermöglicht auch die Schätzung von Block-für-Faktor-Wechselwirkungen, einem Maß für die Robustheit.
„Blockieren Sie, was Sie können, und randomisieren Sie, was Sie nicht können“ GEP Kasten
Shewhart schlug im Shewhart-Zyklus vor, „die Studie vorzugsweise in kleinem Maßstab durchzuführen“. Ich glaube, die Absicht besteht darin, die realen Bedingungen in der Studie im kleinen Maßstab zu simulieren. Ich denke, die Art und Weise, wie Sie dies tun, besteht darin, die Auswirkungen von Lärm zu übertreiben, um die langfristige Variation des Lärms in einem sehr kurzen Zeitraum (das Experiment) zu erfassen.
Um Ihre Frage zu beantworten, verwende ich jedoch eine pseudo-bayesianische Philosophie. Ich lasse die Wissenschaftler/Ingenieure die Daten für jede Behandlung des Experiments vorhersagen (natürlich a priori und voreingenommen durch die Hypothesen der Ingenieure), ALLE möglichen Ergebnisse vorhersagen (um die Verzerrung abzumildern) und vorhersagen, welche Maßnahmen Sie für ALLE möglichen Ergebnisse ergreifen würden . Dies gibt der experimentellen Analyse einen Kontext und bietet einen praktischen Ansatz zur Auswertung der Daten. Wenn Sie beispielsweise bei einer Behandlung ein Ergebnis erhalten, das völlig anders ist als erwartet, können diese Daten erklärt werden (Hypothese oder eine modifizierte Hypothese), wenn nicht, stellen Sie vielleicht die Durchführung dieser Behandlung in Frage oder fragen Sie, was sonst noch vor sich ging während der Durchführung dieser Behandlung (und wenn Sie vorhersagen, warum die Daten nicht übereinstimmen würden, erhöht dies die Wahrscheinlichkeit, dass Sie den zufälligen Effekt finden).
Paraphrasiert aus dem Zitat von Louis Pasteur: „Der Zufall begünstigt den vorbereiteten Geist.“
Betreff: Screening-Designs – Woher wissen wir, ob die Auswirkungen nicht signifikant sind oder ob die gesamten Daten nicht gut sind (signifikante Variation), ohne Replikationen durchzuführen?Hier ist eine zweite Idee für Sie, die nicht dabei hilft, die Grundursache „schlechter Daten“ zu ERKENNEN, sondern sie ZU VERHINDERN … basierend auf persönlicher Erfahrung. Nach einigen Jahren als DOE-Berater für zahlreiche Projekte bei meinem Arbeitgeber (hauptsächlich in einem neuen Prozess-/Produktentwicklungsbereich) wurde mir klar, dass die Leute, die die Experimente tatsächlich durchführten, viel zu oft für unseren Geschmack „die Dinge selbst in die Hand nahmen“. in der experimentellen Durchführung und halten uns nicht an den Buchstaben des Gesetzes, was wir tun wollten.
Beispielsweise blieb die Randomisierung von Versuchen oft auf der Strecke, weil der Bediener das zufällige Zurücksetzen von Faktoren als mühsam empfand und die „Schmerz-zu-Faktor-Änderung“-Durchläufe gruppierte, um das Experiment weniger schmerzhaft zu machen. Autsch ... da kommt die Randomisierung ... und wir haben kein Split-Plot-Design angegeben. Genau hier sind wir also dem Potenzial für „schlechte Daten“ ausgesetzt.
Also begann ich darauf zu bestehen, bei der Durchführung des Experiments dabei zu sein, zuzuschauen und zu versuchen, den Bedienern auf dem Weg zu helfen. Ich habe herausgefunden, dass dies mehrere Vorteile hat. Einer davon ist, dass ich oft etwas gesehen habe, das unsere Ergebnisse auf eine Art und Weise beeinflussen könnte, die wir nicht wollten, wie das obige Szenario. Ich würde darauf bestehen, das Experiment in der von uns angegebenen zufälligen Reihenfolge durchzuführen ... und die Sache nicht selbst in die Hand zu nehmen. Was die Teamarbeit anbelangt, hat es mir auch dabei geholfen, bei den Bedienern einen guten Ruf aufzubauen, weil ich, der Statistiker im weißen Hemd, bereit war, ins Labor oder in die Werkstatt zu gehen, mir die Hände schmutzig zu machen und manchmal nachts zu arbeiten Ich werde zusammen mit all den anderen arbeitenden Leuten auf dem Friedhof arbeiten ... und nicht den ganzen Tag in meinem Elfenbeinbüro sitzen und Proklamationen an das Proletariat richten.
Betreff: Screening-Designs – Woher wissen wir, ob die Auswirkungen nicht signifikant sind oder ob die gesamten Daten nicht gut sind (signifikante Variation), ohne Replikationen durchzuführen?Die einzige Technik, die mir einfällt und die Sie möglicherweise für das von Ihnen beschriebene Szenario verwenden können, besteht darin, die empirischen Ergebnisse auf das zu untersuchen, was zu erwarten ist, WENN die experimentellen Versuche wie vorgeschrieben durchgeführt wurden. Natürlich muss es einen Unterschied zwischen den erwarteten und den beobachteten Reaktionen geben, der groß genug ist, um Verdacht zu erregen ... aber das ist meine einzige Idee für Sie.
Eine möglicherweise hilfreiche Informationstechnik könnte darin bestehen, den JMP Prediction Profiler zu verwenden, der ein Modell enthält, von dem Sie glauben, dass Sie dann für gegebene Kombinationen des „neuen“ Experiments fragen: „Wie weit ist die tatsächliche Reaktion von der vorhergesagten Reaktion entfernt?“ .Verwendung des Vorhersageintervalls als informatives Kriterium.
Das von Ihnen beschriebene Szenario passierte mir tatsächlich einmal bei einem Projekt mit einem Team von Skeptikern von DOE im Allgemeinen ... Ich war der Statistiker im Team und viele im Team waren der Meinung, dass DOE mit schwarzer Magie vergleichbar sei. Wir haben einen Bestätigungsversuch basierend auf den von uns gewählten optimalen x-Werten durchgeführt. Die Ergebnisse lagen bei praktisch allen unserer Antworten nicht einmal annähernd. Also ging das Team in unseren besten Sherlock-Holmes-Modus, um herauszufinden, was schief gelaufen ist. Es stellte sich heraus, dass der Bediener absichtlich einen der wichtigsten x-Faktoren als „das, was wir immer verwenden … und nicht diese lächerliche Ebene, die auf dem Blatt steht“ ausgewählt hatte. Schade, dass wir den Bediener nicht auf dem Laufenden gehalten haben ... wir wollten dieses „lächerliche Niveau“ als Bestätigung unseres Prozesswissens. Nachdem wir also herausgefunden hatten, was der Operator tatsächlich ausgewählt hatte, probierte ich den JMP Prediction Profiler aus und gab den ungeeigneten Wert für den x-Faktor ein ... und siehe da, der Profiler sagte mit bemerkenswerter Genauigkeit die miesen Ergebnisse voraus, die wir beobachteten. Am Ende dieses Treffens waren sogar die DOE-Skeptiker überzeugt.
Betreff: Screening-Designs – Woher wissen wir, ob die Auswirkungen nicht signifikant sind oder ob die gesamten Daten nicht gut sind (signifikante Variation), ohne Replikationen durchzuführen?Vielen Dank, Statman, bitte lesen Sie meine Antwort an P_Bartell.
Bitte beachten Sie die zusätzlichen Details, die ich bereitgestellt habe.
Betreff: Screening-Designs – Woher wissen wir, ob die Auswirkungen nicht signifikant sind oder ob die gesamten Daten nicht gut sind (signifikante Variation), ohne Replikationen durchzuführen?Danke für Ihre Antwort.Lassen Sie mich etwas klarstellen.
Nehmen wir an, dass die Faktoren A, B und C das Potenzial haben, die Reinheit eines Produkts in einer chemischen Reaktion zu beeinflussen, aber nur, wenn sie unter Extrembedingungen getestet werden.Es wird zahlreiche andere Faktoren geben (nennen wir sie X), die einen sehr geringen Einfluss auf die Reinheit haben.Diese anderen Faktoren werden in der Studie nicht berücksichtigt, da sie entweder nur einen vernachlässigbaren Einfluss auf die Reinheit haben oder ein hohes Maß an Sicherheit dafür besteht, dass sie bei der Prozesseinführung in der Anlage genau am Sollwert kontrolliert werden können.
Das Ziel der Studie besteht nun darin, Experimente im Labor durchzuführen (in kleinen Maßstäben, die den Betrieb im großen Maßstab so weit wie möglich nachahmen) und dabei die Faktoren A, B und C systematisch zu variieren und gleichzeitig alle anderen Rauschfaktoren konstant zu halten.
In einer hypothetischen Situation, in der der Chemiker, der diese Reaktionen durchführt, die Experimente nicht akribisch durchgeführt hat, d Es könnte eine Situation geben, in der die Kombination von Rauschfaktoren das tatsächliche Signal verwischt, das aus der systematischen Variation der Faktoren A, B und C resultiert.In diesem Fall können die Ergebnisse darauf hinweisen, dass Faktoren keinen Einfluss auf die Reinheit innerhalb der getesteten Bereiche haben.
Kann man sagen, dass die Ergebnisse nicht zuverlässig sind, weil die Experimente nicht wie beabsichtigt durchgeführt wurden?Vor allem, wenn es in der Matrix keine Wiederholungsexperimente gibt?
Betreff: Screening-Designs – Woher wissen wir, ob die Auswirkungen nicht signifikant sind oder ob die gesamten Daten nicht gut sind (signifikante Variation), ohne Replikationen durchzuführen?Zunächst einmal willkommen in der Community. Wir werden versuchen, Ihnen einige Anregungen zu geben und Ihnen gerne weitere Informationen zu Ihrer Situation zukommen zu lassen.
Pete hat einige hervorragende Punkte angesprochen. Hier sind meine zusätzlichen Gedanken:
1. Robustheit bedeutet für mich konstante Leistung des Modells bei sich änderndem Rauschen (quantitativ das Fehlen von Wechselwirkungen zwischen Rauschen und Modell). Lärm kann Umgebungsbedingungen, Reinheit der eingehenden Chemikalien, Sauberkeit des Bottichs, Messsystemfehler, nicht spezifisch kontrollierte Schwankungen der X-Werte, Schwankungen der X-Werte innerhalb der Kontrollebenen usw. oder, wie ich Lärm definiere, sein: die Faktoren, die Sie nicht verwalten/kontrollieren möchten ).
2. Könnten Sie Daten für die Antwortvariable sammeln und gleichzeitig die Werte der X aufzeichnen? Verwenden Sie diese Daten, um eine lineare Regression durchzuführen. Sie würden hoffen, dass die Variation in der Antwortvariablen relativ gering ist und keine Beziehung zu den X besteht. Dies liegt an der Wahrscheinlichkeit, dass auch die Xs nicht stark variieren (weshalb es kaum Hinweise auf einen Kausalzusammenhang gibt, selbst wenn dies in Wahrheit der Fall sein könnte).
3. Was sie wirklich verlangen (vermute ich), ist nicht, dass Sie ein Screening-Design erstellen, da die Absicht dabei darin besteht, Xs mutig zu ändern und potenziell kausale Zusammenhänge zu entdecken, sondern eher so etwas wie ein Toleranzdesign. Vielleicht liegt es an der Semantik, aber sie wollen wissen, ob sich die normale, zufällige Variation der X auf die Antwortvariable auswirkt. Wählen Sie also Ebenen aus, die die Extreme der natürlichen Variation der x-Werte darstellen, und führen Sie eine Art faktoriellen Versuchsplan durch. Ich denke, Sie sollten eine Strategie anwenden, um auch mit anderen Lärmquellen umzugehen (Blockierung, Wiederholung, Split-Plots usw.).
4. Ich bin mir nicht sicher, was Sie mit „ Wenn der Experimentator Daten gesammelt hat, ist das nicht gut.“ Bedeutet das, dass die Messsysteme verdächtig sind? In diesem Fall sollten Sie die Messsysteme studieren und bei der Durchführung eines Experiments wiederholte Messungen durchführen, um die Messkomponente abzuschätzen und möglicherweise deren Variation zu mitteln, um die Präzision des Entwurfs zu erhöhen.
Betreff: Screening-Designs – Woher wissen wir, ob die Auswirkungen nicht signifikant sind oder ob die gesamten Daten nicht gut sind (signifikante Variation), ohne Replikationen durchzuführen?Ich werde einige Gedanken aufgreifen.
Erstens: Wenn die Variation in den Antworten jedes Signal überdeckt, das meiner Meinung nach vor der Faktorvariation verborgen bleiben könnte, gibt es eine von drei Ursachen:
1. Übermäßige Abweichung des Messsystems. In diesem Szenario ist die Hauptursache für die Antwortvariation hauptsächlich die Variation des Messsystems. Verfügen Sie über ein laufendes Prozesskontrollsystem für das Messsystem? Kennen Sie die inhärente „normale“ Variation des Messsystems? Wenn nicht, werden Sie nie wissen, ob Ihre Schlussfolgerung „kein Effekt“ aufgrund der Faktorvariation real ist oder nur eine Illusion, die durch übermäßige Variation des Messsystems verursacht wird.
2. Lärm-/Störungsvariablen, die den experimentellen Prozess in einer Weise beeinflussen, die die Antwortvariation erhöht. Es ist wichtig, bei der Durchführung von Experimenten stets auf solche Einflüsse zu achten. Das ist eine heikle Angelegenheit, weil man es nie genau wissen kann ... aber ein wachsames Auge, vielleicht von einem unabhängigen Dritten, während der Durchführung und Planung des Experiments kann hilfreich sein.
3. Es ist wirklich nichts los...
Insgesamt steht Ihre Frage im Mittelpunkt des Hypothesentests. Wir können niemals eine Nullhypothese „akzeptieren“, dass „nichts mit den Faktoren passiert“, sondern sie einfach nicht ablehnen. In dem von Ihnen beschriebenen Fall können Sie eigentlich nur sagen, dass wir die Nullhypothese, dass jeder schätzbare Effekt gleich Null ist, nicht zurückweisen können.
