423921_de-DE

liliconcom

Screening-Designs - Woher wissen wir, ob die Effekte nicht signifikant sind oder ob die gesamten Daten nicht gut sind (signifikante Variation) ohne Wiederholungen?

Um die Robustheit eines chemischen Prozesses zu zeigen, müssen wir den Regulierungsbehörden oft zeigen, dass ausgewählte Parameter (Temperatur, Äquivalente, Zeit und Reagenzienverhältnisse) die Qualität (Reinheit) des Endprodukts nicht beeinflussen.Um dies zu zeigen, bevorzugen die Aufsichtsbehörden die Durchführung von Screening-Designs.Normalerweise wollen wir zeigen, dass sich die Parameter innerhalb der untersuchten Bereiche nicht nachteilig auswirken, damit der Prozess robust ist.  

 

Meine Frage ist, ob der Experimentator mit äußerster Präzision arbeitet und die Daten zeigen, dass keiner der Faktoren (oder Interaktionsbedingungen) die Qualität beeinflusst, dann ist das in Ordnung.Wenn der Experimentator Daten gesammelt hat, die nicht gut sind und das Modell zeigt, dass keiner der Faktoren einflussreich ist, wie können wir dann herausfinden, ob wir den Daten und dem Modell vertrauen können?Gibt es das trotzdem, besonders wenn wir keine Wiederholungsläufe haben, um Variationen zu sehen?

 

Ich sehe, dass definitive Screening-Designs nicht unbedingt Wiederholungsexperimente beinhalten. Wie kann man dann wissen, ob die Antworten signifikant variieren?

DAMHIRSCHKUHBetreff: Screening-Designs - Woher wissen wir, ob die Effekte nicht signifikant sind oder ob die gesamten Daten nicht gut sind (signifikante Variation) ohne Wiederholungen?

Ich werde mir ein paar Gedanken machen.

 

Erstens: Wenn die Variation in den Antworten jedes Signal überlagert, das meiner Meinung nach vor der Faktorvariation verborgen sein könnte, gibt es eine von drei Ursachen:

 

1. Übermäßige Messsystemvariation. In diesem Szenario ist die Hauptursache für die Antwortvariation hauptsächlich die Variation des Messsystems. Verfügen Sie über ein durchgängiges Prozessleitsystem für das Messsystem? Kennen Sie die inhärente „normale“ Variation des Messsystems? Wenn nicht, werden Sie nie wissen, ob Ihre Schlussfolgerung „kein Effekt“ aufgrund von Faktorvariationen real ist oder nur eine Illusion ist, die durch übermäßige Messsystemvariationen verursacht wird.

 

2. Rausch-/Belästigungsvariablen, die den experimentellen Prozess so beeinflussen, dass die Antwortvariation erhöht wird. Es ist wichtig, während der Versuchsdurchführung immer wachsam gegenüber solchen Einflüssen zu sein. Dies ist eine knifflige Frage, denn man kann es nie genau wissen...aber ein wachsames Auge, vielleicht durch einen unabhängigen Dritten, während der Versuchsdurchführung und -planung kann hilfreich sein.

 

3. Es ist wirklich nichts los...

 

Insgesamt steht Ihre Frage im Mittelpunkt des Hypothesentests. Wir können niemals eine Nullhypothese „akzeptieren“, dass „nichts in Bezug auf die Faktoren passiert“ ... nur es versäumen, sie abzulehnen. In dem von Ihnen beschriebenen Fall können Sie nur sagen, dass wir die Nullhypothese, dass jeder schätzbare Effekt gleich Null ist, nicht ablehnen.

Betreff: Screening-Designs - Woher wissen wir, ob die Effekte nicht signifikant sind oder ob die gesamten Daten nicht gut sind (signifikante Variation) ohne Wiederholungen?

Erstmal willkommen in der Community. Wir werden versuchen, Ihnen einige Ideen zu geben, und zögern Sie nicht, mit weiteren Informationen zu Ihrer Situation zu antworten.

Pete brachte einige ausgezeichnete Punkte ein. Hier meine zusätzlichen Gedanken:

1. Robustheit bedeutet für mich konstante Leistung des Modells bei wechselndem Rauschen (quantitativ das Fehlen von Rauschen-durch-Modell-Wechselwirkungen). Rauschen können Umgebungsbedingungen, Reinheit der ankommenden Chemikalien, Sauberkeit des Bottichs, Messsystemfehler, nicht speziell kontrollierte X-Variationen, X-Variationen innerhalb der Kontrollebenen usw. sein, oder wie ich Rauschen definiere: die Faktoren, die Sie nicht verwalten/kontrollieren möchten ).

2. Könnten Sie Daten für die Antwortvariable sammeln und gleichzeitig die Werte der X aufzeichnen. Verwenden Sie diese Daten, um eine lineare Regression durchzuführen. Sie hoffen, dass die Variation der Antwortvariablen relativ gering ist und keine Beziehung zu den X besteht. Dies liegt an der Wahrscheinlichkeit, dass die X-Werte auch nicht sehr unterschiedlich sind (weshalb es kaum Beweise für einen kausalen Zusammenhang gibt, selbst wenn er tatsächlich vorhanden ist).

3. Was sie wirklich fragen (vermute ich), ist nicht, dass Sie ein Screening-Design erstellen, da die Absicht darin besteht, Xs mutig zu ändern und potenziell kausale Beziehungen zu entdecken, sondern eher so etwas wie Toleranzdesign. Vielleicht ist es Semantik, aber sie wollen wissen, ob die normale, zufällige Variation der X die Antwortvariable beeinflusst. Wählen Sie also Niveaus, die für die Extreme der natürlichen Variation der x-Werte repräsentativ sind, und führen Sie eine Art faktorielles Design durch. Ich denke, Sie sollten eine Strategie anwenden, um auch mit anderen Rauschquellen umzugehen (Blockierung, Wiederholung, Split-Plots usw.).

4. Ich bin mir nicht sicher, was Sie mit " Wenn der Experimentator Daten gesammelt hat, ist das nicht gut." Bedeutet dies, dass die Messsysteme verdächtig sind? In diesem Fall sollten Sie die Messsysteme studieren und bei der Durchführung eines Experiments wiederholte Messungen durchführen, um die Messkomponente zu schätzen und möglicherweise ihre Variation zu mitteln, um die Genauigkeit des Designs zu erhöhen.

Betreff: Screening-Designs - Woher wissen wir, ob die Effekte nicht signifikant sind oder ob die gesamten Daten nicht gut sind (signifikante Variation) ohne Wiederholungen?

Danke für Ihre Antwort.Lassen Sie mich einiges klarstellen.  

 

Nehmen wir an, die Faktoren A, B, C haben das Potenzial, die Reinheit eines Produkts in einer chemischen Reaktion zu beeinflussen, aber nur, wenn sie unter Extrembedingungen getestet werden.Es gibt zahlreiche andere Faktoren (nennen wir sie X), die einen sehr geringen Einfluss auf die Reinheit haben.Diese anderen Faktoren sind in der Studie nicht enthalten, weil sie entweder nur einen vernachlässigbaren Einfluss auf die Reinheit haben oder ein hohes Vertrauen darauf haben, dass sie genau zum eingestellten Punkt gut kontrolliert werden können, wenn der Prozess in die Anlage geht.  

 

Das Ziel der Studie besteht nun darin, Experimente im Labor durchzuführen (auf kleinem Maßstab, der den Betrieb im großen Maßstab so weit wie möglich nachahmt), die Faktoren A, B und C systematisch zu variieren, während alle anderen Rauschfaktoren konstant gehalten werden.  

 

In einer hypothetischen Situation, in der der Chemiker, der diese Reaktionen durchführt, die Experimente nicht akribisch durchführte, was bedeutet, dass die A-, B- und C-Faktoren nicht an den Punkten gehalten werden, die sie für die Studie benötigen, und die Rauschfaktoren nicht auf die festgelegten Werte kontrollieren, dann gibt es könnte eine Situation sein, in der die Kombination von Rauschfaktoren das tatsächliche Signal verwischt, das sich aus einer systematischen Variation der Faktoren A, B und C ergibt.In dieser Situation können die Ergebnisse darauf hinweisen, dass Faktoren die Reinheit innerhalb der getesteten Bereiche nicht beeinflussen.  

 

Gibt es eine Möglichkeit zu sagen, dass die Ergebnisse nicht zuverlässig sind, weil die Experimente nicht wie beabsichtigt durchgeführt wurden?Vor allem, wenn es keine Wiederholungsversuche in der Matrix gibt?  

 

  

Betreff: Screening-Designs - Woher wissen wir, ob die Effekte nicht signifikant sind oder ob die gesamten Daten nicht gut sind (signifikante Variation) ohne Wiederholungen?

Danke Statman, bitte lesen Sie meine Antwort an P_Bartell.  

 

Bitte beachten Sie zusätzliche Details, die ich zur Verfügung gestellt habe.

Betreff: Screening-Designs - Woher wissen wir, ob die Effekte nicht signifikant sind oder ob die gesamten Daten nicht gut sind (signifikante Variation) ohne Wiederholungen?

Die einzige Technik, die mir einfällt, ist, dass Sie für das von Ihnen beschriebene Szenario möglicherweise in der Lage sind, die empirischen Ergebnisse auf das zu untersuchen, was erwartet wird, WENN die experimentellen Versuche wie vorgeschrieben durchgeführt wurden. Offensichtlich muss es einen Unterschied zwischen den erwarteten Antworten und den beobachteten geben, der groß genug ist, um Verdacht zu erregen ... aber das ist meine einzige Idee für Sie.

 

Eine potenziell hilfreiche Informationstechnik könnte darin bestehen, den JMP Prediction Profiler zu verwenden, der ein Modell enthält, von dem Sie glauben. .unter Verwendung des Vorhersageintervalls als informatives Kriterium.

 

Das von Ihnen beschriebene Szenario ist mir tatsächlich einmal bei einem Projekt mit einem Team von Skeptikern gegenüber DOE im Allgemeinen passiert ... Ich war der Statistiker im Team und viele im Team hielten DOE für schwarze Magie. Wir haben einen Bestätigungsversuch basierend auf unseren ausgewählten optimalen x durchgeführt. Die Ergebnisse waren bei praktisch allen unseren Antworten nicht einmal annähernd gleich. Also ging das Team in unseren besten Sherlock Holmes-Modus, um herauszufinden, was schief gelaufen ist. Es stellte sich heraus, dass der Bediener absichtlich einen der wichtigsten x-Faktoren gewählt hatte, um „das zu sein, was wir immer verwenden … nicht diese lächerliche Ebene, die auf dem Blatt steht“. Schade, dass wir den Bediener nicht auf dem Laufenden halten ... wir wollten, dass dieses "lächerliche Niveau" unser Prozesswissen bestätigt. Als wir also herausfanden, was der Operator tatsächlich gewählt hatte, probierte ich den JMP Prediction Profiler aus und gab den unangemessenen Wert für den x-Faktor ein ... siehe da, der Profiler sagte mit bemerkenswerter Genauigkeit die lausigen Ergebnisse voraus, die wir beobachteten. Am Ende dieses Treffens waren sogar die DOE-Skeptiker überzeugt.

Betreff: Screening-Designs - Woher wissen wir, ob die Effekte nicht signifikant sind oder ob die gesamten Daten nicht gut sind (signifikante Variation) ohne Wiederholungen?

Hier ist eine zweite Idee für Sie, die nicht dazu beiträgt, die Ursache von "schlechten Daten" zu ERKENNEN ... sondern sie zu VERHINDERN ... aus eigener Erfahrung. Nach einigen Jahren DOE-Beratung für zahlreiche Projekte bei meinem Arbeitgeber (meist in einem neuen Prozess-/Produktentwicklungsbereich) dämmerte mir, dass die Leute, die die Experimente tatsächlich durchführen, viel zu oft für unseren Geschmack "die Dinge selbst in die Hand nehmen". in experimenteller Ausführung und nicht dem Buchstaben des Gesetzes folgen, was wir wollten.

 

Zum Beispiel blieb die Randomisierung von Versuchen oft auf der Strecke, weil der Bediener das zufällige Zurücksetzen von Faktoren als schmerzhaft empfand und die Läufe des „Pain-to-Change-Faktors“ zusammenfassen würde, um das Experiment, nun ja, weniger schmerzhaft zu machen. Autsch ... es gibt Randomisierung ... und wir haben kein Split-Plot-Design festgelegt. Genau hier öffnen wir uns also dem Potenzial für „schlechte Daten“.

 

Ich bestand also darauf, beim Experimentieren dabei zu sein und zuzusehen und zu versuchen, den Operatoren auf dem Weg zu helfen. Ich fand, dass dies mehrere Vorteile hatte ... einer ist, dass ich oft etwas sah, das unsere Ergebnisse auf eine Weise beeinflussen könnte, die wir nicht wollten ... wie das obige Szenario. Ich würde darauf bestehen, das Experiment in der von uns angegebenen zufälligen Reihenfolge durchzuführen ... und die Dinge nicht selbst in die Hand zu nehmen. Auf der Seite der Teamarbeit hat es mir auch geholfen, bei den Operatoren einen guten Ruf aufzubauen, weil ich, der Statistiker mit weißem Hemd, bereit war, ins Labor oder in die Werkstatt zu gehen, sich die Hände schmutzig zu machen und manchmal die Nacht zu arbeiten oder Friedhofsschicht zusammen mit all den anderen Arbeitern... und nicht den ganzen Tag in meinem elfenbeinfarbenen Büro zu sitzen und Proklamationen an das Proletariat auszugeben.

Betreff: Screening-Designs - Wie können wir ohne Wiederholungen wissen, ob die Auswirkungen nicht signifikant sind oder ob die gesamten Daten nicht gut sind (signifikante Variationen)?

Ich werde meine Gedanken teilen, auch wenn Sie ihnen vielleicht nicht zustimmen. Replizierte Designs sind nur eine Möglichkeit, Rauschen in das Experiment einzubeziehen. Nicht replizierte Designs können sehr nützlich sein. Ich verwende Faktorbeziehungsdiagramme, um die Beziehungen zwischen den Designfaktoren und den Rauschfaktoren in einem Experiment grafisch darzustellen. Auf diese Weise verstehen Sie, welche Faktoren die Grundlage für den Vergleich bilden, und Sie können wissenschaftliche/technische Urteile verwenden, um festzustellen, ob dieses Geräusch repräsentativ für zukünftige Bedingungen ist und die Entwicklung von Gedanken und Hypothesen über die potenziellen Auswirkungen eines solchen Geräuschs anregen könnte. Das Partitionieren des Rauschens kann sehr nützlich sein, um die Designpräzision zu erhöhen, ohne den Inferenzraum negativ zu beeinflussen.

 

Deine Meinung " Jetzt ist das Ziel der Studie, Experimente im Labor durchzuführen (in kleinen Maßstäben, die den Betrieb im großen Maßstab so weit wie möglich nachahmen), wobei die Faktoren A, B und C systematisch variiert werden Konstanthalten aller anderen Rauschfaktoren ." ergibt für mich keinen Sinn. Erstens sollte das Ziel IMHO sein, das zu verstehen ursächliche Struktur, die die chemische Reinheit beeinflusst! Zweitens ist Lärm per Definition eine Reihe von Faktoren, die Sie NICHT KONTROLLIEREN WOLLEN/KÖNNEN. Die Art und Weise, wie Sie Daten sammeln, besteht darin, Experimente zu verwenden (anstelle von gerichtetem Sampling, bei dem keine Manipulation vorgenommen wird und Sie sich darauf verlassen, die Quellen so zu partitionieren, wie Sie die Daten abtasten und rational untergruppieren). Das Rauschen während des gesamten Experiments konstant zu halten, ist eine schreckliche Idee, es sei denn, Sie beabsichtigen, es für immer konstant zu halten (und die zusätzlichen Kosten für die Kontrolle des Rauschens zu zahlen), was natürlich diese Faktoren kontrollierbar macht, nicht das Rauschen.  

Wie Sie wahrscheinlich wissen, stellte Fisher fest, dass dies eine schlechte Idee war, da der resultierende Inferenzraum so eng war, dass er nutzlos war, wenn er mit der Realität konfrontiert wurde, dass Rauschen variiert und die Ergebnisse beeinflussen kann (siehe Fishers Papiere zu seinen landwirtschaftlichen Experimenten). Er führte die Technik des Blockens ein, um das Rauschen so zu handhaben, dass das Rauschen innerhalb des Blocks konstant gehalten und gezielt zwischen den Blöcken variiert wird, sodass Sie sowohl den Inferenzraum erweitern als auch gleichzeitig die Präzision des Designs erhöhen können. Ermöglicht auch die Schätzung von Block-für-Faktor-Wechselwirkungen, ein Maß für Robustheit.

 

„Blockiere, was du kannst, randomisiere, was du nicht kannst“ GEP Kasten

 

Shewhart schlug im Shewhart-Zyklus vor, "die Studie vorzugsweise in kleinem Maßstab durchzuführen". Ich glaube, Sie möchten die Bedingungen der realen Welt in der kleinen Studie simulieren. Ich denke, Sie tun dies, indem Sie die Auswirkungen von Rauschen übertreiben, um die langfristigen Schwankungen des Rauschens in einem sehr kurzen Zeitraum (dem Experiment) zu erfassen.

 

Um Ihre Frage zu beantworten, verwende ich eine Pseudo-Bayes'sche Philosophie. Ich lasse die Wissenschaftler/Ingenieure die Daten für jede Behandlung des Experiments vorhersagen (natürlich a priori und durch die Hypothesen der Ingenieure voreingenommen), ALLE möglichen Ergebnisse vorhersagen (um die Verzerrung abzuschwächen) und vorhersagen, welche Maßnahmen Sie für ALLE möglichen Ergebnisse ergreifen würden . Dies gibt der experimentellen Analyse einen Kontext und bietet einen praktischen Ansatz zur Auswertung der Daten. Wenn Sie zum Beispiel ein Ergebnis einer Behandlung erhalten, das völlig anders ist als erwartet, können diese Daten erklärt werden (Hypothese oder eine modifizierte Hypothese), wenn nicht, stellen Sie vielleicht die Durchführung dieser Behandlung in Frage oder hinterfragen Sie, was sonst noch vor sich ging während der Behandlung (und wenn Sie vorhersagen, warum die Daten nicht übereinstimmen würden, erhöht dies die Wahrscheinlichkeit, dass Sie den zufälligen Effekt finden).

Umschrieben aus dem Zitat von Louis Pasteur „Der Zufall begünstigt den vorbereiteten Geist“.