Ich möchte die Versuchsplanung (DoE) mit einem entmystifizieren Reihe von Beiträgen mit einfachen Erklärungen über einige der Begriffe und Konzepte, die für Anfänger verwirrend sein können. In der erste Beitrag dieser Reihe Wir haben uns mit der Herausforderung des riesigen Möglichkeitsraums in Multifaktorsystemen befasst und die Konzepte von Faktoren, Reaktionen und vollfaktoriellen Designs eingeführt. In der zweite Beitrag Wir haben untersucht, wie wir das Verhalten in Prozessen, einschließlich Faktorinteraktionen, mit visuellen und statistischen Modellen verstehen können. In der dritte Beitrag Wir haben gezeigt, wie wir mithilfe von Daten aus effizienten Experimenten Modelle des Prozesses erstellen und erklärt, was wir unter multipler linearer Regression, Haupteffekten und quadratischen Effekten verstehen.
Wir haben dies alles anhand einer Fallstudie aus der Praxis veranschaulicht, in der wir verstehen müssen, wie der Large Volume Injector (LVI) in einem GC-MS-Analysesystem eingestellt wird. Ziel ist es, die Erkennung geringer Schadstoffgehalte in Wasserproben zu optimieren. Es erscheint angemessen, dass wir in diesem Beitrag über Klarheit sprechen.
Wenn wir hier von Klarheit sprechen, meinen wir Klarheit über die Auswirkungen, die unsere verschiedenen Faktoren (Injektionsvolumen, Injektionsgeschwindigkeit usw.) auf unsere Reaktion (die Summe aller Spitzenhöhen) haben. Wir werden sehen, wie das von uns eingeführte 26-Durchlauf-Experiment diese Klarheit fast ausschließlich liefern kann.
Im Gegensatz dazu werden wir uns auch ein Beispiel von Daten ansehen, die unser Verständnis nicht klarer machen. Nebenbei erklären wir Orthogonalität, Confounding und Aliasing. Ich möchte Ihr Verständnis dieser Konzepte verdeutlichen. Wir müssen daher einfach anfangen.
Ein einfaches Beispiel für korrelierte Effekte, Orthogonalität, Aliasing und Confounding
Beginnen wir damit, über die ersten beiden Faktoren für unseren LVI-Aufbau und diese drei verschiedenen Versuchsdesigns nachzudenken:
Jeder Punkt im Diagramm stellt einen Durchlauf in einem der drei Experimente dar.
- Design Nr. 1 ist die vollständige Fakultät für drei Ebenen (niedrig, mittel und hoch oder L, M und H) der beiden Faktoren.
- Design Nr. 2 ist das gleiche, jedoch wurden zwei Kombinationen entfernt – LH und HL.
- Design Nr. 3 hat nur die Kombinationen LL, MM und HH.
Die Abdeckung des Möglichkeitsraums verringert sich deutlich von #1 über #2 auf #3. Eine andere Sache, die sich ändert, ist die Korrelation unserer Faktoren.
Die vollständige Fakultät weist eine Korrelation zwischen den Faktoren von 0 auf. Wir sagen, dass das Design ist senkrecht für den hauptsächlichen linearen Effekt dieser Faktoren. Die Konfidenzellipse für Nr. 2 ist enger, da sie eine moderate Korrelation aufweist. R , von 0,5. Wir sagen, dass es das gibt teilweises Aliasing zwischen diesen Effekten in diesem Design. Die Dichteellipse für Nr. 3 ist zu nichts zusammengebrochen, da eine perfekte Korrelation besteht (r = 1). Wir sagen, dass die Haupteffekte sind völlig aliasiert oder verwirrt in diesem Design.
Welche Konsequenzen hat dieses Aliasing? Um dies zu demonstrieren, haben wir einige Antwortdaten für jeden Durchlauf jedes Designs simuliert. Die Punkte in den Diagrammen sind jetzt mit dem Antwortwert SimResp für die Läufe beschriftet.
Wenn Sie sich einfach die Zahlen aus Design Nr. 1 ansehen, können Sie einen Eindruck davon bekommen, wie sich die Änderung von Vol(Inj) und Speed(Inj) auf die Reaktion auswirkt. Möglicherweise können Sie dies auch anhand von Design Nr. 2 erahnen, es ist jedoch nicht so klar.
Es gibt ein offensichtliches Problem beim Versuch, die Wirkung der beiden Faktoren anhand der Daten für Design Nr. 3 zu verstehen: Es ist nicht möglich, die Wirkungen der Faktoren zu trennen. Jede Änderung, die wir an einem Faktor vorgenommen haben, wurde genau mit einer Änderung des anderen Faktors abgeglichen. Sie können sehen, warum wir das als verwirrend bezeichnen! Wir haben keinerlei Klarheit über die Wirkung unserer Faktoren und daher ein schlechtes Verständnis unseres Prozesses.
Wie in früheren Beiträgen dieser Reihe erläutert, ist die Anpassung eines Modells der beste Weg, die Auswirkungen von Faktoren zu verstehen. Wir werden die Haupteffektmodelle an die Daten jedes Designs anpassen – oder zumindest werden wir es versuchen.
Im Fall von Design Nr. 3 ist es nicht möglich, ein Modell mit dem Haupteffekt beider Faktoren anzupassen, und wir erhalten ein Singularität Warnung, wenn wir versuchen, dieses Modell einzupassen JMP :
Das sagt uns, dass wir den einen oder anderen Effekt anpassen können, aber nicht beide.
Wir können das Haupteffektmodell anhand der Daten der Designs Nr. 1 und Nr. 2 anpassen. Hier sind die Profiler-Plots:
Profiler plot of main effects model from Design #1.Profiler plot of main effects model from Design #1.Profiler plot of main effects model from Design #1.Profiler plot of main effects model from Design #1.Profiler-Plot des Haupteffektmodells aus Design Nr. 1.
Profiler plot of main effects model from Design #2.Profiler plot of main effects model from Design #2.Profiler plot of main effects model from Design #2.Profiler plot of main effects model from Design #2. Profiler-Plot des Haupteffektmodells aus Design Nr. 2.
Diese Diagramme umfassen die Konfidenzintervalle, die unsere Unsicherheit über die tatsächliche Wirkung der Faktoren darstellen. Unser Modell ist schließlich nur eine Schätzung. Wir gehen davon aus, dass die Linie, die den Effekt darstellt, innerhalb der schattierten Bänder der Konfidenzintervalle liegt. Sie sehen, dass unsere Unsicherheit über die Auswirkungen beim Modell aus Design #2 größer ist. Dies liegt zum Teil daran, dass wir weniger Daten hatten (sieben Läufe gegenüber neun Läufen), aber auch an dem teilweisen Aliasing der Effekte. Dies wird manchmal genannt Varianzinflation .
Die Take-Home-Nachrichten:
- Die größte Klarheit über die Auswirkungen von Faktoren erhalten wir mit orthogonalen Versuchsplänen.
- Wir können mit etwas Aliasing umgehen – wir können etwas über die Auswirkungen lernen, allerdings mit weniger Präzision.
- Wir können nichts über die Auswirkungen verwechselter Faktoren lernen.
Experimentelle Designs für Klarheit
Betrachten wir nun unser 26-Run-Design.
Das nächste Diagramm ist eine Streudiagrammmatrix unserer ersten drei Faktoren.
Eine Streudiagrammmatrix zeigt Streudiagramme für jedes Variablenpaar. Dieser zeigt eine Korrelation von 0 zwischen allen Paaren dieser Faktoren; Das Design ist für diese Haupteffekte orthogonal. Unser Verständnis jedes dieser Effekte ist frei von Verwechslungen mit den anderen Effekten. Bisher sieht das nach einem guten Design aus.
Mit einer Korrelationsfarbkarte können wir die Korrelation der Effekte effizienter darstellen:
Diese Karte hat die gleichen neun Quadrate wie die Streudiagrammmatrix. Nun wird die Korrelation eines Wirkungspaares durch die Farbe des Quadrats dargestellt. Der Mangel an Korrelation zwischen unseren Haupteffekten ist hier in den blassblauen Quadraten zu erkennen. Die dunkelblaue Diagonale von links oben nach rechts unten stellt die Korrelation jedes Effekts mit sich selbst dar (natürlich 1!) und dient der Vollständigkeit.
Mit dieser effizienteren Darstellung der Zusammenhänge können wir alle wesentlichen Effekte betrachten.
Die kontinuierlichen Haupteffekte sind alle orthogonal zueinander. Die damit verbundene Klarheit ist einer der Hauptgründe, warum diese 26 Läufe ein so nützliches Design darstellen. Die etwas dunkleren blauen Quadrate unter „Liner“ zeigen an, dass es zu einem teilweisen Aliasing des kategorialen Liner-Effekts mit den anderen Haupteffekten kommt (r = 0,0836). Dies sollte kein Grund zur Sorge sein. Tatsächlich lässt sich berechnen, um wie viel größer die Konfidenzintervalle im Vergleich zu einem orthogonalen Design werden würden (nicht mehr als 2,5 %).
Wir können uns auch eine Korrelationsfarbkarte für alle Haupt- und quadratischen Effekte ansehen[1]. Die folgenden Farbkarten sind dieselben, außer dass ich zwei der Quadrate im Diagramm rechts beschriftet habe, um die Interpretation zu erleichtern.
Der blassblaue Bereich im oberen rechten Quadranten stellt die Korrelationen zwischen den Haupteffekten und den quadratischen Effekten dar. Wir können zum Beispiel sehen, dass zwischen den Haupt- und quadratischen Effekten des Injektionsvolumens, Vol(Inj) und Vol(Inj)*Vol(Inj), keine Korrelation besteht. Die Karte zeigt, dass zwischen jedem quadratischen Effekt und jedem Haupteffekt eine Korrelation von 0 besteht: Quadratischer und Haupteffekt sind orthogonal zueinander. Das ist kein Zufall. Dies war wiederum einer der Gründe für die Wahl des Versuchsdesigns.
Das kräftigere Blau unten rechts repräsentiert die höheren Korrelationen innerhalb der quadratischen Effekte. Wir können beispielsweise sehen, dass zwischen den quadratischen Effekten von Einspritzvolumen und Einspritzgeschwindigkeit, Vol(Inj)*Vol(Inj) und Geschwindigkeit(Inj)*Geschwindigkeit(Inj), eine Korrelation von 0,4091 besteht. Die Karte zeigt, dass zwischen allen quadratischen Effekten die gleiche Korrelation von 0,4091 besteht: Die quadratischen Effekte weisen teilweise ein Aliasing zueinander auf. Das ist ein Kompromiss, mit dem wir in dieser Situation leben können. Das bedeutet, dass wir in der Lage sein sollten, das wichtige krummlinige Verhalten jedes einzelnen Faktors mit etwas weniger Präzision zu verstehen. Wichtig ist, dass es bei den von uns betrachteten Effekten keine Verwechslungen gibt.
Wir haben gesehen, wie die Daten aus dem 26-Durchlauf-Versuchsdesign aufgrund der minimalen Wirkungskorrelationen Klarheit zu unserem Verständnis der wichtigen Verhaltensweisen in unserem Prozess bringen können. Ohne die Methoden in Software wie JMP wäre es schwierig, einen Versuchsplan zu finden, der sowohl relativ wenige Durchläufe als auch diese nützlichen Korrelationseigenschaften aufweist.
So klar wie Schlamm
Wenn Daten ohne Plan gesammelt werden, besteht zwangsläufig eine größere Korrelation, wodurch es schwieriger wird zu verstehen, was das Verhalten in einem System antreibt. Ein klassisches Beispiel sind diese ökonometrischen Daten (der Longley-Datensatz). verfügbar im JMP-Beispieldatenverzeichnis 
y ist ein Maß für die Beschäftigung und x1 bis x6 sind potenzielle Prädiktoren (x6 scheint das Kalenderjahr zu sein). Die Korrelationsfarbkarte für die Haupteffekte zeigt Korrelationen zwischen x1, x2, x5 und x6, die sehr nahe bei 1 liegen:
Die Auswirkung auf unser Verständnis der Auswirkungen der Faktoren lässt sich aus einem Profiler-Diagramm des vollständigen Haupteffektmodells ablesen:
Die breitesten Konfidenzintervalle gelten für die am stärksten korrelierten Effekte und verdeutlichen die Schwierigkeit, ein System anhand von Daten mit stark korrelierten Faktoren zu verstehen. Beispielsweise schätzt das Modell, dass y mit zunehmendem x2 abnimmt, die Konfidenzintervalle deuten jedoch darauf hin, dass der Effekt dieses Faktors auch stark positiv sein könnte. Wir wissen fast nichts über die Wirkung von x2.
Wir haben gesehen, dass wir, wenn wir unsere Prozesse und Systeme klar verstehen wollen, Daten aus Experimenten generieren müssen, die eine minimale Korrelation zwischen den Effekten aufweisen, die uns wichtig sind. Wir haben gesehen, dass die Korrelationsfarbkarte ein leistungsstarkes visuelles Werkzeug ist, um zu verstehen, wie gut ein Design in dieser Hinsicht ist. Wir haben bisher nur Haupt- und quadratische Effekte betrachtet. Was ist mit komplexeren Verhaltensweisen wie den zuvor erwähnten Interaktionen? Im nächsten Beitrag dieser Reihe werden wir uns diese Effekte ansehen und sehen, warum die 26 Durchläufe in unserem Experiment eine gute Wahl sind, wenn wir sicherstellen wollen, dass diese komplexen Verhaltensweisen unser Verständnis des Systems nicht trüben.
Anmerkungen
[1] Wenn Sie die Korrelation quadratischer Effekte manuell bestimmen möchten, sind einige Schritte erforderlich. Angenommen, Sie möchten die Korrelation der quadratischen Effekte zweier Faktoren X1 und X2 untersuchen. Sie müssen zunächst die Faktoren umkodieren, damit sie auf der gleichen Skala liegen. Üblicherweise werden die Faktoren auf der Skala von -1 bis +1 kodiert, wobei -1 der niedrigste Wert im Bereich, 0 der Mittelwert und +1 der höchste Wert ist. Sie werden diese Codierung oft in Büchern über DoE sehen. Mit den so kodierten Faktoren können Sie dann die quadratischen Effekte X1*X1 und X2*X2 berechnen und die Korrelationen betrachten. Das Gleiche gilt für die Betrachtung anderer Effekte höherer Ordnung, einschließlich Wechselwirkungen. DoE-Softwaretools, wie z Designbewertung in JMP ermöglicht es Ihnen, die Korrelation von Effekten zu bewerten, ohne diese Schritte durchführen zu müssen.
Haben Sie einen Beitrag in dieser Serie zum Thema „Warum DoE“ verpasst? Kein Problem. Sehen die ganze Serie hier .
Hallo @Asier ,
Ja, ich kann erkennen, dass dies wie ein Widerspruch erscheint: Die Korrelation zwischen Prädiktoren (Faktoren) ist schlecht, aber das Modell ist in der Lage, gute Vorhersagen zu treffen. Tatsächlich gibt es keinen Widerspruch. Es gibt keinen Grund, warum ein Modell nicht gut passen und gleichzeitig schrecklich korrelierte Prädiktoren haben kann.
Das Problem mit korrelierten Faktoren besteht nicht darin, dass wir dadurch keine guten Vorhersagen treffen können. Das Problem bei korrelierten Faktoren besteht darin, dass wir die Wirkung jedes einzelnen Faktors nicht genau verstehen können.
Wenn wir in diesem Fall die Xs kennen, können wir eine gute Vorhersage von Y (Beschäftigung) treffen. Aber wir können nicht verstehen, welche Wirkung jedes einzelne X hat.
Die Korrelationsstruktur der Faktoren sagt uns also nichts über die Fähigkeit, ein gut passendes Modell zu erstellen und genaue Vorhersagen zu treffen. Es sagt uns, wie genau wir die einzelnen Auswirkungen jedes Faktors messen können.
Ich hoffe das hilft.
Phil
Vielen Dank für Ihre Kommentare und Ihr positives Feedback, Asier.
Ja, Sie können sich die Korrelation der Effekte ansehen, bevor Sie das Experiment durchführen und die Antwortdaten sammeln. Wir berücksichtigen die Reaktion überhaupt nicht, wenn wir die Korrelation der Effekte betrachten.
Wenn Sie stark korrelierte Effekte haben, können Sie die Daten durch zusätzliche Läufe ergänzen, um die Korrelation zu verringern. Die Augment-Design-Plattform im DOE-Menü von JMP stellt hierfür Tools bereit.
Wenn Sie nicht in der Lage sind, zusätzliche Läufe zu sammeln, gibt es einige hilfreiche Ansätze zur Modellierung. Mithilfe der Hauptkomponentenanalyse (PCA) kann eine reduzierte Anzahl orthogonaler Variablen (Nullkorrelation) ermittelt werden. Diese Hauptkomponenten sind eine Kombination der ursprünglichen Variablen. Beispielsweise würden x1, x2, x5 und x6 aus den oben genannten ökonometrischen Daten praktisch zu einer einzigen Hauptkomponente zusammengefasst, da sie alle stark miteinander korrelieren. Anschließend können Sie die Hauptkomponenten als Variablen in Ihrem Modell verwenden. Häufig können die Hauptkomponenten als „latente“ Variablen interpretiert werden, die einen zugrunde liegenden Kausalfaktor in Ihrem System beschreiben.
Es gibt jedoch keine Magie. Je stärker Ihre Auswirkungen korrelieren, desto weniger können Sie sie verstehen.
Ich hoffe das hilft.
Grüße,
Phil
Hallo Phil,
Ich gratuliere zu dieser Beitragsreihe über DOE. Ich denke, sie sind wirklich gut, klar und erklärend über DOE. Ich persönlich finde, dass das Konzept des DOE zwar nicht kompliziert ist, die Mathematik dahinter und das WIRKLICHE Verständnis des Konzepts jedoch nicht so einfach sind, insbesondere der Übergang von Fallstudien aus Büchern zu Problemen aus dem wirklichen Leben ...
Ich habe eine Frage zum Thema Korrelation von Faktoren bzw. Confounding. Ich verstehe das Konzept und ich verstehe richtig, dass diese Korrelation oder Verwechslung berechnet werden kann, BEVOR die Durchläufe tatsächlich durchgeführt werden (Messungen), sodass Sie wissen, ob das Experiment, das Sie vor sich haben (Reihe von Durchläufen), gut ist verstehe dein Problem gut.
Ein gutes Beispiel ist das Beispiel für ökonometrische Daten, bei dem Sie anhand der Farbkarte erkennen können, dass zwischen einigen Faktoren (X1-X2 und X5-X6) eine ernsthafte Korrelation besteht.
Könnten Sie bitte bestätigen, ob diese Farbkarte bestimmt werden kann, bevor die Messdaten vorliegen (Antwort Y)? Wird die Farbkarte also nur aus den Faktorinformationen generiert (und ist die Antwort daher hierfür nicht erforderlich)?
Und wenn Sie das wissen, was können Sie dann tatsächlich tun?
Ich nehme an, wenn Sie die Experimente tatsächlich entwerfen, kann Ihnen JMP dabei helfen, die Einstellungen der Faktoren anzugeben, die die Korrelationen minimieren (ist das richtig?)
Aber wenn wir vorhandene Daten (wie die ökonometrischen Daten) verwenden, um unsere eigene Studie durchzuführen, können wir dann noch etwas anderes tun (mehr als zu wissen, wie Sie bemerken, dass das Modell „so klar wie Schlamm“ ist und nur sehr wenige echte Informationen enthält?). über den Einfluss der Faktoren X1, X2 und X5 (mit möglicher negativer oder positiver Auswirkung auf Y1)?
Nochmals vielen Dank für diese Serie, ich finde sie großartig und würde sie jedem empfehlen, der versucht, etwas in DOE zu machen
Asier
