Ich möchte entmystifizieren Versuchsplanung (DoE) mit einfachen Erklärungen einiger Begriffe und Konzepte, die für Anfänger verwirrend sein können. Währenddessen Reihe von Blogbeiträgen Wir haben eine Fallstudie verwendet, deren Ziel darin besteht, zu verstehen, wie der Large Volume Injector (LVI) in einer GC-MS-Analyse für Spurenverunreinigungen in Wasserproben eingesetzt wird. Wir haben einen Versuchsplan eingeführt, der aus dem Testen von 26 Einstellungskombinationen der acht LVI-Faktoren als Beispiel besteht, um einige der wichtigsten Eigenschaften zu veranschaulichen, nach denen wir in einem geplanten Experiment suchen.
In früheren Beiträgen dieser Serie haben wir Einführung der multiplen linearen Regression , und wir haben gesehen, dass unser 26-Durchlauf-Experiment erfolgreich war nützliche Korrelationseigenschaften zum Verständnis wichtiger Verhaltensweisen, einschließlich Haupteffekte, quadratische Effekte und Zwei-Faktor-Wechselwirkungen . Allerdings haben wir auch festgestellt, dass es nicht möglich sein wird, ein multiples lineares Regressionsmodell mit allen potenziell wichtigen Effekten zu erstellen. Wir benötigen mindestens einen Durchlauf pro Effekt in unserem Modell, und wenn wir alle Haupteffekte, Quadrate und Zwei-Faktor-Wechselwirkungen sowie den Achsenabschnitt addieren, haben wir insgesamt 44 zu schätzende Parameter gezählt. Wir haben das damit verglichen, 20 Personen zu einem Meeting in einen Raum einzuladen, der nur 12 Sitzplätze bietet.
In diesem Beitrag werden wir sehen, wie wir verstehen können, welche der möglichen Effekte für uns wichtig sind, um unser Modell einzubeziehen. Einstein wird der Ausspruch zugeschrieben: „Alles sollte so einfach wie möglich gemacht werden, aber nicht einfacher.“[1] Das ist die Balance, die wir hier anstreben. Wir möchten ein Modell des Systems, das die Verhaltensweisen erfasst, über die wir Bescheid wissen müssen, damit wir den LVI so einstellen können, dass unser Erkennungssignal maximiert wird. Wir wollen wichtige Effekte nicht verpassen, aber auch kein unnötig komplexes Modell. Wir brauchen ein sparsam Modell.
Wir werden uns ansehen, wie wir die Daten aus unserem 26-Durchläufe-Experiment nutzen können, um ein multiples lineares Regressionsmodell mit nur den wichtigsten Effekten zu erstellen. Kehren wir zunächst zur Meeting-Analogie zurück und dehnen sie hoffentlich nicht über die Grenzen der Belastbarkeit hinaus!
Bauen Sie schrittweise das beste Meeting auf
What if 20 people wanted to attend a meeting in a room that holds only 12? (Photo from https://unsplash.com/search/photos/meeting)What if 20 people wanted to attend a meeting in a room that holds only 12? (Photo from https://unsplash.com/search/photos/meeting)What if 20 people wanted to attend a meeting in a room that holds only 12? (Photo from https://unsplash.com/search/photos/meeting)What if 20 people wanted to attend a meeting in a room that holds only 12? (Photo from https://unsplash.com/search/photos/meeting)Was wäre, wenn 20 Personen an einer Besprechung in einem Raum teilnehmen möchten, in dem nur 12 Personen Platz finden? (Foto von https://unsplash.com/search/photos/meeting) Wir haben bei unserer Besprechung nur Platz für 12 Personen, und es gibt 20 Personen, an denen wir vielleicht teilnehmen möchten. Wen von diesen 20 Personen brauchen wir im Raum, um uns das beste Meeting zu ermöglichen?
Wir werden dies durch eine schrittweise Auswahl der Teilnehmer beantworten, beginnend mit Schritt 0.
Schritt 0. Wir beginnen mit niemandem im Besprechungsraum.
Schritt 1. Wir probieren jeden der 20 Teilnehmer des Meetings einzeln aus und behalten die Person, die die beste Qualität des Meetings erzielt: Katie – sie ist DIE beste Person für dieses Meeting. Alle anderen sind vorerst außerhalb des Raumes.
Schritt 2. Jetzt gehen wir die verbleibenden 19 möglichen Teilnehmer durch und stellen jeden von ihnen in den Raum, um herauszufinden, welches Paar Katie + 1 uns das beste Treffen beschert. Wir finden, dass Katie + Robert am besten ist. Die anderen 18 sind außerhalb des Raumes.
Schritt 3. Wir gehen die restlichen 18 Teilnehmer durch und finden heraus, welche Kombination aus Katie + Robert + 1 am besten ist. Wir fügen Judy dem Raum hinzu.
Schritt 4. Usw…
Schritt 12. …bis wir ein volles Zimmer haben.
Ist das das beste Treffen, das wir haben können? Wir fanden, dass Michael als zwölfter Teilnehmer am besten geeignet war (die anderen acht waren schrecklich, insbesondere Phillip). Wird Michael genug zum Treffen beitragen, um seine Teilnahme zu rechtfertigen? Wird er die meiste Zeit damit verbringen, die Besprechung dadurch zu stören, dass er auf sein Telefon tippt? Brauchen wir wirklich alle 12 Personen in der Besprechung?
Nun schauen wir uns an, wie sich die Qualität des Meetings von Schritt 0 bis 12 verändert hat. Wir suchen nach der Stelle, an der die Besprechungsqualität am höchsten war, und finden sie bei Schritt 4.
Meeting Quality versus Step.Meeting Quality versus Step.Meeting Quality versus Step.Meeting Quality versus Step.Meeting-Qualität versus Schritt.
Wir kommen zu dem Schluss, dass das beste Treffen mit Katie, Robert, Judy und Louise stattfindet. Wir haben die beste Balance gefunden, die das Verständnis abdeckt, das wir für das Treffen benötigen. Jeder der anderen möglichen Teilnehmer könnte einen nützlichen Beitrag leisten, aber dieser ist nicht signifikant genug, um den Nachteil aufzuwiegen, dass so viele Leute im Raum miteinander reden.
Ist dies eine gute Möglichkeit, ein Meeting zu gestalten? Ich bin mir nicht sicher. Vielleicht kannst du es ausprobieren und mir Bescheid geben. Es ist jedoch eine gute Analogie dafür, wie wir mithilfe von Daten Modelle erstellen können konzipierte Experimente .
Schrittweise zum besten Modell bauen
Für das PkHt(SUM)-Modell haben wir die 44 möglichen Effekte. Wir werden über unser Modell auf die gleiche Weise entscheiden, wie wir entschieden haben, wen wir in unserem Meeting haben sollen.
Schritt 0. Wir beginnen mit der Anpassung eines reinen Intercept-Modells an die Daten aus unserem 26-Durchlauf-Experiment.Sofern keiner unserer Faktoren einen wesentlichen Einfluss auf die Reaktion hat, ist dieses Modell zu einfach, um nützlich zu sein. Der Prediction Profiler hat keine X-Achsen, da wir im Modell keine Faktoreffekte haben:
Eine Darstellung der tatsächlichen Antwortergebnisse im Vergleich zur Modellvorhersage zeigt uns, dass das Modell nicht sehr nützlich ist.
Es besteht eine schlechte Übereinstimmung zwischen den tatsächlichen Ergebnissen für jeden Lauf und den Modellvorhersagen für diese Einstellungen dieser Faktoren. Für ein Modell mit perfekter Vorhersage würden die Punkte an der 45-Grad-Linie ausgerichtet. Das aktuelle Modell sagt nur einen Wert voraus. Es zeigt uns den durchschnittlichen PkHt(SUM) über alle Läufe (4862070), was die beste Schätzung für PkHt(SUM) ist, wenn wir nichts über die Auswirkungen der Faktoren wissen.
Schritt 1.Wir suchen nach dem besten Modell, das den Achsenabschnitt und einen der anderen 43 Parameter hat. Wir passen die 43 verschiedenen möglichen Modelle an und stellen fest, dass das Modell mit dem Achsenabschnitt und dem quadratischen Effekt von Speed(Inj) das beste ist. Alle 42 anderen Effekte sind zu diesem Zeitpunkt noch nicht im Modell enthalten.
Hier ist das Profiler-Diagramm, das die krummlinige Änderung von PkHt(SUM) in Bezug auf Speed(Inj) zeigt:
Der tatsächliche Wert im Vergleich zum vorhergesagten Wert ist verbessert, aber immer noch nicht großartig:
Schritt 2.Wir finden, dass die Interaktion von Vol(Inj) und T(Inj) der beste Effekt ist, der in diesem Schritt hinzugefügt werden kann. Wir können diesen Effekt im Profiler-Diagramm sehen, wenn Vol(Inj) auf die niedrigste Einstellung eingestellt ist …
…und das auf höchster Stufe.
Beachten Sie, wie sich die Steigung für PkHt(SUM) gegenüber T(Inj) verändert hat. Auch hier wird die Übereinstimmung zwischen tatsächlichem und prognostiziertem Wert verbessert.
Schritte 3 bis 19. So gehen wir vor und fügen bei jedem Schritt den wichtigsten Effekt hinzu.
Schritt 20. Gehen Sie schnell zu Schritt 20, und die Effekte aller Faktoren sind in einem komplexen Modell mit 20 Effekten plus dem Achsenabschnitt enthalten.
Der tatsächliche Vergleich mit der Vorhersage sieht jetzt viel besser aus.
Wir könnten noch weiter gehen, bis wir so viele Parameter angepasst haben, wie wir im Experiment durchgeführt haben, aber wahrscheinlich haben wir zu diesem Zeitpunkt bereits eine Überanpassung vorgenommen. Nun schauen wir zurück, wie sich die Modellqualität von Schritt 0 bis 20 verändert hat. Wir können sehen, wie sich das tatsächliche gegenüber dem vorhergesagten verändert hat.
Wir können sehen, dass sich das Modell im Laufe der Schritte verbessert hat, wenn auch möglicherweise auf Kosten der Komplexität. Bei jedem Schritt haben wir den Effekt hinzugefügt, der zum besten Modell führte, aber wir haben nicht gesagt, was „am besten“ bedeutet. Um einen Prozess zur Entscheidung über das beste Modell bei jedem Schritt und das beste Modell über alle Schritte hinweg zu haben, müssen wir in der Lage sein, die Qualität eines Modells zu beziffern. Tatsächlich haben sich Statistiker viele Möglichkeiten ausgedacht, dies zu erreichen. In diesem Beispiel haben wir das korrigierte verwendet Akaikes Informationskriterium oder AICc . Bei jedem Schritt haben wir den Effekt hinzugefügt, der das Modell mit dem niedrigsten AICc ergab. Hier haben wir eine Darstellung von AICc gegenüber der Schrittzahl:
Ein niedrigerer AICc stellt ein besseres Modell dar: AICc verringert sich, wenn die Anpassung an die Daten besser wird; Das Hinzufügen von Parametern zum Modell erhöht den AICc. Wir können damit den Sweet Spot finden, der Passgenauigkeit und Komplexität in Einklang bringt. In diesem Fall sehen wir, dass AICc von Stufe 0 auf Stufe 7 sinkt und dann außerhalb der Skala in Richtung Stufe 20 ansteigt. (Die gelben und grünen Bänder sind Richtwerte – Modelle mit einem AICc in diesen Bereichen entsprechen in gewisser Weise dem besten Modell.) Wir könnten daher das Modell in Schritt 7 auswählen:
Vor- und zurückschreiten
Der von uns beschriebene Vorgang heißt schrittweise Regression oder schrittweise Auswahl . Genauer gesagt haben wir verwendet nach vorne schrittweise Auswahl. Du könntest benutzen rückwärts Wählen Sie diese Option aus, wenn Sie mehr Läufe haben, als Parameter anpassen müssen, sodass Sie mit allen Effekten im Modell beginnen und rückwärts arbeiten können, indem Sie bei jedem Schritt den unwichtigsten Effekt herausnehmen. Sie können auch eine Kombination aus Vorwärts und Rückwärts verwenden. Sie haben auch die Wahl, ob Sie angeben möchten Wirkung Vererbung , sodass Effekte zweiter Ordnung nur berücksichtigt werden können, wenn ihre Haupteffekte auch im Modell enthalten sind. Im Allgemeinen werden Modelle bevorzugt, die der Effektvererbung folgen.
Diese verschiedenen Optionen und andere sind in einem automatisierten schrittweisen Prozess in Software wie verfügbar JMP . Die Generalized Regression-Plattform in JMP Pro Bietet eine interaktive und visuelle Schnittstelle zur Erkundung der Modellmöglichkeiten. Dies ist nützlich, da die endgültige Modellauswahl nicht nur auf dem AICc oder einem anderen statistischen Maß beruht.
„Alle Modelle sind falsch…“
…Aber einige sind nützlich.“[2] Dieses berühmte Zitat bringt eine Wahrheit auf den Punkt, die für DoE-Neulinge besorgniserregend ist: Am Ende gibt es keine richtige Antwort! Das Modell nähert sich dem tatsächlichen Verhalten an und ist daher in gewisser Weise immer „falsch“. Sie sollten nicht denken, dass dies ein Problem ist. Auf diese Weise „falsche“ Modelle ermöglichen es uns, uns auf das Verständnis der wichtigen Verhaltensweisen zu konzentrieren, um unsere wissenschaftlichen und technischen Ziele zu erreichen. Wie bereits erwähnt, streben wir ein sparsames Modell an.
Anhand dieses Beispiels haben wir gesehen, wie wir nützliche Modelle erstellen können, indem wir eine relativ große Anzahl möglicher Effekte durchsuchen, um die wenigen wichtigen zu finden. Wir haben auch gesehen, wie wir statistische Methoden zusammen mit unserer Erfahrung und unserem Wissen über das System nutzen können, um das nützlichste Modell auszuwählen. Unser geplantes Experiment lieferte uns die Daten, die wir brauchten, um dies zu erreichen, und das mit minimalem experimentellen Aufwand. Bei jedem Schritt kann die Methode aufgrund der Klarheit, die mit den Korrelationseigenschaften des Designs einhergeht, den besten Effekt auswählen. Auch hier ist die Botschaft zum Mitnehmen: Wenn Sie sicher sein wollen, effizient zur nützlichsten Lösung zu gelangen, müssen Sie DoE verwenden.
Im letzten Beitrag dieser Reihe werden wir versuchen, alles zusammenzufassen, was wir gelernt haben, und auch darüber zu sprechen, was wir verpasst haben.
Anmerkungen
[1] Tatsächlich es scheint, dass Einstein das nicht gesagt hat . Ironischerweise war seine Version nicht so einfach, wie sie hätte sein können.
[2] George Box. Sehen dieser Wikipedia-Eintrag für mehr.
