Wir sind hier, um über meinen Vortrag beim JMP Summit in Berlin zu sprechen. Er trägt den Titel „Ein Jahr der Umsetzung von Erkenntnissen: Wie man Experimente mit vergangenen/gescheiterten Reaktionen konzipiert und analysiert“. Der Titel rührt daher, dass er gewissermaßen eine Antwort auf deinen Vortrag, Don, vom letzten Jahr in Manchester ist. Deiner hieß nämlich „Wie man Experimente mit vergangenen Fehlschlägen konzipiert und analysiert“. Ich habe mir die Aufzeichnung immer wieder angesehen und hoffe sehr, dass jemand meine Aufzeichnung genauso hilfreich findet wie ich deine.
Um Ihnen einen Einblick in das Material dieser Konstruktion zu geben: Sie besteht aus einem Schlauchversiegler. Mir ist bewusst, dass die meisten Menschen nicht wissen, was ein Schlauchversiegler ist. Im Grunde ist es ein Glätteisen. Wir nehmen einen Silikonschlauch, durch den zuvor ein Impfstoff geflossen ist, und verschließen ihn dann mit einem Glätteisen. Da es sich um die pharmazeutische Produktion handelt, gehen wir dabei etwas wissenschaftlicher vor. Im Prinzip sind es aber einfach zwei Heizkörper, die auf einen Schlauch drücken und ihn so verschließen.
Das Problem ist nun, dass wir die Anschaffung neuer Thermosiegelgeräte für unsere Polymerröhrchen erwägen. Es ist absolut entscheidend, dass die Versiegelung hält, da sich durch die Röhrchen unser Wirkstoff befindet. Wenn die Versiegelung beschädigt wird, gelangt der Wirkstoff auf den Boden. Das birgt diverse Risiken. Für Patienten besteht zwar kein Risiko, aber wir riskieren den Verlust einer Impfstoffcharge, was wir natürlich unbedingt vermeiden wollen.
Bevor wir diese neuen Versiegelungsgeräte in die Produktion nahmen, führten wir dieses Designexperiment durch. Zunächst: Was ist die Definition von Erfolg? Wann ist das Rohr tatsächlich dicht? Aktuell erfolgt die Prüfung visuell, die Werkzeuge werden also begutachtet. Auf meiner vorherigen Folie sehen Sie einige Bilder von Versiegelungen. Die Rohre werden visuell geprüft und als bestanden/nicht bestanden eingestuft. Das ist im Prinzip alles.
Ich habe wirklich versucht zu fragen: Können wir nicht etwas anderes machen? Können wir das irgendwie kontinuierlich testen? Nein, aber wir konnten eine andere positive/negative Rückmeldung erhalten, nämlich den Druck. Wir konnten Druck auf den Schlauch ausüben und ihn unter Wasser tauchen. Wenn Blasen durchkommen, ist er nicht richtig dicht, ähnlich wie bei einem Fahrradreifen.
Ich habe wirklich versucht, eine kontinuierliche Antwort zu finden, weil das einfach viel einfacher ist. Dann fiel mir aber die Präsentation ein, die ich in Manchester besucht hatte und die genau dieses Thema behandelte. Daraufhin machten wir uns an die Planung. Ich habe dieses Versuchsdesign erstellt, weil ich wusste, dass es relativ einfach ist, neue Röhren zu verwenden und neue Tests durchzuführen. Ich wollte unbedingt ausprobieren... Nun ja, zuallererst sollte man die Zeit des Bedieners im Auge behalten und nicht mehr Designs oder Experimente erstellen als nötig.
Ich hatte mir ein sequenzielles Versuchsdesign vorgestellt. Ich wollte so klein wie möglich anfangen und dann, falls nötig, weitere Experimente hinzufügen, das Design immer weiter ausbauen und so hoffentlich ein Versuchsdesign entwickeln, das mein Problem erklärt oder mir eine Antwort liefert: die Definition eines Prozessbereichs für viele Faktoren, in dem ich jedes Mal erfolgreiche Abdichtungen erziele oder zumindest die Erfolgsquote extrem niedrig ist. Sie wird – Statistiker wissen es – niemals null sein, aber wir wollten sie gegen null streben.
Als ich das Design erstellte, wollte ich unbedingt das gesamte verfügbare Wissen über dieses Dichtungsmittel in dieses Versuchsdesign einfließen lassen, denn mir wurde klar, dass es Anwender und Experten gibt, die viel mehr wissen als ich. Um es klarzustellen: Ich habe selbst noch nie ein Dichtungsmittel angefasst und werde es auch weiterhin nicht tun.
Ich brauche jemanden im Raum, der mir sagen kann, ob das, was ich sage, Sinn ergibt, denn es besteht die Möglichkeit, dass es das nicht tut. Ich wollte dieses Wissen unbedingt in das DOE einbringen, und wir werden später darauf zurückkommen, wie ich das gemacht habe und was es konkret bedeutet, dieses Wissen in meinen Entwurf zu integrieren.
Bei der Erstellung des Designs stießen wir auf das Problem, dass einige Kombinationen unserer Faktoren nicht möglich waren. In JMP lassen sich Teile des Designraums jedoch relativ einfach ausblenden. Hier sehen Sie die Kühltemperatur und den Kühltyp: Einer ist kontinuierlich, der andere ein zweistufiger kategorischer Wert.
Bei solchen wissenschaftlichen Haarglättern oder Schlauchversiegelungsgeräten kann eine externe Kühlung angeschlossen werden. Sie verfügen zwar über ein internes Kühlsystem, aber wie zu erwarten, ist ein externer Kompressor aufgrund seiner geringeren Größe deutlich effektiver. Mit einem externen Kompressor lässt sich die Kühltemperatur senken. Nachdem der Schlauch versiegelt wurde, muss er abkühlen, damit die Versiegelung dauerhaft geschlossen bleibt. Daher beginnt der Kühlprozess.
Und als zusätzlichen Vorteil haben wir festgestellt, dass die externe Kühlung die Verweildauer an der Decke deutlich reduziert. Das hatten wir vorher gar nicht bedacht; erst jetzt ist uns klar geworden, dass wir die externe Kühlung immer nutzen sollten, weil sie einfach richtig praktisch ist. Bei der internen Kühlung dürfen die Temperaturen allerdings nicht unter 65 Grad fallen.
Die Einrichtung ist einfacher als du denkst, und ich habe sogar ein YouTube-Video dazu gemacht. Wenn du dir diese Aufnahme ansiehst, findest du einen QR-Code, den du scannen kannst, um zu sehen, wie du so einen Designbereich erstellst.
Das finale Design umfasst 24 Kombinationen mit jeweils 3 Wiederholungen, was insgesamt 72 Schweißpunkte ergibt. Ein Dankeschön folgt später, schauen wir uns das Ganze also erst einmal an. Die Umsetzung erfolgte in drei Schritten. Ich hatte ursprünglich ein Versuchsdesign (DOE). Dann haben wir die erste Erweiterung mit 12 zusätzlichen Schweißdurchgängen durchgeführt, und anschließend eine dritte Erweiterung mit acht oder sechs weiteren Schweißdurchgängen. Wir werden die einzelnen Schritte, die Gründe dafür und die gewonnenen Erkenntnisse im Detail erläutern.
Hier ist der ursprüngliche Versuchsplan, um Ihnen 24 Durchläufe zu zeigen. Sie sehen, dass drei Durchläufe fehlgeschlagen sind. Insgesamt sind es also drei. Außerdem sehen Sie, wie viele Durchläufe visuell und wie viele unter Druck fehlgeschlagen sind. Für diesen Durchlauf sehen Sie die jeweiligen Einstellungen. Es gab drei Durchläufe ohne visuelle oder Druckfehler. Warum habe ich am Ende 24 Durchläufe gemacht? Ich hatte vergessen zu erwähnen, dass dieses Versuchsdesign fünf oder sechs kategoriale Faktoren mit jeweils zwei Ausprägungen, vier kontinuierliche Variablen und einen kategorialen Faktor mit drei Ausprägungen umfasst. Es gibt also eine ganze Menge Faktoren, und ich habe mich letztendlich für 24 Durchläufe entschieden. Wie kam es dazu?
Ich zeige Ihnen, wie das zustande kam. Hier kommen wir auf die Idee zurück, mein Versuchsdesign (DOE) zu integrieren, denn was ich getan habe – und ich kann das jetzt abbrechen. Mal sehen, ob es noch da ist. Hier sehen Sie alle meine Faktoren. Das ist eine recht gute Faktorenliste. Das wird im benutzerdefinierten Versuchsdesign gemacht. Wenn ich das Antwortflächenmodell auswähle, erhalte ich alle ihre Effekte einzeln, wie z. B. die Haupteffekte. Ich erhalte alle kontinuierlichen Faktoren und ihre Krümmungseffekte. Wenn möglich, stelle ich diese vier auch als Kurve dar. Dann habe ich noch alle ihre Wechselwirkungen.
Um dieses Design zu erstellen, bräuchte ich mindestens 82 Durchgänge. Ich hatte aber keine Lust, 82 Durchgänge mit jeweils drei Wiederholungen zu machen, was mich lächerlich gemacht hätte – 200 oder gar 246. Ich lasse die Rechnung mal beiseite. Wir sind also die Liste durchgegangen, was eine Weile gedauert hat. Jedes Mal hieß es dann: „Wisst ihr was, die Produkt- und Versiegelungszeit? Nein, die brauchen wir nicht.“ Das haben wir so lange gemacht, bis wir bei diesem Modell angelangt waren, unserem finalen Modell, bei dem man denkt: „Ich muss zurückdrücken.“
Man sieht, dass wir die Anzahl deutlich reduziert haben, weil sie sagen konnten: „Wissen Sie was, all diese Interaktionen [unverständlich 00:09:59] sind sehr unwahrscheinlich.“ Ich habe das Design trotzdem so eingerichtet, dass wir sie identifizieren können, falls wir später Läufe hinzufügen, um sie genauer zu identifizieren. Letztendlich wollten wir nur die Haupteffekte und diese anderen Effekte, und das ergab das Minimum von 24.
Ich war mutig und beschloss, wieder nur mit dem Minimum zu arbeiten, weil ich wusste, dass ich später weitere Durchläufe hinzufügen konnte. Daher kam ich auf die Zahl 24. Im nächsten Schritt sammelte ich die Daten und wollte sie ganz wissenschaftlich analysieren. Deshalb erstellte ich ein Modell auf der Generate-Plattform. Ich war wirklich stolz auf dieses Modell und zeige euch gleich, wie cool es ist.
Ich habe das nachgemacht, indem ich Toms Video angeschaut und seine Schritte nachvollzogen habe. Hier sehen wir einen Dichtungskopf. Ich hatte entweder einen alten oder einen neuen Dichtungskopf. Gammel ist alt, neu ist neu. Es gibt zwei verschiedene Medien, die wir hinzufügen können. Außerdem gibt es zwei verschiedene Schlauchmaterialien: Avantaflex und C-Flex.
Dann haben wir eine ähnliche Schnitttemperatur wie die Abmessung. Worauf ich Sie aber wirklich hinweisen möchte, ist das Rohrmaterial, der Unterschied zwischen C-Flex und Avantaflex. Denn bereits bei dieser Einstellung, bei der Sie eine Temperatur von 165 °C und eine maximale Aushärtezeit von 100 °C sehen, was eine normale Einstellung wäre, und man könnte sagen, dass die Ausfallwahrscheinlichkeit bei C-Flex 0,00 % beträgt, aber sie könnte... Sie liegt bei bis zu 0,04 %.
Bei Avantaflex sieht man jedoch, dass diese Unsicherheit deutlich höher ist. Man kann auch beobachten, wie sich die anderen Unsicherheitsbereiche beim Wechsel zu Avantaflex stark verändern. Mit Avantaflex und einem alten Versiegelungskopf können die Ergebnisse extrem stark schwanken.
Mir fiel als Erstes auf, dass es benutzerdefinierte Kombinationen gibt, bei denen wir uns nicht sicher sind, was genau passiert. Wir verstehen den Vorgang nicht vollständig. Aber ich sah auch: Diese Unsicherheit kann bei höheren Graden faszinierend sein. Warum also nicht einfach den Wert auf 180 erhöhen und alles ist gut?
Man sieht, dass all diese Kurven jetzt völlig flach verlaufen, und das war auch meine erste Schlussfolgerung. Spoiler-Alarm: Ich lag falsch, aber das war mein erster Eindruck, nachdem ich mir das Profil angesehen hatte. Ich glaube, ich habe bei der Datenanalyse meinen ersten Fehler gemacht: Ich habe die Daten nicht ausreichend visualisiert. Jetzt zeige ich euch, was das bedeutet.
Ich ging zurück zu ihnen und sagte: „Wisst ihr was? Wenn ihr das einfach auf 180 stellt, passt alles.“ Sie sagten: „Ja, Christian, das klingt gut. Das wollen wir testen.“ Das war das Ergebnis des ersten DOE-Tests. Ich war überheblich und sagte: „180, dann passt alles.“ Mal sehen, was passiert. Mal sehen, was tatsächlich passiert. Das war das Diagramm, das ich ihnen zeigte. Hier sehen wir die maximale Temperatur und die maximale Zeit.
Wie gesagt, unser Ziel ist es, einen Bereich zu erreichen, in dem wir eine gute Übereinstimmung erzielen. Ein blauer Punkt markiert den Punkt, an dem alle drei Wiederholungen erfolgreich waren. War nur eine Wiederholung fehlgeschlagen, wird der Punkt rot. Wir wollen idealerweise einen Bereich erreichen, in dem ausschließlich blaue Punkte zu sehen sind. Ich habe dieses Diagramm in einem Meeting vorgestellt und war sofort begeistert. Ich sagte: „Wisst ihr was, lasst uns diesen neuen Prozessbereich gemeinsam definieren.“
Wir wollen wirklich nicht bei 140 Grad Celsius bleiben. Das entfernen wir. Das sieht besser aus. Und 200 Grad sind zu warm. In manchen Fällen ist es in Ordnung, aber wir haben Fälle, die rot markiert sind, also senken wir diese Temperatur. Dann haben wir nur noch einen roten Punkt übrig, und der hat diese lächerlich niedrige maximale Dauer. Wenn wir das also nicht tun, dann sagen wir, dass wir nicht mehr viele Daten haben, um zu beweisen, dass dieser Bereich gut ist. Wir vertrauen der Modellvorhersage, aber was wir dann gemacht haben, ist Folgendes: Okay, in diesem Bereich – wir zoomen hinein – sieht das gut aus. Wir haben keine Daten in diesem Bereich, aber es sieht vielversprechend aus. Das war der nächste Entwurf.
Schauen wir uns das mal an. Hier seht ihr die ursprüngliche Dewey-Dezimalklassifikation und zwölf weitere. Wenn wir uns dasselbe Diagramm wie vorhin ansehen – nein, nicht das. Hier seht ihr diese zwölf Punkte, und einer davon ist rot. Ich hatte wirklich gehofft, dass alle blau wären. Rot wäre zwar auch okay gewesen, da es sich um einen optimistischen Designraum handelte, aber wir wollten es natürlich so machen, dass es richtig cool aussieht. Aber einer ist rot geworden.
Während des Meetings haben wir mit einem Diagrammgenerator experimentiert und stattdessen dieses Diagramm erstellt. Es zeigt uns, dass tatsächlich der größte Teil... Wir betrachten wie zuvor Temperatur und Zeit, aber ich habe die Daten nach Material und Abmessungen unterteilt. Man sieht C-Flex und Avantaflex sowie die Rohrabmessungen: ½ Zoll, 3 bis 3 x 5 Zoll und 3 x 9 x 16 Zoll.
Was wir da sahen, war echt unglaublich. Hatten wir mit dieser Kombination noch nie Erfolg? Aber Christian, du meintest doch, oberhalb von 180 lief alles super. Ich dachte nur: Ja, stimmt. Aber tatsächlich sahen wir dann … nun ja, selbst wenn meine Prognose stimmt, kann ich nicht sagen, dass das in Ordnung ist. So etwas hatten wir noch nie erlebt. Aber genau das ist passiert.
Worauf ich ein bisschen stolz bin, ist Folgendes: Wenn man sich die Ausfallwahrscheinlichkeit ansieht – und man erkennt sofort, wie eindeutig das ist –, liegt sie fast überall bei 0,00, bis auf zwei Ausnahmen. Wenn ich eine davon hervorheben müsste, wäre es diese hier. Ich weiß, sie gibt nur eine Ausfallwahrscheinlichkeit von 13 Prozent an, aber der Datensatz ist immer noch relativ klein.
Ich konnte es genau lokalisieren und tat es auch. Ich sagte: „Wenn es ein Feld geben wird, dann dieses.“ Genau dieses Feld ist gescheitert. Das zeigte mir, dass meine Vorhersage nicht völlig daneben lag.
Dritte Erweiterung. Die dritte Erweiterung bzw. der dritte Durchlauf, genauer gesagt die zweite Erweiterung, bei der dann dieser neue Datensatz hinzugefügt wurde. Jetzt habe ich das Original, die erste Erweiterung und die zweite Erweiterung. Wenn wir uns denselben Bereich noch einmal ansehen, ist etwas Merkwürdiges passiert – ich weiß nicht, ob es Ihnen aufgefallen ist. Ich habe mich komplett von der Modellerstellung abgewandt und betrachte nur noch diesen Graphen. Und wenn wir blauen Staub sehen, dann ist das ein gutes Zeichen.
Ich sollte eigentlich noch mal ein Modell dazu erstellen, aber es war so anschaulich. Wenn man sich die ursprünglichen 24 Datenpunkte ansieht – 24 Punkte –, und wir sehen, wenn ich dieses Diagramm zuerst erstellt hätte, hätte ich erkennen können, dass nicht alles oberhalb von 180 gut ist. Das war mir vorher nicht aufgefallen. Beide Punkte liegen zwar über 180, sind aber trotzdem fehlerhaft. Dann haben wir diesen einen Punkt hinzugefügt, und da ist es uns klar geworden. Alle Punkte sind blau, bis auf einen, der rot ist.
Dann haben wir die dritte Variante hinzugefügt, die genau im von dem Hersteller angegebenen Bereich liegt. Ich denke, dieser Punkt ist genau da, wo er sein sollte. Danach haben wir nur noch blaue Punkte. Wir sagen: Einkochen. Diese fünf Varianten lassen sich relativ einfach verschließen. Wenn wir keine extrem niedrigen Temperaturen verwenden, haben wir – abgesehen von extrem kurzen Garzeiten – tatsächlich nur zwei Punkte. Wenn man all das beachtet, ergeben sich viele Kombinationen und Wiederholungen, die nur gute Ergebnisse liefern.
Die einzige ungewöhnliche Kombination ist diese hier. Die Kernaussage ist: Können wir die nicht einfach weglassen? Denn alle sagten mir, sie sei sehr schwierig anzuwenden. Wenn wir diese hier verwenden könnten, wäre das optimal. So weit sind wir noch nicht, aber das war mein... Ich übergebe jetzt an dich, Don, aber das war der Stand der Dinge bei diesem Design. Wir haben etwas, das rein visuell war, in Daten umgewandelt und können diese Daten visualisieren, um Datenbankentscheidungen zu treffen. Okay, ich höre jetzt auf zu erzählen. Du bist dran.
Danke, Christian. Ich möchte das Thema wechseln. Ich werde darüber sprechen, wie… Moment, ich prüfe kurz. Ich gehe davon aus, dass wir meinen Bildschirm und mein Tagebuch sehen. Wunderbar. Weiter im Text. Wir werden darüber sprechen, wie ich so etwas von Anfang an einrichten könnte, um sicherzustellen, dass ich genügend Testläufe und Versuche durchführen kann, um festzustellen, ob etwas, das ich für praktisch wichtig oder bedeutsam halte, tatsächlich von großer Bedeutung ist.
Unser Ziel ist es, ein Experiment zu entwerfen. Ich möchte es so umfangreich gestalten, dass es genügend Durchläufe und Versuche umfasst, um feststellen zu können, ob oder ob ein praktisch signifikantes Ergebnis erzielt wird.
Okay, bevor ich anfange, möchte ich ein paar Dinge definieren. Ich möchte meine beiden Definitionen hier unterscheiden: Versuche und Durchläufe. Wenn ich von einer Behandlungsbedingung oder einem Durchlauf spreche, meine ich eine Zeile in meiner Versuchsdatentabelle. Das ist also eine eindeutige Kombination von Behandlungen oder Faktoreinstellungen, die ich durchführen werde.
Ein Versuch ist sozusagen eine Replikation. Ich nenne ihn nicht Replikation, weil er mathematisch etwas anders behandelt wird. Er erscheint nur in einer Zeile, wenn wir mit der Analyse beginnen. Normalerweise stehen Replikationen in separaten Zeilen meiner Datentabelle. Ich möchte nicht nur die Anzahl der Replikationen bzw. Versuche kennen, sondern auch die Anzahl der Behandlungskombinationen, also die Anzahl der Versuchsdurchläufe. Diese beiden Werte müssen wir trennen.
Wie entwirft man etwas, das meine Ziele erfüllt? Nun, den ersten Schritt sollten Sie bereits kennen. Man beginnt mit einem guten Design, wie wir es in Christians Beispiel gesehen haben. Er hat sich mit Fachexperten zusammengesetzt. Sie diskutierten, wie viele Faktoren es gibt, welche Faktoren ihrer Meinung nach wichtig sind, wie viele Wechselwirkungen zwischen zwei Faktoren berücksichtigt werden müssen, quadratische Effekte und ähnliches. Das ist immer der Anfang, also genau so, wie Sie vorgehen würden, wenn Ihre Zielgröße kontinuierlich wäre.
Okay, jetzt wird es etwas anders. Sie möchten anhand Ihres Designs und der von JMP erstellten Daten, beispielsweise im benutzerdefinierten Designer, feststellen können, ob Sie genügend Versuche haben, um zu beurteilen, ob Ihre Behandlungsbedingungen einen Unterschied zu Ihrem Ausgangswert ermöglichen. Sie möchten wissen: „Kann ich feststellen, ob sich mein Ausgangswert statistisch signifikant von meinem Zielwert unterscheidet?“
Um das zu erreichen, muss ich zunächst einen Ausgangswert ermitteln. Ich muss meine Ausfallrate bzw. Ereignisrate zu diesem Zeitpunkt kennen und außerdem festlegen können, was eine wichtige Veränderung darstellt. Mein Ausgangswert könnte beispielsweise eine Ausfallrate von 75 % sein. Sinnvoll ist es aber nur, zu unterscheiden, ob eine Veränderung die Ausfallrate auf 50 % oder 20 % senkt. Diese Entscheidung sollte man also im Vorfeld treffen.
Sobald Sie diese beiden Informationen haben und Ihr Experiment in JMP entworfen haben, verfügen Sie über alle notwendigen Werkzeuge, um die richtige Dimensionierung des Experiments vorzunehmen. Sie werden dann mithilfe einer Simulation die Frage beantworten: „Kann ich von meinem aktuellen Standpunkt, meiner Ausgangslage, zu meinem Zielzustand gelangen?“
Okay, jetzt erkläre ich, wie ich das machen würde. Man beginnt wieder mit dem Versuchsplan (DOE), und ich habe hier einen ähnlichen vorbereitet wie den von Christian. In diesem Fall habe ich 10 Faktoren, davon 6 kategorische. Sie beginnen alle mit CA. Fünf dieser 6 kategorischen Faktoren sind zweistufig. Einer ist ein dreistufiger kategorischer Faktor. Ich habe 4 kontinuierliche Faktoren.
Wenn wir uns das Modell ansehen, betrachten wir alle Haupteffekte, eine Teilmenge meiner Zwei-Faktor-Wechselwirkungen und eine Teilmenge meiner quadratischen Effekte. Ähnlich wie Christian es entworfen hat. Man beginnt, indem man sich mit Fachexperten bespricht und festlegt, was man für sein Design möchte. Viele der gleichen Werkzeuge werden für die Designbewertung verwendet. Bei der Planung des Experiments kann man sich die Farbskala ansehen, um zu sagen: „Ich möchte eine möglichst geringe Korrelation zwischen meinen Effekten.“
Was Sie jedoch nicht tun sollten, ist, diesen Weg zu gehen. Das ist nicht die korrekte Poweranalyse. Wir werden darüber sprechen … Ich werde Ihnen zeigen, wie man die korrekte Poweranalyse durchführt, und die einzige Möglichkeit, dies bei einem Gut-Schlecht-Experiment zu erreichen, ist die Durchführung einer Simulation.
Nachdem ich mein Design eingerichtet habe und mit dem Ergebnis zufrieden bin, werde ich vor der Tabellenerstellung noch eine Sache tun. Ich gehe zu meinem Hotspot und aktiviere die Simulation von Antworten. Dies ist eine der versteckten Funktionen, die Ihnen vielleicht noch nicht bekannt sind, aber bei der Simulation helfen kann.
Das ist bereits aktiviert. Ich generiere jetzt meine Designtabelle. Dabei erhalte ich zwei Dinge: ein Feld, in dem ich die Größe meiner Effekte festlegen kann, und meine Designtabelle.
Bevor ich anfange, werde ich ein paar Dinge tun. Ich scrolle nach rechts, um Ihnen zu zeigen, was hier passiert. Ich setze meine Koeffizienten auf null zurück. Dann gehe ich hier unten auf „Verteilungen“ und klicke auf „Binomialverteilung“.
Ich entscheide gleich, ob wir eine Simulation durchführen. Ich gehe dabei genauso vor wie Christian. Nehmen wir an, wir machen drei Versuche. Ich klicke auf „Anwenden“. Daraufhin werden zwei Spalten generiert. Eine davon ist eine Formelspalte, die wir uns gleich genauer ansehen, um zu sehen, wie ich sie für meine Simulation einrichte. Die andere Spalte enthält die Anzahl der Versuche.
Übrigens, falls Sie aus irgendeinem Grund dieses Fenster schließen oder vergessen, es zu öffnen, wenn Sie Ihr Versuchsdesign generieren, befindet sich die entsprechende Schaltfläche immer hier unter „Versuchsdesign simulieren“. Sie haben jederzeit Zugriff darauf, solange Sie das Tabellenskript nicht löschen.
Okay, nun die Frage ist: Ich habe mein Design, alles eingerichtet, die Spalten und die binäre Variable – wie erhalte ich meine Schätzwerte? Ohne jetzt auf allzu viele mathematische Details einzugehen, die ich in einem separaten Dokument für den Einführungsvortrag beifügen werde, habe ich eine Tabelle erstellt, um das Ganze zu vereinfachen.
Wir werden also die angenommene Basisfehlerrate bzw. die Basisereignisrate festlegen. Nehmen wir an, in diesem Fall setzen wir sie nicht auf 0,9, sondern beispielsweise auf 0,75. Meine Basisfehlerrate beträgt 0,75, und das Ziel, das ich erreichen möchte, liegt bei 0,2. Das liefert mir eine Schätzung für meine Basis- und Zielwerte.
Ich werde nun diese Basislinie kopieren und einfügen. Ich setze die Werte wieder auf 0 zurück. Diese Basislinie füge ich als Achsenabschnitt ein, sodass sie nun meinem Zielwert entspricht.
Don, darf ich dir eine ganz kurze Frage stellen?
Na klar.
Sehr schnell. Soweit ich das verstehe, liegen Sie aktuell bei 75, und Sie würden eine Reduzierung auf 0,2 als deutliche Veränderung empfinden.
Das ist richtig. Genau so eine große Veränderung möchte ich sehen können.
Bei weniger als dem ist es dir egal. Aber hingehen –
Das ist richtig. Absolut richtig.
Danke.
Ich habe meine Zielschätzung kopiert. Jetzt gehe ich hinein. Ich beginne mit den kontinuierlichen Variablen. Ich füge sie als kontinuierliche Variablen ein. Die kategorialen Variablen lasse ich vorerst aus, da ich noch etwas mehr Kontrolle haben möchte. Zuvor möchte ich jedoch meine Annahme erläutern. Ich gehe davon aus, dass bei der Durchführung meines Versuchsdesigns (DOE) unter einer Basislinie die kontinuierlichen Faktoren im Zentrum des Designs liegen und der kategoriale Faktor einen festgelegten Wert aufweist.
Ich kann die Werte für meine stetigen Faktoren einfach hier einfügen, also füge ich sie jetzt ein. Es handelt sich um meine vier stetigen Faktoren, die zugehörigen quadratischen Effekte und die Wechselwirkung zweier Faktoren. Ich klicke auf „Binomialverteilung“, stelle den Wert wieder auf 3 und klicke auf „Anwenden“. Ich überprüfe, ob sich die Spalte „Y-Simulation“ ändert, und das tut sie auch.
Jetzt möchte ich die kategorialen Faktoren anpassen. Ich möchte festlegen, welche Stufen ich als Basiswerte für meine kategorialen Faktoren betrachte. Dazu öffne ich die von JMP erstellte Formel. Sie generiert eine zufällige Binomialvariable, sodass ich bei jeder Ausführung unterschiedliche Werte erhalte.
Verlieren Sie sich nicht in den Details. Wichtig ist, dass hier meine Faktoreffekte dargestellt sind. In diesem Fall handelt es sich um meine Faktoren, meine kategorialen Faktoren 1 bis 6. Ich muss beispielsweise für kategorialen Faktor 1 festlegen, wo meine Baseline liegt. Ich möchte sicherstellen, dass mein Baseline-Wert 0 ist. Nehmen wir an, meine Baseline ist im Feld „in“.
Ich werde nun meine Effektstärke einfügen. Nehmen wir an, „oben“ ist meine Basislinie, also füge ich diese nach unten ein. In diesem Fall hat CA3 drei Stufen. Ich lasse 1 als Basislinie, die anderen beiden erhalten den Effekt, sagen wir „klein“ und „groß“, und so weiter. Das mache ich mit allen meinen kategorialen Faktoren, wobei ich sowohl die Basislinie als auch jede Zwei-Faktor-Interaktion mit einem kategorialen Effekt auswähle.
Es handelt sich also um drei Stufen. Ich wähle zwei davon aus und lasse die dritte als Basislinie. Bevor ich gehe, klicke ich auf „Anwenden“, um sicherzustellen, dass die Funktion bzw. die Formel ausgewertet wird. Jetzt kann es losgehen. Meine Design-App ist nun so konfiguriert, dass ich die Simulation ausführen kann. Mein Vorgehen ist folgendes: Ich führe die Analyse einmal durch und nutze dann das Ein-Klick-Simulationstool von JMP Pro für die Simulation.
Unter „Analysieren“ und „Modell anpassen“ gehe ich genauer auf die Einrichtung der Analyse und die verfügbaren Optionen ein. In der dazugehörigen Dokumentation werde ich das noch detaillierter erläutern, aber darauf gehe ich jetzt erst einmal ein. Ich richte nun mein Design ein. In diesem Fall müssen Sie die von JMP eingefügten Daten entfernen. Fügen Sie stattdessen Ihre beiden Spalten hinzu: die Spalte mit den simulierten Werten und die Spalte mit der Anzahl der Versuche.
Ich wähle die generalisierte Regression und verwende die Binomialverteilung. Ich lasse den Dialog gerne geöffnet, falls ich später darauf zurückkommen muss. Dann klicke ich auf „Ausführen“. An dieser Stelle muss ich entscheiden, ob JMP standardmäßig alle Effekte einfügt. Führen wir eine Modellreduktion durch. Um mit Christians Vorgehen übereinzustimmen, wählen wir das Lasso-Verfahren. Gelegentlich bricht das Lasso-Verfahren etwas zu früh ab, wenn man die Vererbung erzwingt. Daher deaktiviere ich diese Option und klicke auf „Starten“.
Sie werden feststellen, dass die Simulation nur einmal ausgeführt wird. Was aber, wenn ich dies tausend- oder zehntausendmal wiederholen, die Häufigkeit der Signifikanz jedes einzelnen Effekts erfassen und die Häufigkeit der korrekten Signifikanzidentifizierung ermitteln möchte? Mit JMP Pro ist dies möglich, indem Sie mit dem Mauszeiger über die Spalte mit den Wahrscheinlichkeiten bzw. p-Werten fahren. Ein Rechtsklick und die Option „Simulieren“ finden Sie im unteren Bereich des Fensters.
Die Formelspalte ist hervorgehoben. Ich führe keine 2.500 Durchläufe durch, da dies einige Minuten dauern würde. Daher beschränke ich mich auf 250. Ich habe die gewünschte Anzahl an Durchläufen ausgewählt – 2.500 oder 10.000, je nachdem, wie viel Zeit ich habe – und klicke auf „OK“. JMP führt nun die Formel erneut aus und wiederholt die Analyse mit deaktivierter Lasso-Effekt-Vererbung und allen von mir gewählten Einstellungen.
Das Tolle daran ist, dass all diese Daten in einer einzigen Tabelle zusammengeführt werden. Die Poweranalyse ist im Skript enthalten, das in die Tabelle eingebettet ist, und meine Poweranalysen sind hier unten aufgeführt. Sie führt eine Poweranalyse durch, die fragt: „Wenn ich ein Alpha von 0,01, ein Alpha von 0,05 und ein Alpha von 0,1 wähle, wie hoch wäre dann meine simulierte Power?“
Wenn wir uns hier Alpha 0,05 ansehen, sehen wir, dass meine simulierte Leistung irgendwo zwischen 33 % und 45 % liegt, also eher niedrig. Um diese Werte in einer Tabelle zusammenzufassen, ist das ganz einfach. Ich klicke mit der rechten Maustaste und wähle „Kombinierte Datentabelle erstellen“. Dadurch werden alle meine Leistungseinstellungen und alle simulierten Leistungswerte für alle meine verschiedenen Effekte in einer Tabelle zusammengefasst.
Ich habe einen kleinen Workflow erstellt. Falls Sie aktuell nicht JMP Version 16 oder 17 verwenden, können Sie Workflows erstellen. Ich nutze diesen Workflow, den ich Ihnen ebenfalls zur Verfügung stelle. Damit bereinige ich meine Tabelle, sodass wir uns nur noch die Alpha-Version 0.05 ansehen müssen. Sie werden feststellen, dass die Werte ähnlich wie meine Potenzen aussehen. Im Großen und Ganzen gibt es einige Fälle mit mittleren Werten um 0,5, aber nichts wirklich Herausragendes. Nichts über 0,8.
Das Ganze basiert auf 2.500 Durchläufen. Ich habe das Ganze unter verschiedenen Bedingungen wiederholt, um Ihnen zu zeigen, worüber ich als Nächstes sprechen möchte: welche Faktoren die erzielbare Leistung beeinflussen. Höhere Leistung ist natürlich besser. Leistung ist meine Fähigkeit, einen Effekt zu erkennen, wenn er tatsächlich vorhanden ist.
Ich schließe das Fenster. Ich räume kurz meinen Desktop auf und gehe dann zu meinen... Ich habe die Ergebnisse gesammelt. Ich habe in diesem Fall, glaube ich, 2.500 Simulationsläufe durchgeführt, um Ihnen einen Eindruck zu vermitteln. Hier ist unsere Basislinie. Das haben wir uns angesehen. Dies ist ein Simulationslauf. Die Ergebnisse wären bei einer Wiederholung etwas anders. Mein Versuchsaufbau umfasst 24 Läufe, 3 Versuche, genau wie bei Christian, und alle Effekte sind signifikant. Ich gehe davon aus, dass alles signifikant ist, und mein Vergleich hier war... Meine Basislinie lag bei 0,75 und mein Zielwert bei 0,2.
Sie werden feststellen, dass der Achsenabschnitt, der Ihnen oft egal ist, signifikant ist. Ich habe einen Effekt, der sich in Richtung Punkt A bewegt, aber alle anderen Werte sind niedriger. Was wäre, wenn ich die Anzahl der Versuche von 3 auf 5 erhöht hätte? Wie wirkt sich das auf meine Ergebnisse aus? Sie werden feststellen, dass die Erhöhung der Anzahl der Versuche von 3 auf 5 die Signifikanz verbessert.
Was passiert, wenn ich von meinem vollständigen Modell, in dem ich alle signifikanten Effekte annehme, zu einer Teilmenge übergehe? Ich möchte zwar alle diese Faktoren in mein Design einbeziehen und sie schätzen können, aber sagen wir, nur eine Teilmenge. In diesem Fall habe ich die Teilmenge mit zwei kontinuierlichen und einem kategorialen Faktor gewählt, und die Ergebnisse verbessern sich dadurch nochmals leicht.
Das sind solche Was-wäre-wenn-Szenarien, die man mit diesen Simulationen durchspielen kann. Probieren wir noch etwas anderes. Angenommen, mein ursprüngliches Design – anstatt 24 Läufen führen wir 36 Läufe durch, und das Ergebnis wird noch besser. Was wäre, wenn ich einen Unterschied untersuchen wollte? Nehmen wir an, mein Basiswert wäre nicht 0,75, sondern 0,90. Die mit Sternchen markierten Effekte habe ich im Modell übrigens als signifikant definiert.
Auch hier handelt es sich um Was-wäre-wenn-Szenarien, die Sie mit JMP simulieren können, um zu sagen: „Okay, das sieht gut aus. Reicht diese Anzahl an Läufen und Versuchen aus?“ Oder: „Vielleicht muss ich weitere Läufe hinzufügen. Vielleicht brauche ich mehr Versuche usw., weil meine Leistung zu gering ist, oder ich kann so weitermachen.“
Fassen wir zusammen: Was beeinflusst die statistische Aussagekraft? Je mehr Versuchsreihen ich durchführe, desto höher ist natürlich meine Aussagekraft. Je mehr Versuche ich durchführe, desto höher ist meine Aussagekraft. Auch die Differenz zwischen meinem Ausgangswert und dem Ausgangswert beeinflusst meine Aussagekraft. Je größer der Abstand zwischen den Werten ist, desto leichter lassen sie sich unterscheiden, und je näher sie den Endpunkten kommen, desto leichter lassen sie sich unterscheiden. Mit sinkenden signifikanten Effekten steigt meine Aussagekraft. Gut, das sind also die Faktoren, die die Aussagekraft beeinflussen.
Um es noch einmal zusammenzufassen: Sie haben bereits Ihre Fachexperten und denken bereits über ein Design nach. Der Schlüssel zu einem optimalen Design liegt in einem guten Design. Legen Sie fest, worauf Sie achten möchten, und minimieren Sie Faktoren wie die Korrelation zwischen Ihren Effekten, um die Aussagekraft zu erhöhen.
Als Nächstes legen Sie Ihre Ausgangsbasis fest. Bestimmen Sie den Ausgangswert, Ihr Ziel und wie groß eine Veränderung für Sie praktisch relevant ist. Geben Sie diese Werte ein, simulieren Sie Ihre Reaktionen, stellen Sie die Verteilung auf Binomial ein und richten Sie Ihre Formel so ein, dass Sie die Größe der relevanten Effekte festlegen können. Führen Sie anschließend Ihre JMP-Anwendung mit einem Klick aus, um die Teststärke zu schätzen.
Falls die Ergebnisse nicht Ihren Erwartungen entsprechen, beispielsweise die Anzahl der Durchläufe oder Versuche, oder falls Sie bestimmte Effekte als signifikant einstufen, ändern Sie diese. Spielen Sie verschiedene Szenarien durch. Das Tolle daran ist: Man hört ja immer, dass man nichts geschenkt bekommt. Im Grunde genommen ist das hier aber tatsächlich kostenlos. Es handelt sich um experimentelle Durchläufe, die Sie deutlich weniger Zeit und Geld kosten und die Sie kostenlos nutzen können, da die nötigen Werkzeuge bereits in JMP vorhanden sind.
Okay. Das wollte ich sagen. Ich möchte Christian dafür danken, dass er tatsächlich einen dieser Entwürfe getestet hat. Es ist immer schön zu sehen, wenn ein ursprünglich geplantes Experiment in der Praxis scheitert. Vielen Dank fürs Zuschauen! Ich hoffe, ihr konntet etwas mitnehmen. Bei Fragen könnt ihr diese gerne im entsprechenden Bereich des Discovery Talks oder in der JMP-Community posten. Wir freuen uns auf den weiteren Austausch und beantworten eure Fragen. Vielen Dank!
Danke, Don.
