Okay, sprechen wir also über die Planung und Analyse von Experimenten mit Bestehen/Nichtbestehen-Antworten. Ich werde in dieser Sitzung immer wieder auf Bestehen/Nichtbestehen-Antworten eingehen. Das gilt aber im Grunde für jeden Fall, in dem wir eine binäre Antwort mit zwei Kategorien haben – man kann also entweder die eine oder die andere Kategorie annehmen. Die Kategorien schließen sich gegenseitig aus und decken alle Kategorien ab. Bestehen/Nichtbestehen, Ja/Nein – solange die Antwort zwei sich gegenseitig ausschließende und alle Kategorien abdeckt, gilt das. Wir gliedern die Sitzung in vier Teile. Wir beginnen mit einem Beispiel. Vielleicht kommt es Ihnen ja bekannt vor.
Hoffentlich ist Ihnen etwas bekannt, beispielsweise im Umgang mit Experimenten, bei denen es in der Vergangenheit zu Fehlschlägen kam. Wir werden einige mögliche Fehlerquellen besprechen. Anschließend widmen wir uns dem Modell, da alles von den zugrunde liegenden Annahmen abhängt, die ich treffe. Diese bestimmen die Richtung der Analysemethoden und die Dimensionierung des Experiments. Nach der PowerPoint-Präsentation zeige ich Ihnen anhand der Beispieldaten, wie ich die experimentellen Daten analysieren würde.
Wir besprechen einige der Optionen, die in JMP und JMP Pro verfügbar sind. Abschließend gehen wir der Frage nach, wie man ein Experiment dimensioniert. Bei Gut/Schlecht-Experimenten kommt es nicht auf die Anzahl der Versuchsdurchläufe an, sondern auf deren Anzahl – die Anzahl der Versuche pro Versuchsbedingung. Wir zeigen, wie man in JMP Pro die Simulation einrichtet, um die optimale Anzahl an Versuchen zu ermitteln. Nehmen wir als Beispiel die Herstellung von Widgets. Wir haben einen Prozess, bei dem wir mit der Fehlerrate nicht zufrieden sind.
Wir haben vier verschiedene Faktoren identifiziert, die unserer Meinung nach die Fehlerrate dieser Bauteile verbessern werden: ein Additiv, ein Kompressionsschritt mit drei variierenden Faktoren – Temperatur, Druck und Haltezeit. Die Frage ist: Weist das Bauteil einen Defekt auf? Wir bearbeiten das Bauteil. Ja, es hat einen Defekt, nein, es hat keinen Defekt. Wenn es einen Defekt aufweist, werten wir es als Fehler. Die aktuelle Fehlerrate liegt bei 15 % und dient uns letztendlich zur Dimensionierung unseres Experiments.
Unser Ziel ist es, die Fehlerrate auf fünf Prozent zu senken. Wir wären aber auch schon zufrieden, wenn wir eine Verbesserung von drei bis fünf Prozent feststellen könnten. Wenn wir beispielsweise eine Senkung der Fehlerrate auf zehn Prozent erreichen könnten, wären wir ebenfalls zufrieden. Das möchten wir unbedingt nachweisen können. Außerdem möchte ich nur wissen, dass jeder Durchlauf etwa zehn Minuten dauert. Ich kann nicht unbegrenzt viele Durchläufe durchführen. Ungefähr sechs Durchläufe pro Stunde sind möglich.
Okay, nehmen wir an, wir geben diesen Faktor in JMP ein. Wir öffnen einen benutzerdefinierten Designer. Wir entscheiden uns für ein Response-Surface-Design. Wir fügen drei Mittelpunkte hinzu, und das ist das Ergebnis. Soweit so gut. Wir nehmen das Design, senden es an den Versuchsleiter, der das Experiment durchführt, und erhalten folgendes Ergebnis: 24 Durchläufe, ca. 4 Stunden Laufzeit. Uns wird erklärt, dass die Einsen und Nullen eine Beobachtung mit bzw. ohne Defekt darstellen. Jetzt analysiere ich die Daten und lade sie in JMP hoch.
Ich weiß, dass es sich bei den Einsen und Nullen nicht um kontinuierliche Daten handelt, sondern um kategoriale, genauer gesagt binäre Daten. Ich werde sie auch so behandeln. Ich bin mir ziemlich sicher, dass es sich hier um logistische Regression handelt. Da ich das Experiment in JMP entworfen habe, erscheint das Response-Surface-Modell im Dialogfeld „Modell erstellen“. Beim Anpassen der Analyse erhalte ich sofort eine Fehlermeldung, die besagt, dass die Parameterschätzungen instabil sind.
Nehmen wir an, ich bespreche das mit jemandem, der sich mit solchen Experimenten besser auskennt, und er sagt mir, dass ich nur einen Versuch pro Behandlungsgruppe durchgeführt habe. Für eine aussagekräftige Schätzung wären mehrere Versuche nötig. Angenommen, ich gehe zurück ins Labor und bespreche das mit dem Versuchsleiter, da dieser nicht begeistert davon ist, den Versuchsumfang von einem auf fünf Versuche zu erhöhen. Nun würde das Experiment etwa 20 Stunden dauern. Ich konnte ihn aber überzeugen, dass wir das unbedingt tun müssen, und beschließe, das Experiment mit nun fünf Versuchen pro Behandlungsgruppe zu wiederholen.
Ich habe meine Daten zurückbekommen. Mein Experiment hat zwei neue Spalten ergeben. Die Spalte Y5 gibt an, wie oft ein Fehler aufgetreten ist. Die Spalte mit dem Buchstaben N enthält die Anzahl der Versuche für die jeweiligen Versuchsbedingungen. Anstatt mit den Zähldaten zu arbeiten, werde ich diesmal die Anzahl der fehlgeschlagenen Versuche durch die Gesamtzahl der Versuche teilen und das Ergebnis als kontinuierliche Daten behandeln. So erhalte ich den Anteil der Fehler für die jeweiligen Versuchsbedingungen.
Ich werde die Daten als kontinuierlich behandeln. Das ist mir lieber, da ich mit dieser Art der Datenmodellierung vertrauter bin. Ich verwende dasselbe Modell wie beim letzten Mal, allerdings anstatt einer logistischen Regression die Standard-Kleinste-Quadrate-Methode. Soweit so gut. Ich wende meine bevorzugte Modellierungstechnik an, vielleicht auch meine bevorzugte Modellreduktionstechnik, und erhalte so das finale Modell. Auch hier läuft alles gut. Als Nächstes möchte ich das Modell optimieren.
Ich möchte wissen, unter welchen Bedingungen die Fehlerrate so weit wie möglich gesenkt werden kann. Ich verwende den Optimierer im Profiler. Dieser schlägt vor, die Gesamtzeit auf 45 Sekunden und die Temperatur auf 45 °C einzustellen. Dadurch sollte die vorhergesagte Fehlerrate unter null liegen. Ich könnte diesen Wert ignorieren, da er nahe genug an null liegt, um zu sagen: „Na ja, vielleicht ist er nur sehr nah dran, aber nicht darunter.“ Mir ist jedoch bewusst, dass dies technisch unmöglich ist. Fehlerraten unter null sind nicht erlaubt. Auch wenn ich diesen Ansatz zunächst verwenden würde, frage ich mich: Wie genau ist diese Schätzung?
Wie nahe bin ich wirklich an Null? Habe ich ein schlechtes Modell erstellt? Alles läuft auf das Modell hinaus, das ich verwendet habe... Die Annahmen, die ich getroffen habe, wenn ich die Daten als kontinuierlich betrachte, und die Annahmen, die ich wahrscheinlich treffen sollte, wenn ich Bestanden/Nicht bestanden-Daten habe. Dies ist unser typisches Modell. Auf der linken Seite haben wir unsere Antworten, unsere Beobachtungen. In unserem Fall ist es die Wahrscheinlichkeit eines Fehlers. Entschuldigung, auf der linken Seite haben wir die Wahrscheinlichkeit eines Fehlers.
Auf der rechten Seite sehen wir unsere linearen Modelle – das, was wir untersuchen: die Beziehung, die wir zwischen unseren Eingangs- und Ausgangsgrößen herstellen wollen. Das ist üblicherweise unser Ansatz. Die typischen Annahmen dabei sind, dass diese Beziehung linear ist, der Antwortbereich unbegrenzt ist und die Residuen normalverteilt sind. Die Residuen sind: Ich passe ein Modell an die Daten an, und was übrig bleibt, sind die Residuen. Ich gehe davon aus, dass sie normalverteilt sind, also symmetrisch um null liegen und all diese positiven Eigenschaften aufweisen. Das ist Teil des Problems.
Wenn wir mit Wahrscheinlichkeiten arbeiten, sieht unsere Antwort in etwa so aus: Ich vermute, sie hat eher eine S-Form als einen linearen Zusammenhang. Dieser lineare Zusammenhang ist nicht gegeben. Auch ein unbegrenzter Antwortbereich ist nicht gegeben, da ich mit Wahrscheinlichkeiten arbeite und daher keine Werte unter Null oder über Eins annehmen kann. Selbst die Annahme normalverteilter Fehler ist nicht zielführend. Je näher die vorhergesagten Werte an Null liegen, desto kleiner wird der Spielraum für die Residuen. Der Bereich zwischen dem angepassten Wert und Null verringert sich.
Ich kann keine symmetrischen Fehler nahe Null haben. Genauso wenig kann ich symmetrische Fehler haben, die sich immer weiter Eins annähern. Irgendetwas muss sich hier ändern. Ich hoffe, es gibt eine einfache Lösung für dieses Problem. Eine einfache Transformation, wahrscheinlich. Vielleicht auch die Verwendung einer anderen Verteilung. Ist das in JMP möglich? Die Antwort lautet: Wir haben drei verschiedene Möglichkeiten. Die erste Möglichkeit, die wir bereits im Beispiel gesehen haben, ist die logistische Regression. Dabei wird die Logit-Transformation auf die Daten angewendet.
In diesem Fall betrachten wir nicht die Wahrscheinlichkeiten als Zielgröße, sondern das Verhältnis zweier unterschiedlicher Antwortniveaus. Wir teilen die Wahrscheinlichkeit eines Misserfolgs durch die Wahrscheinlichkeit eines erfolgreichen Ergebnisses und bilden den Logarithmus dieses Wertes. Durch die Logarithmierung wird die Beziehung linearisiert. Da wir nur zwei verschiedene Niveaus haben, könnte man dies auch als Verhältnis der Wahrscheinlichkeit eines Misserfolgs zu 1 minus der Wahrscheinlichkeit eines Misserfolgs betrachten. Wenn Sie bereits mit solchen Modellen gearbeitet und die Begriffe Odds und Log Odds gehört haben, ist dies genau die Definition.
Der erste Teil der Gleichung definiert die Chancen. Es ist das Verhältnis der beiden Wahrscheinlichkeiten. Das sind meine Chancen, und dann bilde ich einfach den Logarithmus davon. Das ist eine Möglichkeit. Eine andere Möglichkeit ist die sogenannte Nachlassanalyse. Dabei verwende ich eine andere Transformation. In diesem Fall nutze ich die inverse Normalverteilung. Oder, falls ich das jemals im Formeleditor oder mit JSL erstellt habe, ist das einfach die Quantilfunktion der Normalverteilung.
Es gibt nun eine dritte Option in JMP. Sie erfordert etwas Aufwand, und wir werden hier nicht allzu sehr ins Detail gehen, aber ich möchte sie dennoch vorstellen, da sie häufig in der Fachliteratur erwähnt wird: die komplementäre Logarithmusfunktion. Diese ist in JMP nicht direkt verfügbar. Man benötigt beispielsweise eine Plattform für nichtlineare Funktionen, um sie selbst zu implementieren. Sie lässt sich zwar approximieren – es gibt eine Verteilung namens „Smallest Extreme Value Distribution“ –, aber das heben wir uns für ein anderes Mal auf. Wir konzentrieren uns hier auf die Standardfunktionen von JMP.
Nun müssen wir eine zweite wichtige Annahme treffen: Unabhängig von der gewählten Transformation (Logit oder Probit) gehen wir davon aus, dass der Fehler einer Binomialverteilung folgt. Denn er besteht aus zwei Teilen: Ich führe nicht nur die Transformation durch, sondern nehme auch eine andere Verteilung an. Wie bereits erwähnt, sind die ersten beiden direkt in JMP verfügbar und daher einfach anzuwenden. Wir konzentrieren uns auf diese. Der letzte Fehler kann mithilfe der nichtlinearen Plattform modelliert werden. Praktischerweise ist alles über die Plattform „Modell anpassen“ verfügbar. In JMP stehen mir drei verschiedene Optionen zur Verfügung.
Ich kann die logistische Regression verwenden, die wir, wie bereits im Beispiel gesehen, angewendet haben. Es gibt die Option des verallgemeinerten linearen Modells, und es besteht ein enger Zusammenhang zwischen nominaler logistischer Regression und verallgemeinertem linearen Modell. JMP Pro-Nutzer haben zudem die Möglichkeit der verallgemeinerten Regression, die mir darüber hinaus viele weitere Optionen bietet. Es gibt auch eine andere Plattform, auf der man eine einfache logistische Regression durchführen kann, bei der Y durch X angepasst wird. Da wir es hier aber mit einer experimentellen Bedingung zu tun haben und üblicherweise mehrere Faktoren vorliegen, werde ich darauf nicht näher eingehen. Die einfache logistische Regression, bei der Y durch X angepasst wird, funktioniert jedoch genauso gut.
Bevor wir uns damit befassen, wie ich das in JMP umsetze, müssen wir über die Datenorganisation sprechen. Denn wie organisieren wir die Daten? Welche Daten sind es? Wie organisieren wir die Daten? Die Einrichtung ist im Dialogfeld „Modell anpassen“ ganz einfach. Hier ein kurzes, einfaches Beispiel: Angenommen, wir haben ein zweifaktorielles Experiment mit den Faktoren Zeit und Temperatur. Wir haben ein vollständiges faktorielles Design durchgeführt, also alle möglichen Kombinationen von Zeit und Temperatur. Nehmen wir an, wir planen fünf Versuche pro experimenteller Behandlung.
Mit „Behandlung“ meine ich die Zeile, unsere individuelle Kombination, also unsere Zeile in dieser Datentabelle. Ich habe drei verschiedene Möglichkeiten, die Daten zu formatieren. Die erste Möglichkeit ist die Darstellung als Rohdaten. Jede Zeile in meiner Datentabelle entspricht einem Versuch. Sie sehen, dass die allererste Zeile der Rohdaten eine Behandlungskombination mit einer bestimmten Zeit und Temperatur enthält. In diesem Fall ist meine binäre Antwort, ob die Reaktion grün oder rot ist. Die erste Reaktion war grün. Die zweite Zeile enthält wieder eine Behandlungskombination, und diese Reaktion war rot usw.
Das ist das Rohdatenformat. Alle drei Ansätze können dieses Format verwenden. Jetzt kann ich die Daten zusammenfassen. Manchmal ist es sinnvoller, die Daten zusammenzufassen. Dabei berücksichtige ich sowohl die Behandlungsbedingung als auch die Ausprägung der Reaktion. In der ersten Zeile der zusammengefassten Daten sehen Sie die erste Behandlungsbedingung mit allen grünen Werten und zwei Fällen, in denen Grün beobachtet wurde. Die zweite Zeile zeigt meine zweite Behandlungskombination mit drei grünen Beobachtungen usw. Ich habe die Daten also über meine Behandlungskombination und meine Ausprägungen aggregiert.
Okay, alle drei Ansätze können dieses zusammengefasste Stapelformat verwenden. Die dritte Darstellungsform, die für viele wahrscheinlich die intuitivste ist, da sie der Darstellung eines linearen Modells sehr ähnelt, ist das zusammengefasste Split-Format. In diesem Fall habe ich die Daten erneut über die Behandlungskombination aggregiert, jedoch nur für eine meiner Behandlungsstufen. Sie werden feststellen, dass ich hier die Anzahl der grünen Beobachtungen pro Versuch sowie die Anzahl der Versuche gezählt habe. Wenn ich beispielsweise ein Versuchsdesign (DOE) mit dem benutzerdefinierten Designer erstellen würde, wäre dies das Format, das ich bei der Dateneingabe verwenden würde.
Wenn ich das zusammengefasste Stapelformat verwenden wollte, müsste ich diese Läufe tatsächlich duplizieren. Ich bräuchte einen für meine grünen und einen für meine roten Werte und müsste die Daten nur etwas anders anordnen. Die logistische Regression kann dieses Format jedoch nicht verwenden. Ich muss eines der beiden anderen Formate nutzen. Generalisierte lineare Modelle und die generalisierte Regression können dieses Format verwenden. Das sollten Sie beachten, wenn Sie die logistische Regression anwenden möchten. Okay, dann zeige ich Ihnen jetzt, wie ich die einzelnen Beispiele anhand der experimentellen Daten analysiert hätte. Genug von PowerPoint. Ich öffne JMP und erkläre Ihnen, wie ich die einzelnen Beispiele mit den gezeigten experimentellen Daten analysiert hätte.
Okay, machen wir eine logistische Regression. Wir beginnen mit dem ersten Beispiel, der logistischen Regression. Ich sehe hier auch meinen zusammengefassten Stack, der ein bestimmtes Format hat. Ich habe eine Spalte mit den Ergebnissen (bestanden/nicht bestanden) und deren Anzahl. Das sind aggregierte Daten. Die Anzahl habe ich auch in einer anderen Spalte. Alles klar, ziemlich einfach. Alles, worüber wir sprechen werden, finden Sie unter „Modell anpassen“. Da ich das in JMP erstellt habe, ist es Teil meines Modells.
Dies ist mein Antwortflächenmodell, in dem ich das Experiment entworfen habe. Mein Dialogfeld ist bereits vorausgefüllt. Ich möchte nur darauf hinweisen, dass meine Antwort in diesem Fall nominal ist, also bestanden/nicht bestanden. Ich benötige auch die Zählwerte, da ich meine Daten aggregiert habe. Ich wähle nun den Zielwert aus. Dieser hängt davon ab, wie ich die Ausgabe betrachten möchte – ob ich die Ergebnisse im Sinne von „bestanden“ oder „nicht bestanden“ interpretieren möchte. Ich stelle das mal ein. Stellen wir es wieder auf „bestanden“ ein. Jetzt habe ich hier verschiedene Optionen.
Beides sind logistische Regressionen. Ich habe eine nominale logistische Regression. Wenn ich mich mit schrittweiser Regression auskenne, kann ich diese auch auf mein Logit-Modell, also mein logistisches Regressionsmodell, anwenden. Das ist auch eine Möglichkeit. Gut, bleiben wir also bei der ursprünglichen nominalen logistischen Regression. Ich werde mein Modell ausführen. Ich werde wieder eine Datenreduktionstechnik oder eine Modellreduktionstechnik verwenden. Ich könnte beispielsweise manuell Elemente aus dem Modell entfernen. Oder ich hätte dafür auch eine schrittweise Regression verwenden können.
Es ist eigentlich nicht wichtig, da ich ja das richtige Modell habe. Ich entferne noch einen Term aus meinem Modell. So. Nehmen wir an, das ist unser endgültiges Modell, wir sind zufrieden damit. Öffnen wir den Profiler. Ich scrolle mal ganz nach unten zum Profiler und vergrößere ihn etwas, damit wir alles besser sehen können. Ein Vorteil dieses Modells ist, dass mein Profil – also die Werte für bestanden und nicht bestanden – beschränkt ist. Die Wahrscheinlichkeiten müssen aber zwischen null und eins liegen. Ich aktiviere jetzt die Zielfunktionen. Das sieht jetzt etwas anders aus, da es in zwei Gruppen unterteilt ist.
Ich habe den angestrebten Anteil erfolgreicher und fehlgeschlagener Durchläufe festgelegt. Ich setze die fehlgeschlagenen Durchläufe auf null, da ich die Optimierung nicht auf fehlgeschlagene Durchläufe ausrichten möchte. Ich erhöhe die Erfolgswahrscheinlichkeit und maximiere sie. Die Temperaturwerte bleiben dabei unverändert. Ich erhalte jedoch eine genauere Schätzung der vorhergesagten Erfolgsquote bzw. der fehlgeschlagenen Fehlerrate. Mit diesen Einstellungen sollte ich eine Erfolgsquote von etwa 96 % und somit eine Fehlerrate von ungefähr vier Prozent erreichen.
Sicherlich nicht unter Null und etwas weiter von Null entfernt, als ich erwartet hätte. Gut, kommen wir nun zu unseren verallgemeinerten linearen Modellen. Wir verwenden hierfür das zusammengefasste Split-Format. Wenn Sie bereits mit linearen Modellen gearbeitet haben, sollte Ihnen dieses Format bekannt vorkommen. Dies sind wahrscheinlich die Beobachtungen aus meinem Versuchsdesign. Ich habe die Anzahl der Beobachtungen in einer meiner Stufen gezählt, in diesem Fall die Anzahl der fehlerhaften Elemente, und anschließend die Gesamtzahl der Versuche.
Okay, ich gehe jetzt nochmal zum Dialogfeld „Modell anpassen“. Dieses ist etwas anders aufgebaut. Für diese Organisation habe ich zwei stetige Variablen. Die erste ist die Anzahl der einzelnen Fälle, die zweite die Gesamtzahl. Ich habe hier bereits das verallgemeinerte lineare Modell ausgewählt. Die Verteilung ist standardmäßig die Binomialverteilung. Hier kann ich zwischen Logit und Probit wählen. Es gibt geringfügige Unterschiede bei den Wahrscheinlichkeiten. Ich nehme einfach Logit. Logit und logistische Regression liefern standardmäßig die gleichen Ergebnisse.
Ein Vorteil verallgemeinerter linearer Modelle besteht darin, dass ich einige der zuvor besprochenen Annahmen lockern kann. Eine dieser Annahmen ist, dass der Fehlerterm einer Binomialverteilung folgt. Bei Binomialfehlern sind diese konstant, unabhängig von der Wahrscheinlichkeit. Die Berücksichtigung von Überdispersion bedeutet, dass die Variabilität oder der Fehler etwas größer sein kann als erwartet. Dadurch wird die Annahme der Binomialverteilung etwas gelockert.
Ich kann meine Schätzungen auch hinsichtlich potenzieller Verzerrungen anpassen. Ich aktiviere jetzt die Überdispersion. Dann lasse ich mein Modell erneut laufen. Ein Nachteil dieses Ansatzes ist, dass er keine schrittweise Vorgehensweise bietet. Man muss die Berechnung entweder manuell durchführen oder ein Modell als Grundlage nehmen, bevor man sich für das endgültige Modell entscheidet. Ich werde das also manuell machen und meine drei wichtigsten Faktoren ermitteln. Wenn Sie dies mit der logistischen Regression vergleichen, werden Sie feststellen, dass meine Variabilität aufgrund der aktivierten Überdispersion etwas größer ist als geschätzt.
Mein p-Wert ist etwas höher. Hier muss ich mich fragen: Will ich wirklich glauben, dass diese Werte, obwohl sie nicht signifikant sind, es wert sind, im Modell zu bleiben? Das Gute ist aber, dass ich die Möglichkeit habe, diese Annahme im Modell zu lockern. Wenn ich den Profiler aktivieren und optimieren möchte, steht mir das ebenfalls zur Verfügung. Ich habe dieselben praktischen Funktionen. In diesem Fall ist die Struktur etwas anders, da ich nicht vergangene Fehler, sondern Wahrscheinlichkeiten modelliere. Es ist der Profiler, den wir kennen. Natürlich möchte ich in diesem Fall nicht optimieren, da ich dadurch meine Fehler maximieren würde. Ich werde sie minimieren. Optimieren wir das also.
Es zeigt mir also wieder die Gesamtzeit (45 Sekunden) und die Temperatur (45 Sekunden) an. Die Schätzung wird leicht abweichen, obwohl sie sehr nahe beieinander liegen. Der Vorteil ist, dass ich hier einen festgelegten Bereich habe. Egal, wo ich den Schieberegler bewege, die Wahrscheinlichkeiten liegen immer zwischen null und eins. Gut, zum letzten Beispiel: die generalisierte Regression. Diese Funktion ist nur in JMP Pro verfügbar. Sie bietet mir einige zusätzliche Optionen. Ich beginne wieder mit dem Modell, passe es an und verwende die gleichen Einstellungen, da ich meine zusammengefassten Daten habe.
Ich werde mich jedoch für die generalisierte Regression entscheiden. Nun wähle ich eine andere Verteilung. In diesem Fall kenne ich meine Zielvariable, da sie hier mit zwei verschiedenen Variablen definiert ist. Ich habe eine binomiale Zielvariable oder kann alternativ eine Beta-Binomialverteilung wählen. Die Beta-Binomialverteilung ist eine analoge Technik zur Verwendung der Überdispersionsoption in meinem generalisierten linearen Modell. Dadurch kann ich eine Varianz berücksichtigen, die sich in Abhängigkeit von der Wahrscheinlichkeit ändert. Wir behalten in diesem Fall die Standardeinstellung bei. Führen wir nun das Modell aus.
Wenn Sie bereits Erfahrung mit generalisierter Regression haben, wissen Sie, dass Ihnen alle Modellreduktionstechniken auf dieser Plattform zur Verfügung stehen. In diesem Fall würde ich wahrscheinlich eine dieser Techniken anwenden. Ich möchte sicherstellen, dass ich alles richtig eingestellt habe … Ich werde die Vererbung berücksichtigen. Verwenden wir die schrittweise Vorwärtsregression. Hier stehen Ihnen zahlreiche Optionen zur Verfügung. Falls Sie noch nie mit generalisierter Regression gearbeitet haben: Ich biete Ihnen eine Vielzahl an nützlichen Modellreduktionstechniken. Ich verwende die schrittweise Vorwärtsregression, die Standardeinstellung für schrittweise Regression. Klicken Sie auf „Start“, und hier ist mein finales Modell.
Wiederum sehr konsistent. Alle drei Modelle liefern mir sehr übereinstimmende Ergebnisse. Die Parameterschätzungen und Wahrscheinlichkeiten werden sich leicht unterscheiden. Nun stellt sich die Frage: Habe ich genügend Versuche durchgeführt, um dieses Experiment wirklich aussagekräftig zu gestalten? Das führt uns zur Frage, wie ich die richtige Größe für mein Experiment bestimme. Ich zeige Ihnen kurz in meiner PowerPoint-Präsentation die Einrichtung des Experiments.
Wir werden das Experiment folgendermaßen dimensionieren: Übrigens ist diese Funktion nur in JMP Pro standardmäßig verfügbar. Nutzer anderer Versionen könnten zwar ein JSL-Skript dafür schreiben, aber das wäre sehr umständlich. JMP Pro macht die Einrichtung extrem einfach. Wir beginnen mit dem benutzerdefinierten Designer. Dort erstellen wir unser gewünschtes Design. Bevor wir die finale Tabelle generieren, aktivieren wir die Simulation von Antworten.
Das befindet sich im Hotspot oben links. Sobald wir die Datentabelle erstellt haben, erscheint ein Dialogfeld, in dem wir die Koeffizienten ändern können. Auf der nächsten Folie erkläre ich, wie wir diese Koeffizienten festlegen. Wir ändern sie auf die gewünschte Größenordnung. Auch hier gehe ich auf der nächsten Folie noch etwas genauer darauf ein. Nachdem wir die Koeffizienten geändert haben, stellen wir den Fehler auf Binomialverteilung ein, wählen die Stichprobengröße und die Anzahl der gewünschten Versuche aus und klicken dann auf „Anwenden“.
Die Option „Antwort simulieren“ erzeugt, da ich binomiale Fehler gewählt habe, zwei Spalten: eine mit der Anzahl der simulierten Versuche und deren Erfolgen sowie die andere mit der Gesamtzahl der Versuche. Diese Daten verwenden wir für unsere Gesamtsimulation. Die Festlegung der Koeffizienten ist ein entscheidender Schritt für die Dimensionierung des Experiments. Die Vorgehensweise hängt vom zugrunde liegenden Modell ab, also ob ich ein Logit- oder ein Probit-Modell wähle.
Mein Beispiel verwendet die Daten, die wir bereits betrachtet haben, und das Beispiel mit dem Logit-Modell. Damit legen wir die Werte für die Basiswahrscheinlichkeit fest. Wie Sie sich vielleicht erinnern, haben wir in unserem Beispiel gesagt, dass die Ausfallrate zu Beginn bei etwa 15 % liegt. Das ist unsere Basiswahrscheinlichkeit. Nun müssen wir uns fragen: Ab welcher Wahrscheinlichkeit möchten wir einen Unterschied feststellen können? Wir haben gesagt, dass wir mit einer Verbesserung um 10 % zufrieden wären. Das ist also die gewünschte Dimensionierung unseres Experiments: die Fähigkeit, eine Verbesserung von 15 % auf 10 % zu erkennen.
Wir werden die Transformation, die wir bereits kennengelernt haben, verwenden, um die Werte für unsere Basislinie, die 10%-Ausfallrate und die gewünschte Erkennungswahrscheinlichkeit zu berechnen. Die Differenz dieser beiden Werte verwenden wir als Koeffizienten. Bei der Logit-Analyse entspricht die Basislinie den 15 % geteilt durch 1 minus 15 %. Unsere Basislinie beträgt -1,73. Um eine Änderung auf eine Ausfallrate von 10 % zu untersuchen, setzen wir diesen Wert in die Gleichung ein: 0,1 geteilt durch 1 minus 0,1 = -2,2. Der Koeffizient ist somit die Differenz dieser beiden Werte. Ich verwende ungefähr 0,5 als Koeffizienten.
Genug PowerPoint. Schauen wir uns an, wie das in der Praxis funktioniert. Ich habe mein Experiment und meine Versuchsfaktoren eingerichtet. Ich verwende den benutzerdefinierten Designer. Ich lade meine Faktoren und erstelle das gewünschte Design. Wie bereits erwähnt, habe ich ein Response-Surface-Design. Fügen wir drei Mittelpunkte hinzu und führen wir 24 Läufe durch. Ich klicke auf „Design erstellen“ und lasse den Algorithmus das beste Design ermitteln. Bevor ich die letzte Tabelle generiere, gehe ich zum Hotspot und wähle „Antworten simulieren“. Jetzt erstelle ich meine Tabelle. Diese Tabelle liefert mir mein Design, und ich ändere die Koeffizienten auf die berechneten Werte.
Ich setze die Werte jetzt zurück. Mein Achsenabschnitt war -1,73. Ich setze alle Koeffizienten auf 0,5. Ich kopiere das mal, damit ich es einfügen kann. Schließlich stelle ich die Fehlerverteilung auf Binomial ein. Jetzt klicke ich auf „Anwenden“. Behalten Sie die Tabelle im Auge. Dadurch werden die beiden Spalten generiert, die ich für meine Analyse verwenden werde. Moment, ich wollte die Stichprobengröße festlegen. Das darf ich nicht vergessen. Im ursprünglichen Experiment hatte ich fünf Durchläufe. Beim zweiten Durchlauf wende ich das jetzt erneut an. Jetzt sind die richtigen Gleichungen drin.
Dies sind die Spalten, die ich für die erste Analyse und die Simulation verwenden werde. Sie könnten diese Effekte auch vorzeichenbehaftet gestalten. Damit meine ich, sie je nach erwarteter Beziehung negativ oder positiv zu machen. Aus Zeitgründen habe ich das hier nicht weiter erläutert. Ich habe eine Folie, die zeigt, wie ich diese verschiedenen Effekte durchgehen und entscheiden könnte, ob ein Effekt positiv oder negativ sein sollte. Auch das ist möglich. Es wird die Ergebnisse sicherlich weniger stark beeinflussen als die tatsächliche Effektstärke. Da aber bei den meisten Versuchsdesigns, sofern sie nicht vollständig orthogonal sind, eine Korrelation zwischen den Effekten besteht, kann die Vorzeichenwahl eines Effekts Einfluss auf die Teststärke haben.
Nachdem ich nun fertig bin und mein erstes Design erstellt habe, gehe ich zum Fit-Modell. Ich werde das Design analysieren. Ich muss unbedingt meine Simulationen und Versuche einbeziehen. In diesem speziellen Fall verwende ich üblicherweise eine generalisierte Regression und wieder eine Binomialverteilung, da diese viele Optionen zur Modellreduktion bietet. Das Schöne daran ist, dass all diese Optionen in der Simulation übernommen werden. Ich muss mir keine Gedanken darüber machen, Skripte dafür zu schreiben. Starten wir das Ganze. Ich verwende wieder die Vorwärtsselektion. Ich klicke einfach auf „Start“. Ich scrolle kurz zu meinem Vorwärtsselektionsmodell. Es ist genau hier.
Nachdem ich meine einzelne Beobachtung habe, kann ich mit der rechten Maustaste klicken. Normalerweise bewege ich den Mauszeiger über einen der Wahrscheinlichkeitswerte. Nach einem weiteren Rechtsklick finde ich ganz unten die Option „Simulieren“. Ich muss sicherstellen, dass die Formelspalte mit der simulierten Anzahl an Erfolgen in beiden Fällen ausgewählt ist; standardmäßig sollte dies der Fall sein. Ich gebe die Anzahl der gewünschten Stichproben an. Sobald ich auf „Starten“ klicke, wird in jeder Simulationsiteration die Formelspalte neu berechnet und mir basierend auf meinem zugrunde liegenden Modell eine neue Anzahl an Stichproben angezeigt.
Das wird für 2.500 Durchläufe durchgeführt, und die Daten werden anschließend in einem übersichtlichen Bericht zusammengefasst. Anstatt also Zeit zu verschwenden und dem Prozess zuzusehen, geht es schnell. Normalerweise dauert es nur etwa eine halbe Minute, maximal eine Minute. Ich habe bereits Ergebnisse getestet, und so sehen sie aus. Hier sind meine 2.500 Durchläufe, abzüglich des ersten Durchlaufs. Ich habe hier einige zusätzliche Funktionen und Formeln hinzugefügt, die ich gerne zur Verfügung stelle. Dies sind die beiden Skripte, die beim Generieren dieses Berichts verwendet werden. Die Poweranalyse ist nur ein Teilbereich der Verteilung. Schauen wir uns die Poweranalyse einmal genauer an.
Das Ergebnis liefert mir eine Menge Daten zur Verteilung der p-Werte aller Simulationsläufe. Wie Sie sich vielleicht an das zugrundeliegende Modell erinnern, waren alle Werte signifikant. Die Simulation zeigt mir also die Verteilung der p-Werte, die ich vorhergesagt habe. Mein vorhergesagter Wert liegt bei etwa 1 zu 10.000, was gut ist. Ich erhalte außerdem die Berechnung des Konfidenzintervalls um meinen vorhergesagten p-Wert. Genau genommen handelt es sich aber nicht um ein Konfidenzintervall, da wir einen Bayes'schen Ansatz verfolgen.
Dies ist eher ein Glaubwürdigkeitsintervall. Vielleicht ist es auch ein Konfidenzintervall. Es begrenzt jedenfalls den Bereich, in dem dieser Wahrscheinlichkeitswert liegt. Besonders interessant und wichtig ist jedoch, wie oft ich meine – in diesem Fall – Nullhypothese verworfen habe. Das bedeutet, dass ich bei einem Signifikanzniveau von 0,01 die Nullhypothese etwa in der Hälfte der Fälle verworfen hätte, obwohl ich weiß, dass es sich um einen realen Effekt handelt. Bei 0,05 würde ich sie in etwa drei Vierteln der Fälle verwerfen usw.
Anhand dieser Informationen stelle ich mir die Frage: Habe ich mein Experiment richtig dimensioniert? Werde ich meine Haupteffekte, meine Haupteffekte und Zwei-Faktor-Wechselwirkungen sowie alle anderen Effekte meines Modells oft genug und in einem ausreichenden Anteil der Fälle nachweisen können, um mit der gewählten Anzahl an Durchläufen zufrieden zu sein? In solchen Fällen gehe ich oft so vor: Ich verlasse mich nicht nur auf die integrierten Berichte, sondern zähle beispielsweise auch die Anzahl der korrekten signifikanten Effekte.
Ich werde einen Schwellenwert festlegen und die Anzahl der korrekten Antworten berechnen. Auch dies wird zusammen mit dem Material bereitgestellt, inklusive einer kurzen Erläuterung und den Formeln, mit denen ich diese Modelle erstelle. Ich muss anhand meiner eigenen Risikodefinition feststellen, ob ich genügend signifikante Effekte erfasst habe, um die Durchführung des Experiments über 5, 10, 20 usw. zu rechtfertigen. Gut, damit wäre alles abgedeckt, was ich Ihnen in JMP zeigen wollte. Kommen wir nun zurück zur Zusammenfassung.
Zusammenfassend lässt sich sagen, dass ich bei der Modellierung dieser Daten unabhängig von der gewählten Technik die Plattform „Modell anpassen“ verwenden werde. Ich habe die Möglichkeit der logistischen Regression, wobei ich entweder die logistische Regression selbst oder eine schrittweise Regression mit logistischer Regression im Hintergrund nutzen kann. Außerdem stehen mir verallgemeinerte lineare Modelle zur Verfügung, die standardmäßig die gleichen Ergebnisse wie die logistische Regression liefern, mir aber zusätzlich die Möglichkeit bieten, die Annahmen bezüglich der Fehler zu lockern und Verzerrungen zu korrigieren. Für die Nutzung mit JMP Pro bietet mir die verallgemeinerte Regression die gleichen Funktionen wie die logistische Regression oder verallgemeinerte lineare Modelle, zusätzlich aber auch die Möglichkeit zur Modellerstellung.
Bei der Dimensionierung des Experiments werde ich es mithilfe des benutzerdefinierten Designers erstellen und anschließend die integrierte Simulationsfunktion von JMP verwenden, um meine Bootstrap-Simulation und -Analyse durchzuführen. Damit wäre mein Thema abgeschlossen. Weitere Informationen finden Sie in den ergänzenden Folien, die ich leider nicht alle durchgehen kann. Ich hoffe jedoch, dass Ihnen die Präsentation gefallen hat und Sie sie zukünftig anwenden können. Vielen Dank.
