Okay, sprechen wir also über das Entwerfen und Analysieren von Experimenten, wenn wir eine Pass/Fail-Antwort haben. Ich werde in dieser Sitzung über Pass/Fail-Antworten sprechen. Dies gilt jedoch eigentlich für alle Fälle, in denen wir es mit einer Antwort zu tun haben, die zwei Kategorien hat, die binär ist, sodass Sie eine der beiden Kategorien oder die andere sein können. Sie schließen sich gegenseitig aus und sind erschöpfend. Pass/Fail, Go/No-Go, Ja/Nein, solange diese Antwort zwei sich gegenseitig ausschließende und erschöpfende Kategorien hat. Wir werden die Sitzung in vier verschiedene Teile aufteilen. Wir beginnen mit einem Beispiel. Vielleicht, hoffentlich, kommt es Ihnen bekannt vor.
Hoffentlich ist es etwas, das Sie in der Vergangenheit vielleicht schon einmal gesehen haben, wenn es um den Umgang mit einem Experiment mit früheren Fehlreaktionen geht. Wir werden ein wenig auf Dinge eingehen, die schiefgehen können. Danach werden wir über das Modell sprechen, denn alles hängt von den zugrunde liegenden Annahmen ab, die ich über das Modell mache, und davon, wohin das die Richtung in Bezug auf die Analyse, die ich auswähle, und in Bezug auf die Dimensionierung des Experiments bestimmt. Wenn wir mit den PowerPoint-Folien fertig sind, werden wir tatsächlich sehen, wie ich die experimentellen Daten analysieren würde, die Beispieldaten, die ich präsentieren werde.
Wir werden über einige der Optionen sprechen, die sowohl in JMP als auch in JMP Pro verfügbar sind. Abschließend werden wir uns mit der Frage beschäftigen, wie Sie die Größe eines Experiments bestimmen. Wie sich bei Pass/Fail-Experimenten herausstellt, kommt es nicht auf die Versuchsdurchläufe an, sondern auf die Anzahl der Versuchsdurchläufe, die Anzahl der Versuche pro Versuchsbedingungen. Wir werden darüber sprechen, wie wir JMP Pro einrichten, wie wir die Simulation einrichten, mit der wir bestimmen können, ob diese Anzahl von Versuchen gut genug ist. Lassen Sie uns über unser Beispiel sprechen, also erstellen wir Widgets. Wir haben einen Prozess, bei dem wir mit der Ausfallrate nicht besonders zufrieden sind.
Wir haben vier verschiedene Faktoren identifiziert, die uns unserer Meinung nach dabei helfen werden, unsere Ausfallrate für diese Widgets zu verbessern. Wir haben einen Zusatzstoff, wir haben einen Kompressionsschritt, bei dem es drei Faktoren gibt, die wir variieren werden. Wir haben Temperatur, Druck und Haltezeit, die wir variieren werden. Die Frage ist: Hat das Widget einen Defekt? Wir verarbeiten das Widget. Ja, es hat einen Defekt, nein, es hat keinen Defekt. Wenn es einen Defekt hat, bezeichnen wir es als Ausfall. Die aktuelle Defektrate liegt bei 15 %, und das werden wir am Ende verwenden, um unser Experiment zu dimensionieren.
Unser Ziel ist es, die Fehlerquote auf fünf Prozent zu senken. Wir wären jedoch schon zufrieden, wenn wir einen Unterschied von etwa drei bis fünf Prozent feststellen könnten. Wenn wir feststellen könnten, dass unsere Fehlerquote auf, sagen wir, zehn Prozent sinkt, wären wir zufrieden. Das würden wir feststellen wollen. Außerdem möchte ich nur wissen, dass jeder Durchlauf etwa 10 Minuten dauert. Ich bin nicht unbegrenzt in Bezug auf die Anzahl der Durchläufe, die ich möchte. Ich kann etwa sechs Durchläufe pro Stunde durchführen.
Also gut, sagen wir, wir geben diesen Faktor in JMP ein. Wir öffnen einen benutzerdefinierten Designer. Wir entscheiden uns für ein Response Surface-Design. Wir fügen drei Mittelpunkte hinzu und das ist das Design, das wir uns ausgedacht haben. So weit, so gut. Wir nehmen das Design, senden es an den Bediener, der das Experiment durchführen wird, und er gibt uns das zurück. Wir haben 24 Durchläufe, also etwa 4 Stunden, um dieses Experiment durchzuführen. Uns wird gesagt, dass diese Einsen und Nullen eine Beobachtung mit einem Defekt oder eine Beobachtung ohne Defekt darstellen. Jetzt gehe ich zur Datenanalyse und gebe sie in JMP ein.
Nun weiß ich, dass diese Einsen und Nullen keine kontinuierlichen Daten sind. Es sind wirklich kategorische Daten. Es sind binäre Daten. Ich werde sie als solche behandeln. Vielleicht weiß ich genug, dass das, womit ich es zu tun habe, logistische Regression genannt wird. Das Modell, weil ich dieses Experiment in JMP entworfen habe, das Antwortoberflächenmodell erscheint in meinem Dialogfeld zur Modellerstellung. Ich gehe zur Anpassung der Analyse und sollte mir sofort Sorgen machen. In Bezug auf diese Parameterschätzungen erhalte ich diese Meldung, dass diese Parameterschätzungen instabil sind.
Nehmen wir an, ich bespreche das mit jemandem, der sich mit solchen Experimenten etwas besser auskennt, und er sagt mir, das Problem sei, dass Sie nur einen Versuch für eine Reihe von Behandlungsbedingungen durchgeführt haben. Sie müssten wirklich mehr als einen Versuch durchführen, um eine gute Schätzung zu erhalten. Nehmen wir an, ich gehe zurück und bespreche das mit dem Betreiber, weil ihm die Idee nicht gefällt, die Größe meines Experiments von einem Versuch auf fünf Versuche zu erhöhen. Jetzt habe ich ein Experiment, das etwa 20 Stunden dauern wird. Aber ich habe ihn überzeugt, dass wir das wirklich tun müssen, und entscheide, das Experiment zu wiederholen, bei dem ich jetzt fünf Versuche für jede Reihe von Versuchsbedingungen habe.
Ich bekomme meine Daten zurück. Ich habe zwei neue Spalten, die mit meinem Experiment zurückgekommen sind. Ich habe die Spalte Y5, die der Anzahl der aufgetretenen Fehler entspricht. Ich habe die Spalte mit dem N darin, die der Anzahl der Versuche für einen Satz experimenteller Bedingungen entspricht. Anstatt dieses Mal mit den Zähldaten zu arbeiten, denke ich, dass ich vielleicht die Anzahl der fehlgeschlagenen Versuche durch die Anzahl der Gesamtversuche dividiere und das als kontinuierliche Daten behandle. Hier habe ich den Anteil der Fehler für einen bestimmten Satz experimenteller Bedingungen.
Ich werde das als kontinuierliche Daten behandeln. Das ist für mich angenehmer, weil ich mit der Datenmodellierung auf diese Weise vertrauter bin. Dasselbe Modell, das wir beim letzten Mal gesehen haben, aber anstatt der logistischen Regression werde ich einfach Standard-Lease-Squares verwenden. Also gut, soweit so gut. Ich verwende meine bevorzugte Modellierungstechnik, vielleicht verwende ich meine bevorzugte Modellreduktionstechnik und dann komme ich zu diesem endgültigen Modell. Auch hier gilt: soweit so gut. Als Nächstes möchte ich optimieren.
Ich möchte wissen, unter welchen Bedingungen die Fehlerrate so weit wie möglich gesenkt werden kann. Ich verwende den Optimierer im Profiler und er sagt mir, dass ich die gesamte Zeit auf 45 Sekunden und die Temperatur auf 45 Grad C einstellen soll, und das sollte mir eine vorhergesagte Fehlerrate unter Null geben. Ich bin vielleicht bereit, dies zu verwerfen, weil dies nahe genug an Null liegt, um zu sagen, na ja, vielleicht ist es nur wirklich nahe an Null, es ist nicht unter Null. Aber ich weiß, dass dies technisch nicht möglich ist. Ich kann keine Fehlerraten unter Null haben. Auch wenn ich damit arbeiten könnte, könnte ich mir fragen, wie genau diese Schätzung ist?
Wie nahe bin ich wirklich an Null? Habe ich ein schlechtes Modell gebaut? Alles geht zurück auf das Modell, das ich habe... Die Annahmen, die ich gemacht habe, wenn ich die Daten als kontinuierlich behandle, und die Annahmen, die ich wahrscheinlich machen sollte, wenn ich Bestanden/Nicht bestanden-Daten habe. Das ist unser typisches Modell. Auf der linken Seite haben wir unsere Antworten, unsere Beobachtungen. In unserem Fall ist es die Wahrscheinlichkeit eines Fehlers. Entschuldigung, auf der linken Seite haben wir die Wahrscheinlichkeit eines Fehlers.
Auf der rechten Seite haben wir unsere linearen Modelle, was wir versuchen, die Beziehung, die wir zwischen unseren Eingaben und unseren Ausgaben aufbauen möchten. Das ist normalerweise das, was wir berücksichtigen. Die typischen Annahmen in diesem Fall sind, dass diese Beziehung linear ist, dass mein Antwortbereich unbegrenzt ist und dass meine Residuen normal sind. Meine Residuen sind, ich passe ein Modell an die Daten an, was auch immer übrig bleibt, das sind meine Residuen. Ich gehe davon aus, dass sie normalverteilt sind, was bedeutet, dass sie symmetrisch um Null herum sind und all diese schönen Eigenschaften haben. Das ist ein Teil des Problems.
Wenn wir mit Wahrscheinlichkeiten arbeiten, sieht unsere Antwort ungefähr so aus. Ich habe etwas, das meiner Meinung nach eher eine S-Form als eine lineare Beziehung hat. Diese lineare Beziehung gilt wirklich nicht. Der unbegrenzte Antwortbereich gilt auch nicht, da ich weiß, dass ich, da ich mit Wahrscheinlichkeiten arbeite, nichts unter Null und nichts über Eins haben kann. Sogar der letzte Punkt, die Annahme normaler Fehler, funktioniert nicht. Wenn Sie darüber nachdenken: Je näher ich der Null komme, je näher meine vorhergesagten Werte der Null kommen, desto weniger Spielraum habe ich für meinen Restwert. Zwischen meinem angepassten Wert und Null beginnt er zu schrumpfen.
Ich kann keine symmetrischen Fehler nahe Null haben. Ebenso kann ich keine symmetrischen Fehler haben, wenn ich mich immer mehr der Eins nähere. In diesem Fall muss etwas passieren. Nun, ich würde hoffen, dass es eine einfache Lösung für dieses Problem gibt. Eine einfache Transformation, wahrscheinlich. Hoffentlich und vielleicht die Verwendung einer anderen Verteilung. Können wir das in JMP tun? Die Antwort ist, dass wir drei verschiedene Optionen haben. Die erste Option, die wir bereits im Beispiel gesehen haben, ist die logistische Regression. Dabei wird die Logit-Transformation auf die Daten angewendet.
In diesem Fall betrachten wir die Wahrscheinlichkeiten nicht als Antwort, sondern als Verhältnis unserer beiden unterschiedlichen Antwortniveaus. Die Wahrscheinlichkeit eines Fehlers geteilt durch die Wahrscheinlichkeit eines Bestehens, und wir nehmen den Logarithmus davon. Wir nehmen diesen Logarithmus, um die Beziehung linear zu machen. Eine andere Möglichkeit, dies zu betrachten, ist, da wir nur zwei unterschiedliche Niveaus haben, es könnte das Verhältnis der Wahrscheinlichkeit des Fehlers geteilt durch 1 minus der Wahrscheinlichkeit des Fehlers sein. Wenn Sie diese Art von Modellen schon einmal verwendet haben und die Begriffe „Quoten“ und „Log-Quoten“ gehört haben, ist dies genau die Definition.
Der allererste Teil der Gleichung ist die Definition der Chancen. Es ist das Verhältnis einer Ebene zum Verhältnis der anderen Ebene. Das sind meine Chancen, und dann nehme ich einfach den Logarithmus davon. Das ist eine Option. Eine andere Möglichkeit ist die Verwendung der sogenannten Probate-Analyse. Bei der Probate-Analyse verwende ich einfach eine andere Transformation. In diesem Fall verwende ich die Umkehrung der Normalverteilung. Oder wenn ich dies jemals im Formeleditor oder mit JSL erstellt habe, ist das einfach die normale Quantilfunktion.
Nun gibt es eine dritte Option, die in JMP möglich ist. Sie erfordert ein wenig Arbeit und wir werden nicht näher auf ihre Verwendung eingehen, aber ich möchte sie vorstellen, da sie in der Literatur häufig vorkommt. Dabei handelt es sich um die ergänzende Log-Funktion. Diese ist in JMP nicht direkt verfügbar. Wir müssen so etwas wie die nichtlineare Plattform verwenden, um sie selbst zu erstellen. Sie kann angenähert werden mit: Es gibt eine Verteilung namens „Smallest Extreme Value Distribution“, aber die müssen wir für einen anderen Tag aufheben. Wir werden uns wirklich auf die Dinge konzentrieren, die in JMP sofort verfügbar sind.
Nun müssen wir hier eine zweite große Annahme treffen, und zwar, dass wir selbst bei der von uns gewählten Transformation, sei es Logit oder Probit, davon ausgehen, dass der Fehler binomial verteilt ist. Denn er besteht aus zwei Teilen. Ich führe nicht nur die Transformation durch, sondern gehe auch von einer anderen Verteilung aus. Wie ich bereits erwähnt habe, sind die ersten beiden direkt in Plattformen in JMP verfügbar, also einfach. Wir werden uns auf diese konzentrieren. Die letzte kann mithilfe der nichtlinearen Plattform modelliert werden. Das Schöne ist, dass alles von der Plattform zum Anpassen von Modellen verfügbar ist. Ich habe drei verschiedene Optionen innerhalb von JMP.
Ich kann die logistische Regression verwenden, die wir, wie gesagt, bereits im Beispiel gesehen haben. Es gibt eine Option namens „verallgemeinertes lineares Modell“, und es besteht eine starke Beziehung zwischen nominaler logistischer Regression und verallgemeinerter linearer Regression. Für JMP Pro-Benutzer haben wir dann die verallgemeinerte Regression, die mir ebenfalls eine ganze Reihe anderer Optionen bietet. Es gibt eine weitere Plattform, auf der Sie eine einfache logistische Regression durchführen können, die Y mal X anpasst. Da wir es aber mit einer experimentellen Bedingung zu tun haben und wir normalerweise mehr als einen Faktor haben, werde ich darüber nicht sprechen. Für eine einfache logistische Regression funktioniert aber auch die Anpassung von Y mal X.
Bevor wir uns damit befassen, wie ich dies in JMP implementiere, müssen wir über die Datenorganisation sprechen, denn wie organisieren wir die Daten? Was sind die Daten? Wir wissen, wie wir die Daten organisieren. Das lässt sich ganz einfach im Dialogfeld „Modell anpassen“ einrichten. Lassen Sie mich Ihnen ein kurzes, einfaches Beispiel geben. Nehmen wir an, wir haben ein Zwei-Faktor-Experiment, Zeit und Temperatur. Wir haben ein vollfaktorielles Experiment durchgeführt, also haben wir alle möglichen Kombinationen von Zeit und Temperatur. Nehmen wir an, wir planen fünf Versuche pro experimenteller Behandlung.
Mit Behandlung meine ich eine Reihe, unseren einzigartigen Satz von Kombinationen, unsere Reihe in dieser Datentabelle. Ich habe drei verschiedene Möglichkeiten, die Daten einzurichten. Die erste Möglichkeit, die Daten einzurichten, ist einfach als Rohdaten. Jede Reihe in meiner Datentabelle entspricht einem Versuch. Sie werden feststellen, dass die allererste Reihe in den Rohdaten eine Behandlungskombination 1 mit einer bestimmten Zeit und Temperatur ist. In diesem Fall ist meine binäre Antwort, ob meine Antwort grün oder rot ist. Diese erste Antwort war grün. Die zweite Reihe ist wieder eine Behandlungskombination 1, und diese Antwort war rot und so weiter.
Das ist das Rohformat. Alle drei Ansätze können das Rohformat verwenden. Jetzt kann ich zusammenfassen. Manchmal ist es sinnvoller, die Daten zusammenzufassen. Wenn ich die Daten zusammenfasse, fasse ich sowohl die Behandlungsbedingung als auch die Reaktionsstufe zusammen. Sie werden feststellen, dass ich in der ersten Zeile des zusammengefassten Stapels die Behandlungsbedingung eins habe, alle Grüntöne und zwei Fälle, in denen ich Grün gesehen habe. Die zweite Zeile ist meine zweite Behandlungskombination, drei Beobachtungen von Grüntönen und so weiter. Was ich gerade aggregiert habe, über meine Behandlungskombination und meine Reaktionsstufen.
Okay, alle drei Ansätze können dieses zusammengefasste Stapelformat verwenden. Die dritte Organisation, und für viele Leute wahrscheinlich die natürlichste, weil sie der Organisation sehr ähnlich sieht, die ich für ein lineares Modell verwenden würde, ist das zusammengefasste Split-Format. In diesem Fall habe ich wieder über Behandlungskombinationen aggregiert, aber nur für eine meiner Behandlungsstufen. Sie werden feststellen, dass ich in diesem Fall gezählt habe, wie oft ich für jeden Versuch eine grüne Beobachtung gesehen habe, und ich habe auch die Anzahl der Versuche gezählt. Wenn ich beispielsweise ein DOE mit dem benutzerdefinierten Designer erstellen würde, wäre dies das Format, das ich erwarten würde, wenn ich Daten eingeben würde.
Wenn ich das zusammengefasste Stapelformat verwenden wollte, müsste ich diese Läufe tatsächlich duplizieren. Ich hätte einen für mein Grün, einen für mein Rot und müsste die Dinge einfach ein bisschen anders organisieren. Die logistische Regression kann dieses Format nicht verwenden. Ich muss eines der beiden anderen Formate verwenden. Die verallgemeinerten linearen Modelle und die verallgemeinerte Regression können dieses Format verwenden. Das ist zu beachten, wenn Sie die logistische Regression verwenden möchten. Okay, lassen Sie mich das machen. Genug mit PowerPoint. Lassen Sie mich zu JMP gehen und darüber sprechen, wie ich jedes dieser Beispiele mit den experimentellen Daten, die wir gesehen haben, analysiert hätte.
Okay, machen wir eine logistische Regression. Wir beginnen mit dem ersten Beispiel, der logistischen Regression. Mir fällt auch auf, dass ich meinen zusammengefassten Stapel habe. Ich habe hier ein Format. Ich habe eine Spalte, in der meine bestandenen und meine nicht bestandenen Versuche stehen, die Anzahl. Das sind aggregierte Daten. Die Anzahl habe ich auch in einer anderen Spalte. Also gut, also ziemlich unkompliziert. Alles, worüber wir sprechen werden, wird unter dem Fit-Modell liegen. Da ich dies in JMP entworfen habe, kommt es mit meinem Modell.
Dies ist mein Antwortoberflächenmodell, in dem ich das Experiment entworfen habe. Es ist bereits in meinem Dialogfeld hier vorab ausgefüllt. Ich möchte nur darauf hinweisen, dass meine Antwort in diesem Fall nominal ist. Das ist bestanden/nicht bestanden. Ich brauche diese Zählungen auch dort, weil ich meine Daten aggregiert habe. Ich werde mein Zielniveau auswählen, und das hängt wirklich von der Ausrichtung ab, in der ich meine Ausgabe sehen möchte, ob ich Dinge aus der bestandenen oder der nicht bestandenen Ausrichtung tun möchte. Lassen Sie mich das einfach festlegen. Setzen wir es wieder auf bestanden. Jetzt habe ich hier ein paar verschiedene Auswahlmöglichkeiten.
Beide sind logistische Regressionen. Ich habe eine nominale logistische Regression. Wenn ich ein wenig über schrittweise Regression weiß, kann ich auch eine schrittweise Regression auf meinem Logit-Modell, auf meinem logistischen Regressionsmodell durchführen. Das ist auch eine Option. Also gut, bleiben wir einfach bei der ursprünglichen nominalen Logistik. Ich werde mein Modell ausführen. Auch hier werde ich eine Datenreduktionstechnik oder eine Modellreduktionstechnik verwenden. Ich könnte einfach dort hineingehen und manuell Elemente aus dem Modell entfernen und so weiter. Oder ich hätte hierfür eine schrittweise Regression verwenden können.
Es ist wirklich nicht wichtig, weil ich von Anfang an das richtige Modell habe. Lassen Sie mich noch einen Term aus meinem Modell entfernen. So, das ist es. Nehmen wir an, dies ist unser endgültiges Modell, wir sind mit diesem Modell zufrieden. Gehen wir zu unserem Profiler. Lassen Sie mich nach unten zum Profiler scrollen und ihn ein wenig vergrößern, damit wir ihn besser sehen können. Einer der Vorteile der Verwendung dieses Modells besteht darin, dass mein Profil, meine Erfolge und Nichterfolge, begrenzt sind, aber wir müssen Wahrscheinlichkeiten zwischen null und eins haben. Lassen Sie mich meine Wunschfunktionen aktivieren. Das wird jetzt ein wenig anders aussehen, weil es wirklich in zwei Gruppen aufgeteilt ist.
Ich habe den Anteil der Durchläufe, den ich anstreben möchte, und den Anteil der Fehlschläge. Ich werde diese Fehlschläge einfach auf Null setzen, weil ich nicht für irgendwelche Fehlschläge optimieren möchte. Ich werde meine Erwünschtheit bei meinen Durchläufen erhöhen und, lasst uns fortfahren und meine Erwünschtheit maximieren. Es sagt mir wieder die gleiche gesamte Zeit in Temperatur. Ich bekomme jedoch eine bessere Schätzung der vorhergesagten Ausfallrate oder der vorhergesagten Erfolgsrate in diesem Fall. Dies sagt mir, dass ich mit diesen Einstellungen eine Erfolgsrate von ungefähr 96 % haben sollte, also ungefähr eine Ausfallrate von vier Prozent.
Sicherlich nicht unter Null und etwas weiter von Null entfernt, als ich erwartet hätte. Okay, also fahren wir mit unseren verallgemeinerten linearen Modellen fort. Wir werden das zusammengefasste Split-Format verwenden. Auch dies ist etwas, das Ihnen bekannt vorkommen sollte, wenn Sie zuvor lineare Modelle verwendet haben. Ich habe dies wahrscheinlich die Beobachtungen, die aus meinem Designexperiment stammen. Ich habe die Anzahl der Beobachtungen in einer meiner Ebenen gezählt, und in diesem Fall habe ich die Anzahl der fehlerhaften Elemente gezählt, und dann habe ich die Gesamtzahl der Versuche.
Also gut, ich gehe noch einmal in mein Dialogfeld „Modell anpassen“. Dies ist etwas anders eingerichtet. Für diese bestimmte Organisation habe ich zwei kontinuierliche Variablen. Die erste muss die Anzahl meiner individuellen Ebene sein und die zweite meine Gesamtanzahl. Ich habe hier bereits das verallgemeinerte lineare Modell als Standard festgelegt. Ich habe meine Verteilung ausgewählt. In diesem Fall ist es standardmäßig Binomial. Hier habe ich die Möglichkeit, mir Logit oder Probit anzusehen. Wir haben leichte Unterschiede in Bezug auf die Wahrscheinlichkeiten. Machen wir einfach mit Logit weiter. Standardmäßig liefern mir Logit und logistische Regression dieselben Ergebnisse.
Was verallgemeinerte lineare Modelle ein wenig vorteilhaft macht, ist, dass ich einige der Annahmen, die wir zuvor gesehen haben, lockern kann. Eine dieser Annahmen ist, dass der Fehlerterm einer Binomialverteilung folgt. Bei Binomialfehlern sind sie fest, sie sind unabhängig von der Wahrscheinlichkeit gleich. Wenn ich meine Überdispersion einschalte, sage ich: Nun, die Variabilität ist ein bisschen größer als erwartet, oder der Fehler könnte ein bisschen größer sein als erwartet. Das lockert diese Annahme von Binomialfehlern ein wenig.
Ich kann meine Schätzungen auch an mögliche Verzerrungen anpassen. Ich schalte einfach meine Überdispersion ein. Ich werde mein Modell erneut ausführen. Einer der Nachteile dieses Ansatzes ist, dass Sie hier nicht die Möglichkeit haben, schrittweise vorzugehen. Sie müssen dort einsteigen und dies entweder manuell tun oder ein Modell annehmen, bevor Sie entscheiden, mit welchem endgültigen Modell Sie arbeiten möchten. Ich werde dies erneut manuell tun. Ich werde meine drei wichtigen Faktoren ermitteln. Sie werden feststellen, wenn Sie dies mit der logistischen Regression vergleichen, dass meine Variabilität tatsächlich etwas größer ist als geschätzt, weil ich diese Überdispersion eingeschaltet hatte.
Mein P-Wert ist etwas größer. Hier muss ich mich fragen, ob ich wirklich glauben möchte, dass es sich nicht lohnt, diese im Modell zu belassen, auch wenn sie nicht signifikant sind usw. Aber das Schöne ist, dass ich die Möglichkeit habe, diese bestimmte Annahme im Modell zu lockern. Wenn ich meinen Profiler einschalten und meine Optimierung durchführen möchte, ist das ebenfalls möglich. Ich habe dieselben tollen Fähigkeiten. In diesem Fall ist die Organisation etwas anders, weil ich keine vergangenen Fehler modelliere, sondern Wahrscheinlichkeiten. Es ist der Profiler, den wir eher gewohnt sind zu sehen. In diesem Fall möchte ich das natürlich nicht optimieren, weil ich meine Fehler maximieren würde. Ich werde das minimieren. Lassen Sie uns fortfahren und das optimieren.
Auch hier wird mir die gesamte Zeit, 45 Sekunden, Temperatur, 45 Sekunden angezeigt. Es wird mir eine leicht unterschiedliche Schätzung geben, obwohl sie sehr nahe beieinander liegen. Das Schöne ist wieder, dass ich hier begrenzt bin. Es spielt keine Rolle, wohin der Schieberegler geht, ich bin mit diesen Wahrscheinlichkeiten zwischen null und eins begrenzt. Also gut, für das letzte Beispiel sprechen wir über die verallgemeinerte Regression. Dies ist eine Funktion, die nur in JMP Pro verfügbar ist. Sie bietet mir ein paar weitere zusätzliche Optionen. Ich habe denselben Ausgangspunkt, passe das Modell an, habe dasselbe Setup, weil ich meine zusammengefassten geteilten Daten habe.
Ich werde jedoch die verallgemeinerte Regression wählen. Jetzt werde ich eine andere Verteilung wählen. In diesem Fall kenne ich meine Antwort, weil sie hier mit zwei verschiedenen Variablen eingerichtet ist. Ich habe eine binomiale Antwort, oder ich kann Beta-Binomial wählen. Beta-Binomial ist eine analoge Technik zur Verwendung dieser Überdispersionsoption in meinem verallgemeinerten linearen Modell. Dadurch kann ich eine Varianz berücksichtigen, die sich in Abhängigkeit von der Wahrscheinlichkeit ändert. Wir bleiben in diesem Fall bei der Standardeinstellung. Lassen Sie uns fortfahren und das Modell ausführen.
Wenn Sie schon einmal eine verallgemeinerte Regression verwendet haben, wissen Sie, dass alle Ihre Modellreduktionstechniken auf dieser Plattform verfügbar sind. In diesem Fall würde ich wahrscheinlich eine dieser Techniken verwenden. Lassen Sie mich sicherstellen, dass ich meine ... Ich werde Vererbung erzwingen. Lassen Sie uns eine vorwärts gerichtete schrittweise Regression verwenden. Ich habe hier eine ganze Reihe verschiedener Optionen. Wenn Sie noch nie eine verallgemeinerte Regression gesehen haben, habe ich eine ganze Reihe netter verschiedener Optionen in Bezug auf meine Modellreduktionstechniken. Ich verwende vorwärts gerichtete schrittweise Regression, was die Standardeinstellung für schrittweise Regression ist. Klicken Sie auf „Los“, und hier ist mein endgültiges Modell.
Auch hier gilt: sehr konsistent. Alle drei Modelle liefern mir sehr konsistente Ergebnisse. Die Parameterschätzungen werden leicht unterschiedlich sein. Die Wahrscheinlichkeiten werden leicht unterschiedlich sein. Okay, die Frage ist jetzt also: Habe ich genügend Versuche durchgeführt, um dieses Experiment wirklich lohnenswert zu machen? Damit kommen wir zu der Frage, wie ich mein Experiment richtig dimensioniere. Lassen Sie mich für ein paar kurze Folien zum Einrichten des Experiments zu meiner PowerPoint-Foliensammlung zurückkehren.
So werden wir das machen, so werden wir das Experiment dimensionieren, und das ist übrigens eine Funktion, die nur in JMP Pro standardmäßig verfügbar ist. Für Nicht-JMP-Pro-Benutzer: Sie können hierfür möglicherweise ein JSL-Skript schreiben, aber das wäre sehr umständlich. JMP Pro macht die Einrichtung extrem einfach. Wir beginnen mit dem benutzerdefinierten Designer. Wir werden unser beabsichtigtes Design mit dem benutzerdefinierten Designer erstellen. Bevor wir die endgültige Tabelle generieren, die wir sehen, werden wir die Simulation von Antworten aktivieren.
Das ist der Hotspot in der oberen linken Ecke. Sobald wir die Datentabelle erstellt haben, wird ein Dialogfeld angezeigt, in dem wir die Koeffizienten ändern können. Auf der nächsten Folie werde ich ein wenig darüber sprechen, wie wir diese Koeffizienten festlegen. Wir werden diese Koeffizienten ändern. Wir werden sie auf die gewünschte Größe ändern. Auch hier werde ich auf der nächsten Folie etwas detaillierter darauf eingehen. Sobald wir die Koeffizienten geändert haben, legen wir den Fehler auf binomial fest, wählen die Stichprobengröße und die Anzahl der Versuche aus, die wir sehen möchten, und klicken dann einfach auf „Übernehmen“.
Die Option „Antwort simulieren“ erstellt mir zwei Spalten, da ich Binomialfehler ausgewählt habe. Eine Spalte enthält die Anzahl der simulierten Versuche, die Anzahl der erfolgreichen Versuche, und die andere die Gesamtzahl der Versuche. Damit führen wir unsere Gesamtsimulation durch. Lassen Sie uns darüber sprechen, wie wir diese Koeffizienten festlegen, da dies ein entscheidender Schritt bei der Dimensionierung des Experiments ist. Wie wir diese Koeffizienten festlegen, hängt vom zugrunde liegenden Modell ab. Das heißt, ob ich ein Logit- oder ein Probit-Modell auswähle.
In meinem Beispiel werden die Daten verwendet, die wir gerade gesehen haben, das Beispiel, das wir gerade mit dem Logit-Modell gesehen haben. Das wird bestimmen, wie wir diese Werte festlegen, die Basiswahrscheinlichkeit. Wenn Sie sich an unser Beispiel erinnern, haben wir gesagt, dass wir als Basis eine Ausfallrate von etwa 15 % haben. Das wird unsere Basis sein. Dann müssen wir uns fragen, bei welcher Wahrscheinlichkeit möchte ich einen Unterschied sehen können. Erinnern Sie sich noch einmal daran, dass wir gesagt haben, dass wir zufrieden wären, wenn wir eine Änderung von 10 % sehen könnten. Das ist dann die Dimensionierung, die wir für unser Experiment wollen, diese Möglichkeit, eine Änderung von 15 % auf 10 % Verbesserung zu sehen.
Was wir tun werden, ist, dass wir die Transformation, die wir gesehen haben, tatsächlich verwenden werden, um Werte an unserer Basislinie, an unseren 10 %, an der Wahrscheinlichkeit, die wir erkennen möchten, zu berechnen. Wir werden die Differenz dieser beiden Werte nehmen und diese als unseren Koeffizienten verwenden. Wenn wir diesen Logit-Basiswert verwenden, sind das einfach diese 15 % geteilt durch 1 minus 15 %. Unser Basiswert ist -1,73. Wenn wir eine Änderung auf eine Ausfallrate von 10 % sehen möchten, werde ich das einfach in die Gleichung einsetzen. Es ist 0,1 geteilt durch 1 minus 0,1. Das ergibt minus 2,2. Damit ist der Koeffizient einfach die Differenz zwischen diesen beiden Werten. Ich werde ungefähr 0,5 als meinen Koeffizienten verwenden.
Genug PowerPoint. Sehen wir uns an, wie das in der Praxis gemacht wird. Ich habe mein Experiment und meine experimentellen Faktoren. Ich werde einfach den benutzerdefinierten Designer verwenden. Lassen Sie mich meine Faktoren dort laden. Ich werde das gewünschte Design erstellen. Wenn Sie sich erinnern, sagte ich: „Nun, ich habe ein Antwortoberflächendesign. Fügen wir dort drei Mittelpunkte hinzu. Lassen Sie uns das in beispielsweise 24 Durchläufen machen.“ Ich klicke einfach auf „Design erstellen“, lasse das durchlaufen und bestimme das beste Design aus dem Algorithmus. Bevor ich diese allerletzte Tabelle erstelle, gehe ich zum Hotspot und sage „Antworten simulieren“. Jetzt werde ich meine Tabelle erstellen. Diese Tabelle gibt mir mein Design und ich werde meine Koeffizienten in die Werte ändern, die ich berechnet habe.
Lassen Sie mich diese einfach zurücksetzen. Ich sagte, mein Achsenabschnitt sei -1,73. Ich werde jeden meiner Koeffizienten auf 0,5 setzen. Lassen Sie mich das einfach kopieren, damit ich sie einfügen kann. Schließlich werde ich meine Verteilung, meine Fehlerverteilung auf Binomial setzen. Jetzt werde ich auf die Schaltfläche „Übernehmen“ klicken. Ich möchte, dass Sie diese Tabelle im Auge behalten. Dadurch werden diese beiden Spalten generiert, die ich für meine Analyse verwenden werde. Lassen Sie mich eine Sekunde zurückgehen. Ich wollte meine Stichprobengröße festlegen. Das darf ich nicht vergessen. Wenn Sie sich erinnern, hatte ich im ursprünglichen Experiment fünf Durchläufe. Beim zweiten Mal, als ich das Experiment durchführte, werde ich das erneut anwenden. Jetzt habe ich die richtigen Gleichungen darin.
Dies sind die Spalten, die ich für die erste Analyse und die Simulation verwenden werde. Wenn Sie möchten, können Sie diese Effekte tatsächlich signieren. Mit Signieren meine ich, sie negativ oder positiv zu machen, je nachdem, welche Beziehung Sie erwarten. Aus Zeitgründen habe ich nicht darüber gesprochen. Ich habe eine Folie, auf der erläutert wird, wie ich diese verschiedenen Effekte durchgehen und sagen könnte: „Sollte das positiv oder negativ sein?“ Das ist auch möglich. Natürlich wird es die Ergebnisse in geringerem Maße beeinflussen als die tatsächliche Größe der Effektstärken. Aber insofern, als es bei den meisten Designs, sofern sie nicht vollständig orthogonal sind, eine Korrelation zwischen diesen Effekten gibt und ob ein Effekt positiv oder negativ ist, einen gewissen Einfluss auf meine Leistungswerte haben könnte.
Jetzt, da ich fertig bin und mein erstes Design erstellt habe, gehe ich zu meinem Fit-Modell. Ich werde das Design analysieren. Ich muss sicherstellen, dass ich meine Simulationen und Versuche einfüge. In dieser speziellen Situation verwende ich normalerweise die verallgemeinerte Regression und wieder die Binomialmethode, da ich alle diese Optionen zur Modellreduzierung habe. Das Schöne ist, dass diese alle bei der Simulation durchgehen. Ich muss mir keine Gedanken darüber machen, irgendwelche Skripte zu schreiben, um das tun zu können. Lassen Sie uns das ausführen. Ich werde wieder die Vorwärtsauswahl verwenden. Ich klicke einfach auf „Los“. Lassen Sie mich einfach nach unten zu meinem Vorwärtsauswahlmodell scrollen. Es ist genau hier.
Jetzt, da ich meine einzelne Beobachtung habe, kann ich mit der rechten Maustaste klicken. Normalerweise fahre ich mit der Maus über einen der Wahrscheinlichkeitswerte. Ich klicke mit der rechten Maustaste und ganz unten gibt es die Option „Simulieren“. Ich muss sicherstellen, dass die Formelspalte mit der simulierten Anzahl von Erfolgen in beiden ausgewählt ist, und das sollte sie standardmäßig sein. Ich gebe die Anzahl der Stichprobenversuche an, die ich durchführen möchte. Wenn ich jetzt auf „Los“ klicke, wird bei jeder Iteration der Simulation diese Formelspalte neu berechnet und ich erhalte eine neue Anzahl von Versuchen basierend auf meinem zugrunde liegenden Modell.
Ich werde das für 2.500 Durchläufe machen und dann diese Daten in einem schönen Bericht zusammenfassen. Anstatt Zeit damit zu verbringen, zuzusehen, wie sich alles dreht, geht es schnell. Normalerweise dauert es nur etwa eine halbe Minute, vielleicht eine Minute. Ich habe tatsächlich Ergebnisse ausgeführt, und so sehen die Ergebnisse aus. Hier habe ich meine 2.500 Durchläufe, abzüglich des allerersten anfänglichen Durchlaufs. Ich habe hier tatsächlich einige zusätzliche Funktionen hinzugefügt, Formeln hier, die ich gerne weitergeben werde. Aber dies sind die beiden Skripte, die hinzugefügt werden, wenn dieser Bericht generiert wird. Die Leistungsanalyse ist nur eine Teilmenge der Verteilung. Werfen wir einen Blick auf die Leistungsanalyse.
Dadurch erhalte ich eine ganze Reihe von Daten für alle diese Durchläufe. Wie ist die Verteilung dieser P-Werte? Wenn Sie sich an das zugrunde liegende Modell in diesem Fall erinnern, war alles signifikant. Das sagt mir, dass dies die Verteilung meiner P-Werte ist, die ich durch meine Simulation gesehen habe. Mein vorhergesagter Wert liegt bei etwa 1 zu 10.000, also ist das gut. Ich erhalte eine Berechnung meines Konfidenzintervalls um meinen vorhergesagten P-Wert. Eigentlich glaube ich nicht, dass es ein Konfidenzintervall ist, da wir einen Bayes-Ansatz verwenden.
Dies ist eher ein glaubwürdiges Intervall. Vielleicht ist es ein Konfidenzintervall. Aber es wird dort begrenzt sein, wo dieser Wahrscheinlichkeitswert ist. Eine interessante und wichtige Information ist jedoch die Häufigkeit, mit der ich in diesem Fall die Nullhypothese abgelehnt habe. Dies sagt mir, dass ich, wenn ich ein Alpha-Niveau von 0,01 wählen würde, diese Nullhypothese etwa die Hälfte der Zeit abgelehnt hätte, obwohl ich weiß, dass ich sie tatsächlich als einen realen Effekt modelliere. Wenn ich auf 0,05 gehe, habe ich sie etwa drei Viertel der Zeit abgelehnt und so weiter.
Anhand dieser Informationen stelle ich mir die Frage: Habe ich die Größe meines Experiments richtig bestimmt? Kann ich meine Haupteffekte, meine Haupteffekte und Zwei-Faktor-Wechselwirkungen sowie alle anderen Effekte auf mein Modell häufig genug und in einem ausreichend großen Anteil erkennen, sodass ich mit der Anzahl der von mir ausgewählten Durchläufe zufrieden bin? In solchen Fällen verlasse ich mich häufig auf einige der integrierten Berichte, sondern zähle beispielsweise die Anzahl der korrekten signifikanten Effekte.
Ich gebe einen Grenzwert ein und berechne die Anzahl der richtigen Antworten. Auch das wird alles zusammen mit dem Material verpackt, mit ein paar Erklärungen und den Formeln, wie ich all diese Modelle erstellen würde. Auch hier muss ich wirklich meine eigene Risikodefinition verwenden, um zu bestimmen, ob ich eine ausreichende Anzahl dieser signifikanten Effekte erfasst habe, damit es sich lohnt, das Experiment 5-mal, 10-mal, 20-mal usw. durchzuführen. Also gut, das war’s, was ich Ihnen in JMP zeigen wollte. Kehren wir zu unserer Zusammenfassung zurück.
Zusammenfassend verwende ich beim Modellieren dieser Daten die Plattform „Modell anpassen“, unabhängig davon, welche der Techniken ich verwende. Ich habe eine logistische Regression, wobei ich entweder eine logistische Regression oder eine schrittweise Regression mit einer logistischen Regression im Hintergrund verwenden könnte. Ich habe verallgemeinerte lineare Modelle, die mir standardmäßig dasselbe Ergebnis wie eine logistische Regression liefern, aber zusätzlich die Möglichkeit bieten, die Annahmen bezüglich meiner Fehler zu lockern und Verzerrungen zu korrigieren. Dann habe ich eine verallgemeinerte Regression, denn wenn ich JMP Pro habe, kann ich damit das tun, was ich bei einer logistischen Regression oder einem verallgemeinerten linearen Modell sehen würde, und habe zusätzlich den Vorteil, dass ich auch einige Modelle erstellen kann.
Wenn ich das Experiment dimensioniere, werde ich es mit dem benutzerdefinierten Designer erstellen und dann die integrierte Simulationsfunktion von JMP verwenden, um mein Bootstrap-Simulationsexperiment, meine Bootstrap-Simulationsanalyse, ausführen zu können. Damit ist das, worüber ich sprechen wollte, abgeschlossen. In den ergänzenden Folien wird es weitere Informationen geben, für deren Durchsicht ich leider keine Zeit habe, aber ich hoffe, Ihnen hat gefallen, was Sie gesehen haben, und hoffentlich ist es etwas, das Sie in Zukunft verwenden können, und es wird von Nutzen sein. Vielen Dank.
