| Lautsprecher |
Transkript |
| Bradley Jones |
Danke, dass Sie dabei sind. |
| |
Ich werde einen Vortrag über Screening-Designs des 21. Jahrhunderts halten. |
| |
Das Thema Screening-Designs hat sich in den letzten 20 Jahren verändert. |
| |
Ich möchte über die drei Arten von Screening-Designs sprechen, die ich empfehlen würde und die alle in JMP verfügbar sind. |
| |
A-optimale Screening-Designs, definitive Screening-Designs (DSDs) und gruppenorthogonale supergesättigte Screening-Designs (GO SSDs). |
| |
Das mag Sie jetzt vielleicht ein wenig überraschen, da die Standardeinstellung im benutzerdefinierten Designer seit etwa 20 Jahren D-optimal ist. |
| |
In den letzten Jahren bin ich jedoch zu dem Schluss gekommen, dass A-optimale Designs besser sind als D-optimale Designs. Ich werde diesen Punkt im ersten Abschnitt dieses Vortrags erläutern. |
| |
Dies sind die drei Designs, die ich vergleiche. Ich beginne mit A-optimalen Designs. Meine Folie enthält eine Grafik, die genau zeigt, warum ich denke, dass A-optimale Designs in vielen Fällen besser sind als D-optimale Screening-Designs. |
| |
Das Beispiel ist ein Vier-Faktor-12-Run-Design zur Anpassung aller Haupteffekte und aller Zwei-Faktor-Interaktionen von vier kontinuierlichen Faktoren. Sie können dies für das A-optimale Design hier sehen... |
| |
Ich zeige, dass es im Korrelationszellendiagramm nur drei Zellen mit Korrelationen ungleich Null gibt. Die übrigen paarweisen Korrelationen sind beim A-optimalen Design alle Null. |
| |
Beim D-optimalen Design gibt es überall zahlreiche Korrelationen, was die Modellauswahl erschwert. |
| |
Damit ist mein erstes Beispiel abgeschlossen. Was ist A-optimal, fragen Sie sich vielleicht? Wofür steht das „A“ in A-Optimalität? |
| |
Das „A“ steht für die durchschnittliche Varianz der Parameterschätzungen für das Modell. |
| |
Die Parameterschätzungen entsprechen den Schätzungen der vier Haupteffekte und der sechs Zwei-Faktor-Interaktionen. Minimiert man deren Durchschnitt, gelingt es tendenziell, jeden einzelnen Effekt angemessen zu senken – zumindest besser als einige andere Ansätze. |
| |
Um sich die Bedeutung von A-optimal zu merken, steht „A“ für Durchschnitt, also die durchschnittliche Varianz der Parameterschätzungen. |
| |
Bradley Jones |
| Bradley Jones |
Das macht das A-Optimalitätskriterium leicht verständlich. Jeder weiß, was ein Durchschnitt ist. Wir haben all diese Schätzungen. Wir wollen, dass die Varianzen dieser Schätzungen im Allgemeinen gering sind, und genau das leistet das A-Optimalitätskriterium auf direkte Weise. |
| |
Das andere Schöne an A-optimalen Designs ist, dass A-optimale Designs es ermöglichen, durch Gewichtung unterschiedliche Gewichtungen auf Parametergruppen zu legen. |
| |
Nun könnten Sie D-optimale Designs gewichten, aber die Gewichtung eines D-optimalen Designs ändert nichts am Design und ist daher ziemlich nutzlos. |
| |
Bei der Gewichtung A-optimaler Designs hingegen erhalten Sie eine unterschiedliche Gewichtung der Parameter. Man könnte sagen: „Haupteffekte sind mir wichtiger als Zwei-Faktor-Interaktionen, deshalb möchte ich sie höher gewichten.“ Genau dafür gibt es in JMP Funktionen. |
| |
Ich habe zwei verschiedene A-optimale Designdemonstrationen. Eine davon ist die, die ich Ihnen gerade gezeigt habe |
| |
das heißt, die Ausgabe für vier Faktoren, 12 Durchläufe, D-optimal gegenüber A-optimal für alle Zwei-Faktor-Interaktionen und Haupteffekte. Das zweite Beispiel ist ein Fünf-Faktor-Experiment mit 20 Durchläufen und einem Modell mit Haupteffekten und allen Zwei-Faktor-Interaktionen. |
| |
Mit D-Optimal im Vergleich zu einem gewichteten A-Optimal, wobei ich im A-Optimal-Design den Haupteffekten mehr Gewicht lege. Lassen Sie mich zu JMP wechseln. |
| |
Hier ist der D-optimale Entwurf für vier Faktoren und zwölf Durchläufe und hier der A-optimale Entwurf für dasselbe Problem. Und jetzt möchte ich diese beiden Entwürfe vergleichen. |
| |
Wenn wir uns die relative Schätzleistung ansehen, weist das A-optimale Design eine höhere ... Schätzleistung für jeden Parameter außer diesem auf ... |
| |
mit Ausnahme des Parameters, der die Interaktion zwischen X1 und X3 darstellt. |
| |
Wenn wir uns die durchschnittlichen Korrelationen für das A-optimale Design ansehen, beträgt die durchschnittliche Korrelation nur 0,02, während … |
| |
Für das D-optimale Design beträgt die durchschnittliche absolute Korrelation 0,116. Die Korrelation im D-optimalen Design ist also fast sechsmal so hoch wie im A-optimalen Design. |
| |
Das A-optimale Design ist nicht ganz so D-effizient |
| |
Als D-optimales Design. Natürlich wurde das D-optimale Design gewählt, um das D-effizienteste zu sein, das man erreichen kann. Die Tatsache, dass das A-optimale Design immer noch |
| |
Eine D-Effizienz von über 97 % ist wirklich gut. Aber sehen Sie, das A-optimale Design ist 87,5 % G-effizienter als das D-optimale Design. Das A-optimale Design reduziert also die schlechteste mögliche Varianz der Vorhersage. |
| |
Natürlich ist der A-Wirkungsgrad des A-optimalen Designs um 14,5 % höher als der A-Wirkungsgrad des D-optimalen Designs. |
| |
Und die I-Effizienz des A-optimalen Designs ist 16 % effizienter als die des D-optimalen Designs. Alle diese Effizienzmessungen und alle diese Korrelationen |
| |
Machen Sie mir ziemlich klar, dass das A-optimale Design in diesem Fall weitaus besser ist als das D-optimale Design. Und das ist einer der Gründe, warum A-Optimalität jetzt der Standard für Screenings ist, einschließlich Zwei-Faktor-Interaktionen in JMP 16. |
| |
Schauen wir uns das zweite Beispiel an. Hier habe ich ein Fünf-Faktor-Experiment. Hier ist das Fünf-Faktor-20-Run-D-optimale Design und dann ein Fünf-Faktor |
| |
20-fach gewichtetes A-optimales Design. Jetzt zeige ich Ihnen das JMP-Skript, das dieses Design erstellt. Ich zeige Ihnen die Parametergewichte. Dieser Gewichtungsfaktor bedeutet, dass ich den Achsenabschnitt und die fünf |
| |
Haupteffekte |
| |
100-mal höher als die |
| |
10 Zwei-Faktor-Interaktionen. Mal sehen, welche Auswirkungen das auf das Design hat. Jetzt vergleichen wir die Designs. |
| |
Und sehen Sie, hier ist die Effizienz des D-optimalen Designs in Bezug auf das gewichtete A und das gewichtete A schätzt die fünf Haupteffekte alle besser als das D-optimale Design, weil das D-optimale Design |
| |
Bradley Jones |
| Bradley Jones |
diese 97% bis 99% |
| |
ist die relative Effizienz des D-Optimums im Vergleich zum gewichteten A-Optimum zur Schätzung der Haupteffekte. Die Gewichtung der Haupteffekte führt dazu, dass man etwas schlechtere |
| |
Varianz für die Zwei-Faktor-Interaktionen. Hier verbessern Sie Ihre Schätzung der Haupteffekte auf Kosten einer etwas schlechteren Schätzung der Zwei-Faktor-Interaktionen. Genau das wollten Sie aber mit der starken Gewichtung der Haupteffekte erreichen. |
| |
Auch hier sind die durchschnittlichen absoluten paarweisen Korrelationen zwischen den |
| |
für das gewichtete A ist etwa 50 % besser als für das D-optimale Design. Und wenn wir uns die Diagramme der A-optimalen Korrelationszellen mit denen der D-optimalen Korrelationszellen vergleichen, sehen wir, dass es viel mehr |
| |
Es gibt viel mehr weiße Zellen im A-optimalen Diagramm, was bedeutet, dass diese |
| |
Diese paarweisen Korrelationen sind Null. Hier gibt es viele Nullen. Das bedeutet, dass es viel einfacher sein wird, die wirklich aktiven Effekte von den inaktiven Effekten zu trennen. |
| |
Das D-optimale Design ist nur ein halbes Prozent besser als das A-optimale Design, selbst nach seinen eigenen Kriterien, aber die A-Effizienz |
| |
liegt genau im Nominalbereich und das A-optimale Design ist G-effizienter und auch I-effizienter als das D-optimale Design. Hier ist es vielleicht etwas schwieriger zu sagen, welches man wählen würde. Für mich, |
| |
Ich sagte, ich möchte die Haupteffekte besser einschätzen können, und das kann ich. |
| |
Dies sind meine beiden Demonstrationen für das A-optimale Design. Lassen Sie mich zu meinen Folien zurückkehren. |
| |
Okay, ich möchte Ihnen also bei jedem dieser drei Designtypen eine Vorstellung davon geben, wann Sie den einen den anderen vorziehen würden. |
| |
Für das A-optimale Screening-Design sind A-optimale Designs und die anderen im benutzerdefinierten Designer unterstützten Designs flexibler als andere Designs. Sie ermöglichen die Lösung unterschiedlicher Problemtypen. Insbesondere |
| |
Sie würden ein A-optimales Screening-Design verwenden, wenn Sie viele kategorische Faktoren haben, insbesondere wenn mehr als zwei Ebenen vorhanden sind. |
| |
Wenn bestimmte Faktorstufenkombinationen nicht möglich sind, z. B. wenn Sie die hohe Einstellung aller Faktoren nicht durchführen können, |
| |
dann würden Sie sagen, ich möchte ein A-optimales Design, weil die anderen … die anderen beiden Screening-Designs dazu nicht in der Lage wären. |
| |
Und wenn Sie ein bestimmtes Modell im Sinn haben, das Sie anpassen möchten, das nicht nur die Haupteffekte oder die Haupteffekte plus Zwei-Faktor-Interaktionen umfasst, |
| |
Sie würden das A-optimale Screening-Design anstelle der definitiven Screening-Designs oder eines gruppenorthogonalen übersättigten Designs verwenden. |
| |
Darüber hinaus würden Sie ein A-optimales Design verwenden, wenn Sie einer Gruppe von Effekten mehr Gewicht beimessen möchten als anderen Effektgruppen. Ich habe Ihnen ein Beispiel dafür gezeigt, bei dem ich den Haupteffekten mehr Gewicht beimessen wollte. |
| |
anstatt der Zwei-Faktor-Interaktionen. |
| |
Kommen wir nun zu den definitiven Screening-Designs. Definitive Screening-Designs erschienen erstmals in einer veröffentlichten |
| |
Zeitschriftenartikel im Jahr 2011 und sie erschienen in JMP |
| |
ungefähr zur gleichen Zeit. |
| |
Sie sind ein sehr interessantes Design. Sie können sehen, wenn Sie sich das Korrelationszellendiagramm hier ansehen, dass |
| |
In einem definitiven Screening-Design sind die Haupteffekte alle orthogonal zueinander. Das heißt, es gibt keine paarweise Korrelation zwischen den Haupteffekten, aber die Haupteffekte sind |
| |
unkorreliert mit allen Zwei-Faktor-Wechselwirkungen und allen quadratischen Effekten. So lässt sich sehr leicht erkennen, welche Haupteffekte wichtig sind. |
| |
Da definitive Screen-Designs weitaus weniger Durchläufe haben als ein Response-Surface-Design, gibt es Korrelationen zwischen Zwei-Faktor-Interaktionen |
| |
und zwischen Zwei-Faktor-Interaktionen und quadratischen Effekten und zwischen den quadratischen Effekten. Beachten Sie jedoch, dass jeder quadratische Effekt nicht mit allen Zwei-Faktor-Interaktionen korreliert, die … |
| |
das ist der quadratische Effekt von X1 zum Quadrat. |
| |
Bradley Jones |
| Bradley Jones |
Dieser Effekt ist vollständig orthogonal zu allen Effekten mit X1 in der Zwei-Faktor-Interaktion. Und das gilt für alle Faktoren. Der quadrierte Term für X2 ist orthogonal zu allen Effekten mit X2 und so weiter. |
| |
Das ist eine interessante Eigenschaft, die sich als sehr nützlich erweist. Wie sieht der DSD aus? Nun |
| |
Sie haben drei Haupteigenschaften, die ich Ihnen erläutern möchte. Die erste Eigenschaft ist, wenn wir uns Lauf 1 und Lauf 2 ansehen. |
| |
In Lauf 1 gibt es immer dann, wenn es in Lauf 2 eine +1 gibt, eine -1 und umgekehrt. Immer dann, wenn es in Lauf 1 eine -1 gibt, gibt es in Lauf 2 eine +1, sodass |
| |
Lauf 1 und Lauf 2 sind sozusagen Spiegelbilder voneinander. |
| |
Dasselbe gilt für Lauf 3 und Lauf 4, Lauf 5 und Lauf 6, Lauf 7 und Lauf 8, Lauf 9 und 10 sowie 11 und 12. Dieses Design ist also ein sogenanntes Fold-Over-Design, und das Umklappen |
| |
ist, was dazu führt, dass die Haupteffekte nicht mit der Zwei-Faktor-Interaktion korreliert werden. Natürlich habe ich dieses Design |
| |
so sortiert, dass Sie sehen können |
| |
diese Struktur, aber wenn Sie dieses Design ausführen, sollten Sie die Reihenfolge der Läufe tatsächlich zufällig festlegen. |
| |
Das zweite, worauf ich hinweisen möchte, ist, dass es für jeden Faktor zwei zentrale Läufe gibt |
| |
in einem Paar von Läufen. Beispielsweise befindet sich im ersten Paar von Läufen A auf der mittleren Ebene; im zweiten Paar von Läufen befindet sich B auf der mittleren Ebene. |
| |
Und im dritten Satz von Läufen befindet sich C auf seinem mittleren Niveau, im vierten Satz von Läufen befindet sich D auf seinem mittleren Niveau und so weiter. |
| |
Und als letztes fällt auf, dass es einen Gesamtmittellauf gibt. Wir haben sechs Faktoren, die Faktoren A bis F, also sechs. |
| |
Und die Anzahl der Läufe ist 2x6+1. Und das Modell, das... ein Modell, das wir mit diesem Design anpassen können, ist das Modell, das den Achsenabschnitt, alle sechs Haupteffekte und alle sechs |
| |
quadratische Effekte. Das sind also 13 verschiedene Effekte in einem 13-Run-Design. Es ist erstaunlich effizient in Bezug auf die Zuordnung von Runs zu Effekten. |
| |
Welche positiven Konsequenzen hat ein definitives Screening-Design? Zunächst einmal hat eine aktive Zwei-Faktor-Interaktion keinen Einfluss auf die Schätzung der Haupteffekte, da diese unkorreliert sind. |
| |
Dadurch ist jede einzelne aktive Zwei-Faktor-Interaktion eindeutig identifizierbar. |
| |
Dasselbe gilt für jeden einzelnen quadratischen Effekt, solange dieser quadratische Effekt im Verhältnis zum Rauschen groß ist. |
| |
Und dann gibt es noch eine wirklich interessante Konsequenz: Wenn nur drei Faktoren aktiv sind, sagen wir die Faktoren A, C und E, |
| |
dann kann ich ein vollständig quadratisches Modell und diese drei Faktoren anpassen. Ein vollständig quadratisches Modell ist die Art von Modell, die Benutzer anpassen, wenn sie Response-Surface-Methoden oder RSM-Methoden anwenden. |
| |
Dabei spielt es keine Rolle, welche drei Faktoren aktiv sind. Die DSD kann immer ein vollständig quadratisches Modell anpassen, unabhängig davon, welche drei Faktoren aktiv sind. |
| |
Das ist eine sehr wirkungsvolle Lösung. Wenn Sie Glück haben und nur drei der sechs Faktoren wichtig sind, können Sie den RSM-Schritt in einigen Fällen überspringen und RSM und Screening in einem Rutsch durchführen. |
| |
Ich habe Ihnen alle guten Dinge über DSDs erzählt. Es gibt eine schlechte oder vielleicht weniger gute Sache, und zwar wegen dieser... |
| |
Aufgrund dieser Nullen in jeder Spalte werden die Haupteffekte bei einem endgültigen Bildschirmdesign nicht so präzise geschätzt wie bei einem Design, bei dem es sich um ein orthogonales Design mit einem zentralen Lauf handeln würde. |
| |
Dies führt dazu, dass die Konfidenzintervalle für die Haupteffekte von DSD um 10 % oder etwa 10 % länger ausfallen als die Konfidenzintervalle, die Sie hätten, wenn Sie beispielsweise ein Plackett-Berman-Design mit der gleichen Anzahl von Durchläufen ausgeführt hätten. |
| |
Das ist meiner Meinung nach ein sehr geringer Preis für alle Vorteile, die man dadurch erhält, insbesondere den Vorteil, quadratische Effekte anpassen zu können, was man nicht tun kann |
| |
Beim Plackett-Berman-Design mit einem einzigen zentralen Verlauf können Sie feststellen, dass Sie in der Lage sein müssen, quadratische Effekte anzupassen, da Sie den zentralen Verlauf haben, aber nicht wissen, welcher der Faktoren die hohe Krümmung aufweist. |
| |
Wann würden Sie ein DSD verwenden? Nun, Sie verwenden es, wenn die meisten Faktoren kontinuierlich sind, wenn Sie... |
| |
und wenn sie kontinuierlich sind, liegen die Faktorstufen möglicherweise so weit auseinander, dass Sie sich über eine mögliche Nichtlinearität oder Krümmung der Auswirkung des Faktors auf eine Antwort Sorgen machen müssen. |
| |
Und dann sind Sie auch besorgt über die Möglichkeit von Zwei-Faktor-Interaktionen, obwohl die DSDs Ihnen nicht versprechen können, dass Sie alle Zwei-Faktor-Interaktionen berücksichtigen können, |
| |
weil es einfach nicht genügend Läufe gibt. Wenn es ein oder drei Zwei-Faktor-Interaktionen gibt, können Sie diese wahrscheinlich mit einem DSD identifizieren. |
| |
Okay, gehen wir zurück zu JMP und |
| |
zurück zum Journal hier. |
| |
Bradley Jones |
| Bradley Jones |
Dies ist ein DSD. Es ist das DSD mit sechs Faktoren. Anstelle von 13 Durchläufen habe ich das Acht-Faktoren-Design erstellt und nur die letzten beiden Faktoren weggelassen. |
| |
Wenn ich nun das vollfaktorielle Modell anpasse, |
| |
Ich habe für dieses Problem einen vollfaktoriellen Versuchsplan erstellt und angepasst. |
| |
Bradley Jones |
| Bradley Jones |
Lassen Sie mich Ihnen die Parameterschätzungen zeigen. |
| |
Die Parameterschätzungen, die |
| |
Im vollfaktoriellen Versuchsplan sind A, B und C, A*B, A*C, B*C und A² signifikant. Nun |
| |
Lassen Sie mich Ihnen die Analyse zeigen, die Sie durch Fit Definitive Screening erhalten würden. Ich habe Zeit, da meine |
| |
als meine Antwort und A bis F als meine Faktoren. |
| |
Und schauen wir uns das Modell an, das dabei herauskommt. |
| |
Das Modell, das wir hier finden, hat A, BC und E; E ist ein Scheineffekt. Das ist also ein Fehler erster Art, aber es identifizierte alle drei Zwei-Faktor-Interaktionen und den quadratischen Effekt von A. Das vollfaktorielle Design, das ich Ihnen hier gezeigt habe, hatte |
| |
drei bis sechs Läufe, das sind 729 Läufe |
| |
Dieses Design hier hat nur 17 Läufe. Die Tatsache, dass ich alle korrekten Begriffe mit weitaus weniger Läufen identifizieren konnte, ist |
| |
ist ein Augenöffner, warum definitive Screening-Designs wirklich großartig sind. |
| |
Kehren wir zu den Folien zurück. |
| |
DSDs sind großartig, wenn fast alle Faktoren kontinuierlich sind. Sie können ein oder zwei zweistufige kategoriale Effekte berücksichtigen. Und Sie können definitive Bildschirmdesigns viel flexibler blockieren als |
| |
Teilfaktorielle Designs. Für ein sechsfaktorielles definitives Screening-Design können Sie zwischen zwei und sechs Blöcke haben. |
| |
Und die Blöcke sind orthogonal zu den Haupteffekten. Das ist ein weiteres erstaunliches Merkmal dieser Designs. |
| |
Kommen wir nun zu den neuesten Screening-Designs. Diese wurden erst in den letzten Jahren entdeckt und die Veröffentlichung in Technometrics ist erst vor etwa einer Woche erschienen. |
| |
Es ist seit einem Jahr online, aber der eigentliche gedruckte Artikel kam erst vor etwa einer Woche mit der Post bei mir an. |
| |
Dies ist ein Korrelationszellendiagramm eines gruppenorthogonalen übersättigten Designs und Ihnen fällt möglicherweise dieser ganze graue Bereich auf. |
| |
Wenn Sie sich ein übersättigtes Design ansehen, weist das Korrelationszellendiagramm in den meisten Fällen überall Korrelationen auf. |
| |
Hier sehen wir nur Korrelationen in Faktorengruppen. Diese Faktorengruppe ist korreliert. Diese andere Faktorengruppe ist korreliert. |
| |
Diese Gruppe von Faktoren ist korreliert und diese andere Gruppe von Faktoren ist korreliert, aber es gibt keine Korrelationen zwischen irgendeinem Paar von Faktorengruppen. |
| |
Die einzigen Korrelationen, die Sie sehen, bestehen innerhalb einer Gruppe, nicht zwischen Gruppen. Das hilft Ihnen bei der Analyse der Daten. Hier ist ein Bild der ersten Seite des veröffentlichten Artikels. |
| |
was ich erst letzte Woche oder so beim Druck gesagt habe. Meine Co-Autoren sind Chris Nachtsheim, dieser Typ hier, |
| |
von der University of Minnesota; mein Kollege von JMP, Ryan Lekivetz; Dibyen Majumdar, stellvertretender Dekan der Statistikabteilung der University of Illinois in Chicago; und Jon Stallrich, Professor an der NC State. |
| |
Lassen Sie mich darüber sprechen, warum Sie sich überhaupt für orthogonale Gruppen-Supersaturated-Designs oder Supersaturated-Designs interessieren könnten. |
| |
Und dann zeige ich, wie wir ein gruppenorthogonales übersättigtes Design erstellen. Ich zeige, wie man sie analysiert. Sie müssen das aber nicht lernen, denn in JMP gibt es ein automatisches Analysetool direkt neben dem Designer. |
| |
Und dann zeige ich Ihnen, wie die zweistufige Analyse dieser „Go SSDs“, wie wir sie nennen, |
| |
Wie vergleichen sie sich mit allgemeineren analytischen Ansätzen? Anschließend werde ich einige Schlussfolgerungen ziehen. |
| |
Was ist ein übersättigtes Design? Ein übersättigtes Design hat mehr Faktoren als Läufe. Beispielsweise könnten Sie 20 Faktoren haben und nur 12 Läufe zur Untersuchung dieser Faktoren zur Verfügung haben. Dann könnten Sie sich fragen: „Ist das eine gute Idee?“ |
| |
Nun, ein ehemaliger Kollege von mir, der inzwischen im Ruhestand ist, |
| |
vor etwa 15 Jahren oder so, sagte mir, übersättigte Designs seien böse. |
| |
Bradley Jones |
| Bradley Jones |
Ich verstehe, warum er so empfand. Das Problem bei einem übersättigten Design ist, dass man keine multiple Regression durchführen kann, weil |
| |
Sie haben mehr Faktoren und Läufe, sodass die Matrix, die Sie invertieren möchten, nicht invertierbar ist. |
| |
Und auch der Faktor Aliasing ist typischerweise komplex, obwohl er in diesen gruppenorthogonalen übersättigten Designs viel weniger komplex ist. |
| |
Und es herrscht das allgemeine Gefühl, dass man nichts umsonst bekommt. Es fühlt sich an, als würde man nicht genügend Ressourcen in das Design stecken, um etwas Gutes daraus zu machen. |
| |
Bradley Jones |
| Bradley Jones |
Übersättigte Designs wurden erstmals in der Literatur diskutiert |
| |
von einem Mathematiker von |
| |
der Name Sattherwaite. |
| |
Bradley Jones |
| Bradley Jones |
Sein Aufsatz wurde von vielen hochrangigen Statistikern der damaligen Zeit scharf kritisiert. |
| |
Ich habe ihn sogar sehr ausgelacht, und dann, drei Jahre später, Booth und Cox |
| |
Diskutieren Sie die Möglichkeit, systematisch ein übersättigtes Design zu generieren, und sie hatten ein Auswahlkriterium, das besagte, betrachten Sie alle quadrierten paarweisen |
| |
Korrelationen |
| |
Es handelt sich also alles um positive Zahlen. Betrachten Sie den Durchschnitt davon und machen Sie ihn so klein wie möglich. |
| |
Obwohl das Design nicht orthogonal sein kann, da für ein orthogonales Design mehr Läufe als Faktoren erforderlich sind. Das Kriterium von Booth und Cox besteht darin, ein Design zu finden, das einem orthogonalen Design so nahe wie möglich kommt, vorausgesetzt, dass weniger Läufe als Faktoren vorhanden sind. |
| |
Wir glauben, dass John Tukey der erste war, der den Begriff „übersättigt“ in seiner Diskussion über Sattherwaite im Jahr 1959 verwendete. |
| |
Tukey sagte dazu: „Natürlich kann uns ein konstantes Gleichgewicht nur bis zur Sättigung bringen … |
| |
Sättigung (einer von George Box's gut gewählten Begriffen) bis hin zu der Situation, in der jeder Freiheitsgrad mit dem Haupteffekt (oder etwas anderem, das wir zu schätzen bereit sind) belegt ist.“ |
| |
Infolgedessen bleiben bei einem gesättigten Design keine Freiheitsgrade mehr übrig, um die Varianz abzuschätzen. Tukey meint jedoch: „Ich halte es für völlig natürlich und sinnvoll, einige übersättigte Experimente durchzuführen.“ |
| |
Doch im Großen und Ganzen nahm sich die Statistikgemeinde das nicht zu Herzen und 30 Jahre lang geschah danach nichts. |
| |
30 Jahre später schrieb Jeff Wu, der heute Professor am Georgia Tech ist, einen Artikel in Biometrika, in dem er über |
| |
eine Möglichkeit, übersättigte Designs zu erstellen. Und im selben Jahr in Technometrics, Dennis Lin, der heute Leiter der Statistikabteilung an der Purdue University ist, |
| |
schrieb einen Artikel über eine andere Möglichkeit, übersättigte Designs zu erstellen. Beide Artikel waren sehr interessant und haben das übersättigte Design wieder in das Bewusstsein der Menschen gerückt. |
| |
Wann würden Sie ein übersättigtes Design verwenden? Nun, ein Fall, in dem Sie es verwenden würden, ist, wenn die Auflagen sehr teuer sind. |
| |
Wenn ein Lauf eine Million Dollar kostet, sollten Sie nicht viele Läufe machen. Sie sollten so wenige wie möglich machen. Und wenn Sie weniger Läufe machen können, als Sie Faktoren haben, umso besser. |
| |
Ich weiß nicht, wie es Ihnen geht, aber ich habe viele Brainstorming-Übungen mit Stakeholdern von Prozessen gemacht, und es ist sehr einfach, wenn jeder einen Notizzettel mit einem Faktor schreibt, von dem er denkt, dass er |
| |
aktiv, und Sie erhalten drei Dutzend Haftnotizen an der Wand, und sie sind alle unterschiedlich. |
| |
Bradley Jones |
| Bradley Jones |
Was soll man dann also tun? Nun, was oft passiert, ist, dass die Leute daran gewöhnt sind, Screening-Experimente mit 6, 7, 8 oder sogar 10 Faktoren durchzuführen. |
| |
Aber die Leute werden bei einem Screening-Experiment mit drei Dutzend Faktoren sehr nervös. Und so kommt es, dass die Ingenieure nach dieser Brainstorming-Sitzung entscheiden: „Wir können weglassen.“ |
| |
vielleicht 20 dieser Faktoren |
| |
weil wir es besser wissen als die Leute, die diese 20 Faktoren auswählen. |
| |
Bradley Jones |
| Bradley Jones |
Ich befürchte, dass Sie damit sozusagen das Kind mit dem Bade ausschütten. |
| |
Der wichtigste Faktor könnte einer der 20 sein, die Sie einfach ignoriert haben. |
| |
Und die Faktoren, die Sie am Ende betrachten, scheinen sehr viel Rauschen zu enthalten, weil dieser andere, wichtigere Faktor, der weggelassen wurde, nicht berücksichtigt wurde. |
| |
Ich halte es für prinzipienlos, Faktoren ohne Daten auszuschließen. Es handelt sich definitiv nicht um einen statistischen Ansatz. |
| |
Wie konstruieren wir nun diese Go-SSDs? |
| |
Nun, wir beginnen mit einer Hadamard-Matrix, nennen wir sie H, der Ordnung m, und m muss |
| |
Null mod(4), was nur eine elegante Art ist zu sagen, dass m ein Vielfaches von vier sein muss. Und dann nehmen wir eine weitere Matrix T, eine Matrix aus Plus- und Minus-Einsen mit w Zeilen und q Spalten. |
| |
Bradley Jones |
| Bradley Jones |
Dann berechnen wir das Kronecker-Produkt von H und T. Die Null mit dem „X“ in der Mitte ist übrigens ein Symbol für das Kronecker-Produkt. Ich erkläre es auf der nächsten Folie. Diese Operation ergibt eine Struktur für x mit m mal w Zeilen. |
| |
mal m mal q Spalten, wobei w kleiner als q ist, also mw kleiner als mq. Dies ist nun ein übersättigtes Design. Wir empfehlen, dass T eine Hadamard-Matrix ist, bei der weniger als die Hälfte der Zeilen entfernt werden. Hier ist ein Beispiel. Hier ist mein H. Es ist eine Hadamard-Matrix. |
| |
Und eine Besonderheit einer Hadamard-Matrix ist, dass die Spalten einer Hadamard-Matrix paarweise orthogonal sind. Betrachten wir |
| |
Die Haupteffekte sind paarweise orthogonal. |
| |
In diesem Beispiel ist T einfach H, wobei die letzte Zeile entfernt wurde. Und dann dieses H-Kreuz (Kronecker-Produkt) T |
| |
Jedes Element von H, das eine Plus-Eins-Zahl ist, ersetze ich durch T. Und jedes Element von H, das eine Minus-Eins-Zahl ist, ersetze ich durch -T. T ist eine Matrix. Ich ersetze hier überall eine einzelne Zahl durch eine 3x4-Matrix. H ist 4x4, aber diese neue Matrix hier ist |
| |
12 mal 16. Jetzt habe ich so viel |
| |
größere Matrix, die ich durch die Verwendung dieses Kronecker-Produkts von H und T gebildet habe. |
| |
Natürlich müssen Sie das nicht selbst tun. JMP sagt Ihnen, welche Sie im GO SSD Designer erstellen können, und alles geschieht automatisch. |
| |
Nennen Sie das Kronecker-Produkt von H und T „X“. Wenn Sie sich X−X ansehen, was Sie sich ansehen, um die Korrelationen der Faktoren zu verstehen, sieht X−X so aus, wobei dies die Blöcke sind, die ich Ihnen zuvor gezeigt habe. |
| |
Es handelt sich um eine Blockdiagonale. Die erste Gruppe von Faktoren ist mit allen anderen Gruppen von Faktoren unkorreliert. Die zweite Gruppe von Faktoren ist mit allen anderen unkorreliert und so weiter. |
| |
Das ist eine sehr schöne Eigenschaft. Hier ist noch einmal das Beispiel. Ich habe eine Hadamard-Matrix mit der Größe 4x4. Also ist m gleich 4. Meine Matrix T, was ich |
| |
habe gerade darüber gesprochen … meine Matrix T ist 3x4, wobei ich einfach die letzte Zeile von H entfernt habe und daher w drei und q 4 ist. |
| |
Die Anzahl der Zeilen beträgt also m mal w, also vier mal drei, also 12. Und die Anzahl der Spalten beträgt m mal q, also vier mal vier oder 16. |
| |
Die erste Spalte enthält nur Einsen. Dies ist also die Spalte mit den Konstanten. Sie wird zur Schätzung des Achsenabschnitts verwendet. |
| |
Die nächsten drei Spalten sind korreliert. Die nächsten vier Spalten, Spalten A bis D, sind miteinander korreliert, aber nicht mit irgendetwas anderem. E bis |
| |
H sind miteinander korreliert, aber nicht mit irgendetwas anderem; und I bis L sind miteinander korreliert, aber nicht mit irgendetwas anderem. Man erhält diese blockdiagonale Korrelationsstruktur. |
| |
Jetzt, |
| |
Wir haben drei Gruppen von vier Faktoren, die miteinander korreliert sind. Und dann haben wir diese erste Gruppe von Faktoren (A, B und C), die stärker miteinander korreliert sind und ebenfalls unausgeglichene Spalten darstellen. Was also |
| |
Meine Kollegen und ich empfehlen, dass Sie die Faktoren A, B und C nicht tatsächlich zuordnen, sondern sie frei lassen. |
| |
Man weist ihnen keine Faktoren zu. Statt 15 Faktoren gibt es also nur 12. Da A, B und C |
| |
Unkorreliert mit all diesen anderen Faktoren können wir A, B und C verwenden, um die Fehlervarianz zu schätzen. Nun im übersättigten Design |
| |
Es gab bisher keine Möglichkeit, die Fehlervarianz innerhalb eines übersättigten Designs abzuschätzen. Dies ist eine Eigenschaft gruppenorthogonaler übersättigter Designs, die es sonst nirgendwo im Bereich übersättigter Designs gibt. |
| |
Nun haben wir drei unabhängige Gruppen von vier Faktoren und jede Faktorgruppe hat den Rang drei. Nun die drei falschen Faktoren |
| |
Spalten (AC) haben den Rang zwei, daher kann ich Sigma zum Quadrat mit zwei Freiheitsgraden schätzen, vorausgesetzt, dass die Wechselwirkungen zwischen zwei Faktoren vernachlässigbar sind. |
| |
Beachten Sie, als ich dieses Kronecker-Produkt erstellte, |
| |
Diese Gruppe von Faktoren ist ein Foldover. Das ist ein Foldover. Und das ist ein Foldover. Sie haben also drei Gruppen von Faktoren, die alle Foldover-Designs sind. |
| |
Denken Sie daran, dass DSD ein Beispiel für ein Foldover-Design war, bei dem alle Faktoren Foldover waren, aber diese spezielle Struktur bietet Ihnen einige interessante Eigenschaften. |
| |
Alle Zwei-Faktor-Interaktionen, an denen Faktoren derselben Gruppe beteiligt sind, sind orthogonal zu den Haupteffekten in dieser Gruppe. |
| |
Ich habe mir die Haupteffekte in Gruppe eins angesehen. Alle Haupteffekte in Gruppe eins sind unkorreliert mit allen Zwei-Faktor-Interaktionen in dieser Gruppe. Aber warten Sie, es gibt noch mehr. Alle Haupteffekte in Gruppe eins sind |
| |
unkorreliert mit Zwei-Faktor-Interaktionen, bei denen einer der |
| |
Faktoren in ist in Gruppe eins und der andere Faktor ist in Gruppe zwei. |
| |
Und schließlich sind alle Haupteffekte in Gruppe eins nicht mit allen Zwei-Faktor-Interaktionen in anderen Gruppen korreliert. |
| |
Diese Konstruktion bietet Ihnen also dieses übersättigte Design und ermöglicht Ihnen nicht nur eine gute Möglichkeit, Haupteffekte abzuschätzen, sondern schützt Sie auch vor zahlreichen Zwei-Faktor-Interaktionen. |
| |
Das Einzige, wovor Sie keinen Schutz erhalten, ist, wenn Sie einen Haupteffekt in Gruppe eins haben und eine Zwei-Faktor-Interaktion mit |
| |
Haupteffekte in zwei verschiedenen Gruppen, dann ist das nicht unbedingt unkorreliert. |
| |
Zusammengenommen bringen all diese Eigenschaften einen dazu, darüber nachzudenken, wie man Faktoren in die Gruppen einfügt. Eine Strategie wäre zu sagen: „Also, ich möchte |
| |
alle Faktoren, die meiner Meinung nach am wichtigsten sind, in einer Gruppe zusammenzufassen.“ |
| |
In diesem Fall sind diese Faktoren nicht mit den beiden Faktorinteraktionen korreliert, die diese Faktoren betreffen. Das ist gut. Dann ist es wahrscheinlicher, dass es inaktive Gruppen gibt. Wenn eine Gruppe inaktiv ist, können diese Faktorschätzungen zusammengefasst werden in |
| |
Schätzung von Sigma im Quadrat und geben Sie der Schätzung von Sigma im Quadrat mehr Freiheitsgrade, was bedeutet, dass Sie mehr Möglichkeiten zum Erkennen anderer Effekte haben. |
| |
Die zweite Strategie besteht darin, alle Effekte, von denen Sie denken, dass sie am wahrscheinlichsten aktiv sind, in verschiedene Gruppen einzuordnen. |
| |
Das heißt, ich setze das, was ich a priori für den aktivsten Effekt halte, in Gruppe eins, meinen zweitaktivsten Effekt in Gruppe zwei, meinen drittaktivsten Effekt in Gruppe drei und so weiter. |
| |
Wenn Sie Ihre wahrscheinlichsten Effekte in getrennten Gruppen haben, ist die Wahrscheinlichkeit einer Verwechslung eines Faktoreffekts mit einem anderen Faktoreffekt geringer. |
| |
Bradley Jones |
| Bradley Jones |
Meine Co-Autoren und ich empfehlen die zweite Strategie. |
| |
Dies ist eine Tabelle aus dem gerade veröffentlichten Artikel. Sie zeigt alle orthogonalen Gruppen-Supersaturated-Designs bis zu |
| |
128 Faktoren und 120 Läufe. |
| |
Wie analysieren Sie diese Dinge? Nun, Sie können die falschen Faktoren nutzen, um eine unvoreingenommene Bewertungsvarianz zu erhalten. |
| |
Sie können die Gruppenstruktur verwenden, um zunächst aktive Gruppen zu identifizieren. Wenn Sie dann wissen, welche Gruppen aktiv sind, können Sie eine Regression durchführen, um aktive Faktoren innerhalb jeder Gruppe zu identifizieren. |
| |
Und während Sie fortfahren, können Sie die Summe der Quadrate und Freiheitsgrade für inaktive Gruppen und inaktive Faktoren in die Schätzung von Sigma im Quadrat einbeziehen, um Ihre Leistungsfähigkeit bei der Erkennung von Effekten zu verbessern. |
| |
Dies ist eine mathematische |
| |
Folie, die wir einfach überspringen können. |
| |
Was die Folie aber bedeutete, war, |
| |
Sie können Ihre Aussagekraft beim Testen jeder Gruppe maximieren, indem Sie die Wirkungsrichtung jedes Faktors a priori als positiv einschätzen. |
| |
Wenn Sie nun meinen, dass die Wirkung eines Faktors negativ sei, würden Sie einfach die Vorzeichen der Minus-Einsen in Plus-Einsen und die der Plus-Einsen in Minus-Einsen umbenennen. |
| |
Und das würde Ihre Fähigkeit zur Gruppenidentifizierung maximieren. Wir identifizieren zuerst Gruppen und dann aktive Faktoren innerhalb der Gruppen. So geschieht das natürlich automatisch bei der Anpassung. |
| |
Wir vergleichen unsere Analysemethode mit dem Lasso und dem Dantzig-Selektor. |
| |
Und dann betrachten wir die Leistung und Typ-1-Fehlerraten mit |
| |
Go SSDs im Vergleich zu den Standardselektoren. Wir haben drei verschiedene übersättigte Designs gewählt, wir haben unterschiedliche Gruppenzahlen aktiviert und uns angesehen |
| |
Signal-Rausch-Verhältnisse von eins zu drei und wir hatten eine Anzahl aktiver Faktoren pro Gruppe, entweder eins oder zwei. |
| |
Die Anzahl der aktiven Faktoren kann in diesen Fällen zwischen einem und 14 liegen. |
| |
Betrachten Sie die Grafik der Leistungsergebnisse� |
| |
Hier sind die Dantzig-Ergebnisse und hier ist das Lasso, gefolgt von unserer zweistufigen Methode. |
| |
Einige der Leistungen von Dantzig und Lasso sind gering. Tatsächlich handelt es sich dabei um Fälle, in denen das Signal-Rausch-Verhältnis eins beträgt. Ansonsten schneiden Dantzig-Selektor und Lasso sehr gut ab. |
| |
Tatsächlich funktioniert es genauso gut wie die zweistufige Methode, außer in den Fällen, in denen das Signal-Rausch-Verhältnis gering ist. Allerdings werden mit der zweistufigen Methode immer alle aktiven Faktoren ermittelt. |
| |
In dem Artikel von Marley und Woods, in dem sie eine Simulationsstudie mit Bayes'schen D-optimalen übersättigten Designs und anderen Arten übersättigter Designs durchführten, sagten sie im Wesentlichen, Sie ... |
| |
Es können nicht mehr aktive Faktoren identifiziert werden als ein Drittel der Anzahl der Durchläufe. |
| |
Nun, in unserem Fall haben wir 12 Faktoren in 12 Läufen, daher würden wir erwarten, nur vier aktive Faktoren identifizieren zu können. Allerdings in |
| |
Im Fall von n = 24 haben wir 14 aktive Effekte identifiziert, während n über drei nur acht ergibt. Sie sehen, dass wir deutlich besser abschneiden als das, was Marley und Woods aufgrund ihrer Simulationsstudie erwarten. Das liegt an der Verwendung einer GO-SSD. |
| |
Wir haben eine Fallstudie durchgeführt, um zu untersuchen, warum das benutzerdefinierte Design-Tool von JMP länger braucht, um ein Design zu erstellen. Wir hatten |
| |
Wenn quadratische Terme im Modell vorhanden sind, wird es langsamer. Wenn das Optimalitätskriterium A-optimal ist, ist es leicht optimal. Oder wenn Sie 10-mal so viele Zufallsstarts durchführen, ja, dann ist es langsamer. Wenn Sie mehr Faktoren haben, |
| |
dann wird es langsamer. Hier ist unser Design. Und hier ist die Analyse. Ich zeige es Ihnen |
| |
dies in JMP. |
| |
Lassen Sie mich Ihnen zunächst zeigen, |
| |
Entwurfskonstruktionsskript. |
| |
Ich werde... |
| |
Dies ist das Skript. m ist, wie Sie sich erinnern, die Anzahl der Läufe in der Hadamard-Matrix. Es gibt einen neuen JSL-Befehl namens Hadamard. Ich erstelle einfach ein neues Skript |
| |
damit kann ich das Skript ausführen und mir die |
| |
Protokoll. |
| |
Auf geht's. |
| |
Hier ist das neue JMP 16-Protokoll. Wenn ich die ersten drei Elemente dieses Skripts ausführe, sehen Sie, dass m vier und q drei ist. Und hier ist meine 4x4-Hadamard-Matrix. Aus den ersten drei Zeilen erstelle ich T und das gruppenorthogonale übersättigte Design. |
| |
ist hier die 12x16 Matrix. |
| |
Das ist die Matrix und wir können daraus eine Tabelle erstellen. |
| |
Und hier ist die Tabelle. |
| |
So einfach ist es, sie von Hand zu konstruieren. Das müssen Sie aber nicht tun. Sie können JMP das alles für Sie erledigen lassen. |
| |
Wenn man sich die paarweise korrelierten Spaltenkorrelationen ansieht, erkennt man dasselbe Muster, das wir Ihnen zuvor gezeigt haben. |
| |
Hier ist die Fallstudie, die wir durchgeführt haben. Wir machen unsere ersten drei Faktoren zu Scheinfaktoren. Dann verwenden wir sie, um die Varianz zu schätzen, und dann sind dies |
| |
alle realen Faktoren. Wenn ich fit |
| |
Im gruppenorthogonalen übersättigten Design gibt es zwei Faktoren, die in der zweiten Gruppe aktiv sind. Diese erste Gruppe verwende ich zur Schätzung der Varianz |
| |
Ein Faktor in der dritten Gruppe und zwei Faktoren in der vierten Gruppe. Insgesamt sind fünf Faktoren aktiv, sodass ich letztendlich sechs Freiheitsgrade für Fehler habe. |
| |
Das ist wirklich erstaunlich. Ich zeige Ihnen, wie Sie das in JMP machen können. Hier ist das gruppenorthogonale übersättigte Design. |
| |
Ich könnte sagen, ich bin bereit, 12 Durchläufe durchzuführen. Man kann entweder zwei Gruppen der Größe 8 oder vier Gruppen der Größe 4 durchführen. Dies ist das gleiche Design, das ich gerade durchgeführt habe. So einfach ist es, eines dieser Dinge zu erstellen und dann das Analysetool |
| |
befindet sich direkt unter dem Designer, sodass Sie einfach |
| |
Wählen Sie Ihre Faktoren, wählen Sie Ihre Antwort und los geht‘s. Sie erhalten dieselbe Analyse wie ich zuvor. |
| |
Lassen Sie mich zum Abschluss gehen |
| |
zurück zu meinen Folien. |
| |
Wann möchten Sie eine Go-SSD verwenden? Wenn Sie viele Faktoren haben und die Ausführung teuer ist und Sie denken, dass die meisten Faktoren nicht aktiv sind. |
| |
aber Sie wissen nicht, welche aktiv sind und welche nicht. |
| |
Mein letzter Ratschlag ist, D-optimal durch A-optimal für das Screening zu ersetzen. Wenn Sie zuvor D-optimal verwendet haben, ist A-optimal besser. |
| |
Verwenden Sie DSDs, wenn Sie überwiegend kontinuierliche Faktoren haben und an einer möglichen Krümmung interessiert sind |
| |
Und Sie haben keine Einschränkungen hinsichtlich der von Ihnen verwendeten Faktorstufen. |
| |
Verwenden Sie Go-SSDs, anstatt viele Faktoren vor dem Abrufen von Daten zu entfernen. Wenn Sie viele Faktoren haben und die Ausführung teuer ist. |