Der Engineering Mailbag
Folge 6: Achten Sie auf die Kurven!
TL; DR: Wie führt man einen einfachen Krümmungstest durch, wenn man Mittelpunkte in ein DOE einfügt? Sehen Sie sich das Video an, um es herauszufinden!
Als neues Feature werde ich mit diesen Beiträgen einen kurzen Video-Überblick über die wichtigsten Punkte des Artikels geben. Nur für den Fall, dass Sie schnell zur Antwort kommen müssen.
Einführung
Hin und wieder stoßen wir Systemingenieure auf interessante Fragen, die etwas außerhalb des typischen Bereichs von liegen JMP Verwendung. In anderen Fällen ist die Abfrage nur interessant und gibt mir die Möglichkeit, genauer zu untersuchen, warum wir Dinge so tun, wie wir es in JMP tun.
Die heutige besondere Frage muss angegangen werden. Es ist eines, das ich ziemlich oft bekomme, wenn ich mit Leuten spreche, die in klassischen DOE-Methoden geschult wurden. Das ist also eine Gelegenheit für mich einem kollegen helfen fr om Europa und zeigen Sie allen anderen etwas Interessantes, das Sie in JMP möglicherweise nicht wissen.
Die Frage
Hallo Mike,
Ich habe noch eine Frage ... Wenn ich Mittelpunktläufe mache, überprüfe ich, ob es einen quadratischen Term gibt, bin mir aber möglicherweise nicht sicher, welcher Term quadratisch ist. Ich sollte in der Lage sein zu überprüfen, ob es eine signifikante Krümmung gibt, ohne sie mit einem Faktor zu verknüpfen, oder irre ich mich?
Kevin
Meine Antwort
Hallo Kevin!
… Ich habe eine Reihe von Untersuchungen zu diesem Krümmungstest durchgeführt. Es stellt sich heraus, dass es nur ein T-Test ist! Ich habe die Gleichungen in Montgomerys Büchern gefunden. Noch wichtiger ist, dass es wirklich einfach ist. Es ist keine Ein-Klick-Lösung, aber ich mag es tatsächlich besser, weil es Sie zwingt, die Hypothese zu verstehen. Ich habe eine Datentabelle angehängt.
- Erstellen Sie eine Spalte in Ihrer Datentabelle, die angibt, wo eine Zeile eine Ecke oder ein Mittelpunkt ist. Dies kann mithilfe der Neukodierung erfolgen, wenn Sie eine Spalte mit dem Entwurfscode enthalten.
- Gehe zu Fit Y von X. Setzen Sie Ihre Antwort in Y, Antwort und die Spalte, die Sie erstellt haben, und geben Sie die Ecke oder den Mittelpunkt in X, Faktoren an.
- OK klicken.
- Führen Sie unter dem roten Dreieck einen T-Test durch (nicht den gepoolten, es sei denn, Sie haben Replikate). Sie möchten den p-Wert für Prob> | t |. Die Nullhypothese in diesem Fall ist, dass die Differenz der Mittelwerte (zwischen Mittelpunkten und Eckpunkten) Null ist. Montgomerys Erklärung ist, dass, wenn der t-Test anzeigt, dass die Mittelwerte unterschiedlich sind, die Mittelpunkte auf einer anderen Ebene liegen als die linearen Elemente des Modells (es gibt eine Krümmung).
Wenn Sie alles in einem Bericht haben möchten (à la [ ein Softwarepaket, das namenlos bleiben soll, sich aber mit „wirklich eintönig“ reimt ]) müssen Sie nur die Spalte einfügen, die die Mittelpunkte im Modell als Haupteffekt kennzeichnet (siehe Screenshot). Wenn Sie auf Ausführen klicken, führt die Effektzusammenfassung oben zu einer ähnlichen Schlussfolgerung (dass die Unterscheidung zwischen Mittelpunkten und Eckpunkten nicht signifikant ist). Schauen Sie nach, ob Sie Ihren Datensatz bestätigen können.
Beste,
M.
Was zum Teufel habe ich gerade vorgeschlagen?
Bevor ich zu diesem Thema ins Kaninchenloch gehe, möchte ich ein wenig Hintergrundwissen zu dieser Frage geben - denn meine Kollegen und ich verstehen es die ganze Zeit . Grundsätzlich ergibt sich das Problem aus klassischen Screening-Designs (Fractional Factorial, Plackett-Burman usw.). Diese Entwürfe verwenden im Allgemeinen eine zweistufige Strategie mit mehreren Mittelpunkten. Das Ergebnis ist, dass es innerhalb der Grenzen des klassischen Designs (dazu später mehr) wirklich ressourcenschonend effizient ist. Der Nachteil ist, dass Sie nur nach Haupteffekten und einigen Interaktionen suchen können (wenn Sie Glück haben). Die Mittelpunkte werden als Absicherung hinzugefügt, um dem Experimentator mitzuteilen, ob er in späteren Experimentierrunden quadratische Terme berücksichtigen muss. Und deshalb benötigen Sie diesen Test für das Krümmungsgeschäft.
OK, zurück zu meinem Vorschlag. Ich machte einen seltsamen Vorschlag. Ich schlage vor, dass es möglich ist, krummliniges Verhalten (10 US-Dollar!) In einem entworfenen Experiment einfach mithilfe des Low-T-Tests zu lokalisieren. Ich meine, es scheint, als sollten wir etwas Sexuelleres brauchen, wenn wir nach einem sexuell benannten Phänomen wie suchen krummliniges Verhalten . Nun, wir tun es nicht. Und es stellt sich heraus, das ist nicht meine Idee. Wie ich bereits erwähnte, ist das erste Beispiel, das ich für diese Technik gefunden habe, in Douglas Montgomerys Buch „Design and Analysis of Experiments“. Dieses Buch musste in meiner ersten Statistikklasse in der Graduiertenschule gelesen werden. Gute Klasse, tolles Buch. Wie auch immer, zurück zum Thema.
Ich werde nicht auf die Mathematik eingehen, warum dies funktioniert, aber hier ist die Grundidee: Wenn die von einem untersuchten System gesammelten Daten streng lineare Beziehungen haben (z. B. können Sie alle Punkte im Datensatz mit just verbinden gerade Linien), dann sollte das Konfidenzintervall für den Mittelwert des Datensatzes (ohne die Mittelpunkte) das Konfidenzintervall des Mittelwerts der Mittelpunkte enthalten. Wenn wir daher einen t-Test der Mittelwerte der Kanten- und Eckpunkte im Vergleich zu den globalen Mittelpunkten durchführen, wären niedrige p-Werte ein Hinweis auf eine Krümmung irgendwo im System, und hohe p-Werte würden auf einen unzureichenden Hinweis auf eine Krümmung in hinweisen das System. Das heißt nicht, dass es nicht da ist, nur dass die Dinge zu laut sind, um sie zu erzählen. Da dies eine Menge zu beachten ist, schauen wir uns einige Beispiele an, damit Sie sehen können, wie dies aussieht.
Ein triviales Beispiel
Dies ist wahrscheinlich am einfachsten in einem trivialen Fall mit zwei kontinuierlichen Faktoren zu visualisieren. Beachten Sie hier, dass ich die Daten simuliere und mit viel mehr Daten arbeite, als Sie es normalerweise mit einem Zwei-Faktor-Design tun würden. Dies dient nur zur Veranschaulichung, also geh einfach mit mir. Beachten Sie außerdem, dass alle Beispiele in diesem Beitrag aktiviert sind JMP Public Sie können die Datensätze dort abrufen, wenn Sie mit ihnen spielen möchten.
OK, hier ist ein entworfenes Experiment mit zwei Faktoren und drei Mittelpunkten.
Die Mittelpunkte sind rot gefärbt, damit sie später lokalisiert werden können. Lassen Sie uns nun einige Daten ohne quadratische Effekte in das Design simulieren. In JMP können wir dies mithilfe der Simulationsantwortfunktionen auf den DOE-Plattformen tun. Bevor wir uns diese T-Tests ansehen, schauen wir uns an, was in den Daten selbst vor sich geht. Wir wenden uns einem 3D-Streudiagramm zu. Ich habe das angepasste Modell mit einem Konfidenzintervall von 95% hinzugefügt, um das Flugzeug zu zeigen, das Montgomery erwähnt.
Sie können sehen, dass die Datenpunkte innerhalb des durch das obere und untere Konfidenzintervall definierten Bereichs (blaue und violette Netze) liegen, wenn keine Krümmung vorhanden ist.
Lassen Sie uns nun eine machen, bei der ich dem simulierten Modell eine gewisse Krümmung hinzugefügt habe. Ich verwende die gleichen linearen und Zwei-Faktor-Interaktionskoeffizienten und füge den Daten nur einige quadratische Effekte hinzu. Schauen wir uns zunächst die 3D-Diagramme an:
Beachten Sie, dass die roten Mittelpunkte nicht mehr in der Ebene liegen, die durch die blauen Rand- / Eckpunkte definiert ist. Sehen Sie auch, wie die Mittelpunkte sind? draußen das Konfidenzintervall für die Oberfläche?
Wenn wir uns nun die T-Tests für diese Datensätze ansehen (ich habe einen Spaltenumschalter in JMP Public verwendet, um beide anzuzeigen), können wir sehen, dass sich die Konfidenzintervalle für die Mittelpunkte und Kantenpositionen gut überlappen, wenn es keine gibt Krümmung. Die p-Werte für diesen t-Test sind ziemlich hoch, genau wie wir es erwarten würden. Dann können Sie zu dem Fall wechseln, in dem eine Krümmung vorliegt, und die Unterschiede in den Konfidenzintervallen und den p-Werten sehen.
Der t-Test zeigt, dass es starke Hinweise darauf gibt, dass sich die Mittelpunkte nicht in derselben Population wie die Rand- / Eckpunkte befinden. Wir wissen jedoch, dass die Daten von demselben System gesammelt werden, daher muss es eine andere Erklärung geben - nämlich, dass das System komplexer ist als gedacht und krummliniges Verhalten aufweist.
Etwas etwas komplexeres
Lassen Sie uns als nächstes die Hitze des Problems ein wenig erhöhen: fünf Faktoren. Die Frage hier ist: Gilt für mehrere Faktoren dieselbe Logik wie für zwei? Wir können uns das nicht wirklich vorstellen, also müssen wir uns auf die p-Werte aus dem t-Test verlassen. Wir stellen jedoch die gleiche Frage: Überlappt sich das Konfidenzintervall vom Mittelwert für die Mittelpunkte mit dem Mittelwert von den Kanten- / Eckendatenpunkten? Das ist es. Und die gleiche Logik gilt immer noch.
In diesem Beispiel habe ich im Grunde das Gleiche getan wie im ersten. Unten finden Sie die Streudiagrammmatrix für den Entwurfsraum. Rote Markierungen sind Mittelpunkte, blaue Markierungen sind Kanten oder Ecken. Beachten Sie auch, dass einige der Datenpunkte in einem klassischen vollständig faktoriellen Design fehlen. Ich habe das getan, um zu zeigen, dass dies auch mit der benutzerdefinierten JMP-Entwurfsmethode funktioniert.
Und wenn wir uns die t-Tests für die beiden Simulationen ansehen, können wir sehen, dass die p-Werte wirklich deutlich anzeigen, wann im Datensatz eine Krümmung vorhanden ist.
Und das scheint das zu sein. Recht?
Nicht wirklich. Sie sehen, es gibt eine andere Denkrichtung in Bezug auf DOEs, und ich werde argumentieren, dass sie dieses Problem effizienter löst, als nur einige globale Mittelpunkte auf ein Screening-Design zu setzen und es als Tag zu bezeichnen.
Was das moderne DOE sagt, sollten Sie gegen die Krümmung tun
Dieses ganze Problem der Krümmung in einem DOE ergibt sich aus zwei Problemen im klassischen Design. Das erste ist die Tatsache, dass die Leute zu einem bestimmten Zeitpunkt die Berechnungen für DOEs auf einem tatsächlichen Block Papier mit einem tatsächlichen Bleistift und wahrscheinlich einem RPN-Rechner durchführen mussten (für echte Geek-Glaubwürdigkeit). Die Entwürfe wurden daher ausgewählt, um diese Berechnungen so einfach wie möglich zu gestalten. Dies brachte die Idee der Orthogonalität in die Welt des experimentellen Designs. Orthogonalität macht es den Menschen viel leichter, die Köpfe herumzureißen. Das zweite Problem war die eigentliche Erstellung des Designs. Orthogonale Designs sind relativ einfach zu konzipieren und passen gut zur traditionellen wissenschaftlichen Methode. Sie könnten leicht in Nachschlagewerke von Experimentatoren kodifiziert werden.
Beide Probleme sind jetzt gelöst. Die Chancen stehen gut, dass Sie keine Datenanalyse mit einem Taschenrechner (RPN oder auf andere Weise) durchführen. Und Sie konsultieren wahrscheinlich kein staubiges Buch, um Ihren Versuchsaufbau zu bestimmen, obwohl Sie möglicherweise das digitale Äquivalent verwenden und es nicht kennen. Tatsache ist, dass Sie, sofern Sie nicht in einer Statistikklasse mit einem wirklich Hardcore-Profi sind, Software verwenden werden, um Ihr Design zu analysieren und es wahrscheinlich auch zu generieren. Dies bedeutet, dass Sie keine DOE-Analyse mit Bleistift und Papier durchführen müssen - Sie können den Computer dies herausfinden lassen. Dies bedeutet auch, dass Sie Computeralgorithmen herausfinden lassen können, wohin Experimente im Entwurfsbereich gehen sollen, sodass Sie ein benutzerdefiniertes Design erstellen können, das genau Ihren Spezifikationen entspricht. Wenn Sie die alten Anforderungen aus dem Fenster werfen, erhalten Sie Zugriff auf eine unglaublich leistungsstarke Klasse von Tools moderne experimentelle Designs .
Ich werde nicht zu weit in moderne DOEs gehen (es gibt großartige Bücher zu diesem Thema: Dieses hier und Dieses hier sind gute Ausgangspunkte) und es erscheinen ständig neue Artikel in der Literatur. Ich werde mich ein wenig auf einen Teil des modernen DOE konzentrieren: das optimale Design. Die Nickel-Tour-Version des optimalen Designs ermöglicht es Ihnen, von Anfang an zu definieren, wo sich die Krümmung befindet. Der Algorithmus stellt dann die geeigneten experimentellen Bedingungen ein, um zu testen, ob er vorhanden ist, ohne etwas zu verschwenden. Und das ist wichtig. Es kommt ziemlich selten vor, dass Sie keine Ahnung haben, ob das Lernsystem eine Krümmung aufweist. Wenn Sie während des Entwurfsgenerierungsprozesses mit Fachexperten zusammenarbeiten, sind diese sollte weiß so etwas. Hier ist eine Momentaufnahme davon, wie das in JMP aussieht:
Im Modellabschnitt habe ich darauf hingewiesen, dass ich die Haupteffekte für wichtig halte und dass die Interaktion wichtig ist. Das grüne Kästchen um die beiden quadratischen Terme zeigt an, dass diese beiden Faktoren meiner Meinung nach eine Krümmung im System aufweisen. Das optimale Design platziert dann die Mittelpunkte an den richtigen Stellen, um dies zu testen. Wenn ich nun fünf Faktoren hätte, könnte ich auswählen, welche ich auf Krümmung untersuchen möchte, indem ich nur diese in die Modellbegriffe einbeziehe, wie folgt:
Beachten Sie alle Kombinationen, die ich hier nicht einbeziehe (Interaktionen und Kräfte); Sie sind alle Material, das ich nicht verwenden muss. Und wenn wir dieses Design analysieren, können wir im Rahmen des Modellgenerierungsprozesses immer noch die Krümmung überprüfen:
Wenn Sie nun im Rahmen eines Screening-Designs die Krümmung überprüfen möchten, haben Sie auch eine moderne Methode: definitive Screening-Designs. Sie haben eingebrannte Mittelpunkte und sind immer noch viel effizienter als fraktionale faktorielle und andere Designtypen. Es gibt einige großartige Ressourcen von Brad Jones in der JMP-Community. Hier sind einige meiner Favoriten:
Abschließende Gedanken
Das war's. Es ist eine gute Idee, in Ihren entworfenen Experimenten auf Kurven zu achten. Mit einem T-Test können Sie die Krümmung mit Mittelpunkten in JMP problemlos testen. Die Analyse hat nichts Magisches. Ich möchte Sie auch ermutigen, sich einige der modernen experimentellen Entwurfsmethoden anzusehen, die herauskommen. Bis zum nächsten Mal, TTFN!
