Der Prediction Profiler ist seit langem eine Vorzeigefunktion in JMP für die Untersuchung von Modellen und angepassten Oberflächen. Mit dem Profiler können Sie vertikale Querschnitte der Oberfläche erstellen und interaktiv ändern, wo Sie diese Querschnitte aufnehmen, sodass Sie selbst die komplexesten Modelle erkunden und charakterisieren können.
Eine unserer beliebtesten Beispieldatentabellen ist Tiretread.jmp, die sich hervorragend zur Darstellung der Funktionen des Profilers eignet. Hier sehen Sie den Profiler für die Antworthärte, angepasst an ein Antwortoberflächenmodell.
Abbildung: Der Prediction Profiler für die Antwort HARDNESS
Der Profiler wurde im Laufe der Jahre über viele Generationen hinweg verbessert, und in JMP 18 wurden noch mehr Features und Funktionen hinzugefügt.
Ich habe zwei der Entwickler, Xan Gregg und John Sall, nach diesen neuen Funktionen im Prediction Profiler gefragt.
Können Sie einige der Veränderungen beschreiben, auf die Sie sich am meisten freuen?
Xan: Die Möglichkeit, überlagerte Interaktionskurven und Datenpunkte auf den Profilern darzustellen.
Die Option „Überlagerte Interaktionen“ fügt jedem Profiler-Rahmen zusätzliche verblasste Kurven hinzu, die zeigen, wie das Profil dieses Faktors aussehen würde, während einer der anderen Faktoren variiert würde. In diesem Modus wird eine Ansicht erstellt, mit der Sie Zwei-Faktor-Interaktionen im regulären Modellkontext bewerten können (und nicht in einem speziellen Tool wie dem Interaction Profiler).
Die Option „Datenpunkte“ zeigt die Datenwerte als Markierungen innerhalb jedes Profils an, sodass nur die Datenwerte in oder in der Nähe der Ebene des aktuellen Faktors hervorstechen und andere ausgeblendet werden. Anhand der Punkte können Sie erkennen, wo das Modell von den Daten besser unterstützt wird oder mehr Variationen aufweist.
Warum hat JMP Interaktionsspuren und Datenpunkte zu den Profilern hinzugefügt? Welche zusätzlichen Informationen bieten sie?
Xan: Die überlagerten Interaktionen liefern die gleichen Informationen, die Sie erhalten würden, wenn Sie die Einstellungen jedes Faktors manuell anpassen, um eine Modelloberfläche zu erkunden, aber sie sind alle auf einmal und nicht unterwegs verfügbar. Sie geben Hinweise für die weitere Erkundung manueller Anpassungen.
Im Profiler steht das Modell im Mittelpunkt, aber die Datenpunkte können einen nützlichen Kontext für die Interpretation des Modells liefern, insbesondere wenn die Daten spärlich oder unregelmäßig sind und einige Faktorkombinationen kaum Datenunterstützung bieten.
Wie und wann sollte ich sie verwenden?
Xan: Die Standardeinstellung für überlagerte Interaktionen zielt darauf ab, bidirektionale Interaktionen zu sehen, was der häufigste Fall ist und am einfachsten zu verstehen ist. Sobald die Funktion aktiviert ist, stehen jedoch weitere Einstellungen zur Verfügung, um Mehrweg-Interaktionen oder andere Detailgenauigkeiten anzuzeigen.
Bei Datenpunkten sind die Markierungen wie in jedem JMP-Diagramm mit der Datentabelle verknüpft, es gibt jedoch eine Besonderheit: Da zum Erkunden des Modells normale Mausaktionen verwendet werden, müssen Sie das Pinsel-Werkzeug verwenden, um auf Datenpunkte zu klicken und diese auszuwählen.
Zurück zum Tiretread.jmp-Beispiel: Hier sehen Sie die überlagerten bidirektionalen Interaktionsspuren und Datenpunkte für die Antwort HARDNESS. Sie können leicht erkennen, wie sich die Wirkung von SILANE auf die Reaktion ändert, wenn Sie die Einstellungen anderer Faktoren ändern, ein klarer Hinweis auf eine signifikante Wechselwirkung. Außerdem können Sie sehen, wie sich die Datenpunkte bei den aktuellen Einstellungen auf die verschiedenen Faktoren verteilen.
Abbildung: Überlagerte Interaktionen mit Datenpunkten
Wie haben Sie auf die Hinzufügung von Interaktionsspuren und Datenpunkten reagiert?
John: Ich mochte die Interaktionsspuren, war aber skeptisch, was die Anzeige der Datenpunkte angeht.
Das Einzige, was ich früher beim Profiler bereut habe, war, dass man die Faktoreinstellungen verschieben musste, um Interaktionen zu sehen – sonst würde man sie verpassen. Wenn Sie die neue Option verwenden, sind sie jetzt jedoch sichtbar, sodass Sie eine viel vollständigere Darstellung der Antwortoberfläche erhalten.
Die Anzeige der Datenpunkte kann jedoch irreführend sein. Sie können eine nahezu perfekte Übereinstimmung mit Ihren Daten erzielen, aber wenn Sie die Punkte im Profiler sehen, können Sie zu der Annahme verleiten, dass die Punkte nicht sehr gut passen. Dies liegt daran, dass die Punkte nur den Wert eines Faktors anzeigen und nur dann die Anpassung an die Profiler-Kurve darstellen, wenn die Faktorwerte für die anderen Faktoren mit ihren aktuellen Einstellungen im Profiler übereinstimmen. Aber zum Glück war Xan mir zwei Schritte voraus – wenn die Werte der Off-Axis-Faktordaten stark von den aktuellen Profiler-Faktoreinstellungen abweichen, sind die Markierungen abgeblendet, sodass Sie nur die nicht abgeblendeten Punkte betrachten, um ein gutes Bild davon zu erhalten fit. Ich habe Xan gebeten, sie noch stärker zu dimmen als ursprünglich. Jetzt schaffen sie einen Mehrwert, anstatt irrezuführen.
Wenn Sie den Beitrag jedes Punkts zur Anpassung sehen möchten, wurden dafür Leverage-Plots in Fit Model entwickelt.
In JMP 18 wurde eine Option für das Vorhersageintervall im Profiler hinzugefügt. Können Sie etwas mehr über Vorhersageintervalle sagen und warum JMP diese Option hinzugefügt hat?
John: Das traditionelle „Konfidenzintervall“ im Profiler ist ein Konfidenzintervall für den erwarteten Wert, nicht für einen einzelnen Wert. Dies bedeutet, dass das Konfidenzintervall über viele Iterationen der Stichprobenentnahme und -anpassung in 95 % der Fälle den wahren erwarteten Wert für diese Faktoreinstellungen enthält (vorausgesetzt, das Modell ist wahr usw.). Dies bedeutet jedoch nicht, dass es 95 % der tatsächlichen Werte enthält – im Gegenteil.
Ein Vorhersageintervall addiert die Unsicherheit aufgrund individueller Variation zur Unsicherheit bei der Anpassung des Modells. Diese Intervalle sind größer, manchmal sogar viel größer.
Wenn Sie viele Datenzeilen haben, werden die Parameterschätzungen im Modell mit hoher Präzision angepasst und die Konfidenzgrenzen können klein sein, selbst wenn das Modell viele Restfehler aufweist. In diesem Fall sind die Vorhersagegrenzen weitaus größer.
Wenn Sie nur über eine kleine Datenmenge verfügen und die Parameter im Modell daher keine hohe Präzision aufweisen, werden die Konfidenzgrenzen weit. Die Vorhersagegrenzen sind noch weiter, aber nicht viel, wenn der Restfehler klein ist.
Als der Profiler ursprünglich entwickelt wurde, haben wir beschlossen, den Schwerpunkt auf Konfidenzgrenzen und nicht auf Vorhersagegrenzen zu legen, weil wir Beweise dafür liefern wollten, ob jeder Faktor angesichts der Einstellungen der anderen Faktoren statistisch signifikant ist. Wenn Sie ein geplantes Experiment durchführen, um herauszufinden, welche Faktoren wichtig sind, helfen Ihnen die Konfidenzintervalle dabei, diese Beurteilung zu treffen, zusammen mit der Frage, wie weit die Profile von einer „Flachlinie“ abweichen.
Aber Profiler werden auch für Vorhersagen verwendet, und die von uns einbezogenen Konfidenzgrenzen sind nicht hilfreich, um zu zeigen, wie der Bereich einzelner Werte um den vorhergesagten Wert für bestimmte Faktoreinstellungen variieren kann.
Die Datentabelle Tiretread.jmp hat nur 20 Zeilen und die Anpassung ist nicht besonders gut, insbesondere für die Antwort MODULUS. Hier sehen Sie die Konfidenzgrenzen mit dunklerer Schattierung und die Vorhersagegrenzen mit hellerer Schattierung, ein viel größeres Intervall. Ich würde hoffen, dass die meisten Ihrer Experimente mit engeren Grenzwertbändern besser passen als dieses Beispiel. Wenn Sie einen weiteren Versuchsdurchlauf mit bestimmten Faktoreinstellungen durchführen, ist es wahrscheinlich das Vorhersageintervall, das Ihre neue Antwort enthält, nicht das Konfidenzintervall.
Abbildung: Tiretread, vier Antworten zu drei Faktoren, sowohl mit Konfidenzgrenzen (erwarteter Wert) als auch mit Vorhersagegrenzen.
Was ist mit der Profilerstellung, bei der gespeicherte Formelspalten aus dem Diagrammmenü verwendet werden? Hat sich das auch geändert?
John: Wenn Sie entweder Konfidenzintervalle oder Vorhersageintervalle für den Profiler für gespeicherte Formelspalten wünschen, müssen Sie weitere Formelspalten speichern, damit er sie in Ihrer Datentabelle finden kann.
In früheren Versionen war es umständlich, Konfidenzgrenzen für Formelspalten festzulegen. Sie müssten einen Befehl im Anpassungsobjekt verwenden, z. B. „StdErr-Vorhersageformel“, diesen dann in die vom Profiler ausgewählten Spalten einfügen und sogar eine Frage beantworten, ob dies für Konfidenzintervalle verwendet werden soll.
Mit JMP 18 haben wir es viel einfacher gemacht. Der neue Befehl „Vorhersage- und Intervallformeln“ speichert fünf Formelspalten, eine für den vorhergesagten Wert, zwei für die untere und obere Konfidenzgrenze und zwei für die untere und obere Vorhersagegrenze. Darüber hinaus müssen Sie sie dem Profiler nicht einmal mitteilen – er durchsucht die Datentabelle, um sie automatisch zu finden. Die gespeicherten Spalten werden mit Spalteneigenschaften mit ID-Nummern gespeichert, sodass sie auch dann gefunden werden, wenn Sie sie umbenennen, und sie der richtigen Antwortspalte zuordnen. Das Tiretread-Beispiel hat vier Antworten. Wenn Sie also bei gedrückter Strg-Taste auf diesen Befehl klicken, um ihn an alle vier Passungen zu senden, erhalten Sie 20 neue Spalten.
Wenn Sie den Profiler in JMP 18 über das Diagrammmenü starten, werden nicht alle Spalten in der Datentabellenliste angezeigt, sondern nur die qualifizierten Spalten: die Formelspalten. Außerdem werden die Spalten mit den Konfidenzgrenzen nicht angezeigt, da diese automatisch gefunden werden, da sie mit den Vorhersagespalten verknüpft sind. Diese zusätzliche Funktionalität sollte die Verwendung von Konfidenz- und Vorhersagegrenzen in JMP 18 vereinfachen.
Abbildung: Beachten Sie die 20 neuen Spalten, die durch einen Befehl generiert werden, die ausgeblendeten Intervallspalten und den Profiler, der nur die Formelspalten und nicht die Intervallspalten anzeigt.
Der Begriff „Vorhersageintervalle“ wird synonym mit „individuellem Konfidenzintervall“ verwendet, im Gegensatz zu „mittlerem Konfidenzintervall“, das sich auf den erwarteten Wert und nicht auf eine einzelne Vorhersage bezieht.
Wir haben weitere Änderungen am Startdialog hinsichtlich der Lärmfaktoren vorgenommen. Anstatt sie als Rollenliste anzuzeigen, können Sie jetzt „Geräuschfaktoren angeben“ aktivieren, wodurch Sie dazu aufgefordert werden und dann nur die in den Vorhersageformeln gefundenen Faktoren angezeigt werden. Das macht es einfacher und fehlersicherer.
Gibt es weitere Änderungen am Prediction Profiler in JMP 18?
John: Ja, es gab viele weitere Profiler-Verbesserungen, darunter das Zeichnen glatterer Kurven, wenn die x-Achse nicht linear ist, eine verbesserte Einschränkungsspezifikation und das Hinzufügen einer Extrapolationssteuerung für k-nächste Nachbarn.
Bei der letzten Zählung wird der Prediction Profiler in 129 verschiedenen Kontexten in JMP verwendet, wobei andere Arten von Profilern und abgeleiteten Profilern wie der Design Space Profiler noch nicht einmal berücksichtigt sind. Die zusätzlichen Funktionen in JMP 18 machen den Profiler noch leistungsfähiger für die Erkundung und das Verständnis angepasster Oberflächen.
