| Lautsprecher |
Transkript |
| Tim Pierce |
Gehen. |
| |
Okay, ich werde auch den Ton ausschalten. |
| |
Hallo, ich bin Chris Gotwalt. Meine Co-Moderatoren Laura Lancaster und Jeremy Ash präsentieren gemeinsam mit mir eine nützliche neue JMP Pro-Funktion namens Extrapolation Control. |
| |
Fast jedes Modell, mit dem Sie jemals Vorhersagen treffen möchten, hat einen Anwendungsbereich. |
| |
ein Bereich des Eingaberaums, in dem ihre Vorhersagen als |
| |
zuverlässig genug. Außerhalb dieses Bereichs beginnen wir, das Modell an zwei Punkten zu extrapolieren, weit entfernt von den Daten, die zur Anpassung des Modells verwendet wurden. Die Verwendung der Vorhersagen dieses Modells an diesen Punkten könnte zu völlig unzuverlässigen Vorhersagen führen. |
| Es gibt zwei Hauptquellen der Extrapolation |
Statistische Extrapolation und domänenbasierte Extrapolation. Beide Typen werden durch die neue Funktion abgedeckt. |
| |
Eine statistische Extrapolation tritt auf, wenn versucht wird, mithilfe eines Modells eine Vorhersage bei einem X zu treffen, das nicht nahe an den Werten liegt, die zum Trainieren dieses Modells verwendet wurden. |
| |
Domänenbasierte Extrapolation geschieht, wenn Sie versuchen, bei einem X zu bewerten, das aufgrund wissenschaftlicher |
| |
oder ingenieursbedingte Einschränkungen. Das hier dargestellte Beispiel veranschaulicht beide Arten der Extrapolation an einem Beispiel. Hier sehen wir einen Profiler aus einem Modell eines metallurgischen Produktionsprozesses. |
| |
Die Vorhersage liegt bei -2,96, ohne Hinweis darauf, dass wir bei einer Kombination aus Temperatur und Druck auswerten, die unmöglich ist |
| |
in einem Domänensinn, um für diese Maschine zu erreichen. Wir haben auch statistische Extrapolation, da es so weit von den verwendeten Daten |
| |
um das Modell anzupassen, wie im Streudiagramm der Trainingsdaten rechts zu sehen ist. In JMP Pro 16 haben Jeremy, Laura und ich zusammengearbeitet, um eine neue Funktion hinzuzufügen, die eine Warnung ausgibt, wenn der Profiler vermutet, dass Sie möglicherweise extrapolieren. |
| |
Oder wenn Sie die Extrapolationssteuerung aktivieren, wird die Menge der angezeigten Punkte auf diejenigen beschränkt, bei denen nicht davon ausgegangen wird, dass es sich um Extrapolationen handelt. |
| |
Wir haben zwei Arten der Extrapolationskontrolle. |
| |
Einer basiert auf dem Konzept der Hebelwirkung und verwendet ein Kleinstquadrate-Modell. Dieser erste Typ ist nur in der Pro-Version von Fit Model Least Squares verfügbar. |
| |
Den anderen Typ nennen wir allgemeine Extrapolationssteuerung für maschinelles Lernen und er ist in der Profiler-Plattform und mehreren der gängigsten Plattformen für maschinelles Lernen in JMP Pro verfügbar. |
| |
Auf Anfrage könnten wir es sogar zu mehr hinzufügen. Die Kleinstquadrate-Extrapolation nutzt das Konzept der Hebelwirkung, die einer skalierten Version der Vorhersagevarianz entspricht. Sie ist modellbasiert und daher |
| |
Dabei werden Informationen zu den Haupteffektwechselwirkungen und Termen höherer Ordnung verwendet, um die Extrapolation zu bestimmen. |
| |
Für den allgemeinen Fall der Extrapolationskontrolle im maschinellen Lernen müssen wir einen eigenen Ansatz entwickeln. Wir wollten eine Methode, die bei fehlenden Werten robust ist. |
| |
lineare Abhängigkeiten, schnellere Berechnung, kann Mischungen aus kontinuierlichen und kategorialen Eingabevariablen verarbeiten und wir wollten das Extrapolationsmodell auch ausdrücklich von dem Modell trennen, das zur Anpassung der Daten verwendet wird. |
| |
Wenn wir also die allgemeine Extrapolationssteuerung aktiviert haben, gibt es nur ein überwachtes Modell, das die Eingabevariablen an die Antworten anpasst, die wir in den Profiler-Traces sehen. |
| |
Das Profil erstellt schnell und einfach ein unüberwachtes Modell zur Beschreibung des Trainingssatzes Xs. Dieses unüberwachte Modell wird im Hintergrund vom Profiler verwendet, um die Extrapolationskontrollbeschränkung zu bestimmen. |
| |
Ich muss also wechseln, weil PowerPoint und meine Kamera aus irgendeinem Grund gerade nicht zurechtkommen. |
| |
Wir wissen, dass Menschen, die in der Datenwissenschaft arbeiten, tagtäglich riskante Extrapolationen vornehmen und sind überzeugt, dass die Verwendung von Extrapolationen zu schlechten Vorhersagen und letztlich zu schlechten Geschäftsergebnissen führt. |
| |
Die Extrapolationskontrolle legt Leitplanken für Modellvorhersagen fest und führt zu quantifizierbar besseren Entscheidungen der JMP Pro-Benutzer. |
| |
Wenn Benutzer eine Extrapolation feststellen, müssen sie auf der Grundlage ihrer Fachkenntnisse und ihrer Vertrautheit mit dem vorliegenden Problem eine Entscheidung darüber treffen, ob die Vorhersage verwendet werden soll oder nicht. |
| |
Wenn Warnungen zur Extrapolationssteuerung auftreten, ist dies häufig das Ende des Lebenszyklus des Modells und es ist Zeit, es an neue Daten anzupassen, da sich die Verteilung der Eingaben von der der Trainingsdaten entfernt hat. |
| |
Wir sind ehrlich gesagt ziemlich überrascht und beunruhigt, dass die Notwendigkeit der Identifizierung von Extrapolationen von der Data-Science-Community nicht besser erkannt wird. |
| |
Wir haben die Extrapolationskontrolle so einfach und automatisiert wie möglich gestaltet. Laura, die die Funktion in JMP Pro entwickelt hat, wird diese Option als Nächstes demonstrieren. Anschließend wird Jeremy, der in unserem Team einen Großteil der Forschung geleistet hat, auf die mathematischen Details und die statistische Begründung des Ansatzes eingehen. |
| |
Hallo. Mein Name ist Laura Lancaster und ich zeige Ihnen hier die Extrapolationsfunktion, die in JMP Pro 16 integriert wurde. Ich möchte mit einem einfachen Beispiel beginnen, das die Kleinstquadrate-Methode zur Modellanpassung verwendet. |
| |
Ich werde einige Daten verwenden, die Ihnen vielleicht bekannt vorkommen. Es sind die Fitnessdaten aus den Beispieldaten. |
| |
Ich verwende die Sauerstoffaufnahme als Reaktion und Laufzeit, Laufpuls und Maximalpuls als Prädiktoren. Ich möchte noch einmal betonen, dass im Anpassungsmodell „Fit Least Squares“ die verwendete Extrapolationsmetrik der Hebel ist. Starten wir also JMP. |
| |
Jetzt habe ich die Fitnessdaten in JMP geöffnet und verfüge über ein Skript zum Speichern in der Datentabelle, um mein Fit-Least-Squares-Modell automatisch zu starten. |
| |
Ich werde also das Skript ausführen. Es startet die Kleinste-Quadrate-Plattform. |
| |
Und ich habe den Profiler automatisch geöffnet und wir können sehen, dass der Profiler so aussieht wie immer in der Vergangenheit, |
| |
wobei die Faktorgrenzen durch den Bereich jedes einzelnen Faktors definiert werden, was uns rechteckige Begrenzungsbeschränkungen gibt. |
| |
Und wenn ich die Faktoreinstellungen ändere, kann es aufgrund dieser gebundenen Beschränkungen wirklich schwierig sein zu sagen, ob man sich weit außerhalb der Korrelationsstruktur der Daten bewegt. |
| |
Aus diesem Grund wollten wir die Extrapolationssteuerung hinzufügen. Diese wurde in JMPs Pro 16 zu mehreren Plattformen hinzugefügt. |
| |
einschließlich der Methode „Kleinste Quadrate anpassen“. Um zur Extrapolationssteuerung zu gelangen, gehen Sie zum Menü unter dem Profiler-Menü. Wenn ich hier nachschaue, sehe ich eine neue Option namens „Extrapolationssteuerung“. |
| |
Standardmäßig ist es deaktiviert, ich kann es aber entweder aktivieren oder die Warnung aktivieren, um die Extrapolationssteuerung zu aktivieren. Wenn ich es aktiviere, werden meine Profilspuren auf Werte beschränkt, die ich nicht extrapoliere. |
| |
Wenn ich die Warnung einschalten würde, würde ich die vollständigen Profilspuren sehen, aber ich würde eine Warnung erhalten, wenn ich in eine Region gehe, in der dies als Extrapolation betrachtet würde. |
| |
Ich kann auch Extrapolationsdetails einschalten, was ich wirklich hilfreich finde. |
| |
und das gibt mir viel mehr Informationen. Zunächst einmal sagt es mir, dass meine Metrik, die ich zur Definition der Extrapolation verwende, der Hebel ist, was in der Fit-Least-Squares-Plattform zutrifft, |
| |
und der Schwellenwert, der standardmäßig zunächst verwendet wird, ist der maximale Hebel, aber das ist etwas, was ich ändern kann, und ich werde es Ihnen gleich zeigen. |
| |
Außerdem kann ich sehen, was meine Extrapolationsmetrik für meine aktuellen Einstellungen ist. Das ist diese Zahl hier, die sich ändert, wenn ich meine Faktoreinstellungen ändere. |
| |
Immer wenn dieser Wert den Schwellenwert überschreitet, erhalte ich die Warnung, dass ich möglicherweise extrapoliere. Wenn er darunter liegt, erhalte ich diese Warnung nicht mehr. |
| |
Dieser Schwellenwert ändert sich nicht, es sei denn, ich ändere ihn im Menü. Das mache ich jetzt gleich. Ich gehe ins Menü. |
| |
Ich gehe nun zum Kriterium „Schwellenwerte festlegen“. Bei der Methode „Kleinste Quadrate anpassen“ gibt es zwei Optionen für den Schwellenwert. Zunächst ist der maximale Hebel eingestellt, wodurch Sie innerhalb des konvexen Lochs der Daten bleiben. |
| |
Oder Sie können zu einem Multiplikator wechseln, der die durchschnittliche Hebelwirkung oder die Modellbedingungen über Beobachtungen multipliziert. Und ich möchte zu diesem Schwellenwert wechseln, also ist er auf drei eingestellt |
| |
Als Standardmultiplikator wird „Dreimal so viel wie der durchschnittliche Hebel“ verwendet. Klicken Sie auf „OK“. Mein Schwellenwert ändert sich. Er ist tatsächlich kleiner geworden, was eine konservativere Definition der Extrapolation darstellt. |
| |
Und ich werde es wieder einschalten, um meine Profilverfolgungen einzuschränken, und jetzt kann ich nur noch in Regionen gehen |
| |
wo ich innerhalb des Dreifachen des durchschnittlichen Leverage liege. |
| |
Jetzt haben wir auch eine Optimierung implementiert, die den Extrapolationsbeschränkungen entspricht. Wenn ich jetzt die Setzbarkeit einschalte |
| |
und ich mache die Optimierung, |
| |
Ich erhalte einen optimalen Wert, der die Extrapolationsbeschränkung erfüllt. Beachten Sie, dass dieser Messwert kleiner oder gleich dem Schwellenwert ist. |
| |
Wenn ich jetzt zu meiner nächsten Folie gehe, werde ich in einem Diagramm (einer Streudiagrammmatrix) den Unterschied zwischen dem optimalen Wert mit aktivierter und mit deaktivierter Extrapolationssteuerung vergleichen. |
| |
Dies ist die Streudiagrammmatrix, die ich mit JMP erstellt habe. Sie zeigt die ursprünglichen Daten der Prädiktorvariablen sowie die Werte der Prädiktorvariablen. |
| |
für die optimale Lösung ohne Extrapolationssteuerung in Blau und die optimale Lösung mit Extrapolationssteuerung in Rot. Und beachten Sie, wie die uneingeschränkte Lösung hier in Blau, rechts |
| |
verletzt hier die Korrelationsstruktur für die Originaldaten für Laufpuls und Maximalpuls und erhöht somit die Unsicherheit dieser Vorhersage, während die optimale Lösung, bei der eine Extrapolationskontrolle verwendet wurde, viel besser mit den Originaldaten übereinstimmt. |
| |
Sehen wir uns nun ein Beispiel an, bei dem die allgemeinere Methode der Extrapolationssteuerung verwendet wird, die wir als regulierte T-Quadrat-Methode bezeichnen. |
| |
Wie Chris bereits erwähnt hat, haben wir diese Methode für andere Modelle als Kleinste-Quadrate-Modelle entwickelt. Wir werden uns ein neuronales Modell für die Diabetesdaten ansehen, das auch in den Beispieldaten enthalten ist. |
| |
Die Reaktion ist ein Maß für den Krankheitsverlauf, und die Prädiktoren sind die Basisvariablen. Die für dieses Beispiel verwendete Extrapolationsmetrik ist wiederum das regulierte T-Quadrat, das Jeremy in wenigen Minuten genauer beschreiben wird. |
| |
Ich habe Diabetesdaten in JMP geöffnet und ein Skript mit den Anpassungen meines neuronalen Modells gespeichert. Ich werde dieses Skript jetzt ausführen. |
| |
Es startet die neuronale Plattform. Beachten Sie, dass ich die Validierungsmethode „Random Hold Back“ verwende. Ich möchte nur darauf hinweisen, dass bei jeder Validierungsmethode die Extrapolationskontrolle ausschließlich auf den Trainingsdaten basiert. |
| |
und nicht Ihre Validierungs- oder Testdaten. |
| |
Ich habe den Profiler geöffnet und Sie können sehen, dass er die vollständigen Spuren verwendet. Die Extrapolationssteuerung ist nicht aktiviert. |
| |
Lassen Sie es uns einschalten. |
| |
Und ich werde auch auf die Details eingehen. |
| |
Sie können sehen, dass die Spuren eingeschränkt wurden und die Metrik das regulierte T-Quadrat ist. |
| |
Der Schwellenwert liegt bei der dreifachen Standardabweichung des regularisierten T-Quadrats der Stichprobe. Jeremy wird in wenigen Minuten genauer darauf eingehen, was das alles genau bedeutet. |
| |
Und ich wollte nur erwähnen, dass es bei der Verwendung der regulierten T-Quadrat-Methode nur eine Auswahlmöglichkeit für den Schwellenwert gibt, aber Sie können den Multiplikator anpassen. Wenn Sie also zu |
| |
Extrapolationskontrollen, Schwellenwerte festlegen, Sie können diesen Multiplikator anpassen, aber ich belasse ihn bei drei. Und jetzt möchte ich die Optimierung durchführen mit |
| |
Extrapolationssteuerung, also maximiere ich einfach und merke mir. Jetzt habe ich eine optimale Lösung mit aktivierter Extrapolationssteuerung. |
| |
Und jetzt möchte ich mir unsere Streudiagrammmatrix ansehen, genau wie wir sie zuvor mit den Originaldaten sowie mit den optimalen Werten mit und ohne Extrapolationskontrolle betrachtet haben. |
| |
Dies ist eine Streudiagrammmatrix der Diabetesdaten, die ich in JMP erstellt habe. Sie enthält die ursprünglichen Prädiktorwerte, |
| |
sowie die optimale Lösung mit Extrapolationssteuerung in Rot und die optimale Lösung ohne Extrapolationssteuerung in Blau. Und Sie können sehen, dass |
| |
Die roten Punkte scheinen viel stärker innerhalb der Korrelationsstruktur der Originaldaten zu liegen als die blauen. Dies gilt insbesondere, wenn man LDL im Vergleich zum Gesamtcholesterin betrachtet. |
| |
Sehen wir uns nun ein Beispiel mit dem Profiler an, der sich unter dem Diagrammmenü befindet und den ich „Diagrammprofiler“ nennen werde. |
| |
Es verwendet außerdem die regulierte T-Quadrat-Methode und ermöglicht die Extrapolationskontrolle für jeden Modelltyp, der als JSL-Formel erstellt und gespeichert werden kann. Außerdem ermöglicht es die Extrapolationskontrolle für mehrere Modelle gleichzeitig. |
| |
Schauen wir uns also das Beispiel eines Unternehmens an, das mithilfe der Pulvermetallurgie-Technologie Stahlantriebswellen für die Automobilindustrie herstellt. |
| |
Sie möchten optimale Einstellungen für ihre Produktion finden, um Schrumpfung und Ausfälle aufgrund schlechter Oberflächenbedingungen zu minimieren. Daher haben wir zwei Antworten: |
| |
Schrumpfung, die kontinuierlich ist und für die wir ein Kleinstquadrate-Modell anpassen werden, und Oberflächenzustand, der bestanden/nicht bestanden ist und für den wir ein nominales logistisches Modell anpassen werden. |
| |
Und unsere Prädiktorvariablen sind nur einige wichtige Prozessvariablen in der Produktion. Und noch einmal: Die Extrapolationsmetrik ist das regulierte T-Quadrat. |
| |
Ich habe die Pulvermetallurgiedaten in JMP geöffnet und bereits ein Kleinstquadrate-Modell für meine Schrumpfungsreaktion angepasst. |
| |
Ich habe bereits ein nominales logistisches Modell für die Pass/Fail-Reaktion der Oberflächenbedingungen angepasst. Die Vorhersageformeln habe ich in der Datentabelle gespeichert, sodass sie im Graph-Profiler verwendet werden können. |
| |
Wenn ich also zum Diagrammmenü-Profiler gehe, kann ich die Vorhersageformel für die Schrumpfung laden und meine Vorhersageformel bezieht sich auf den Oberflächenzustand. |
| |
Klicken Sie auf „OK“. |
| |
Und jetzt habe ich beide meiner Modelle im Graph-Profiler gestartet. |
| |
Und bevor ich die Extrapolation einschalte, sehen Sie, dass ich die vollständigen Profilspuren habe. Sobald ich die Extrapolation einschalte, |
| |
Sie können sehen, dass die Spuren etwas schrumpfen. Und ich werde auch die Details einschalten |
| |
nur um zu zeigen, dass ich hier in dieser Methode tatsächlich das regulierte T-Quadrat verwende. |
| |
Was ich also wirklich tun möchte, ist, die optimalen Bedingungen zu finden, unter denen ich Schrumpfung und Ausfälle minimieren kann. |
| |
mit aktivierter Extrapolationskontrolle. Ich möchte sicherstellen, dass ich nicht extrapoliere. Ich möchte eine nützliche Lösung finden. |
| |
Und bevor ich die Optimierung durchführen kann, muss ich meine gewünschten Eigenschaften festlegen. Ich werde die gewünschten Eigenschaften festlegen; für die Schrumpfung ist das bereits korrekt, aber ich muss sie für die Oberflächenbeschaffenheit festlegen. |
| |
Ich werde versuchen, die Anzahl der Pässe zu maximieren und die Anzahl der Fehlschüsse zu minimieren. |
| |
OK. |
| |
Und jetzt sollte ich in der Lage sein, die Optimierung mit aktivierten Extrapolationssteuerungen durchzuführen, zu maximieren und zu merken. |
| |
Jetzt habe ich meine optimale Lösung |
| |
mit aktivierter Extrapolationssteuerung. Schauen wir uns nun noch einmal die Streudiagrammmatrix der Originaldaten an, zusammen mit der Lösung mit aktivierter Extrapolationssteuerung und der Lösung mit deaktivierter Extrapolationssteuerung. |
| |
Dies ist also eine Streudiagrammmatrix der Pulvermetallurgiedaten, die ich in JMP erstellt habe, und sie enthält auch die optimale Lösung |
| |
mit Extrapolationssteuerung als roter Punkt und die optimale Lösung ohne Extrapolationssteuerung als blauer Punkt. Und wieder einmal können Sie sehen, dass, wenn wir die Extrapolationssteuerung nicht aktivieren, |
| |
Die optimale Lösung liegt ziemlich weit außerhalb der Korrelationsstruktur der Daten. Das können wir hier besonders gut am Verhältnis zum Verdichtungsdruck erkennen. |
| |
Ich möchte die Präsentation nun an Jeremy übergeben, der unsere Methoden ausführlicher erläutern wird. |
| |
Hallo. Hier sind einige Ziele für die Extrapolationskontrolle, die wir zu Beginn des Projekts festgelegt haben. |
| |
Wir benötigten eine Extrapolationsmetrik, die sich schnell mit einer großen Anzahl von Beobachtungen und Variablen berechnen ließ, und wir brauchten eine schnelle Möglichkeit, zu beurteilen, ob die Metrik eine Extrapolation anzeigte oder nicht. Dies diente dazu, die Interaktivität der Profiler-Traces aufrechtzuerhalten und |
| |
wir brauchten dies, um eine Optimierung durchzuführen. |
| |
Wir möchten, dass es die verschiedenen im Profiler verfügbaren Variablentypen unterstützt. Diese sind im Wesentlichen kontinuierlich, kategorisch und ordinal. |
| |
Wir wollten Beobachtungen mit fehlenden Zellen nutzen, da einige Modellierungsmethoden diese Beobachtungen und ??? einbeziehen. |
| |
Wir wollten eine Methode, die robust gegenüber linearen Abhängigkeiten in den Daten ist. Diese treten beispielsweise auf, wenn die Anzahl der Variablen größer ist als die Anzahl der Beobachtungen. |
| |
Und wir wollten etwas, das sich leicht automatisieren lässt und keine großen Benutzereingaben erfordert. |
| |
Bei Kleinstquadrate-Modellen haben wir uns für die Hebelwirkung entschieden, die häufig zur Identifizierung von Ausreißern in linearen Modellen verwendet wird. |
| |
Der Hebel für den neuen Prognosepunkt wird nach dieser Formel berechnet. Es gibt viele Interpretationen für den Hebel. Eine Interpretation ist, dass |
| |
Es handelt sich um die multivariate Distanz eines Vorhersagepunkts vom Zentrum der Trainingsdaten. Eine andere Interpretation ist, dass es sich um eine skalierte Vorhersagevarianz handelt. Je weiter sich der Vorhersagepunkt vom Zentrum der Daten entfernt, desto größer ist die Unsicherheit der Vorhersage. |
| |
Und wir verwenden zwei in der statistischen Literatur gängige Schwellenwerte, um zu bestimmen, ob dieser Abstand zu groß ist. |
| |
Der erste ist die maximale Hebelwirkung. Vorhersagepunkte jenseits dieses Schwellenwerts liegen außerhalb des konvexen Lochs der Trainingsdaten. |
| |
Und der zweite Wert ist das Dreifache des Durchschnittswerts der Hebelwirkungen. Es lässt sich zeigen, dass dies dem Dreifachen der Anzahl der Modellterme geteilt durch die Anzahl der Beobachtungen entspricht. |
| |
Und wie Laura zuvor beschrieben hat, können Sie den Multiplikator dieser Schwellenwerte ändern. |
| |
Schließlich ist die Extrapolationsbeschränkung bei der Optimierung von Wünschen eine nichtlineare. Zuvor erlaubte der Profiler die Optimierung mit eingeschränkten linearen Beschränkungen. |
| |
Da diese Art der Optimierung jedoch anspruchsvoller ist, implementierte Laura einen genetischen Algorithmus. Falls Sie damit nicht vertraut sind: Genetische Algorithmen nutzen Prinzipien der molekularen Evolution, um komplizierte Kostenfunktionen zu optimieren. |
| |
Als Nächstes werde ich über den Ansatz sprechen, den wir verwenden, um die Extrapolationssteuerung auf zwei Modelle zu verallgemeinern, die keine linearen Modelle sind. |
| |
Wenn Sie in JMP ein Vorhersagemodell erstellen, beginnen Sie mit einem Satz von Prädiktorvariablen und einem Satz von Antwortvariablen. |
| |
Es wird ein überwachtes Modell trainiert und anschließend kann ein Profiler zur Visualisierung der Modelloberfläche verwendet werden. |
| |
Es gibt zahlreiche Varianten des Profilers in JMP. Sie können den Profiler intern in Modellierungsplattformen verwenden, Vorhersageformeln ausgeben und erstellen |
| |
Profiler für mehrere Modelle, wie Laura demonstrierte. Sie können Profiler für Ensemble-Modelle erstellen. Wir wollten eine Methode zur Extrapolationssteuerung, die sich auf alle diese Szenarien anwenden lässt. Anstatt unsere Methode an ein bestimmtes Modell zu binden, verwenden wir daher einen unüberwachten Ansatz. |
| |
Und wir kennzeichnen einen Vorhersagepunkt nur dann als Extrapolation, wenn er weit außerhalb der Datenkonzentration im Prädiktorraum liegt. Dies ermöglicht uns die Konsistenz über alle Profiler hinweg, sodass unsere Extrapolationskontrollmethode in jeden Profiler integriert werden kann. |
| |
Die multivariate Distanzinterpretation des Leverage-Effekts legte Hotellings T-Quadrat als Distanz für die allgemeine Extrapolationskontrolle nahe. Tatsächlich zeigt eine algebraische Manipulation, dass Hotellings T-Quadrat lediglich den verschobenen und skalierten Leverage-Effekt darstellt. |
| |
Diese Abbildung zeigt, wie Hotellings T-Quadrat misst, auf welcher Ellipse eine Beobachtung liegt, wobei die Ellipsen auf den Mittelwert der Daten zentriert sind und die Form durch die Kovarianzmatrix definiert wird. |
| |
Da wir nicht mehr in linearen Modellen arbeiten, hat diese Metrik nicht mehr den gleichen Bezug zur Vorhersagevarianz. Anstatt uns also auf die in linearen Modellen verwendeten Schwellenwerte zu verlassen, werden wir einige Verteilungsannahmen treffen, um zu bestimmen, ob |
| |
T-Quadrat für den Vorhersagepunkt sollte als Extrapolation betrachtet werden. |
| |
Hier zeige ich die Formel für Hotellings T-Quadrat. Der Mittelwert und die Kovarianzmatrix werden anhand der Trainingsdaten für das Modell geschätzt. |
| |
Wenn P kleiner als N ist, wobei P die Anzahl der Prädiktoren und N die Anzahl der Beobachtungen ist, |
| |
und wenn der Prädiktor multivariat normal ist, dann hat T² für einen Vorhersagepunkt eine F-Verteilung. Wir wollten jedoch eine Methode, um |
| |
Verallgemeinern Sie die Datensätze mit komplizierten Datentypen, beispielsweise einer Mischung aus kontinuierlichen und kategorischen Datensätzen, wobei P größer als N ist. |
| |
Datensätze mit fehlenden Werten. Anstatt die Verteilung in jedem Fall analytisch zu berechnen, verwenden wir eine einfache konservative Kontrollgrenze, die sich in der Praxis bewährt hat. |
| |
Dies ist eine Drei-Sigma-Kontrollgrenze unter Verwendung der empirischen Verteilung von T-Quadrat aus den Trainingsdaten, und wie Laura erwähnte, können Sie diesen Multiplikator auch anpassen. |
| |
Eine Komplikation besteht darin, dass Hotellings T-Quadrat undefiniert ist, wenn P größer als N ist. Die Kovarianzmatrix enthält zu viele Parameter, um sie mit den verfügbaren Daten zu schätzen. |
| |
Und dies tritt häufig in typischen Anwendungsfällen für die Extrapolationskontrolle auf, etwa bei partiellen kleinsten Quadraten. Deshalb haben wir uns für einen neuartigen Ansatz zur Berechnung von Hotellings T-Quadrat entschieden, der diese Fälle berücksichtigt und den wir als reguliertes T-Quadrat bezeichnen. |
| |
Zur Berechnung der Kovarianzmatrix verwenden wir einen regularisierten Schätzer, der ursprünglich von Schafer und Strimmer für hochdimensionale Genomikdaten entwickelt wurde. Dieser ist lediglich eine gewichtete Kombination aus der Kovarianzmatrix der gesamten Stichprobe (hier U) und einer Constraint-Zielmatrix (D). |
| |
Für den Lambda-Gewichtsparameter leiteten Schafer und Strimmer einen analytischen Ausdruck ab, der den MSE, den Schätzwert, asymptotisch minimiert. |
| |
Schafer und Strimmer schlugen mehrere mögliche Zielmatrizen vor. Wir wählten eine Diagonalmatrix mit den Stichprobenvarianzen der Prädiktorvariablen auf der Diagonalen. Diese Zielmatrix bietet eine Reihe von Vorteilen für die Extrapolationskontrolle. |
| |
Erstens gehen wir nicht davon aus, dass es eine Korrelationsstruktur zwischen den Variablen gibt, bevor wir die Daten sehen, was als allgemeine Annahme gut funktioniert. |
| |
Auch wenn nur wenige Daten zur Schätzung der Kovarianzmatrix vorhanden sind, entweder aufgrund eines kleinen N oder eines großen fehlenden Anteils, |
| |
Die elliptische Einschränkung wird durch eine hohe Gewichtung der Diagonalmatrix erweitert. Dies führt zu einem konservativeren Test zur Extrapolationskontrolle. Wir haben festgestellt, dass dies notwendig ist, um eine angemessene Kontrolle der Falsch-Positiv-Rate zu erreichen. |
| |
Um es einfacher auszudrücken: Wenn nur begrenzte Trainingsdaten vorliegen, ist es weniger wahrscheinlich, dass das regulierte T-Quadrat Vorhersagen als Extrapolation kennzeichnet, was Sie aber auch wollen, weil Sie eher zufällig Kovarianzen beobachten. |
| |
Wir verfügen über einige Simulationsergebnisse, die diese Details veranschaulichen, aber ich habe keine Zeit, näher darauf einzugehen. Stattdessen haben wir auf der Community-Webseite einen Link zu einem archivierten Artikel bereitgestellt, den wir beim Journal of Computational Graphical Statistics einreichen möchten. |
| |
Die nächste Folie zeigt einige weitere wichtige Details, die wir berücksichtigen mussten. Wir mussten herausfinden, wie wir mit kategorialen Variablen umgehen. |
| |
Wir konvertieren sie lediglich in indikatorkodierte Dummyvariablen. Dies ist vergleichbar mit einer multiplen Korrespondenzanalyse. |
| |
Eine weitere Schwierigkeit besteht darin, Hotellings T-Quadrat zu berechnen, wenn Daten fehlen. Mehrere JMP-Plattformen für prädiktive Modellierung nutzen Beobachtungen mit fehlenden Daten, um die Modelle zu trainieren. |
| |
Dazu gehören Naive Bayes und Bootstrap Forest, und diese Formeln zeigen die paarweise Löschmethode, die wir zur Schätzung der Kovarianzmatrix verwenden. |
| |
Üblicher ist die zeilenweise Löschung. Das bedeutet, dass alle Beobachtungen mit fehlenden Werten vor der Berechnung der Kovarianzmatrix gelöscht werden. Dies ist zwar am einfachsten, kann aber dazu führen, dass nützliche Daten verloren gehen, wenn die Stichprobengröße der Trainingsdaten klein ist. |
| |
Beim paarweisen Löschen werden Beobachtungen nur dann gelöscht, wenn in dem Variablenpaar, das zur Berechnung eines entsprechenden Eintrags verwendet wird, fehlende Werte vorhanden sind. |
| |
Und genau das zeigen diese Formeln. Es scheint einfach zu sein, man nutzt einfach alle verfügbaren Daten, kann aber tatsächlich zu einer Reihe von Problemen führen, da für die Berechnung jedes Eintrags unterschiedliche Beobachtungen verwendet werden. |
| |
Dies kann zu seltsamen Ereignissen führen, beispielsweise zu Kovarianzmatrizen mit negativen Eigenwerten, mit denen wir uns befassen mussten. |
| |
Hier sind einige Vorteile des regulierten T-Quadrats, die wir im Vergleich zu anderen Methoden in unseren Bewertungen festgestellt haben. |
| |
Einer davon ist, dass die Regularisierung wie gewohnt funktioniert. Sie schafft die Balance zwischen Überanpassung der Trainingsdaten und übermäßiger Verzerrung des Schätzers. Dies macht den Schätzer robuster gegenüber Rauschen und Modellfehlspezifikationen. |
| |
Schafer und Strimmer zeigten in ihrer Arbeit, dass Regularisierung in hochdimensionalen Umgebungen zu einem genaueren Schätzer führt. Dies hilft, den Fluch der Dimensionalität zu überwinden, der die meisten distanzbasierten Methoden zur Extrapolationskontrolle plagt. |
| |
Und dann in den Bereichen, die die Methodik zur Extrapolationskontrolle entwickelt haben, |
| |
Sie verfügen häufig sowohl über hochdimensionale Daten als auch über stark korrelierte Prädiktoren. In der Chemoinformatik und Chemometrie beispielsweise sind die chemischen Merkmale häufig stark korreliert. |
| |
Die Extrapolationskontrolle wird häufig in Kombination mit PCA- und PLS-Modellen verwendet, wobei T-Quadrat und DModX zur Erkennung von Korrelationsstrukturverletzungen eingesetzt werden. Dies ähnelt dem, was wir in modellgesteuerten multivariaten Kontrollkarten tun. |
| |
Da dies ein häufiger Anwendungsfall ist, wollten wir eine Option haben, die nicht zu weit von diesen Methoden abweicht. |
| |
Unser reguliertes T-Quadrat bietet |
| |
Dieselbe Art der Extrapolationskontrolle, erfordert jedoch keinen Projektionsschritt, was einige Vorteile bietet. |
| |
Wir haben festgestellt, dass wir dadurch eine bessere Verallgemeinerung auf andere Arten von Vorhersagemodellen erreichen können. |
| |
Bei unseren Auswertungen haben wir auch festgestellt, dass, wenn eine lineare Projektion für Ihre Daten nicht gut funktioniert, weil Sie beispielsweise nichtlineare Beziehungen zwischen Prädiktoren haben, |
| |
Die Fehler können die Kontrollgrenzen projektionsbasierter Methoden aufblähen, was zu einem unzureichenden Schutz gegen Extrapolation führt. Unser Ansatz ist robuster. |
| |
Und ein weiterer wichtiger Punkt ist, dass wir die |
| |
Eine einzelne Extrapolationsmetrik war viel einfacher zu verwenden und zu interpretieren. |
| |
Und hier ist eine kurze Zusammenfassung der Funktionen der Extrapolationskontrolle. Die Methode bietet eine bessere Visualisierung der möglichen Bereiche in |
| |
hochdimensionale Modelle im Profiler. Ein neuer genetischer Algorithmus wurde für eine flexible Optimierung mit Einschränkungen implementiert. |
| |
Und unser reguliertes T-Quadrat verarbeitet unübersichtliche Beobachtungsdaten in Fällen wie P größer als N und kontinuierlichen und kategorialen Variablen. |
| |
Die Methode ist in den meisten Vorhersagemodellen in JMP 16 Pro verfügbar und unterstützt viele ihrer Besonderheiten. Sie ist auch im Profiler im Diagramm verfügbar, was ihren Nutzen deutlich erweitert, da sie mit jeder Vorhersageformel arbeiten kann. |
| |
Und als zukünftige Richtung ziehen wir die Implementierung einer auf K-Nearest-Neighbors basierenden Einschränkung in Erwägung, die über die aktuelle Korrelationsstrukturbeschränkung hinausgehen würde. |
| |
Oft werden Prädiktoren durch mehrere Verteilungen generiert, was zu einer Clusterbildung im Prädiktorraum führt, und ein auf K-Nächsten Nachbarn basierender Ansatz würde es uns ermöglichen, die Extrapolation zwischen Clustern zu steuern. |
| |
Vielen Dank also an alle, die eingeschaltet haben, um sich das anzuschauen. Hier sind die E-Mails, falls Sie weitere Fragen haben. |
| Jeremy Ash, JMP |
Ihr seid immer noch da. |
| Chris Gotwalt |
ja, das bin ich. |
| Laura Lancaster |
Nur. |
