Lautsprecher
|
Transkript
|
| Tim Pierce |
Gehen. |
| |
Richtig, ich werde stumm schalten. |
| |
Hallo, ich bin Chris Gotwalt. Meine Co-Moderatoren Laura Lancaster und Jeremy Ash und ich stellen eine nützliche neue JMP Pro-Funktion namens Extrapolationskontrolle vor. |
| |
Fast jedes Modell, mit dem Sie jemals vorhersagen möchten, hat eine Reihe von Anwendbarkeiten. |
| |
ein Bereich des Eingaberaums, in dem ihre Vorhersagen liegen |
| |
zuverlässig genug. Außerhalb dieses Bereichs beginnen wir mit der Extrapolation des Modells um zwei Punkte, weit entfernt von den Daten, die zur Anpassung des Modells verwendet wurden. Die Verwendung der Vorhersagen dieses Modells an diesen Punkten könnte zu völlig unzuverlässigen Vorhersagen führen. |
| Es gibt zwei Hauptquellen für die Extrapolation |
statistische Extrapolation und domänenbasierte Extrapolation. Beide Typen werden von der neuen Funktion abgedeckt. |
| |
Statistische Extrapolation findet statt, wenn man versucht, mithilfe eines Modells eine Vorhersage zu treffen, deren X nicht nahe an den Werten liegt, die zum Trainieren dieses Modells verwendet wurden. |
| |
Eine domänenbasierte Extrapolation erfolgt, wenn Sie versuchen, bei einem X auszuwerten, was aufgrund wissenschaftlicher Erkenntnisse nicht möglich ist. |
| |
oder technische Einschränkungen. Das hier gezeigte Beispiel veranschaulicht beide Arten der Extrapolation an einem Beispiel. Hier sehen wir einen Profiler aus einem Modell eines metallurgischen Produktionsprozesses. |
| |
Die Vorhersage liegt bei -2,96 und weist nicht darauf hin, dass wir eine Kombination aus Temperatur und Druck bewerten, die unmöglich ist |
| |
im Domänensinn für diese Maschine zu erreichen. Wir führen auch statistische Hochrechnungen durch, soweit es um die verwendeten Daten geht |
| |
um das Modell anzupassen, wie im Streudiagramm der Trainingsdaten rechts zu sehen ist. In JMP Pro 16 haben Jeremy, Laura und ich zusammengearbeitet, um eine neue Funktion hinzuzufügen, die eine Warnung ausgeben kann, wenn der Profiler denkt, dass Sie möglicherweise extrapolieren. |
| |
Wenn Sie die Extrapolationskontrolle aktivieren, wird die Menge der angezeigten Punkte auf diejenigen beschränkt, von denen es nicht annimmt, dass sie extrapoliert werden. |
| |
Wir haben zwei Arten der Extrapolationskontrolle. |
| |
Eine davon basiert auf dem Konzept der Hebelwirkung und verwendet ein Modell der kleinsten Quadrate. Dieser erste Typ ist nur in der Pro-Version des Anpassungsmodells der kleinsten Quadrate verfügbar. |
| |
Den anderen Typ nennen wir allgemeine Extrapolationskontrolle für maschinelles Lernen. Er ist in der Profiler-Plattform und mehreren der gängigsten Plattformen für maschinelles Lernen in JMP Pro verfügbar. |
| |
Auf Wunsch könnten wir es sogar zu mehr hinzufügen. Die Steuerung der Extrapolation nach der Methode der kleinsten Quadrate nutzt das Konzept der Hebelwirkung, das einer skalierten Version der Vorhersagevarianz gleicht. Es ist modellbasiert und so |
| |
Es verwendet Informationen über die Wechselwirkungen der Haupteffekte und Terme höherer Ordnung, um die Extrapolation zu bestimmen. |
| |
Für den allgemeinen Kontrollfall der Extrapolation maschinellen Lernens müssen wir einen eigenen Ansatz entwickeln. Wir wollten eine Methode, die bei fehlenden Werten robust ist. |
| |
lineare Abhängigkeiten, schnellere Berechnungen, können Mischungen aus kontinuierlichen und kategorialen Eingabevariablen verarbeiten, und wir wollten außerdem ausdrücklich das Extrapolationsmodell von dem Modell trennen, das zur Anpassung der Daten verwendet wird. |
| |
Wenn wir also die allgemeine Extrapolationskontrolle aktiviert haben, gibt es nur ein überwachtes Modell, das die Eingabevariablen an die Antworten anpasst, die wir in den Profiler-Traces sehen. |
| |
Das Profil, das ein unbeaufsichtigtes Quick-and-Dirty-Modell zur Beschreibung des Trainingssatzes Xs erstellt, und dieses unbeaufsichtigte Modell wird hinter den Kulissen vom Profiler verwendet, um die Einschränkung der Extrapolationssteuerung zu bestimmen. |
| |
Deshalb muss ich wechseln, weil PowerPoint und meine Kamera aus irgendeinem Grund im Moment nicht mithalten. |
| |
Wir wissen, dass Menschen, die in der Datenwissenschaft arbeiten, jeden Tag riskante Extrapolationen vornehmen und sind davon überzeugt, dass die Verwendung von Extrapolationen zu schlechten Vorhersagen und letztendlich zu schlechten Geschäftsergebnissen führt. |
| |
Die Extrapolationskontrolle setzt Leitplanken für Modellvorhersagen und führt zu quantifizierbar besseren Entscheidungen von JMP Pro-Benutzern. |
| |
Wenn Benutzer feststellen, dass eine Extrapolation stattfindet, muss der Benutzer auf der Grundlage seines Fachwissens und seiner Vertrautheit mit dem vorliegenden Problem entscheiden, ob die Vorhersage verwendet werden soll oder nicht. |
| |
Wenn Warnungen zur Extrapolationskontrolle auftreten, bedeutet dies häufig, dass der Lebenszyklus dieses Modells zu Ende ist und es an der Zeit ist, es an neue Daten anzupassen, da sich die Verteilung der Eingaben von der Verteilung der Trainingsdaten verschoben hat. |
| |
Wir sind ehrlich gesagt ziemlich überrascht und beunruhigt darüber, dass die Notwendigkeit einer identifizierenden Extrapolation von der Datenwissenschaftsgemeinschaft nicht besser anerkannt wird |
| |
und haben die Steuerung der Extrapolation so einfach und automatisch wie möglich gemacht. Laura, die es in JMP Pro entwickelt hat, wird die Option als Nächstes demonstrieren. Anschließend wird Jeremy, der einen Großteil der Recherche in unserem Team durchgeführt hat, auf die mathematischen Details und die statistische Motivation für den Ansatz eingehen. |
| |
Hallo. Mein Name ist Laura Lancaster und ich bin hier, um eine Demo der Extrapolationssteuerung zu machen, die zu JMP Pro 16 hinzugefügt wurde. Ich wollte mit einem relativ einfachen Beispiel beginnen, bei dem die Anpassungsmodell-Plattform der kleinsten Quadrate verwendet wird. |
| |
Ich werde einige Daten verwenden, die Ihnen vielleicht bekannt vorkommen. Es sind die Fitnessdaten, die in den Beispieldaten enthalten sind. |
| |
Und ich werde die Sauerstoffaufnahme als meine Reaktion und die Laufzeit, den Laufpuls und den Maximalpuls als meine Prädiktoren verwenden. Und ich möchte noch einmal betonen, dass bei der Anpassung des Modells „Anpassung der kleinsten Quadrate“ die verwendete Extrapolationsmetrik die Hebelwirkung ist. Beginnen wir also mit JMP. |
| |
Jetzt habe ich die Fitnessdaten in JMP geöffnet und ein Skript, das ich in der Datentabelle speichern kann, um mein Fit-Kleinste-Quadrate-Modell automatisch zu starten. |
| |
Also werde ich fortfahren und dieses Skript ausführen. Es startet die Plattform der kleinsten Quadrate. |
| |
Und ich habe den Profiler automatisch geöffnet und wir können sehen, dass der Profiler so aussieht wie immer in der Vergangenheit, |
| |
wobei die Faktorgrenzen durch den Bereich jedes Faktors einzeln definiert werden, was uns rechteckige Schrankenbeschränkungen ergibt. |
| |
Und wenn ich die Faktoreinstellungen geändert habe, kann es aufgrund dieser begrenzten Einschränkungen sehr schwer sein zu sagen, ob man sich weit außerhalb der Korrelationsstruktur der Daten bewegt. |
| |
Und deshalb wollten wir die Extrapolationskontrolle hinzufügen. Daher wurde dies zu mehreren Plattformen in JMPs Pro 16 hinzugefügt, |
| |
einschließlich der Methode der kleinsten Quadrate. Und um zur Extrapolationssteuerung zu gelangen, gehen Sie zum Menü unter dem Profiler-Menü. Wenn ich also hier nachschaue, sehe ich, dass es eine neue Option namens Extrapolationskontrolle gibt. |
| |
Standardmäßig ist es deaktiviert, aber ich kann es entweder einschalten oder die Warnung einschalten, um die Extrapolationskontrolle zu aktivieren. Wenn ich es einschalte, bemerke ich, dass es meine Profilspuren auf Werte beschränkt, die ich nicht extrapoliere. |
| |
Wenn ich die Warnung aktivieren würde, würde ich die vollständigen Profilspuren sehen, aber ich würde eine Warnung erhalten, wenn ich in eine Region gehe, in der es sich um eine Extrapolation handelt. |
| |
Ich kann auch Extrapolationsdetails aktivieren, was ich sehr hilfreich finde. |
| |
und das gibt mir viel mehr Informationen. Zunächst einmal sagt es mir, dass meine Metrik, die ich zum Definieren der Extrapolation verwende, die Hebelwirkung ist, was auf die Plattform „Anpassung der kleinsten Quadrate“ zutrifft. |
| |
und der Schwellenwert, der zunächst standardmäßig verwendet wird, wird die maximale Hebelwirkung sein, aber das kann ich ändern und das werde ich Ihnen gleich zeigen. |
| |
Außerdem kann ich sehen, wie hoch meine Extrapolationsmetrik für meine aktuellen Einstellungen ist. Das ist diese Zahl hier, die sich ändern wird, wenn ich meine Faktoreinstellungen ändere. |
| |
Immer wenn diese Zahl den Schwellenwert überschreitet, erhalte ich die Warnung, dass ich möglicherweise extrapoliere. Wenn der Wert darunter fällt, erhalte ich diese Warnung nicht mehr. |
| |
Dieser Schwellenwert wird sich nicht ändern, es sei denn, ich ändere etwas im Menü, um meinen Schwellenwert anzupassen. Lassen Sie mich das also sofort tun. Ich gehe zum Menü, |
| |
und ich werde das Schwellenwertkriterium festlegen. Bei der Anpassung der kleinsten Quadrate haben Sie also zwei Optionen für den Schwellenwert. Zunächst ist die maximale Hebelwirkung eingestellt, sodass Sie im konvexen Loch der Daten bleiben. |
| |
Oder Sie können zu einem Multiplikator wechseln, der die durchschnittliche Hebelwirkung multipliziert, oder die Bedingungen anhand von Beobachtungen modellieren. Und ich möchte zu diesem Schwellenwert wechseln, also ist er auf drei eingestellt |
| |
standardmäßig als Multiplikator verwendet, sodass dieser das Dreifache des durchschnittlichen Hebels beträgt. Klicken Sie auf „OK“ und beachten Sie, dass sich mein Schwellenwert ändern wird. Es wurde tatsächlich kleiner, daher ist dies eine konservativere Definition der Extrapolation. |
| |
Und ich werde es wieder einschalten, um meine Profilspuren einzuschränken, und jetzt kann ich nur noch zu Regionen gehen |
| |
wo ich innerhalb des Dreifachen des durchschnittlichen Hebels liege. |
| |
Jetzt haben wir auch eine Optimierung implementiert, die den Extrapolationsbeschränkungen entspricht. Wenn ich also jetzt die Einstellung „Erwünschtheit“ einschalte |
| |
und ich mache die Optimierung, |
| |
Ich erhalte einen optimalen Wert, der die Extrapolationsbeschränkung erfüllt. Beachten Sie, dass diese Metrik kleiner oder gleich dem Schwellenwert ist. |
| |
Wenn ich nun zu meiner nächsten Folie gehe, auf der ich in einem Diagramm (einer Streudiagrammmatrix) die Differenz zwischen dem optimalen Wert bei aktivierter Extrapolationssteuerung und bei deaktivierter Extrapolationssteuerung vergleichen werde. |
| |
Das ist also die Streudiagrammmatrix, die ich mit JMP erstellt habe, und sie zeigt die ursprünglichen Prädiktorvariablendaten sowie die Werte der Prädiktorvariablen |
| |
für die optimale Lösung ohne Extrapolationskontrolle in Blau und die optimale Lösung mit Extrapolationskontrolle in Rot. Und sehen Sie sich die uneingeschränkte Lösung hier in Blau an, richtig |
| |
verletzt hier die Korrelationsstruktur für die Originaldaten für Laufpuls und Maximalpuls und erhöht so die Unsicherheit dieser Vorhersage, wohingegen die optimale Lösung, die die Extrapolationskontrolle verwendet hat, viel eher mit den Originaldaten übereinstimmt. |
| |
Schauen wir uns nun ein Beispiel an, bei dem die allgemeinere Extrapolationskontrollmethode verwendet wird, die wir als regulierte T-Quadrat-Methode bezeichnen. |
| |
Wie Chris bereits erwähnt hat, haben wir diese Methode für andere Modelle als die Modelle der kleinsten Quadrate entwickelt. Wir werden uns ein neuronales Modell für die Diabetesdaten ansehen, das auch in den Beispieldaten enthalten ist. |
| |
Die Reaktion ist ein Maß für den Krankheitsverlauf und die Prädiktoren sind die Basisvariablen. Auch in diesem Beispiel handelt es sich bei der für dieses Beispiel verwendeten Extrapolationsmetrik um das regulierte T-Quadrat, das Jeremy in ein paar Minuten ausführlicher beschreiben wird. |
| |
Ich habe also Diabetesdaten in JMP geöffnet und ein Skript mit den Anpassungen meines neuronalen Modells gespeichert. Ich werde fortfahren und dieses Skript ausführen. |
| |
Es startet die neuronale Plattform. Und beachten Sie, dass ich die Validierungsmethode Random Hold Back verwende. Ich möchte nur darauf hinweisen, dass die Extrapolationskontrolle bei jeder Verwendung einer Validierungsmethode nur auf den Trainingsdaten basiert |
| |
und nicht Ihre Validierungs- oder Testdaten. |
| |
Ich habe also den Profiler geöffnet und Sie können sehen, dass er die vollständigen Traces verwendet. Die Extrapolationskontrolle ist nicht aktiviert. |
| |
Lasst uns weitermachen und es einschalten. |
| |
Und ich werde auch auf die Details eingehen. |
| |
Sie können sehen, dass die Spuren eingeschränkt wurden und die Metrik das regulierte T-Quadrat ist. |
| |
Der Schwellenwert beträgt das Dreifache der Standardabweichung des regulierten T-Quadrats der Stichprobe. Jeremy wird in ein paar Minuten ausführlicher darüber sprechen, was das alles genau bedeutet. |
| |
Und ich wollte nur erwähnen, dass es bei Verwendung der regulierten T-Quadrat-Methode nur eine Auswahl für den Schwellenwert gibt, aber Sie können den Multiplikator anpassen. Also wenn du gehst |
| |
Extrapolationskontrollen, Schwellenwerte festlegen, Sie können diesen Multiplikator anpassen, aber ich belasse es bei drei. Und jetzt möchte ich die Optimierung mit ausführen |
| |
Extrapolationskontrolle, also werde ich einfach maximieren und merken. Jetzt habe ich eine optimale Lösung mit aktivierter Extrapolationskontrolle. |
| |
Und jetzt möchte ich mir unsere Streudiagrammmatrix ansehen, genau wie wir sie zuvor mit den Originaldaten sowie mit den optimalen Werten mit und ohne Extrapolationskontrolle betrachtet haben. |
| |
Das ist also eine Streudiagrammmatrix der Diabetesdaten, die ich in JMP erstellt habe. Es hat die ursprünglichen Prädiktorwerte, |
| |
sowie die optimale Lösung mit Extrapolationskontrolle in Rot und die optimale Lösung ohne Extrapolationskontrolle in Blau. Und das sieht man |
| |
Die roten Punkte scheinen viel stärker in der Korrelationsstruktur der Originaldaten zu liegen als die blauen. Und das gilt insbesondere, wenn man LDL im Vergleich zum Gesamtcholesterin betrachtet. |
| |
Schauen wir uns nun ein Beispiel mit dem Profiler an, der sich im Diagrammmenü befindet und den ich als Diagrammprofiler bezeichnen werde. |
| |
Es verwendet auch die regulierte T-Quadrat-Methode und ermöglicht uns die Verwendung der Extrapolationskontrolle für jeden Modelltyp, der als JSL-Formel erstellt und gespeichert werden kann. Es ermöglicht uns auch, die Extrapolation für mehr als ein Modell gleichzeitig zu steuern. |
| |
Schauen wir uns also ein Beispiel für ein Unternehmen an, das mithilfe der Pulvermetallurgie Antriebswellen aus Stahl für die Automobilindustrie herstellt. |
| |
Sie möchten in der Lage sein, optimale Einstellungen für ihre Produktion zu finden, die den Schrumpf minimieren und auch Ausfälle aufgrund schlechter Oberflächenbedingungen minimieren. Wir haben also zwei Antworten |
| |
Schrumpfung, die kontinuierlich ist, und wir werden dafür das Modell der kleinsten Quadrate anpassen, und Oberflächenzustand, der bestanden/nicht bestanden ist, und wir werden dafür ein nominelles Logistikmodell anpassen. |
| |
Und unsere Prädiktorvariablen sind nur einige wichtige Prozessvariablen in der Produktion. Und noch einmal: Die Extrapolationsmetrik ist das regulierte T-Quadrat. |
| |
Ich habe also die Pulvermetallurgiedaten in JMP geöffnet und habe bereits ein Modell der kleinsten Quadrate für meine Schrumpfungsreaktion angepasst. |
| |
und ich habe bereits ein nominelles Logistikmodell für die Pass/Fail-Reaktion des Oberflächenzustands angepasst. Und ich habe die Vorhersageformeln in der Datentabelle gespeichert, damit sie im Diagrammprofiler verwendet werden können. |
| |
Wenn ich also zum Profiler im Diagrammmenü gehe, kann ich die Vorhersageformel für die Schrumpfung laden, und meine Vorhersageformel bezieht sich auf den Oberflächenzustand. |
| |
OK klicken. |
| |
Und jetzt habe ich beide meiner Modelle im Graph Profiler gestartet. |
| |
Und bevor ich die Extrapolationskontrolle einschalte, können Sie sehen, dass ich über die vollständigen Profilspuren verfüge. Sobald ich die Extrapolationskontrolle einschalte, |
| |
Sie können sehen, dass die Spuren etwas schrumpfen. Und ich werde auch auf die Details eingehen |
| |
Nur um zu zeigen, dass ich hier in dieser Methode tatsächlich das regulierte T-Quadrat verwende. |
| |
Was ich also wirklich tun möchte, ist, die optimalen Bedingungen zu finden, unter denen ich Schrumpfung und Ausfälle minimiert |
| |
mit eingeschalteter Extrapolationskontrolle. Ich möchte sicherstellen, dass ich nicht extrapoliere. Ich möchte eine sinnvolle Lösung finden. |
| |
Und bevor ich die Optimierung durchführen kann, muss ich tatsächlich meine Wünsche festlegen. Ich werde Wünsche festlegen; Für die Schrumpfung ist es bereits korrekt, aber ich muss sie für den Oberflächenzustand einstellen. |
| |
Ich werde versuchen, die Pässe zu maximieren und Fehler zu minimieren. |
| |
OK. |
| |
Und jetzt sollte ich in der Lage sein, die Optimierung mit aktivierten Extrapolationskontrollen durchzuführen, zu maximieren und zu merken. |
| |
Jetzt habe ich meine optimale Lösung |
| |
mit eingeschalteter Extrapolationskontrolle. Schauen wir uns nun noch einmal die Streudiagrammmatrix der Originaldaten an, zusammen mit der Lösung mit aktivierter Extrapolationskontrolle und der Lösung mit deaktivierter Extrapolationskontrolle. |
| |
Dies ist also eine Streudiagrammmatrix der Pulvermetallurgiedaten, die ich in JMP erstellt habe, und sie enthält auch die optimale Lösung |
| |
mit Extrapolationskontrolle als roter Punkt und die optimale Lösung ohne Extrapolationskontrolle als blauer Punkt. Und wieder einmal können Sie sehen, dass, wenn wir die Extrapolationskontrolle nicht durchführen, |
| |
Die optimale Lösung liegt ziemlich weit außerhalb der Korrelationsstruktur der Daten. Das können wir hier besonders am Verhältnis zum Verdichtungsdruck erkennen. |
| |
Nun möchte ich die Präsentation an Jeremy übergeben, um noch detaillierter auf unsere Methoden einzugehen. |
| |
Hallo. Hier sind also einige Ziele für die Extrapolationskontrolle, die wir zu Beginn des Projekts festgelegt haben. |
| |
Wir brauchten eine Extrapolationsmetrik, die schnell mit einer großen Anzahl von Beobachtungen und Variablen berechnet werden konnte, und wir brauchten eine schnelle Möglichkeit, zu beurteilen, ob die Metrik eine Extrapolation anzeigt oder nicht. Dies diente dazu, die Interaktivität der Profiler-Spuren aufrechtzuerhalten |
| |
Wir brauchten dies, um eine Optimierung durchzuführen. |
| |
Wir möchten, dass es die verschiedenen im Profiler verfügbaren Variablentypen unterstützen kann. Diese sind im Wesentlichen kontinuierlich, kategorial und ordinal. |
| |
Wir wollten Beobachtungen mit fehlenden Zellen nutzen, da einige Modellierungsmethoden diese Beobachtungen und ??? einbeziehen. |
| |
Wir wollten eine Methode, die robust gegenüber linearen Abhängigkeiten in den Daten ist. Diese treten beispielsweise auf, wenn die Anzahl der Variablen größer ist als die Anzahl der Beobachtungen. |
| |
Und wir wollten etwas, das sich leicht automatisieren lässt, ohne dass viele Benutzereingaben erforderlich sind. |
| |
Bei den Modellen der kleinsten Quadrate sind wir auf den Hebel gelandet, der häufig zur Identifizierung von Ausreißern in linearen Modellen verwendet wird. |
| |
Die Hebelwirkung für einen neuen Vorhersagepunkt wird nach dieser Formel berechnet. Es gibt viele Interpretationen für Hebelwirkung. Eine Interpretation ist das |
| |
Dabei handelt es sich um den multivariaten Abstand eines Vorhersagepunkts vom Zentrum der Trainingsdaten. Eine andere Interpretation besagt, dass es sich um eine skalierte Vorhersagevarianz handelt. Je weiter sich der Vorhersagepunkt vom Zentrum der Daten entfernt, desto größer wird die Unsicherheit der Vorhersage. |
| |
Und wir verwenden zwei gängige Schwellenwerte in der statistischen Literatur, um festzustellen, ob dieser Abstand zu groß ist. |
| |
Die erste ist die maximale Hebelwirkung. Vorhersagepunkte jenseits dieses Schwellenwerts liegen außerhalb des konvexen Lochs der Trainingsdaten. |
| |
Und der zweite beträgt das Dreifache des Durchschnitts der Hebel. Es kann gezeigt werden, dass dies dem Dreifachen der Anzahl der Modellterme dividiert durch die Anzahl der Beobachtungen entspricht. |
| |
Und wie Laura bereits beschrieben hat, können Sie den Multiplikator dieser Schwellenwerte ändern. |
| |
Wenn Wünsche schließlich optimiert werden, ist die Extrapolationsbeschränkung eine nichtlineare Beschränkung. Und zuvor ermöglichte der Profiler eine eingeschränkte Optimierung mit linearen Einschränkungen. |
| |
Da diese Art der Optimierung jedoch eine größere Herausforderung darstellt, hat Laura einen genetischen Algorithmus implementiert. Und falls Sie damit nicht vertraut sind: Genetische Algorithmen nutzen Prinzipien der molekularen Evolution, um komplizierte Kostenfunktionen zu optimieren. |
| |
Als nächstes werde ich über den Ansatz sprechen, den wir verwenden, um die Extrapolationskontrolle auf zwei andere Modelle als lineare Modelle zu verallgemeinern. |
| |
Wenn Sie in JMP ein Vorhersagemodell erstellen, beginnen Sie mit einer Reihe von Prädiktorvariablen und einer Reihe von Antwortvariablen. |
| |
Ein überwachtes Modell wird trainiert und dann kann ein Profiler verwendet werden, um die Modelloberfläche zu visualisieren. |
| |
Es gibt zahlreiche Variationen des Profilers in JMP. Sie können den Profiler intern in Modellierungsplattformen verwenden, Vorhersageformeln ausgeben und erstellen |
| |
Profiler für mehrere Models, wie Laura demonstriert hat. Sie können Profiler für Ensemblemodelle erstellen. Wir wollten eine Extrapolationskontrollmethode, die sich auf alle diese Szenarien verallgemeinern lässt. Anstatt unsere Methode an ein bestimmtes Modell zu binden, werden wir einen unbeaufsichtigten Ansatz verwenden. |
| |
Und wir kennzeichnen einen Vorhersagepunkt nur dann als Extrapolation, wenn er weit außerhalb der Datenkonzentration im Prädiktorraum liegt. Und dies ermöglicht es uns, über alle Profiler hinweg konsistent zu sein, sodass unsere Extrapolationskontrollmethode in jeden Profiler integriert werden kann. |
| |
Die multivariate Distanzinterpretation der Hebelwirkung legte Hotellings T-Quadrat als Distanz für die allgemeine Extrapolationskontrolle nahe. Tatsächlich wird eine algebraische Manipulation zeigen, dass das T-Quadrat von Hotelling nur eine verschobene und skalierte Hebelwirkung ist. |
| |
Diese Abbildung zeigt, wie Hotellings T-Quadrat misst, auf welcher Ellipse eine Beobachtung liegt, wobei die Ellipsen auf den Mittelwert der Daten zentriert sind und die Form durch die Kovarianzmatrix definiert wird. |
| |
Da wir nicht mehr mit linearen Modellen arbeiten, hat diese Metrik nicht den gleichen Zusammenhang mit der Vorhersagevarianz. Anstatt uns also auf Schwellenwerte zu verlassen, die früher in linearen Modellen verwendet wurden, werden wir einige Verteilungsannahmen treffen, um festzustellen, ob |
| |
Das T-Quadrat für den Vorhersagepunkt sollte als Extrapolation betrachtet werden. |
| |
Hier zeige ich die Formel für Hotellings T-Quadrat. Der Mittelwert und die Kovarianzmatrix werden anhand der Trainingsdaten für das Modell geschätzt. |
| |
Wenn P kleiner als N ist, wobei P die Anzahl der Prädiktoren und N die Anzahl der Beobachtungen ist, |
| |
und wenn der Prädiktor im multivariaten Normalzustand ist, hat das T-Quadrat für einen Vorhersagepunkt eine F-Verteilung. Wir wollten jedoch eine Methode dazu |
| |
Verallgemeinern Sie die Datensätze mit komplizierten Datentypen, z. B. einer Mischung aus kontinuierlichen und kategorialen Datensätzen, wobei P größer als N ist; |
| |
Datensätze mit fehlenden Werten. Anstatt die Verteilung in jedem Fall analytisch zu ermitteln, verwenden wir eine einfache konservative Kontrollgrenze, die unserer Meinung nach in der Praxis gut funktioniert. |
| |
Dies ist eine Drei-Sigma-Kontrollgrenze, die die empirische Verteilung von T zum Quadrat aus den Trainingsdaten verwendet. Wie Laura erwähnt hat, können Sie diesen Multiplikator auch anpassen. |
| |
Eine Komplikation besteht darin, dass Hotellings T-Quadrat undefiniert ist, wenn P größer als N ist. Die Kovarianzmatrix enthält zu viele Parameter, als dass sie mit den verfügbaren Daten geschätzt werden könnten. |
| |
Und dies kommt häufig in typischen Anwendungsfällen der Extrapolationskontrolle vor, beispielsweise bei der Methode der partiellen kleinsten Quadrate. Deshalb haben wir uns für einen neuartigen Ansatz zur Berechnung des T-Quadrats von Hotelling entschieden, der sich mit diesen Fällen befasst, und wir nennen ihn ein reguliertes T-Quadrat. |
| |
Zur Berechnung der Kovarianzmatrix verwenden wir einen regulierten Schätzer, der ursprünglich von Schafer und Strimmer für hochdimensionale Genomdaten entwickelt wurde. Dies ist lediglich eine gewichtete Kombination der Kovarianzmatrix der vollständigen Stichprobe, die hier U ist, und einer Einschränkungszielmatrix, die D ist. |
| |
Für den Lambda-Gewichtsparameter haben Schafer und Strimmer einen analytischen Ausdruck abgeleitet, der den MSE, den Schätzer, asymptotisch minimiert. |
| |
Schafer und Strimmer schlugen mehrere mögliche Zielmatrizen vor. Als Zielmatrix wählten wir eine Diagonalmatrix mit den Stichprobenvarianzen der Prädiktorvariablen auf der Diagonale. Diese Zielmatrix hat für die Extrapolationskontrolle eine Reihe von Vorteilen. |
| |
Erstens gehen wir nicht von einer Korrelationsstruktur zwischen den Variablen aus, bevor wir die Daten sehen, was als allgemeiner Prior gut funktioniert. |
| |
Wenn außerdem nur wenige Daten zur Schätzung der Kovarianzmatrix vorhanden sind, entweder weil N zu klein ist oder ein großer Anteil fehlt, |
| |
Die elliptische Einschränkung wird durch ein großes Gewicht auf der Diagonalmatrix erweitert, was zu einem konservativeren Test für die Extrapolationskontrolle führt. Wir haben festgestellt, dass dies notwendig ist, um eine angemessene Kontrolle der Falsch-Positiv-Rate zu erreichen. |
| |
Einfacher ausgedrückt: Wenn nur begrenzte Trainingsdaten vorhanden sind, ist es weniger wahrscheinlich, dass das regulierte T-Quadrat Vorhersagen als Extrapolation kennzeichnet, was Sie möchten, da Sie Kovarianzen eher zufällig beobachten. |
| |
Wir haben einige Simulationsergebnisse, die diese Details veranschaulichen, aber ich habe keine Zeit, darauf näher einzugehen. Stattdessen haben wir auf der Community-Webseite einen Link zu einem Artikel im Archiv eingefügt und planen, diesen beim Journal of Computational Graphical Statistics einzureichen. |
| |
Die nächste Folie zeigt einige weitere wichtige Details, die wir berücksichtigen mussten. Wir mussten herausfinden, wie wir mit kategorialen Variablen umgehen. |
| |
Wir konvertieren sie lediglich in indikatorcodierte Dummy-Variablen. Dies ist vergleichbar mit einer Mehrfachkorrespondenzanalyse. |
| |
Eine weitere Komplikation besteht darin, das T-Quadrat von Hotelling zu berechnen, wenn Daten fehlen. Mehrere Vorhersagemodellierungsplattformen von JMP nutzen Beobachtungen mit fehlenden Daten, um die Modelle zu trainieren. |
| |
Dazu gehören Naive Bayes und Bootstrap Forest, und diese Formeln zeigen die Methode der paarweisen Löschung, die wir zur Schätzung der Kovarianzmatrix verwenden. |
| |
Üblicher ist die zeilenweise Löschung. Das bedeutet, dass alle Beobachtungen mit fehlenden Werten gelöscht werden, bevor die Kovarianzmatrix berechnet wird. Und das ist die einfachste Variante, kann jedoch dazu führen, dass nützliche Daten verworfen werden, wenn die Stichprobengröße der Trainingsdaten klein ist. |
| |
Beim paarweisen Löschen werden Beobachtungen nur gelöscht, wenn in dem Variablenpaar, das zur Berechnung eines entsprechenden Eintrags verwendet wird, Werte fehlen. |
| |
Und das zeigen diese Formeln. Es scheint eine einfache Sache zu sein, man verwendet einfach alle verfügbaren Daten, aber es kann tatsächlich zu einer Vielzahl von Problemen führen, da für die Berechnung jedes Eintrags unterschiedliche Beobachtungen verwendet werden. |
| |
Dies kann dazu führen, dass seltsame Dinge passieren, wie zum Beispiel Kovarianzmatrizen mit negativen Eigenwerten, womit wir uns befassen mussten. |
| |
Hier sind einige Vorteile des regulierten T-Quadrats, die wir im Vergleich zu anderen Methoden in unseren Auswertungen festgestellt haben. |
| |
Einer davon ist, dass die Regularisierung so funktioniert, wie die Regularisierung normalerweise funktioniert. Es stellt das Gleichgewicht zwischen einer Überanpassung der Trainingsdaten und einer Überverzerrung des Schätzers her. Dies macht den Schätzer robuster gegenüber Rauschen und Modellfehlspezifikationen. |
| |
Als nächstes zeigten Schafer und Strimmer in ihrer Arbeit, dass die Regularisierung in hochdimensionalen Umgebungen zu einem genaueren Schätzer führt. Dies hilft gegen den Fluch der Dimensionalität, der die meisten distanzbasierten Methoden zur Extrapolationskontrolle heimsucht. |
| |
Und dann, in den Bereichen, die die Methodik für die Extrapolationskontrolle entwickelt haben, |
| |
Oft verfügen sie sowohl über hochdimensionale Daten als auch über stark korrelierte Prädiktoren. Beispielsweise sind in der Cheminformatik und Chemometrik die chemischen Merkmale oft stark korreliert. |
| |
Die Extrapolationskontrolle wird häufig in Kombination mit PCA- und PLS-Modellen verwendet, bei denen T-Quadrat und DModX verwendet werden, um Verletzungen der Korrelationsstruktur zu erkennen. Dies ähnelt dem, was wir in modellgesteuerten multivariaten Kontrolldiagrammen tun. |
| |
Da dies ein häufiger Anwendungsfall ist, wollten wir eine Option haben, die nicht zu weit von diesen Methoden abweicht. |
| |
Unser reguliertes T-Quadrat liefert |
| |
dieselbe Art der Extrapolationssteuerung, erfordert jedoch keinen Projektionsschritt, was einige Vorteile hat. |
| |
Wir haben festgestellt, dass wir dadurch besser auf andere Arten von Vorhersagemodellen verallgemeinern können. |
| |
Außerdem haben wir bei unseren Auswertungen festgestellt, dass, wenn eine lineare Projektion für Ihre Daten nicht gut funktioniert, weil Sie beispielsweise nichtlineare Beziehungen zwischen Prädiktoren haben, |
| |
Die Fehler können die Kontrollgrenzen projektionsbasierter Methoden erhöhen, was zu einem schlechten Schutz vor Extrapolation führt, und unser Ansatz ist robuster. |
| |
Und ein weiterer wichtiger Punkt ist, dass wir das gefunden haben |
| |
Eine einzelne Extrapolationsmetrik war viel einfacher zu verwenden und zu interpretieren. |
| |
Und hier ist eine kurze Zusammenfassung der Funktionen der Extrapolationskontrolle. Die Methode bietet eine bessere Visualisierung möglicher Regionen in |
| |
hochdimensionale Modelle im Profiler. Ein neuer genetischer Algorithmus wurde für eine flexible eingeschränkte Optimierung implementiert. |
| |
Und unser reguliertes T-Quadrat verarbeitet unordentliche Beobachtungsdaten in Fällen wie P größer als N und kontinuierlichen und kategorialen Variablen. |
| |
Die Methode ist in den meisten Vorhersagemodellen in JMP 16 Pro verfügbar und unterstützt viele ihrer Besonderheiten. Es ist auch im Profiler in der Grafik verfügbar, was seinen Nutzen wirklich erweitert, da es mit jeder Vorhersageformel arbeiten kann. |
| |
Als zukünftige Richtung erwägen wir dann die Implementierung einer auf dem K-nächsten Nachbarn basierenden Einschränkung, die über die aktuelle Einschränkung der Korrelationsstruktur hinausgehen würde. |
| |
Häufig werden Prädiktoren durch mehrere Verteilungen generiert, was zu einer Clusterbildung im Prädiktorraum führt, und ein auf K-nächsten Nachbarn basierender Ansatz würde es uns ermöglichen, die Extrapolation zwischen Clustern zu steuern. |
| |
Vielen Dank also an alle, die sich das angesehen haben, und hier finden Sie E-Mails, falls Sie weitere Fragen haben. |
| Jeremy Ash, JMP |
Ihr seid immer noch da. |
| Chris Gotwalt |
ja bin ich. |
| Laura Lancaster |
Nur. |
