Lautsprecher | Abschrift |
| Mia Stephens | Es wird wahrscheinlich keine 45 Minuten dauern. |
| In Ordnung, uns geht es gut. |
| Verdammt, warum kam gerade diese SMS. |
| Jason Wiggins, JMP | Hast du gesehen, ich wollte gerade fragen, dass ich mit der Aufnahme begonnen habe, aber dass jemand reinkommt und die Anfänge in die Enden des So schneidet. |
| Mia Stephens | Ich würde sagen, du nimmst auf. |
| Jason Wiggins, JMP | ja. |
| Ich kann aufhören, wenn du willst. |
| Äh. |
| Jason Wiggins, JMP | In Ordnung Aufnahme gestartet. |
| Mia Stephens | Hallo, mein Name ist MIA Stevens und ich bin Produktmanagerin bei JMP. |
| Und heute werden wir über eine neue Funktion sprechen, die erstmals in JMPed 16 oder JMP pro 16 bei der Bildschirmprüfung von Modellen auftauchte. |
| Eigentlich lass mich damit anfangen. |
| Jason Wiggins, JMP | Die Aufzeichnung wurde erneut gestartet. |
| Mia Stephens | Hallo, ich bin Mia Stephens. |
| Und ich bin JMP-Produktmanager. Und heute werden wir über Model-Screening sprechen. Model Screening ist eine neue Plattform in JMP Pro 16 und ermöglicht es Ihnen, mehrere Modelle gleichzeitig anzupassen, wodurch Sie Ihren Vorhersagemodellierungs-Workflow optimieren können. |
| Wir beginnen also damit, ein wenig darüber zu sprechen, was wir unter prädiktiver Modellierung verstehen, und dies im Gegensatz zu eher klassischer Modellierung oder erklärender Modellierung. |
| Wir sehen uns die Modelltypen an, die Sie in JMP Pro erstellen können, und sprechen ein wenig über den Vorhersagemodellierungs-Workflow. Und dann sehen wir uns an, wie Sie diesen Arbeitsablauf mithilfe des Modellscreenings optimieren können. |
| Wir werden verschiedene Metriken zum Vergleich konkurrierender Modelle sehen und wir werden zwei verschiedene Beispiele in JMP Pro verwenden, und ich werde JMP Pro 16.1 verwenden. |
| Also zuerst, was verstehen wir unter prädiktiver Modellierung? |
| Die meisten von uns haben Statistikkurse an der Universität oder Fachhochschule oder über Ihr Unternehmen besucht, und wenn wir statistische Modellierung lernen, dann ist das normalerweise erklärende Modellierung. |
| Und was wir damit meinen, ist, dass Sie daran interessiert sind, eine Y-Variable, eine interessante Reaktion als Funktion mehrerer X oder Eingabevariablen zu untersuchen. |
| Wir könnten also daran interessiert sein, wichtige Variablen zu identifizieren, vielleicht befinden wir uns in einer Problemlösungssituation, in der wir versuchen möchten, die wichtigsten Xs, die wichtigsten potenziellen Ursachen, zu identifizieren. |
| Als Ergebnis der erklärenden Modellierung können wir also beispielsweise feststellen, dass X1, X3 und X6 potenzielle Ursachen für die Variation von Y sind, und dies könnte Sie dazu veranlassen, diese Variablen mithilfe eines entworfenen Experiments weiter zu untersuchen. |
| Wir könnten auch daran interessiert sein, die Art der Beziehung zu quantifizieren, also könnten wir beispielsweise daran interessiert sein zu verstehen, wie Y, unsere Antwort, sich im Durchschnitt als Funktion der X ändert. |
| Eine Änderung von X um eine Einheit ist mit einer Änderung von Y um fünf Einheiten verbunden. |
| Daran denken wir normalerweise, wenn wir über Modellierung oder statistische Modellierung oder Regressionsanalyse sprechen. |
| Im Gegensatz dazu geht es bei der prädiktiven Modellierung nun darum, zukünftige Ergebnisse genau vorherzusagen oder zu klassifizieren. |
| In der klassischen Modellierung machen wir also typischerweise Aussagen über den Mittelwert, den Gesamtmittelwert. Bei der Vorhersagemodellierung wollen wir wissen, was als nächstes passieren wird. Wird dieser Kunde beispielsweise abwandern? Wird dieser Kunde |
| Kreditkartenangebot annehmen? Wird die Maschine kaputt gehen? Wir sind also daran interessiert, vorherzusagen, was als nächstes passieren wird. Wir sind also an Genauigkeit, Genauigkeit unserer Vorhersagen interessiert. |
| Bei der Vorhersagemodellierung neigen wir dazu, viele verschiedene mögliche Modelle anzupassen und zu vergleichen, und dies beinhaltet oder kann einige sehr fortgeschrittene Techniken beinhalten. |
| Und einige dieser Techniken sind möglicherweise nicht sehr einfach zu interpretieren. Wenn Sie also an neuronale Netze denken, werden neuronale Netze typischerweise als eine Art Blackbox betrachtet. |
| Und bei diesen komplexeren Modellen kann Überanpassung ein Problem sein, und was ich mit Überanpassung meine, ist, dass wir dazu neigen, ein Modell anzupassen, das viel komplexer ist, als wir brauchen. |
| Bei der Vorhersagemodellierung verwenden wir daher eher die Modellvalidierung. Wir verwenden die Modellvalidierung zum Schutz vor Überanpassung und auch vor Unteranpassung. Und was die Modellvalidierung beinhaltet, ist die Aufteilung unserer Daten, und eine typische Art der Aufteilung unserer Daten besteht darin, einige unserer Daten vorzuhalten ... |
| Nun, einige unserer Daten werden verwendet, um unser Modell zu trainieren, einige unserer Daten werden ausgehalten, und wir haben möglicherweise einen dritten Satz, der ebenfalls ausgehalten wird. Und wir verwenden diese Daten so, dass wir unsere Modelle mit den Trainingsdaten anpassen |
| und dann sehen wir, wie gut das Modell bei den Validierungsdaten abgeschnitten hat. Und der dritte Schritt könnte verwendet werden, und dieser wird oft als Testsatz bezeichnet, |
| Weil die Validierung ... die Validierungsdaten in JMP häufig verwendet werden, um zu steuern, wie groß das Modell wird. Wir werden das also in ein paar Minuten in Aktion sehen. |
| Ich werde nicht auf sehr viele Details zur Validierung eingehen, aber wenn dies ein Thema ist, das für Sie relativ neu ist, finden Sie am Ende dieses Decks einige Folien, die ich aus unserem kostenlosen Online-Kurs STIPS ausgeliehen habe, und sie veranschaulichen, warum Validierung so ist wichtig. |
| In JMP Pro gibt es viele verschiedene Arten von Vorhersagemodellen, die Sie anpassen können. |
| Einige davon sind vom Anpassungsmodell verfügbar. Wenn Sie also eine kontinuierliche Antwort haben, können Sie ein lineares Regressionsmodell anpassen. Wenn Sie eine kategorische Antwort haben, können Sie passen |
| ein logistisches Regressionsmodell. Dies kann ein ordinales oder multinomiales oder binomiales Regressionsmodell sein. Sie können verallgemeinerte lineare Modelle oder bestrafte Regressionsmodelle wie elastische Netz- und Lasso- und Ridge-Regression anpassen. |
| Es gibt ein Predictive-Modeling-Menü mit vielen Einträgen, also zum Beispiel neuronale Netze. Und Sie können neuronale Netze in JMP Pro mit integrieren |
| zwei Schichten, mit mehreren Knoten, mehreren Aktivierungsfunktionen, mit Boosting. Und im Allgemeinen in JMP, |
| Sie können Modelle für kategoriale Antworten oder kontinuierliche Antworten mit derselben Plattform anpassen. Sie können eine Vielzahl verschiedener Arten von Bäumen anpassen, Klassifizierungsbäume, wenn Sie eine haben |
| kategoriale Antwort, Regressionsbäume, wenn Sie eine kontinuierliche Antwort haben. Sie können auch einige kompliziertere Baumarten wie Bootstrap Forest und Boosted Trees anpassen. Und Sie können sehen, dass es auch andere Methoden gibt. |
| Und es gibt ein paar Vorhersagemodellierungsplattformen unter multivariaten Methoden, also diskriminierende Analyse und partielle kleinste Quadrate. Dies ist also keinesfalls eine vollständige Liste, und ich möchte darauf hinweisen, dass partielle kleinste Quadrate auch vom Anpassungsmodell verfügbar sind. |
| Die Frage ist, warum brauchen wir so viele Modelle? Bei der klassischen erklärenden Modellierung lernen wir normalerweise etwas über die Regressionsanalyse, aber es gibt eindeutig viele, viele weitere Arten von Modellen, die wir anpassen können. |
| Nun, der Grund dafür ist, dass kein einzelner Modelltyp immer der beste ist. Das beste Modell hängt oft von der Struktur Ihrer Daten ab. |
| Wie viele Variablen Sie haben, ob Sie rein kontinuierliche Xs haben oder ob Sie eine Mischung aus kontinuierlichen und kategorialen Variablen haben, ob Sie nichtlineares Verhalten haben. |
| Daher ist kein einzelner Modelltyp immer das beste Modell für genaue Vorhersagen. Daher probieren wir im Allgemeinen mehrere verschiedene Modelle aus und wählen das Modell oder die Kombinationsmodelle aus, die am besten funktionieren. |
| Und wir denken über prädiktive Modellierung im Kontext des breiteren Analyse-Workflows nach. |
| Natürlich gibt es irgendeine Art von Problem, das wir zu lösen versuchen, ein Geschäftsproblem oder ein technisches Problem. |
| Aber wir stellen Daten zusammen, und das können Daten aus verschiedenen Quellen sein, und wir müssen diese Daten paaren, wir müssen die Daten kuratieren. |
| Wir untersuchen und visualisieren die Daten, um mehr darüber zu erfahren, was uns zur Verfügung steht und welchen zusätzlichen Datenbedarf wir haben. Und der Aspekt der prädiktiven Modellierung ist unter Analysieren von Daten und Erstellen von Modellen, und meiner Meinung nach beginnt hier der Spaß wirklich. |
| Der klassische Arbeitsablauf in JMP besteht also darin, dass Sie ein Modell mit Validierung anpassen. |
| Und dann speichern Sie die Vorhersageformel in der Datentabelle oder veröffentlichen sie im Formeldepot, und wir werden dies in wenigen Augenblicken sehen. |
| Und dann passen Sie ein anderes Modell an. Sie könnten also mit einem Regressionsmodell beginnen und dann ein baumbasiertes Modell anpassen. Und dann wiederholst du das und passt mehrere verschiedene Arten von Modellen an. |
| Verwenden Sie dann den Modellvergleich, um die Leistung jedes Modells anhand der Validierungsdaten zu bewerten. Denken Sie also daran, dass wir die Trainingsdaten verwenden, um das Modell anzupassen, aber um Modelle zu vergleichen, um zu sehen, welche Vorhersage am genauesten ist, verwenden wir die Validierungs- oder die Testdaten. |
| Und wir wählen das beste Modell oder die beste Kombination von Modellen aus. |
| Und dann stellen wir das Modell bereit, das ist also eine Art typischer Workflow. |
| Nun, beim Model Screening rationalisiert das Model Screening dies. So können Sie alle gewünschten Modelle in die Modell-Screening-Plattform einpassen, |
| Vergleichen Sie diese Modelle anhand von Validierungsdaten und wählen Sie das beste Modell aus. Sie können die Modelle erkunden, Sie können sogar neue Modelle aus dem Modellscreening anpassen und dann ganz einfach das beste Modell einsetzen. |
| Um uns das genauer anzusehen, verwenden wir ein paar Beispiele, und das erste Beispiel ist eines, mit dem Sie vielleicht vertraut sind, |
| die Diabetesdaten, und diese befinden sich im Beispieldatenverzeichnis. Das Szenario ist also, dass Forscher in der Lage sein wollen, die Geschwindigkeit des Krankheitsverlaufs vorherzusagen |
| ein Jahr nach der Grundlinienmessung. Es gibt also 10 Baseline-Variablen und 442 Patienten, und es gibt zwei Arten von Antworten, die wir uns hier ansehen werden. Die Reaktion Y ist ein quantitatives Maß, das misst, wie weit die Krankheit in einem Jahr fortgeschritten ist. |
| Und es gibt auch eine binäre Antwort, hoch/niedrig, also hoch bedeutet, dass es eine hohe ... hohe Progressionsrate der Krankheit gibt, und niedrig bedeutet, dass es eine niedrige Progressionsrate gab. |
| Und das Modellierungsziel hier ist es, Patienten vorherzusagen, die am wahrscheinlichsten eine hohe Rate an Krankheitsprogression haben, damit Korrekturmaßnahmen ergriffen werden können. |
| Letztendlich möchten wir also in der Lage sein, ein Modell zu erstellen, das es uns ermöglicht, zukünftige Patienten auf der Grundlage ihrer demografischen Variablen und der hier vorliegenden Ausgangsinformationen zu klassifizieren. Also wollen wir es können |
| genau vorhersagen, ob sie eine hohe Krankheitsprogressionsrate haben werden oder nicht, damit wir dann Maßnahmen ergreifen können. Okay, das ist also das Szenario. |
| Und bevor wir zu JMP kommen, möchte ich ein wenig darüber sprechen, wie wir entscheiden, welches Modell die besten Vorhersagen macht. |
| Und ich habe erwähnt, dass wir dafür das Validierungs- oder Testset verwenden, und es gibt mehrere verschiedene Arten von Maßnahmen, die wir verwenden können. |
| Für kontinuierliche Antworten verwenden wir RMSE, den Root Main Square Error, oder RASE, ein verwandtes Maß, den Root Average Square Error, und dies ist der Vorhersagefehler, und hier ist der niedrigere besser. |
| Wir können auch AAE (durchschnittlicher absoluter Fehler), MAD (mittlere absolute Abweichung) oder MAE verwenden, und auch hier ist niedriger besser. Das sind also ... das sind ... das sind durchschnittliche Fehlermaße. |
| Und dann, R-Quadrat, und für R-Quadrat, das wirklich ein Maß für die Anpassungsgüte ist, ist höher besser. |
| Wir neigen also dazu, diese für kontinuierliche Antworten zu verwenden; Es gibt viele andere Arten von Maßnahmen. |
| Während kategorische Antworten häufig an der Fehlklassifikation oder der Fehlerquote oder den Genauigkeitsquoten interessiert waren, könnten wir an der Präzision interessiert sein. |
| Es gibt andere Maße, die Fläche unter der Kurve, die wir in einer ROC-Kurve sehen, Sensitivität und Spezifität, und diese haben verschiedene Arten von Namen. |
| Und es gibt ein paar andere Maßnahmen, die wir beim Modell-Screening hinzugefügt haben, die gut sind, wenn wir unausgewogene Daten haben. Es gibt einen F1-Score und MCC, das ist der Matthews-Korrelationskoeffizient, und das ist ein Wert, der annimmt... |
| oder eine Metrik, die einige Werte zwischen minus eins und plus eins annimmt und bei kategorialen Daten gut misst, wie gut die Daten in alle vier möglichen Kategorien eingeteilt sind, die richtig positiv, richtig negativ, falsch positiv und falsche Negative. |
| Kommen wir also zu JMP. |
| Und ich öffne einfach die Daten. |
| Das sind also... und ich mache es etwas größer, das sind wieder die Diabetes-Daten. |
| Und wenn Sie mit diesen Daten herumspielen möchten, gibt es einen Blog, der diese Daten verwendet, und Sie können sie auch unter Hilfe und dann Beispieldaten finden. |
| Und wieder haben wir eine Antwort Y, lassen Sie es mich ein bisschen größer machen, was unser kontinuierliches Maß für das Fortschreiten der Krankheit ist. Und dann haben wir ein binäres Y mit Ergebnissen von niedrig oder hoch, und wir nehmen es ... wir werden uns jedes davon ansehen. |
| Lassen Sie uns also zunächst einen Blick darauf werfen, ob Sie ... wenn Sie JMP 15 hätten oder wenn Sie Modellscreening nicht verwenden, wie würden Sie Vorhersagemodelle anpassen, um Y, die kontinuierliche Antwort, vorherzusagen, wenn Sie JMP Pro haben? |
| Beachten Sie, dass wir mehrere demografische Variablen haben. |
| Es gibt also 10 davon, und es gibt eine Validierungsspalte, und die Validierungsspalte unterteilt unsere Daten in Trainings- und Validierungsdaten. |
| Also werden wir unser Modell mit den Trainingsdaten anpassen und dann sehen, wie gut das Modell funktioniert, wenn wir es auf die Validierungsdaten anwenden. |
| Um diese Spalte zu erstellen, gibt es ein Dienstprogramm unter Analyse, Vorhersagemodellierung, Validierungsspalte erstellen, und dies ermöglicht uns, eine Validierungsspalte zu erstellen. |
| Möglicherweise haben Sie Variablen, die Sie als Schichtungsspalten verwenden möchten, sodass Sie beispielsweise sicherstellen möchten, dass die Daten über die verteilt sind |
| Validierungssätze. Ich klicke hier einfach auf OK. |
| Und das erlaubt uns, einen bestimmten Prozentsatz unserer Daten den verschiedenen Sätzen zuzuordnen. |
| Und hier unten gibt es einige zusätzliche Optionen, die nützlich sind, also ist Random Seed wirklich nett, wenn Sie unterrichten und möchten, dass alle Ihre Schüler die gleiche Partitionierung haben. |
| Das wurde also vorher verwendet |
| Analyse, also lassen Sie uns zunächst einen Blick auf diese Spalte Y werfen, die kontinuierliche Antwort. Wenn ich also Vorhersagemodelle anpassen würde, wäre ein natürlicher Ausgangspunkt, ein Regressionsmodell anzupassen, und die Regression in JMP ist unter Anpassungsmodell. |
| Meine Antwort ist Y, und ich passe einfach an ... beginnen Sie mit der Anpassung eines Modells, das nur Haupteffekte enthält. |
| Ich gebe die Validierung hier in dieses Validierungsfeld ein und standardmäßig ist die Persönlichkeit die Standardmethode der kleinsten Quadrate. Aber wenn Sie mit JMP und JMP Pro vertraut sind, wissen Sie, dass unter Personality viele verschiedene Optionen verfügbar sind. |
| Wenn ich auf Ausführen klicke, |
| Eine Änderung in JMP 16 besteht darin, dass, wenn wir uns den tatsächlichen nach vorhergesagten Plot oder einen der anderen Plots ansehen, bemerken, dass es Punkte gibt ... hier gibt es einige Punkte mit einem V anstelle eines Punktes. |
| Dies soll anzeigen, dass diese Punkte tatsächlich dem Validierungssatz zugewiesen wurden, also sehen wir uns im Grunde an, |
| Sie wissen, wie gut das Modell das zufällige Rauschen um das herum vorhersagt, und Sie können sehen, dass es ein gewisses Maß an Streuung gibt. Und |
| Denken Sie daran, dass wir unser Modell an die Trainingsdaten anpassen und sehen, wie gut es bei den Validierungsdaten abschneidet. Es gibt also unten einige Statistiken. Jedes Mal, wenn wir eine Validierung haben, sehen Sie einige zusätzliche Statistiken für die Trainings- und Validierungssätze. |
| Und wir können sehen, dass es hier ein paar Maßnahmen gibt. Es gibt R Square und es gibt auch RASE. |
| Und im Allgemeinen, wenn Sie das Modell an einen Datensatz anpassen und dieses Modell dann auf neue Daten anwenden, wird es auf den neuen Daten nicht ganz so gut funktionieren. Wir können also sehen, dass das R-Quadrat für den Validierungssatz niedriger ist und der RASE, der Fehler, etwas höher ist. |
| Einmal ... das einzige, was wir hier unten unter dem Vorhersageprofiler sehen |
| ist das ein Hinweis … Beachten Sie, dass sich Gesamtcholesterin und LDL an den Enden wirklich auffächern. |
| Und wie ich ziehe |
| den Wert von Cholesterin, beachten Sie, wie breit dieses Konfidenzintervall für den Mittelwert wird. Wenn ich es also zum unteren Ende ziehe, |
| Es wird super breit und das Gleiche, wenn ich es zum oberen Ende ziehe. Tatsächlich werden all diese Intervalle für jeden der Prädiktoren super breit. |
| Und das geht irgendwie über den Rahmen dieses Vortrags hinaus, aber das liegt daran, dass wir in dieser Region nicht wirklich Daten oder viele Daten haben. Wenn ich es genommen habe ... schau es dir an und ich werde es einfach tun |
| Nehmen Sie diese beiden Variablen, Gesamtcholesterin und LDL, als Beispiel für Cholesterin und LDL. |
| Beachten Sie, dass zwischen diesen eine ziemlich starke Korrelation besteht. Ich habe keine Daten in dieser Region und ich habe keine Daten in dieser Region. |
| Wenn Sie also jemals ein Vorhersagemodell oder irgendeine Art von Modell anpassen, bei dem Sie sehen, dass sich diese Bänder wirklich auffächern, |
| Es ist ein Hinweis darauf, dass Ihre Vorhersagen in dieser Region nicht sehr genau sein werden. Und es gibt eine neue Funktion in JMP Pro, |
| Diese wird als Extrapolationssteuerung bezeichnet und kann Sie warnen, wenn dies ein Problem darstellt. Also, wenn ich das herausziehe, |
| Beachten Sie, dass es mir sagt, hey, es gibt eine mögliche Extrapolation; Ihre Vorhersagen könnten hier problematisch sein. Und wenn ich die Extrapolationssteuerung einschalte, |
| Beachten Sie, dass diese Bänder abgeschnitten werden, und es bedeutet im Grunde, dass Sie keine Vorhersagen über diese Grenzen hinaus treffen können. Es ist einfach nicht gültig. |
| Das sprengt also etwas den Rahmen, aber wenn Sie jemals Bänder in Ihrem Vorhersage-Profiler sehen, die sich auffächern, |
| Es liegt oft daran, dass Ihre Prädiktoren miteinander korrelieren, und es könnte sein, dass Sie einfach nicht viele Daten haben, um in diesen Regionen Vorhersagen zu treffen. Es ist also gut, sich dessen bewusst zu sein. |
| Okay, also zurück zur anstehenden Aufgabe, also mal sehen, ich habe dieses Modell angepasst und das Modell verkleinert und bin mir sicher, dass dies mein endgültiges Modell ist. |
| Ich werde dieses Modell in meiner Datentabelle speichern, indem ich die Vorhersageformel speichere. Und Sie werden sehen, dass der Datentabelle eine neue Spalte hinzugefügt wird. Und ich habe gerade ein lineares Modell erstellt, also hat es diese Formel in der Datentabelle gespeichert. |
| Und eine Alternative ist, dies zu veröffentlichen, und ich werde es im Formeldepot veröffentlichen. |
| Letztendlich werde ich also mehrere verschiedene Arten von Modellen anpassen (und ich werde fortfahren und dies schließen) und ich möchte diese Modelle vergleichen, damit ich das verwenden kann ... |
| Ich kann das tun, indem ich entweder die Formel speichere und zu Analyse, Vorhersagemodellierung, Modellvergleich gehe, und das werde ich gleich tun, oder indem ich sie im Formeldepot speichere. |
| Und der Vorteil, es im Formeldepot zu speichern, ist, dass ich jetzt einen Scoring-Code habe. Wenn dies beispielsweise mein endgültiges Modell wäre, das ich auf neue Daten anwenden möchte, |
| Ich könnte dieses Skript kopieren und es anwenden, um neue Daten zu bewerten |
| (und das werde ich hier nicht tun), oder ich kann Code in einer Vielzahl verschiedener Sprachen erstellen, wenn ich dieses Modell in einer Produktionsumgebung verwenden möchte. |
| Das war also ein einfaches lineares Modell. Was ist, wenn ich einen anderen Modelltyp anpassen möchte? |
| Ich könnte ein komplexeres Modell hier in Modell anpassen. |
| Ich kann also ein verallgemeinertes Regressionsmodell anpassen und vielleicht möchte ich ein Lasso-Modell anpassen, also klicke ich hier. |
| Und hier gibt es einige Modellvergleiche innerhalb der generalisierten Regression, aber sagen wir, ich möchte dieses Modell aufheben, richtig. |
| Und ich achte hier nicht zu sehr auf die Details, aber ich werde mir das hier sparen. Ich werde die Vorhersageformel speichern. Vielleicht veröffentliche ich das auch. |
| Gehen Sie hierher, veröffentlichen Sie diese. |
| Und ich könnte das wiederholen, ich könnte ein Modell anpassen, das Interaktionen hat. Ich könnte dann fortfahren, ein neuronales Netzwerkmodell oder Partitionsmodell, ein baumbasiertes Modell, anzupassen, und wenn ich eine kategorische Antwort habe, wird dies passen |
| ein Klassifikationsbaum. Wenn ich eine kontinuierliche Antwort habe, passt das in einen Regressionsbaum. Ich könnte einen Bootstrap-Wald anpassen, der eine Sammlung kleinerer Bäume oder verstärkter Bäume ist, also gibt es mehrere verschiedene Arten von Modellen, die ich anpassen kann. |
| Und sobald ich meine Modelle habe und die Formeln gespeichert oder im Formeldepot veröffentlicht habe, möchte ich herausfinden, welches Modell am genauesten vorhersagt. |
| Also nutze ich den Modellvergleich. |
| Und ich werde einfach eine Validierung als meine by-Variable hinzufügen, |
| weil ich sehen möchte, wie gut das Modell bei den Validierungsdaten abgeschnitten hat. Und wenn Sie einfach diese beiden Modelle verwenden und sich die Validierungsdaten ansehen (ich werde die Trainingsdaten verstauen), |
| Ich kann sehen, dass ich einen niedrigeren durchschnittlichen Fehler für das Modell der kleinsten Quadrate habe und mein RASE für das Modell der kleinsten Quadrate etwas höher ist. |
| Und mein R-Quadrat ist etwas besser für das verallgemeinerte Lasso. |
| Dies ist also die typische Art und Weise, wie wir Vorhersagemodellierung durchführen, wenn wir JMP 15 Pro oder JMP Pro 15 haben oder wenn wir kein Modellscreening verwenden. Und das Modellscreening ermöglicht es uns, all dies in einem Schritt zu tun. Ich werde mich also mit der Vorhersagemodellierung befassen und das Modellscreening starten. |
| Und Modell-Screening, wenn Sie hier unten in die Ecke schauen, ermöglicht es uns, im Grunde jede der Plattformen zu starten, die für die Art von Daten, die wir haben, sinnvoll ist |
| und diese Modelle automatisch ausführen. Wir müssen also nicht hineingehen und das Modell aus dem Menü auswählen, wir können es von hier aus automatisch ausführen. Also werde ich den gleichen Modelltyp anpassen, also ist es hier ein Modell nur für Haupteffekte. |
| Das sind meine Xs. Ich werde die gleiche Validierung verwenden. |
| Und hier gibt es eine Reihe von Optionen, über die wir gleich sprechen werden, und ich werde auf OK klicken. Und beachten Sie, dass ich einen Entscheidungsbaum, einen Bootstrap-Wald, einen verstärkten Baum und K nächste Nachbarn habe. |
| Standardmäßig ist Naive Bayes deaktiviert, ich kann ein neuronales Modell anpassen. |
| Hier unten sind andere. Beachten Sie, dass XGBoost erhalten wurde, also ist XGBoost verfügbar, weil ich ein Add-In installiert habe, das XGBoost-Add-In. |
| Dies ist also ein kostenloses Add-In, das auf Open-Source-Bibliotheken zugreift, und wenn Sie es in JMP Pro installiert haben, können Sie es von der Model-Screening-Plattform aus starten. Also lasse ich das weg und klicke einfach auf OK. |
| Es läuft also mit den Modellen und da ist es. Es ist also ausgegangen und hat tatsächlich einen Schritt übersprungen, richtig. Es läuft jedes dieser Modelle automatisch für mich. |
| Und, und es gibt einige Simulationen, die Sie verwenden, um die besten Startwerte für die Abstimmungsparameter zu bestimmen, also passen wir alle diese Modelle an. |
| Und es gibt Validierungstraining und Validierungsstatistiken für jedes der Modelle aus. Und jetzt um herauszufinden, welches dieser Modelle das beste ist, |
| Wählen Sie dominant aus. Und was Select Dominant im Grunde tut, ist eine Grenze zwischen den verfügbaren Metriken zu schaffen, also drücke ich hier auf Select Dominant. |
| Und stellt fest, dass für diese Daten das neural verstärkte Modell das beste Modell ist, und dann sind die Details für dieses Modell hier oben unter neural. |
| Also all die Details, es geht wirklich nur darum, die Plattform zu starten und alle Informationen zu erfassen, direkt hier auf dieser Plattform. |
| Alle Details sind also hier für neural, also wird im Grunde ein TanH mit drei Knoten ausgeführt, das verstärkt wird. Und ich kann die Trainingsstatistiken und die Validierungsstatistiken sehen und wenn ich das Modell sehen möchte, das tatsächlich fit war, |
| Hier ist das zugrunde liegende Modell. |
| Richtig, das ist also ... das ist also mein leistungsstärkstes Modell. Wenn ich mir diese Modelle genauer ansehen möchte, kann ich sie von hier aus untersuchen, und es gibt hier einige Optionen, ich kann mir die tatsächliche durch die vorhergesagte Darstellung ansehen. |
| Und ich kann diese Modelle vergleichen, also gibt es, wie erwartet, etwas weniger Variationen in unseren ... in unseren Trainingsdaten als in den Validierungsdaten und dem tatsächlichen durch vorhergesagten Diagramm. Ich kann bestimmte Modelle ausschalten, wenn ich dies erkunden möchte. |
| Und ich kann auch den Profiler starten und wenn Sie 16.1 haben, ist der Profiler eine Option. Es ist eigentlich eine versteckte Option, wenn Sie 16.0 haben, und wieder bin ich dafür in Pro. Der Profiler ist nett, weil er es uns ermöglicht, die Modelle zu erkunden, die wir anpassen, also habe ich drei Modelle ausgewählt. |
| Und lassen Sie mich das ein bisschen größer machen. |
| Vielleicht nicht so groß. |
| Ich habe also einen Bootstrap-Wald, ein baumbasiertes Modell, bei dem im Grunde die Ergebnisse einer Reihe verschiedener Bäume addiert werden. |
| Ich habe ein verstärktes Modell, und neuronale Modelle nehmen wirklich gut nichtlineares Verhalten auf. Und ich habe das Lasso-Modell, das im Wesentlichen nur ein lineares Modell ist. |
| Und Sie können diese Modelle ziemlich deutlich sehen. Beachten Sie mit verallgemeinertem Lasso, richtig, ich habe diese lineare Beziehung zwischen BMI |
| und die Antwort. Mit verstärktem Neuro kann ich sehen, dass es eine gewisse Krümmung gibt. Ich kann es hier mit LTG sehen, und mit Bootstrap Forest kann ich sehen, dass ich diese kleine Schrittfunktion habe, richtig, also nähert es sich tatsächlich dieser nichtlinearen Beziehung an, die wir hier haben. |
| Wenn wir also entscheiden, dass das neural verstärkte Modell das beste ist, |
| dann können wir das Modell im Grunde starten, es von hier aus starten, und wir können die Formeln entweder in der Datentabelle speichern oder sie zur Bereitstellung im Formeldepot veröffentlichen. |
| Das spart viel Zeit und gibt uns trotzdem die Möglichkeit, unsere Modelle zu erkunden. |
| Und was, wenn wir eine kategorische Antwort haben? Denken Sie also daran, dass wir Y binär haben. Wir können die Y-Binärdatei auf die gleiche Weise verwenden, also gehe ich zur Analyse und rufe erneut das Modell-Screening auf, und ich drücke einfach auf Recall und anstelle von Y werde ich die Y-Binärdatei verwenden. |
| Wir können die gleichen Arten von Modellen darin ausführen. Wenn ein bestimmter Modelltyp keinen Sinn ergibt, wird es nicht ausgeführt. So macht zum Beispiel die Regression der kleinsten Quadrate hier keinen Sinn, also wird sie nicht wirklich ausgeführt. |
| Hier gibt es einige Optionen. Wenn ich einen zufälligen Startwert wie 1, 2, 3, 4, 5 auswähle, gibt mir dies Wiederholbarkeit, und wenn ich ein Modell aus den Details starte, |
| es wird ... es wird die gleichen Ergebnisse haben. Ich habe hier einige zusätzliche Optionen für die Validierung. |
| So stellt sich in vielen Fällen die klassische Aufteilung von Training, Validierung und Test heraus |
| ist nicht wirklich das Beste, besonders bei kleinen Datensätzen. Daher möchte ich vielleicht stattdessen die K-fache Kreuzvalidierung verwenden, und wir haben auch eine verschachtelte Kreuzvalidierung. |
| Und Sie können eine wiederholte K-fache Validierung durchführen. Dies ist also eine gute Option, insbesondere wenn Sie einen kleinen Datensatz haben. |
| Und unten gibt es einige zusätzliche Optionen. Vielleicht möchten Sie also Zweiwege-Wechselwirkungen oder Quadrate hinzufügen. |
| Wenn Sie wissen, dass Ihnen Werte fehlen, sollten Sie informatives Fehlen verwenden. Und zusätzliche Methoden gelten für zusätzliche verallgemeinerte Regressionsmethoden. Und wenn Sie am Early Adopter-Programm von JMP 17 teilnehmen, werden Sie feststellen, dass dieser Teil des Menüdialogs |
| oder der Modellstartdialog wurde ein wenig neu organisiert, damit er ein bisschen besser fließt. Richtig, also werde ich hier einfach die Standardeinstellungen mit einem zufälligen Seed verwenden und auf OK klicken. |
| Es läuft also mit all diesen Modellen. Auch hier geht es sehr, sehr schnell. Nun, da ich eine binäre Antwort habe, habe ich einige zusätzliche Metriken. ich habe zwei |
| R-Quadrat misst, ich habe die Fehlklassifikationsrate, die Fläche unter der Kurve, RASE. Denken Sie daran, dass dies mit dem mittleren quadratischen Fehler zusammenhängt. Wieder klicke ich auf dominant auswählen und wieder wurde neural verstärkt gefunden, und das ist nicht immer der Fall. |
| Wenn ich auswähle, was meiner Meinung nach die Top-Modelle sind, die Optionen unter dem roten Dreieck, können Sie sich die ROC-Kurven für diese ansehen, und auch hier gibt es Häkchen, mit denen ich Modelle ein- und ausschalten kann. Lassen Sie mich |
| wählen Sie diese aus. Und eine meiner liebsten neuen Funktionen, die auch auf der Modellvergleichsplattform verfügbar ist und in JMP 17 jeder Modellierungsplattform hinzugefügt wird, die Klassifikationsmodellierung durchführt, ist diese sogenannte Entscheidungsschwelle. |
| Ich denke, das ist eines der … eines der … mächtigsten Dinge, die wir in JMP 16 hinzugefügt haben. |
| Mit diesen drei ausgewählten Modellen habe ich also eine Zusammenfassung der Klassifikationen für diese drei Modelle erhalten. |
| Und ich werde das ein bisschen größer machen, damit wir ein bisschen besser sehen können. |
| Wir lesen das also so, dass, wenn wir uns nur neural verstärkt ansehen, es uns zeigt, dass zwei Kategorien für neural … neuronal verstärkt sind und wir die Wahrscheinlichkeit hoch vorhersagen. Das sind also angepasste Wahrscheinlichkeiten für hoch. |
| Und der Grenzwert liegt bei 0,5, also wird alles unter 0,5 als niedrig eingestuft; alles über 0,5 wird als hoch eingestuft. |
| Wenn wir uns also diesen roten Block hier ansehen, sind das alle Punkte, die als niedrig eingestuft wurden, aber tatsächlich hoch waren, und wir können diese Zahl hier sehen. Es gab 29 davon, also waren dies die falschen Negative. |
| Die unteren roten Kästchen, diese wurden als hoch eingestuft, |
| aber es waren tatsächlich Tiefs. Das sind also die Fehlalarme, diese Typen hier. |
| Und unten sind einige Metriken, einige Grafiken, die uns dabei helfen, dies zu verstehen, und macht ... und hilft uns, einige Entscheidungen zu treffen. Und es gibt auch einige Metriken, also können wir dieselben Werte hier sehen, die 29 falsch negativen, 17 falsch positiven Ergebnisse. |
| Und wir können auch die wahren Positiven und die Negativen sehen. Und was ich daran wirklich mag, ist, dass es mir erlaubt, verschiedene Cut-Offs zu erkunden. |
| Abhängig von Ihren Modellierungszielen könnten wir also beispielsweise an einer hohen Sensitivitätsrate interessiert sein, aber wir möchten wirklich keine niedrige Spezifitätsrate haben. |
| Empfindlichkeitsrate, und dieser Schlüssel hier drüben ist wirklich hilfreich, Empfindlichkeit ist die wahre positive Rate; Spezifität ist die wahre negative Rate. |
| Weißt du, können wir einen Cutoff finden, der beides tatsächlich ein bisschen besser macht? Und durch Klicken und Ziehen können Sie den Grenzwert für die Klassifizierung ändern |
| und versuchen Sie, einen Schnitt zu finden, der einen besseren Job macht. Also zum Beispiel bei 0,26, und ich gebe hier nur eine schöne gerundete Zahl ein, bei einem Grenzwert von 0,25 ist die Empfindlichkeit höher, während immer noch eine hohe Spezifität beibehalten wird. |
| Die Grafiken, die ich versteckt habe, sind auch bei der Interpretation dieser Zahlen sehr nützlich, sodass sie uns ein Gesamtbild der falschen Klassifizierung vermitteln |
| nach Schwellenwert, nach Abschnitt und dann nach wahrer Klassifizierung. Wenn ich also versuche, einen Punkt zu finden, der Spezifität und Sensitivität ausbalanciert, kann ich mir diese Grafik ansehen. |
| Diese oberen Linien sind also die Empfindlichkeit, die gestrichelten Linien sind die Spezifität und gibt es einen Punkt, an dem ich immer noch über einem bestimmten Wert für die Empfindlichkeit bin, wo ... |
| Empfindlichkeit, wo meine Spezifität hoch bleibt? Und wir können ... wir können das ausgleichen. Wenn ich also genau hier hinschaue, kann ich sehen, dass dies der Punkt ist, an dem sich diese beiden Linien kreuzen. |
| Und das wird wirklich wichtig, wenn wir einen Fall haben, in dem wir unausgeglichene Daten haben. Schauen wir uns also ein anderes Beispiel an. Also werde ich das schließen und |
| das nicht speichern. Und lassen Sie mich das Formeldepot schließen, und übrigens ist das Formeldepot eigenständig, also ist es im Grunde nicht an den Datensatz gebunden, den wir verwendet haben. Es macht es also wirklich einfach, ein Modell zu nehmen und es dann auf neue Daten anzuwenden. Ich werde einfach weitermachen und das schließen. |
| Also das Szenario hier für diesen nächsten Datensatz, die Daten namens Kreditkartenmarketing, und das Szenario ist das |
| dass wir eine Marktforschung zur Akzeptanz von Kreditkartenangeboten betreiben. Und die Antwort ist Angebot angenommen. Und eine Einschränkung ist, dass nur 5,5 % der Angebote, |
| unter Verwendung historischer Daten, wurden akzeptiert. Dies ist eigentlich ein geplantes Experiment, bei dem wir verschiedene Belohnungen, verschiedene Mailer-Typen, |
| unterschiedliche Finanzinformationen, aber das entworfene Experiment ist in Belohnungs- und Mailer-Typ. Wir werden uns auf dieses spezielle Modellierungsziel konzentrieren. Wir möchten Kunden identifizieren, die das Kreditkartenangebot am ehesten annehmen werden. |
| Und indem wir dies tun, werden wir es versuchen |
| Wenden Sie das Modell auf neue Kunden an, und basierend auf der Klassifizierung für diese neuen Kunden werden wir entscheiden, ob wir ihnen das Angebot zusenden oder nicht. |
| Wenn Kunden das Angebot also wahrscheinlich nicht annehmen, werden wir es ihnen nicht zusenden. Wenn sie sehr wahrscheinlich sind, werden wir es ihnen zusenden. |
| Das ist also das Szenario, und um auf JMP zurückzukommen, wir haben das Angebot angenommen. Und ich werde einfach weitermachen und ein gespeichertes Skript hier ausführen, während ich über die Daten spreche. |
| Wir haben 10.000 Beobachtungen, also wird das etwas länger dauern, und im Moment werden diese Modelle ausgeführt, und ich verwende hier nur die Standardeinstellungen. Also habe ich ein Angebot angenommen, |
| Der Belohnungstyp ist Flugmeilen, Cashback oder Punkte. Der Sendungstyp ist Brief oder Postkarte. Und der Rest sind Bankgeschäfte ... historische Bankinformationen und einige demographische Informationen. |
| Sie sehen, dass darauf Support-Vektor-Maschinen laufen. Support-Vektor-Maschinen können etwas langsam sein, insbesondere bei großen Datenmengen, und sie werden standardmäßig nicht ausgeführt, wenn wir über 10.000 Beobachtungen haben. |
| Wir können sehen, dass wir ein durchschnittliches Guthaben haben. Und die Daten werden in Training und Validierung eingegeben, und JMP erkennt automatisch die Nullen als Training und die Einsen als Validierung. Richtig, es laufen also alle Modelle. |
| Und wenn ich Dominant auswähle, können wir sehen, dass es Schritt für Schritt und den Entscheidungsbaum ausgewählt hat. |
| Aber ich möchte auf diese Fehlklassifizierungsrate hinweisen. |
| Das ist also … das ist wirklich etwas, das wir sehr oft sehen, wenn wir versuchen, die Nadel im Heuhaufen zu suchen, richtig. Wenn ich mir diese Daten anschaue, und ich werde einfach eine Verteilung dieser Daten ausführen... |
| Lassen Sie mich das ein bisschen größer machen, damit wir es ein bisschen besser sehen können, richtig. Ich schaue mir also nur die Validierungsdaten an, beachten Sie das |
| 6,25, 6,2, 6,3 % |
| der Werte waren ja, sie haben auf das Angebot reagiert, und genau das bekommen wir hier für die Fehlklassifikationsrate. |
| Und um das besser zu verstehen, werde ich die Entscheidungsschwelle einschalten. |
| Und mach das ein bisschen größer. |
| Beachten Sie, dass das vorhergesagte Ja alles Null ist, und das liegt daran, dass die vorhergesagten Wahrscheinlichkeiten alle relativ niedrig waren. |
| Denken Sie daran, dass in einer klassischen Konfusionsmatrix der Grenzwert 0,5 beträgt, und wenn Sie unausgeglichene Daten haben, ist es sehr unwahrscheinlich, dass Sie in diesem Fall sehr viele der Beobachtungen als Ja klassifizieren werden. |
| Während ich klicke und ziehe, |
| und ich komme zu dieser ersten Reihe von Punkten, dann beginne ich, einige vorhergesagte Jas zu sehen. Tatsächlich werde ich die Metriken einschalten. |
| Wenn Sie sehr unausgeglichene Daten haben, können die vorhergesagten Wahrscheinlichkeiten sehr niedrig sein. |
| Mit diesem Schieberegler können Sie also Cut-Offs erkunden |
| Dies kann sich sowohl auf Ihre Empfindlichkeit als auch auf Ihre Spezifität auswirken. In einem Fall wie diesem könnten wir also sagen, naja, wenn wir senden würden... |
| Ich gebe hier einfach 0,05 ein ... wenn wir ein Kreditkartenangebot an die vorhergesagten Wahrscheinlichkeiten senden würden, die obersten 5 % der vorhergesagten Wahrscheinlichkeiten von ja, richtig, unserer Sensibilität |
| zwischen den beiden Modellen ist etwa 0,72, 0,75 und unsere Spezifität ist immer noch ziemlich hoch. Wenn Sie also diesen ... diesen abgeschnittenen Schieberegler haben, können Sie mehr nützliche Informationen aus Ihrem Modell herausholen. |
| Also, wenn ... bei 0,5, kann ich sehen, dass ich einige echte Positive erhalte. Ich bekomme auch viele Fehlalarme, richtig, also gibt es hier einen Kompromiss. |
| Nun, in einem solchen Fall können Sie auch einige finanzielle Auswirkungen haben. Rechts. Es macht also Sinn, darüber nachzudenken ... |
| Gewinnmatrix. Und es gibt einen Knopf. |
| Ich klicke darauf. |
| Die Gewinnmatrix ist eine Spalteneigenschaft für eine bestimmte Spalte, die wir festlegen können |
| diesen Wert, der von der Wahrscheinlichkeitsschwelle abgeschnitten ist, als Spalteneigenschaft, oder wir können auch Werte einfügen. Weißt du, im klassischen Szenario kostet es vielleicht 5 Dollar |
| wenn wir jemandem ein Angebot schicken. |
| Und wenn sie auf das Angebot reagieren, |
| vielleicht ist es $100 wert. Wenn wir also jemandem ein Angebot schicken und er nicht antwortet, verlieren wir 5 $. |
| Wenn wir uns dafür entscheiden, jemandem ein Angebot zu schicken, und er antwortet, verdienen wir vielleicht durchschnittlich 100 $. Und vielleicht gibt es eine verpasste Gelegenheit, vielleicht sagen wir, dass wir 100 Dollar verlieren |
| wenn sie nicht reagieren. Und oft sind die Kosten dafür, dass dies einfach leer gelassen wird, wir setzen einfach Werte für das Ja ein. Wenn ich dies anwende und auf OK klicke, |
| Dann werden einige neue Werte hinzugefügt, richtig. Also, jetzt haben wir eine Gewinnmatrix und wenn ich mir unsere Metriken anschaue, dann können wir die prognostizierten Gewinne sehen. So |
| im Durchschnitt, richtig, für jeden Kunden in diesem Datensatz bedeutet das, dass er 1,50 $ verdient, wenn wir das Entscheidungsbaummodell anwenden, und etwas weniger, wenn wir das schrittweise Modell anwenden. |
| In einer Situation wie dieser mit unausgewogenen Daten und einigen zugrunde liegenden Kosten ist es also sinnvoll, die Gewinnmatrix zu verwenden. Wenn wir keine zugrunde liegenden Kosten haben, |
| Dann hilft uns dieser Schieberegler, einen Grenzwert auszuwählen, der es uns ermöglicht, unser Modellierungsziel zu erreichen, okay. Es könnte sein, die Empfindlichkeit zu maximieren, die Spezifität zu maximieren oder etwas anderes. |
| Das ist also im Wesentlichen ein Model-Screening. |
| Lassen Sie mich das schließen und einfach zurück zum Dia-Deck gehen. |
| Wir haben also ein wenig über Vorhersagemodellierung gesprochen und darüber, was wir unter Vorhersagemodellierung verstehen. |
| Und wir haben gesehen, dass Sie viele Modelle mithilfe der Validierung einfach anpassen und vergleichen können, und beim Modell-Screening geht es darum, diesen Arbeitsablauf zu rationalisieren. |
| Sie können immer noch einzelne Modelle anpassen, wenn Sie möchten, aber das Modell-Screening ermöglicht es Ihnen, alle Modelle gleichzeitig auf einer Plattform anzupassen und diese Modelle dann zu vergleichen. |
| Für weitere Informationen stehen viele verschiedene Arten von Metriken und viele, viele Metriken für Klassifizierungsdaten zur Verfügung. Es ist wirklich schön |
| Seite in Wikipedia über Sensitivität und Spezifität und all die ... all die verschiedenen Metriken, und ich fand das wirklich nützlich, als ich versuchte, mich einzugraben und zu verstehen, wie die bereitgestellten Metriken zu interpretieren sind. |
| Es gibt viele Ressourcen zur Vorhersagemodellierung im Allgemeinen und auch zum Modellscreening in JMP Pro |
| in unserer...in unserer User Community. Auch hier werde ich auf STIPS verweisen. STIPS ist unser Kurs zum statistischen Denken für die industrielle Problemlösung. |
| Und das siebte Modul ist eine Einführung in die Vorhersagemodellierung. Wenn Sie also ganz neu in der Vorhersagemodellierung sind, würde ich empfehlen, sich dies anzusehen. Und es gibt auch einen Blog, der die in unserer Community geposteten Diabetesdaten verwendet. Und schließlich, wissen Sie, jede neue Funktion |
| wird tendenziell iterative Verbesserungen durchlaufen. Die Modellprüfung wurde in JMP Pro 16 eingeführt. Wir arbeiten bereits an JMP Pro 17 und es sind bereits viele Verbesserungen in Arbeit. |
| Wenn Sie also daran interessiert sind, einen Blick auf das zu werfen, was kommt, haben Sie die Möglichkeit, Feedback zu geben, |
| Wissen Sie, kontaktieren Sie uns bezüglich der Teilnahme am Early-Adopter-Programm und wir kümmern uns um die Einrichtung. Vielen Dank für Ihre Zeit und viel Spaß bei der restlichen Konferenz. |
