Lautsprecher | Transkript |
| Clay Barker | Danke, mein Name ist Clay Barker. Ich bin ein statistischer Entwickler in der JMP-Gruppe und werde heute über eine neue Funktion in JMP Pro für 16 sprechen. Es heißt Begriffsauswahl und ich habe mit meinen Kollegen Paris Faison und Ernest Pasour daran gearbeitet. |
| Daher werden Textdaten in der Praxis immer häufiger. Möglicherweise haben wir Kundenbewertungen zu einem von uns hergestellten Produkt, möglicherweise Beschreibungen einiger Ereignisse oder Wartungsprotokolle für einige unserer Geräte. |
| Und in diesem Beispiel hier auf meinen Folien ist dies von der |
| Flugzeugvorfälle ... Vorfalldatensatz, den wir in Beispieldaten haben. |
| Und jede Datenzeile ist eine Beschreibung eines Vorfalls einer Fluggesellschaft, eines Absturzes oder einer anderen Art von Fehlfunktion. |
| Wenn Sie die Text Explorer-Plattform noch nie verwendet haben, wurde sie in JMP 13 eingeführt und wird hauptsächlich zum Zusammenfassen und Analysieren von Textdaten verwendet. |
| So ist es einfach, allgemeine Aufgaben wie das Betrachten der häufigsten oder am häufigsten vorkommenden Wörter und Phrasen zu erledigen, und es ist einfach, Dinge wie das Clustering der Dokumente oder das Suchen nach Themen wie die Themenanalyse zu erledigen. Und alles wird von der sogenannten Dokumenttermmatrix gesteuert. |
| Was ist also die Dokumentbegriffmatrix? Es ist am einfachsten, sich dies als eine Matrix von Indikatorvariablen vorzustellen, die angeben, ob jedes Dokument ein bestimmtes Wort oder eine bestimmte Phrase enthält oder nicht. |
| Und wir können das damit gewichten, wie oft das Wort in jedem Dokument vorkommt. Jedes Dokument ist also eine Zeile in unserer Dokumenttermmatrix und jede Spalte ist ein Wort. |
| Für ein wirklich einfaches Beispiel lautet diese erste Zeile: "Die Pizza-Verpackung war frustrierend." Wir haben also eine 1 für die Verpackung, |
| eine 1 für Pizza und eine 1 für frustrierend und 0 für alle anderen Wörter. Und ebenso haben wir für die zweite Zeile eine 1 für Geruch, Großartigkeit, Geschmack und Pizza und 0s an anderer Stelle. Es ist nur eine einfache Zusammenfassung der Wörter, die in jedem Dokument vorkommen. |
| Ich habe auch erwähnt, dass es einige Variationen der Dokumentbegriffmatrix gibt. Am einfachsten ist die Binärdatei; Es sind nur Einsen und Nullen. |
| Möglicherweise möchten wir jedoch Informationen darüber einfügen, wie oft jedes Wort vorkommt. Hier ist ein weiterer etwas längerer Satz, in dem Pizza mehrmals vorkommt. |
| In der Termmatrix für binäre Dokumente ist diese Pizzaspalte immer noch eine 1, da es uns egal ist, wie oft sie auftritt. Für ternär ist es 2, weil das ternäre Nullen, Einsen und Zweien ist. Es ist 0, wenn das Wort nicht vorkommt, es ist 1, wenn es einmal vorkommt, und es ist 2, wenn es mehr als einmal vorkommt. |
| Unabhängig davon, ob es hier viermal vorkommt, haben wir immer noch als 2 codiert. Und dann ist die Frequenz wirklich einfach. Es ist nur die Häufigkeit, mit der jedes Wort in diesem Dokument vorkommt. |
| Das sind also drei wirklich einfache. Wir bieten auch eine TF-IDF-Gewichtung an, die einer relativen Häufigkeit ähnelt. Weitere Informationen zu diesen Gewichtungsschemata finden Sie in |
| Text Explorer-Plattform. |
| Was ist der nächste Schritt? Was ist das nächste, was Sie als nächstes verwenden möchten? |
| Möglicherweise möchten Sie den Text verwenden, um ein bestimmtes Ergebnis zu erzielen. Also habe ich hier einige Möbelbewertungen zusammengestellt, und es gibt eine Sternebewertung, die mit jeder Bewertung verbunden ist, richtig. |
| Wir könnten also denken, dass diese Bewertungen uns einige Hinweise geben, warum jemand ein Produkt höher oder niedriger bewerten würde. In dieser allerersten Zeile "waren die Anweisungen frustrierend" und der Benutzer bewertete uns nur mit 3. Wenn das ... wenn dieses Muster häufig vorkommt und viele Leute bewerten ... |
| Viele der niedrigeren Bewertungen sind mit Anweisungen verbunden, die uns möglicherweise sagen, dass wir die Anweisungen, die wir mit unseren Möbeln versenden, verbessern müssen. |
| Die einfache Idee ist also, diese als Regressionsmodell zu verwenden. Wir werden ... wir werden unsere Dokumenttermmatrix nehmen, |
| Wir werden es mit unseren Antwortinformationen kombinieren und nur eine Regression durchführen. |
| Und das hilft uns zu verstehen, warum Kunden unsere Möbel mögen oder nicht mögen oder welches Produkt wir auch herstellen. |
| Es kann uns helfen, Objekte anhand der Beschreibungen zu klassifizieren. Einige davon werden wir später sehen. Vielleicht möchten wir anhand einiger Wartungsaufzeichnungen verstehen, warum einige Maschinen ausfallen oder nicht. |
| Und die Art und Weise, wie wir das machen, ist wirklich einfach. |
| Wir machen wirklich nur ein Regressionsmodell, bei dem jedes unserer X- oder Prädiktorvariablen eine der Spalten in der Termmatrix ist. Wenn wir also Produktbewertungen modellieren, ist das eine einfache lineare Regression, und wenn ja |
| Wenn wir ein binäres Ergebnis modellieren, z. B. ob ein Kunde unser Produkt empfehlen würde oder nicht |
| ist möglicherweise Hunderte von Wörtern und es wäre sinnvoll, sie nicht alle zu verwenden. Nicht alle Daten werden nützlich sein, daher werden wir eine variable Auswahlmethode auf unser Regressionsmodell anwenden und ein einfacheres Modell erhalten, das einfach zu interpretieren ist und gut passt. |
| Und hier unten ist es einfach zu visualisieren, wie diese Indikatorvariablen mit unserer Antwortbewertung, unserer Sternebewertung, kombiniert werden. |
| Unsere Lösung für JMP 16 besteht also darin, Regressionsmodelle in die Text Explorer-Plattform zu integrieren. Wenn Sie jemals die allgemeine Regressionsplattform für die Variablenauswahl verwendet haben, binden wir diese Plattform im Wesentlichen in den Text Explorer ein. |
| Wenn Sie also über JMP Pro verfügen, wird im Menü des roten Dreiecks für den Text-Explorer ein Begriffsauswahlelement angezeigt. |
| Darauf freuen wir uns sehr. Es macht es einfach und schnell, solche Regressionsmodelle zu erstellen und zu verfeinern. |
| Wenn Sie diese Plattform starten, werden wir in nur einer Minute einige Demos durchgehen, aber nur schnell. |
| Ganz am Anfang des Starts werden nur Informationen über unsere Reaktion und die Art des Modells abgefragt, das wir anpassen wollten. |
| Es kann also beide fortlaufenden Antworten wie eine Sternebewertung verarbeiten. Wenn Sie eine fortlaufende Antwort angeben, wird ein Filter bereitgestellt, mit dem Sie einige der Zeilen basierend auf der Antwort herausfiltern können. |
| Und wenn wir eine nominelle Antwortspalte haben, wählen wir die Zielstufe aus. Würden Sie in diesem Fall unser Produkt empfehlen, ja oder nein? Wir werden die ... |
| Wir werden die Empfehlung gleich Nr. 1 modellieren. |
| Und wenn wir eine Antwort mit mehreren Ebenen wie Blau, Grün, Gelb haben, wählen wir die Ebene aus, die wir modellieren möchten, und sehen in nur einer Minute ein Beispiel dafür. |
| Nachdem Sie die Antwort angegeben haben, geben wir der Plattform einige Informationen über die Art des Modells, das wir anpassen möchten. |
| Wenn wir also eine variable Auswahl treffen, werden wir dann das elastische Netz oder das Lasso verwenden? Dies sind beide Variablenauswahltechniken, die in die generalisierte Regression integriert sind. Und wie machen wir die Validierung? Wollen wir den AIC oder BIC verwenden? |
| Darüber hinaus können wir Details zu unserer Dokumenttermmatrix angeben. Wir können die Gewichtung und auch die maximale Anzahl von Begriffen auswählen, die wir berücksichtigen möchten. Wenn wir also die 200 am häufigsten vorkommenden Wörter berücksichtigen möchten, ist dies jetzt auf 200 festgelegt. |
| Was passiert also, wenn Sie es starten und auf diese Schaltfläche klicken? Grundsätzlich macht es alles |
| du musst tun. Es richtet die Daten hinter den Kulissen richtig ein, sodass Sie sich darüber keine Sorgen machen müssen. Es führt eine Variablenauswahl durch, sodass wir jetzt eine kleine Teilmenge von Wörtern haben, die wir für nützlich halten, um unsere Antwort vorherzusagen, und die Ergebnisse auf einfache Weise präsentiert werden |
| Bericht zu interpretieren, und es ist ziemlich interaktiv, wie wir gleich sehen werden. Früher warst du dazu in der Lage |
| Speichern der Dokumenttermmatrix in Ihrem Datensatz, Starten einer allgemeinen Regressionsplattform selbst, |
| aber das musst du nicht mehr tun. Es ist alles, was jetzt alles in Bezug auf die Auswahl ist. |
| Also diese Modellspezifikation, woher wissen wir was, woher wissen wir was wir auswählen sollen? |
| Die verfügbaren Schätzmethoden sind das elastische Netz und das Lasso. Der einfache Weg, sich an den Unterschied zwischen diesen zu erinnern |
| ist, dass das elastische Netz dazu neigt, Gruppen von korrelierten Prädiktoren auszuwählen. Wenn in dieser Einstellung unsere Prädiktoren alle Wörter sind, |
| das bedeutet, dass es dazu neigt, Gruppen von Wörtern auszuwählen, die dazu neigen, zusammen vorzukommen. Wenn Sie also an eine Anleitung und ein Handbuch denken, |
| Diese Wörter kommen aufgrund von Bedienungsanleitungen häufig zusammen vor. Diese beiden Prädiktoren wären also stark korreliert und das elastische Netz würde wahrscheinlich beide auswählen, während das Lasso wahrscheinlich Anweisungen oder Handbücher auswählen würde, aber nicht unbedingt beide. |
| Validierungsmethoden haben wir den AIC und den BIC. |
| Als Faustregel gilt also, dass der AIC dazu neigt, Modelle zu über- und der BIC dazu, zu wenig auszuwählen. Also in unseren Spezifikationen, |
| Es ist nur so, dass der AIC dazu neigt, einen größeren Satz von Wörtern auszuwählen, während der BIC einen kleineren Satz von Wörtern auswählt. |
| Und ich persönlich benutze den AIC oft in der Umgebung, weil ich lieber mehr Wörter als nötig als weniger hätte, aber das ist wirklich eine Frage der Präferenz. |
| Und die Dokumentbegriffgewichtung ... |
| Ich meine, die Dokumentgewichtung Matrixgewichtung. |
| Es hängt wirklich von Ihrem Problem ab. In diesem Beispiel also |
| Das Wort Farbe kommt in der Überprüfung mehrmals vor. Das könnte bedeuten, dass der Rezensent sehr ... |
| nahm ... die Farbe war für diesen Rezensenten sehr wichtig und das könnte in unserem Regressionsmodell von Bedeutung sein, daher möchten wir eine gewichtungsähnliche Frequenz anstelle einer binären verwenden. |
| Wenn Sie also die Begriffsauswahl starten, landen Sie an einem Ort wie diesem, an dem wir uns befinden |
| Eine Zusammenfassung aller Dokumente auf der linken Seite und aller Wörter, die wir auf der rechten Seite ausgewählt haben. Und ich werde das erst einmal überspringen; Es ist einfacher zu sehen, wann wir mit einer Demo beginnen. |
| Eine andere Sache, die wir für sehr nützlich halten, ist, dass wir eine Zusammenfassung haben. Sie können also die Begriffsauswahl verwenden, um eine Folge von Modellen anzupassen, und dann werden sie alle oben zusammengefasst, und Sie können zwischen ihnen hin und her wechseln. Und das werden wir gleich wieder sehen. |
| Schauen wir uns also einfach die Plattform an. |
| Also schauen wir uns das zuerst an |
| Flugzeugvorfalldatensatz im JMP-Beispieldatenordner. |
| Jede Zeile in unserer Tabelle ist also ein Vorfall. Und wir wissen, wie viel Schaden das Flugzeug angerichtet hat, welche Art von Verletzungen es gab, und wir haben eine Beschreibung. Diese letzte Spalte beschreibt also genau, was in dem Vorfall passiert ist. |
| Wir starten also den Text-Explorer. Wenn Sie den Text-Explorer noch nie zuvor verwendet haben, haben wir links die am häufigsten vorkommenden Begriffe und rechts die am häufigsten vorkommenden Phrasen, also Wortgruppen. |
| Also wollen wir diese Worte benutzen, um vielleicht zu verstehen |
| was ... was dazu führt, dass ein Absturz mehr verursacht, weißt du, mehr Schaden oder vielleicht schwerere Verletzungen erleidet. Also gehen wir zum Menü des roten Dreiecks und fragen nach der Begriffsauswahl. |
| Jetzt sehen wir diesen Start, den wir uns gerade angesehen haben, und ich möchte mehr über Schäden erfahren, richtig. Und insbesondere möchte ich ... Ich möchte möglicherweise zwischen Vorfällen, bei denen das Flugzeug zerstört wurde, und weniger Schaden unterscheiden, also wählen wir die zu zerstörende Zielstufe aus. |
| Ich werde erwähnen, dass dieses frühe Anhalten eine zeitsparende Funktion ist. So |
| Wenn wir Variablen auswählen, kann dies bei viel größeren Problemen sehr zeitaufwändig sein. Und wenn Sie dieses Kontrollkästchen aktiviert lassen, wird es sozusagen sagen |
| Wir denken, wir haben ein Modell, das gut genug ist. Wir werden weitermachen und früh aufhören. Ich neige dazu, das zu deaktivieren, wenn ich nicht weiß, dass ich ein viel größeres Problem habe. |
| Also lasse ich es mit elastischem Netz, AIC und wir werden rennen. |
| Was nun im Hintergrund passiert, ist, dass die Daten erstellt wurden, die ich für dieses Regressionsmodell benötigte, und dass es das Regressionsmodell hinter den Kulissen anpasst. Jetzt habe ich meine Zusammenfassung. Also jeder |
| Jedes Dokument ist auf diesem linken Feld zusammengefasst. Dies ist also der erste Flugzeugvorfall, dies ist der zweite, der leer ist. |
| Das erste ist also, dass das Flugzeug eine Schneebank an der Seite der Landebahn kontaktierte. |
| Und wir haben alle wichtigen Wörter hervorgehoben, so dass die blauen Wörter negative Koeffizienten haben, die orangefarbenen Wörter positive Koeffizienten. |
| Und wenn wir an den Worten interessiert sind, können wir uns dieses Panel auf der rechten Seite ansehen. Ich neige dazu, nach dem Koeffizienten zu sortieren, so dass Sie einfach oben klicken können. |
| In diesem Fall ist es weniger wahrscheinlich, dass Wörter mit negativen Koeffizienten zerstört wurden. Also wenn |
| Das Dokument enthält das Wort Landung. Wenn das Flugzeug den Punkt erreicht hat, an dem es landet, ist es wahrscheinlich kein sehr schwerwiegender Vorfall. Das ist also weniger wahrscheinlich |
| zerstört. Auf der anderen Seite können wir die positivsten Begriffe betrachten, und dies sind die Wörter, die am meisten mit der Zerstörung des Flugzeugs in Verbindung gebracht werden. |
| Und das sind Worte wie Feuer, Zeugen. Wenn sie Zeugen befragen, um den Vorfall zu beschreiben, bedeutet dies wahrscheinlich, dass derjenige, der im Flugzeug war, kein Interview führen konnte. |
| Also Feuer, Radar, Drehen, Nacht, das sind alles Wörter, die in hohem Maße damit verbunden sind |
| mit zerstört werden. |
| Vielleicht interessieren wir uns jetzt auch für die Verletzungsstufe, und speziell werden wir uns die schlimmsten Verletzungsstufen ansehen. |
| Und wir werden die Begriffsauswahl erneut durchführen. |
| Und ich werde das einfach akzeptieren, um es schnell zu halten. |
| Jetzt können wir also die gleichen Dinge tun, aber stattdessen das Verletzungsniveau betrachten. |
| Wenn das Interview also den Kapitän oder die Landung enthält, sind diese in Bezug auf das Verletzungsniveau wahrscheinlich nicht sehr ernst. |
| Aber wenn es noch einmal um Radar, Nacht und Berge geht, dann sind dies viel ernstere Worte. Wir können also schnell zwischen diesen beiden ... diesen beiden Antworten hin und her gehen und sehen, welche Wörter diese beiden vorhersagen |
| Verletzungsstufe und Schadensstufe. |
| Schauen wir uns also ein anderes Beispiel an. |
| Das ist eine, die ich wirklich genieße. Früher habe ich in meinen Beispielen über Pizza gesprochen. Jetzt reden wir über Bier. Das sind also offensichtlich Dinge, die mir sehr am Herzen liegen. |
| Was ich hier habe, ist, dass ich ... Ich habe eine Beschreibung jedes Bierstils heruntergeladen, laut einer Bierbewertung |
| Körper. |
| So hat jedes einzelne Bier eine Beschreibung. |
| Und es heißt, woher das Bier kam. Also haben wir... |
| die Vereinigten Staaten, Deutschland, Irland. |
| Verwenden Sie die Begriffsauswahl, um zu sehen |
