Lautsprecher | Transkript |
| Clay Barker | Vielen Dank, mein Name ist Clay Barker. Ich bin Statistikentwickler in der JMP-Gruppe und werde heute über eine neue Funktion in JMP Pro für 16 sprechen. Es heißt Begriffsauswahl und ich habe mit meinen Kollegen Paris Faison und Ernest Pasour daran gearbeitet. |
| Daher werden Textdaten in der Praxis immer häufiger eingesetzt. Möglicherweise verfügen wir über Kundenrezensionen zu einem von uns hergestellten Produkt, Beschreibungen einiger Ereignisse oder Wartungsprotokolle für einige unserer Geräte. |
| Und in diesem Beispiel hier auf meinen Folien ist dies von der |
| Flugzeugvorfälle ... Vorfalldatensatz, den wir in Beispieldaten haben. |
| Und jede Datenzeile ist eine Beschreibung eines Vorfalls einer Fluggesellschaft, eines Absturzes oder einer anderen Art von Fehlfunktion. |
| Wenn Sie also noch nie die Text Explorer-Plattform verwendet haben: Sie wurde in JMP 13 eingeführt und wir verwenden sie hauptsächlich, um Textdaten zusammenzufassen und zu analysieren. |
| Dadurch ist es einfacher, häufige Aufgaben zu erledigen, beispielsweise die Suche nach den häufigsten oder am häufigsten vorkommenden Wörtern und Phrasen, und es erleichtert beispielsweise die Gruppierung von Dokumenten oder die Suche nach Themen, beispielsweise die Themenanalyse. Und alles wird durch die sogenannte Dokumententermmatrix gesteuert. |
| Was ist also die Dokumentbegriffsmatrix? Am einfachsten kann man es sich einfach als eine Matrix von Indikatorvariablen vorstellen, die anzeigen, ob jedes Dokument ein bestimmtes Wort oder einen bestimmten Satz enthält oder nicht. |
| Und wir können dies danach gewichten, wie oft das Wort in jedem Dokument vorkommt. Jedes Dokument ist also eine Zeile in unserer Dokumentenbegriffsmatrix und jede Spalte ist ein Wort. |
| Um ein wirklich einfaches Beispiel zu nennen: Die erste Zeile lautet: „Die Pizzaverpackung war frustrierend.“ Wir haben also eine 1 für die Verpackung, |
| Eine 1 für Pizza und eine 1 für frustrierend und 0 für alle anderen Wörter. Und ebenso haben wir für die zweite Zeile eine 1 für Geruch, großartig, Geschmack und Pizza und an anderer Stelle Nullen. Es handelt sich lediglich um eine einfache Zusammenfassung der Wörter, die in den einzelnen Dokumenten vorkommen. |
| Ich habe auch erwähnt, dass es einige Variationen der Dokumentbegriffsmatrix gibt. Am einfachsten ist die Binärdatei; es sind nur Einsen und Nullen. |
| Wir möchten jedoch möglicherweise Informationen darüber hinzufügen, wie oft jedes Wort vorkommt. Daher finden Sie hier einen weiteren, etwas längeren Satz, in dem Pizza mehrmals vorkommt. |
| In der Begriffsmatrix des binären Dokuments ist diese Pizzaspalte immer noch eine 1, da es uns egal ist, wie oft sie vorkommt. Für das Ternär ist es 2, weil das Ternär aus Nullen, Einsen und Zweien besteht. Der Wert ist 0, wenn das Wort nicht vorkommt, der Wert 1, wenn es einmal vorkommt, und der Wert 2, wenn es mehr als einmal vorkommt. |
| Unabhängig davon, ob es hier viermal vorkommt, haben wir es immer noch als 2 codiert. Und dann ist die Frequenz wirklich einfach. Es geht lediglich darum, wie oft jedes Wort in diesem Dokument vorkommt. |
| Das sind also drei wirklich einfache. Wir bieten auch die TF-IDF-Gewichtung an, die so etwas wie eine relative Häufigkeit ist, aber Sie können mehr über diese Gewichtungsschemata erfahren in |
| Text Explorer-Plattform. |
| Was ist also der nächste Schritt? Was ist das nächste, was Sie vielleicht als nächstes verwenden möchten? |
| Vielleicht möchten Sie den Text nutzen, um ein Ergebnis zu erzielen. Deshalb habe ich hier einige Möbelrezensionen zusammengestellt, und es gibt eine Sternebewertung, die mit jeder Rezension verbunden ist, richtig. |
| Daher denken wir vielleicht, dass uns diese Bewertungen Hinweise darauf geben, warum jemand ein Produkt höher oder niedriger bewerten würde. In dieser allerersten Zeile heißt es: „Die Anweisungen waren frustrierend“ und der Benutzer hat uns nur mit 3 bewertet. Wenn das ... wenn dieses Muster häufig vorkommt und viele Leute bewerten ... |
| Viele der niedrigeren Bewertungen hängen mit Anleitungen zusammen, die uns vielleicht sagen, dass wir die Anleitungen, die wir mit unseren Möbeln ausliefern, verbessern müssen. |
| Die einfache Idee besteht also darin, diese als Regressionsmodell zu verwenden. Wir werden ... wir werden unsere Dokumententermmatrix nehmen, |
| Wir werden es mit unseren Antwortinformationen kombinieren und einfach eine Regression durchführen. |
| Und das wird uns helfen zu verstehen, warum Kunden unsere Möbel oder welches Produkt auch immer wir herstellen, mögen oder nicht. |
| Es kann uns dabei helfen, Objekte anhand der Beschreibungen zu klassifizieren. Einiges davon sehen wir später. Vielleicht möchten wir anhand einiger ihrer Wartungsaufzeichnungen auch verstehen, warum manche Maschinen ausfallen oder nicht. |
| Und die Art und Weise, wie wir das machen, ist wirklich einfach. |
| Wir erstellen eigentlich nur ein Regressionsmodell, bei dem jedes unserer X oder unserer Prädiktorvariablen eine der Spalten in der Termmatrix ist. Wenn wir also Produktbewertungen modellieren, ist das eine einfache lineare Regression, und wenn ja, dann ist das eine einfache lineare Regression |
| wenn wir ein binäres Ergebnis modellieren, etwa ob ein Kunde unser Produkt weiterempfehlen würde oder nicht |
| besteht möglicherweise aus Hunderten von Wörtern und es wäre sinnvoll, nicht alle zu verwenden. Da nicht alle Daten von Nutzen sein werden, wenden wir eine Variablenauswahltechnik auf unser Regressionsmodell an und erhalten ein einfacheres Modell, das leicht zu interpretieren ist und gut passt. |
| Und hier unten kann man sich ganz einfach vorstellen, wie man diese Indikatorvariablen mit unserer Antwortbewertung, unserer Sternebewertung, kombiniert. |
| Unsere Lösung in JMP 16 besteht also darin, Regressionsmodelle in die Text Explorer-Plattform zu integrieren. Wenn Sie jemals die generalisierte Regressionsplattform zur Variablenauswahl verwendet haben, betten wir diese Plattform im Wesentlichen in Text Explorer ein. |
| Wenn Sie also über JMP Pro verfügen, wird im Text-Explorer im Menü mit dem roten Dreieck das Element zur Begriffsauswahl angezeigt. |
| Das ist es, worüber wir uns wirklich freuen. Es ermöglicht eine einfache und schnelle Erstellung und Verfeinerung dieser Art von Regressionsmodellen. |
| Wenn Sie also diese Plattform starten und wir in nur einer Minute einige Demos durchgehen, aber nur schnell, |
| Gleich zu Beginn des Starts werden lediglich Informationen über unsere Reaktion und die Art des Modells abgefragt, das wir anpassen wollten. |
| Es kann also sowohl kontinuierliche Antworten verarbeiten, z. B. eine Sternebewertung, als auch, wenn Sie eine kontinuierliche Antwort angeben, einen Filter bereitstellen, mit dem Sie einige Zeilen basierend auf der Antwort herausfiltern können. |
| Und wenn wir eine nominale Antwortspalte haben, wählen wir das Zielniveau aus. Würden Sie in diesem Fall unser Produkt weiterempfehlen, ja oder nein? Wir werden modellieren... |
| Wir werden die Empfehlung gleich Nr. modellieren. |
| Und wenn wir eine Antwort auf mehreren Ebenen wie Blau, Grün, Gelb haben, wählen wir die Ebene aus, die wir modellieren möchten, und sehen gleich ein Beispiel dafür. |
| Nachdem Sie dann die Antwort angegeben haben, geben wir der Plattform einige Informationen über die Art des Modells, das wir anpassen möchten. |
| Wenn wir also Variablen auswählen, verwenden wir dann das elastische Netz oder das Lasso? Dabei handelt es sich um Variablenauswahltechniken, die in die generalisierte Regression integriert sind. Und wie werden wir die Validierung durchführen? Wollen wir den AIC oder BIC verwenden? |
| Darüber hinaus können wir Details zu unserer Dokumentbegriffsmatrix angeben. Wir können die Gewichtung auswählen und auch die maximale Anzahl der Begriffe auswählen, die wir berücksichtigen möchten. Wenn wir also die 200 am häufigsten vorkommenden Wörter betrachten wollen, sind es jetzt 200. |
| Was passiert also, wenn Sie es starten und auf die Schaltfläche „Ausführen“ klicken? Im Grunde macht es alles |
| Du musst es tun. Es richtet die Daten im Hintergrund ordnungsgemäß ein, sodass Sie sich darüber keine Sorgen machen müssen. Es führt eine Variablenauswahl durch, sodass wir jetzt über eine kleine Teilmenge von Wörtern verfügen, die unserer Meinung nach für die Vorhersage unserer Reaktion nützlich sind, und die Ergebnisse werden auf einfache Weise dargestellt |
| um den Bericht zu interpretieren, und er ist ziemlich interaktiv, wie wir gleich sehen werden. Früher war das also möglich |
| Speichern Sie die Dokumentbegriffsmatrix in Ihrem Datensatz und starten Sie selbst eine verallgemeinerte Regressionsplattform. |
| aber das musst du nicht mehr tun. Es ist jetzt alles, was die Auswahl angeht. |
| Also, diese Modellspezifikation, woher wissen wir was, woher wissen wir, was wir auswählen sollen? |
| Als Schätzmethoden stehen das elastische Netz und das Lasso zur Verfügung. Der einfache Weg, sich den Unterschied zwischen diesen zu merken |
| ist, dass das elastische Netz dazu neigt, Gruppen korrelierter Prädiktoren auszuwählen. Wenn also in dieser Situation unsere Prädiktoren ausschließlich aus Wörtern bestehen, |
| Das bedeutet, dass tendenziell Gruppen von Wörtern ausgewählt werden, die häufig zusammen vorkommen. Wenn Sie also an Anleitung und Handbuch denken, |
| Diese Wörter kommen aufgrund von Bedienungsanleitungen häufig zusammen vor. Diese beiden Prädiktoren wären also stark korreliert und das elastische Netz würde wahrscheinlich beide auswählen, während das Lasso wahrscheinlich Anleitung oder Handbuch auswählen würde, aber nicht unbedingt beide. |
| Als Validierungsmethoden haben wir den AIC und den BIC. |
| Als Faustregel gilt also, dass der AIC tendenziell eine Überauswahl von Modellen vornimmt und der BIC tendenziell eine Unterauswahl. In unseren Spezifikationen heißt es also: |
| Es ist nur so, dass der AIC tendenziell eine größere Menge an Wörtern auswählt, während der BIC eine kleinere Menge an Wörtern auswählt. |
| Und ich persönlich neige dazu, das AIC in diesem Setting häufig zu verwenden, weil ich lieber mehr Wörter als nötig hätte als weniger, aber das ist eigentlich eine Frage der Präferenz. |
| Und die Gewichtung der Dokumentbegriffe ... |
| Ich meine die Gewichtung der Dokumentbegriffsmatrix. |
| Es hängt wirklich von Ihrem Problem ab. In diesem Beispiel also |
| Das Wort „Farbe“ kommt in der Rezension mehrmals vor. Das könnte bedeuten, dass der Rezensent sehr... |
| nahm ... die Farbe war für diesen Rezensenten sehr wichtig und das könnte in unserem Regressionsmodell von Bedeutung sein, daher würden wir eine Gewichtung wie Häufigkeit anstelle einer binären verwenden wollen. |
| Wenn Sie also mit der Begriffsauswahl beginnen, landen Sie an einem Ort wie diesem, wo wir ihn haben |
| eine Zusammenfassung aller Dokumente auf der linken Seite und aller Wörter, die wir auf der rechten Seite ausgewählt haben. Und das werde ich vorerst einfach überspringen; Es ist einfacher zu sehen, wenn wir mit der Demo beginnen. |
| Eine weitere Sache, die wir für sehr nützlich halten, ist, dass wir eine Zusammenfassung haben, sodass Sie mithilfe der Begriffsauswahl eine Reihe von Modellen anpassen können. Diese werden dann alle oben zusammengefasst und Sie können zwischen ihnen hin und her wechseln. Und das werden wir gleich noch einmal sehen. |
| Werfen wir also einfach einen Blick auf die Plattform. |
| Also werfen wir zunächst einen Blick darauf |
| Datensatz zu Flugzeugunfällen, der sich im JMP-Beispieldatenordner befindet. |
| Jede Zeile in unserer Tabelle ist also ein Vorfall. Und wir wissen, wie groß der Schaden am Flugzeug war, welche Verletzungen es gab, und wir haben eine Beschreibung. In dieser letzten Spalte wird also genau beschrieben, was bei dem Vorfall passiert ist. |
| Wir starten also den Text-Explorer. Wenn Sie den Text-Explorer noch nie verwendet haben, sehen Sie links die am häufigsten vorkommenden Begriffe und rechts die am häufigsten vorkommenden Phrasen, also Wortgruppen. |
| Deshalb möchten wir diese Worte verwenden, um es vielleicht zu verstehen |
| Was ... was dazu führt, dass ein Unfall mehr verursacht, Sie wissen schon, mehr Schaden erleidet oder vielleicht auch schwerere Verletzungen erleidet. Wir gehen also zum Menü mit dem roten Dreieck und fragen nach der Begriffsauswahl. |
| Jetzt sehen wir also diesen Start, den wir uns gerade angeschaut haben, und ich möchte mehr über Schäden erfahren, richtig. Und insbesondere möchte ich ... Ich möchte möglicherweise zwischen Vorfällen, bei denen das Flugzeug zerstört wurde, und solchen mit geringerem Schaden unterscheiden, also wählen wir das Zielniveau aus, das zerstört werden soll. |
| Ich möchte erwähnen, dass dieses frühe Anhalten eine zeitsparende Funktion ist. Also |
| Wenn wir eine Variablenauswahl durchführen, kann dies bei viel größeren Problemen recht zeitaufwändig sein. Und wenn Sie dieses Kontrollkästchen aktiviert lassen, wird es sozusagen angezeigt |
| wir denken, wir haben ein Modell, das gut genug ist; Wir werden weitermachen und früher aufhören. Ich neige dazu, das Häkchen zu entfernen, es sei denn, ich weiß, dass ich ein viel größeres Problem habe. |
| Also belasse ich es beim elastischen Netz, AIC und drücke auf „Run“. |
| Was jetzt also im Hintergrund passiert, ist, dass die Daten erstellt wurden, die ich brauchte, um dieses Regressionsmodell anzupassen, und dass es das Regressionsmodell hinter den Kulissen anpasst, und jetzt habe ich meine Zusammenfassung. Also alle |
| Jedes Dokument ist in diesem linken Bereich zusammengefasst. Dies ist also der erste Flugzeugunfall, dies ist der zweite, der leer ist. |
| Das erste ist also, dass das Flugzeug eine Schneebank an der Seite der Landebahn berührte. |
| Und wir haben alle wichtigen Wörter hervorgehoben, sodass die blauen Wörter negative Koeffizienten und die orangefarbenen Wörter positive Koeffizienten haben. |
| Und wenn uns die Worte interessieren, können wir uns dieses Panel rechts ansehen. Ich sortiere lieber nach dem Koeffizienten, sodass Sie einfach oben klicken können. |
| In diesem Fall ist es also weniger wahrscheinlich, dass Wörter mit negativen Koeffizienten zerstört wurden. Also wenn |
| Das Dokument enthält das Wort Landung. Wenn das Flugzeug den Punkt erreicht hat, an dem es landen soll, handelt es sich wahrscheinlich nicht um einen sehr schwerwiegenden Vorfall. Das ist also weniger wahrscheinlich |
| zerstört. Auf der anderen Seite können wir uns die positivsten Begriffe ansehen, und das sind die Wörter, die am meisten mit der Zerstörung des Flugzeugs in Verbindung gebracht werden. |
| Und das sind Worte wie Feuer, Zeugen. Wenn sie Zeugen befragen, um den Vorfall zu beschreiben, bedeutet das wahrscheinlich, dass derjenige, der im Flugzeug saß, nicht in der Lage war, eine Befragung durchzuführen. |
| Also Feuer, Radar, Spinnen, Nacht, das sind alles Wörter, mit denen man sehr viel verbindet |
| mit der Zerstörung. |
| Nun interessiert uns vielleicht auch die Verletzungsquote, und insbesondere werden wir uns die schlimmsten Verletzungsquoten ansehen. |
| Und wir werden die Begriffsauswahl erneut durchführen. |
| Und ich akzeptiere das einfach, damit es schnell geht. |
| Jetzt können wir das Gleiche tun, schauen uns aber stattdessen das Verletzungsniveau an. |
| Wenn das Interview also den Kapitän oder die Landung umfasst, sind diese im Hinblick auf die Verletzungsquote wahrscheinlich nicht sehr schwerwiegend. |
| Aber wenn noch einmal von Radar, Nacht und Bergen die Rede ist, dann sind das viel ernstere Worte. Wir können also schnell zwischen diesen beiden ... diesen beiden Antworten hin und her wechseln und sehen, welche Wörter diese beiden vorhersagen |
| Verletzungsniveau und Schadensniveau. |
| Schauen wir uns also ein anderes Beispiel an. |
| Das ist also eines, das mir wirklich Spaß macht. Vorhin habe ich in meinen Beispielen über Pizza gesprochen. Jetzt reden wir über Bier. Das sind also offensichtlich Dinge, die mir am Herzen liegen. |
| Was ich hier habe, ist, dass ich … Ich habe eine Beschreibung jedes Bierstils heruntergeladen, laut einer Bierrezension |
| Körper. |
| Daher hat jedes einzelne Bier eine Beschreibung. |
| Und es steht, woher das Bier kam. Also haben wir... |
| die Vereinigten Staaten, Deutschland, Irland. |
| Verwenden Sie die Begriffsauswahl, um anzuzeigen |
