Lautsprecher
|
Abschrift
|
| Ross Metusalem |
Hallo zusammen und willkommen zu dieser Präsentation darüber, wie JMP sein Text-Mining-Toolkit in JMP Pro 16 erweitert hat, das erst im vergangenen Frühjahr erschienen ist. |
| |
Ich bin Ross Metusalem. Ich bin ein akademischer Botschafter für JMP und werde diese beiden neuen Text-Mining-Funktionen mit Ihnen teilen |
| |
Stimmungsanalyse und Begriffsauswahl. Wir werden darüber sprechen, was sie sind und wie sie und JMP verwendet werden, und dann sehen wir zwei Beispiele für die Durchführung dieser Analysen an öffentlich verfügbaren Daten aus der realen Welt. |
| |
Stimmungsanalyse und Begriffsauswahl sind also zwei neue Ergänzungen zum JMP Text Explorer, einem Allzweck-Text-Mining-Tool. |
| |
Sie können dies also verwenden, um quantitative Informationen aus dem abzuleiten, was wir gemeinhin als freie oder unstrukturierte Textdaten bezeichnen, also könnte dies alles sein, von der Ableitung von Worthäufigkeiten, damit wir eine Wortwolke erstellen können, |
| |
zur Durchführung einer latenten semantischen Analyse, damit wir semantisch ähnliche Dokumente gruppieren können. Die beiden Funktionen, die wir heute sehen werden, sind also Funktionen innerhalb des Text-Explorer-Tools. |
| |
Wir beginnen mit der Stimmungsanalyse, einer beliebten und oft nachgefragten Funktion, die wir gerne in JMP Pro 16 einführen. |
| |
Für diejenigen, die nicht damit vertraut sind, dreht sich bei der Stimmungsanalyse alles um die Quantifizierung der positiven bis negativen Emotionen in unstrukturierten Textdaten. |
| |
Das Beispiel, das wir uns nun ansehen werden, stammt aus dem Beige Book, einem narrativen Bericht, der von der Federal Reserve herausgegeben wird. |
| |
Und wie wir auf der Karte sehen können, ist die Federal Reserve in 12 verschiedene Distrikte unterteilt, und ungefähr acht Mal im Jahr gibt jeder Distrikt einen erzählenden Beige Book-Bericht heraus |
| |
die die aktuellen und potenziellen zukünftigen wirtschaftlichen Bedingungen in dieser geografischen Region selbst zusammenfasst. Und diese Berichte basieren größtenteils auf qualitativen Datenquellen, so denken Sie |
| |
Gespräche mit Wirtschaftsführern, Umfragen und solche Dinge. Daher denke ich, dass das Beige Book ein gutes Beispiel für Stimmungsanalyse ist, nicht nur weil |
| |
es sind öffentlich zugängliche Daten, und ich kann sie mit Ihnen allen teilen, aber auch, weil es ziemlich interessant wäre, wenn Sie, sagen wir, ein Investor oder Sie selbst wären, |
| |
Sie wissen, ein Finanzinstitut verwaltet, um zu wissen, wie stark positiv oder negativ die Direktoren der Federal Reserve über die wirtschaftlichen Bedingungen in verschiedenen Teilen des Landes denken. Das könntest du eigentlich gebrauchen |
| |
Vielleicht als Leitfaden für die Entscheidungsfindung, oder, selbst wenn Sie es quantifizieren können, verwenden Sie es in einigen statistischen Analysen, vielleicht sogar in einigen Vorhersagemodellen. |
| |
Schauen wir uns also ein Beispiel für einen Text aus dem Beige Book an. |
| |
Hier haben wir nur einen Ausschnitt aus einem der Berichte, und wir können ganz oben sehen, dass dieser Bericht besagt, dass die Computerverkäufe andererseits stark zurückgegangen sind. |
| |
Während, wenn wir nach unten gehen, eine Person auch berichtete, dass es eine Reihe günstiger Strohhalme im Wind gibt, haben wir hier „stark deprimiert“ und „günstig“ und auch „verbessern“ hervorgehoben, |
| |
denn das sind das, was wir Stimmungsphrasen nennen würden. Es sind also ein oder mehrere Wörter, die einen positiven oder negativen emotionalen Inhalt bezeichnen. |
| |
Oben haben wir also stark deprimiert, was stark negativ wäre, und unten haben wir günstig, was im Allgemeinen positiv wäre, und wir verwenden diese Farbcodierung, sodass Orange gegenüber diesem Blau oder Lila (je nachdem, wie du siehst es) |
| |
um positive bzw. negative Stimmung anzuzeigen. |
| |
Und viele Formen der Stimmungsanalyse tun genau dies. Sie suchen nach positiven Phrasen und negativen Phrasen im Text. |
| |
Die Form, die JMP verwendet und die Ihnen woanders begegnen könnte, quantifiziert tatsächlich positive und negative Stimmung auf einer kontinuierlichen Skala. |
| |
Nehmen wir zum Beispiel unten in diesem zweiten Textausschnitt, wo wir sehen, dass jemand sagt, dass große Kaufhäuser in der Region schlechte Verkäufe melden. |
| |
Oben an der Spitze haben wir also einen stark rückläufigen Umsatz und unten sehen wir, dass der Umsatz schlecht ist. Nun, ich denke, wir sind uns alle einig, dass schwer depressiv schlimmer klingt |
| |
in Bezug auf den Umsatz als schlechte tut. Und so möchten wir vielleicht, |
| |
während sie beide negativ sind, quantifizieren Sie stark deprimiert als negativer als arm, und genau das tun wir bei der Stimmungsanalyse in JMP. Und wir werden reden |
| |
ganz kurz hier darüber, wie diese Scores berechnet werden, aber zuerst denke ich, dass es sich lohnt, sich das tatsächlich anzusehen |
| |
potenzielle Demonstrationen der Gültigkeit der Quantifizierung von Stimmungen, indem Sie sich einzelne Begriffe und Ausdrücke wie diese ansehen. |
| |
Und wir sprechen hier im Wesentlichen davon, Dokumente zu bewerten, basierend auf den Wörtern, die darin vorkommen |
| |
dass wir denken, bezeichnen Emotion und in welchem Grad. Und das ist eine Art interne und subjektive Sache, aber dieser Ansatz, die Stimmungsanalyse, |
| |
kann wirklich eine gewisse Vorhersagevalidität demonstrieren. Wenn wir uns zum Beispiel ansehen, wie sich die Stimmung von Beige Book im Laufe der Zeit entwickelt, können wir sehen, dass sie Rezessionen ziemlich zuverlässig folgt. Hier haben wir also Stimmung |
| |
auf der y-Achse. Sie können sehen, dass es sich von minus 75 bis 75 erstreckt, das ist nur der Bereich, den wir gezeichnet haben. Die wahre Skala reicht von minus 100 |
| |
bis 100, wobei Null neutral ist. Und Sie können sehen, je glatter im Laufe der Zeit der allgemeine Stimmungstrend in allen Beige Book-Berichten erfasst wird, |
| |
Sie können ein interessantes Muster in Bezug auf wirtschaftliche Rezessionen erkennen, die selbst rot hervorgehoben sind. Insbesondere können wir sehen, dass die Stimmung vor jeder Rezession zuverlässig zu sinken scheint. |
| |
Auch wenn dies also ein relativ subjektives Maß dessen ist, was wir für den emotionalen Zustand der Direktoren der US-Notenbank halten, ich meine, das entspricht wirtschaftlichen Rezessionen, wie man erwarten könnte. |
| |
Interessanterweise verfolgt es auch tatsächlich geografisch. Nehmen Sie zum Beispiel die Dotcom-Pleite um 2000-2001, als eine Reihe von Internet-Startups in der San Francisco Bay Area gegründet wurden |
| |
ging unter. Wir können sehen, und ich habe die Hover-Labels für San Francisco hier hervorgehoben, damit wir die Punktzahlen für diese Region sehen können. Wir haben eine positive Stimmung in Orange, wie wir zuvor gesehen haben, und eine negative in diesem Blau. |
| |
Wir können sehen, dass sich diese Stimmung bis zum Jahr 2000 aufbaut |
| |
war ziemlich hoch in der Bay Area, 38,65, und stürzte dann im Jahr 2001 im Durchschnitt um über 60 Punkte ab |
| |
minus 24,7 ungefähr. Und das ist ein viel größerer Umschwung als anderswo im Land, denn das ist die Region ... vermutlich, weil das die Region ist, die am stärksten betroffen war. |
| |
Und wir sehen etwas Ähnliches bei der großen Rezession. Wir sehen also, dass der Zusammenbruch des Immobilienmarktes im Jahr 2008 mit einem Rückgang der Stimmung einhergeht und nicht einheitlich. |
| |
Es sieht so aus, als ob die größten Rückgänge an der Westküste nachgewiesen wurden, also ist das wieder die Region San Francisco, die Region New York und auch die Region Atlanta, zu der auch gehört |
| |
Florida, wo ich lebe, war ein besonders stark betroffenes Gebiet des Landes. Und tatsächlich, wenn wir in die unterste Reihe schauen, können wir sehen, dass Florida... |
| |
Die Stimmung scheint sich in diesem allgemeinen Bereich bis etwa 2012 nicht zu erholen, hinter einigen der anderen Regionen, und das scheint Sinn zu machen. Der Wohnungsmarkt in Florida war einer der letzten, der sich landesweit erholte. |
| |
Wir haben also dieses subjektive Maß für Emotionen, aber es folgt in diesem Fall externen Ereignissen ... wirtschaftlichen Ereignissen auf eine Weise, die wir erwarten würden. |
| |
Und wissen Sie noch einmal, wir schauen uns das Beige Book an, weil es ein besonders gutes öffentlich zugängliches Beispiel ist. Wenn du |
| |
Sprechen Sie über vielleicht häufigere Bereiche, um Stimmungsanalysen anzuwenden, wie z. B. Verbrauchermarktforschung, wo Sie es mit a zu tun haben |
| |
Stimme des Kunden in Form von Textdaten, also Produktbewertungen, Umfrageantworten usw. |
| |
Möglicherweise können Sie die Stimmungsanalyse verwenden, um das Kundenverhalten besser zu verstehen, vielleicht sogar vorherzusagen, ähnlich wie wir die Stimmung hier verwenden können, um vielleicht wirtschaftliche Rezessionen besser zu verstehen oder vorherzusagen. |
| |
Nachdem ich das gesagt habe, ist mir klar, dass wir uns hier in den letzten Minuten die Stimmungswerte angesehen haben, und es stellt sich wirklich die Frage, woher sie kommen. |
| |
Daher verwendet JMP eine Form der Stimmungsanalyse, die als lexikalische Stimmungsanalyse bezeichnet wird. Es verwendet also ein Stimmungslexikon bzw |
| |
Sentiment Lexikon |
| |
um allen einzelnen Wörtern Punkte zuzuweisen, von denen wir glauben, dass sie eine gewisse Stimmung enthalten. Ein Wort wie fantastisch könnte also eine Punktzahl von 90 erreichen, was sehr positiv ist. Es ist fast das Maximum von positiv, 100, während ein Paar weniger, befürchtet, eine Punktzahl von minus 60 erhält. |
| |
Jetzt können wir diesen Begriffen Punkte zuweisen und sie im Grunde zählen oder ihren Durchschnitt in jedem einzelnen Dokument berechnen. |
| |
Aber wir wollen noch ein paar andere Dinge berücksichtigen. Wenn Sie sich erinnern, dass der erste Gefühlsausdruck, den wir im Beige-Buch-Beispiel gesehen haben, „stark depressiv“ war. |
| |
Mit anderen Worten, streng als Beispiel für etwas, das wir einen Verstärker nennen, der im Grunde ein Stimmungsmultiplikator ist. Sie sehen also hier, wir könnten mit einem Sentiment-Score von 1,4 sagen, dass es ein unglaublicher Multiplikator ist, wo eigentlich wenig |
| |
skaliert es um 0,3, verringert also die Größe des Sentiments ein wenig. |
| |
Wenn also ein Verstärker mit dem Stimmungsterm erscheint, führen wir diese Multiplikation durch und dann auch, wenn ein Negator auftritt. Also sagen wir, |
| |
wissen Sie, etwas ist nein oder nicht oder sollte nicht oder war nicht, wir multiplizieren mit minus eins, so dass wir im Grunde, wissen Sie, das Vorzeichen umdrehen; positiv wird negativ und umgekehrt. |
| |
Und so führen wir für jede Stimmungsphrase einfach diese einfache Multiplikation durch und dann über ein Dokument hinweg, |
| |
Wir können die durchschnittliche Punktzahl oder vielleicht die Differenz zwischen den minimalen und maximalen Stimmungswerten nehmen |
| |
Berechnen Sie einen Stimmungswert für diese Dokumente. Und das haben wir uns in diesen Diagrammen angesehen, also das Stimmungsdiagramm über die Zeit in diesen Karten. |
| |
Das ist also eine lexikalische Stimmungsanalyse. Dies ist eine sehr gängige Praxis und die Art der Stimmungsanalyse, die in JMP implementiert ist. Und wie wir sehen werden, wenn Sie JMP haben |
| |
Berechnen Sie alle Stimmungswerte, erhalten Sie viele nützliche Informationen. Hier ist ein Beispiel dafür, wie der Stimmungsanalysebericht aussieht. |
| |
Um nur ein Element der Ergebnisse in der Vorschau anzuzeigen, haben wir oben hier eine einfache Zusammenfassung der Stimmung in all unseren Dokumenten. |
| |
Wir haben also ein praktisch farbcodiertes Histogramm, das uns zeigt, dass die Verteilung der allgemeinen Stimmung positiv zu sein scheint, dass wir einen ziemlich starken negativen Stimmungsschwanz haben. |
| |
Wir können sehen, dass der durchschnittliche Sentimentwert über alle Dokumente hinweg 4,1 beträgt, also knapp über neutral liegt. |
| |
Für alle insgesamt positiven Dokumente, von denen es 3.900 gibt, liegt ihr Durchschnittswert bei 22,9, während bei den etwa 1.400 negativen Dokumenten die |
| |
Die durchschnittliche Punktzahl ist negativ 15,4, also sind die negativen Dokumente nicht ganz so stark negativ wie die positiven Dokumente stark positiv. |
| |
Nun, natürlich, wissen Sie, hier mit dem Beige Book, ich könnte sagen, nun, Sie wissen von diesem Fall 1970 bis heute, wenn Sie sich nur den durchschnittlichen Sentimentwert ansehen, vielleicht, wissen Sie, ich weiß nicht Es ist nicht so wichtig, dass Sie sich vielleicht die Partituren einzelner Dokumente ansehen oder |
| |
vielleicht mit Blick auf die Verteilung bestimmter Stimmungsbegriffe. Aber noch einmal, wenn Sie mit Daten zu tun haben, |
| |
Sagen wir, Verbrauchermarktforschung, so etwas, beliebige Textdaten, in denen Sie die Stimme des Kunden haben, selbst nur die Zusammenfassung auf hoher Ebene wie diese, die uns anhand der Daten gut sagen kann, wie positiv oder negativ sich unsere Kunden fühlen wir haben, |
| |
Schon der einfache Bericht kann sehr wertvoll sein. Aber wir wechseln gerade zu JMP und werden sehen, dass der Stimmungsanalysebericht eine ganze Menge zusätzlicher Möglichkeiten bietet, die Daten zu untersuchen, um Erkenntnisse zu gewinnen. |
| |
Gehen wir also zu JMP und sehen, wie es gemacht wird. |
| |
Hier sind wir also in JMP Pro 16.1, und bevor wir in diese Beige Book-Daten eintauchen, möchte ich Xan Gregg einen Gruß aussprechen. |
| |
Für diejenigen unter Ihnen, die ihn nicht kennen, Xan ist ein Direktor in unserem Entwicklungsteam. Er ist der Schöpfer von Graph Builder |
| |
und er ist auch die Person, die ursprünglich auf die Idee gekommen ist, sich die Beige Book-Daten anzusehen, und war sogar so freundlich, die HTML-Seiten in den Archiven des Beige Book zu kratzen und mir eine schöne JMP-Datentabelle zur Verfügung zu stellen. Also vielen Dank, Xan. |
| |
Nun gut, werfen wir einen Blick auf die Stimmungsanalyse und ich gehe eigentlich, anstatt auf die Ergebnisse einzugehen, |
| |
Wissen Sie, ich möchte Ihnen kurz zeigen, wie Sie die Analyse einrichten, da es einige wichtige Überlegungen zu beachten gilt. |
| |
nicht nur in Bezug darauf, wie JMP es implementiert, sondern wie Stimmungsanalysen oder lexikalische Stimmungsanalysen im Allgemeinen durchgeführt werden. |
| |
Und um dieses Setup zu demonstrieren, werde ich mir in diesem Fall nur eine Teilmenge der Daten von 2010 bis heute ansehen, nur um die Dinge bissig zu halten, weil wir fragen werden |
| |
Text-Explorer, um seine Analyse mehrmals automatisch zu aktualisieren, und wir möchten, dass dies so augenblicklich wie möglich geschieht. |
| |
Hier habe ich also diese Teilmenge der Daten, also haben wir unsere Beige Book-Berichte für alle 12 Distrikte, beginnend im Januar 2010 bis zum letzten Bericht im letzten Monat. |
| |
In Ordnung, um unsere Stimmungsanalyse zu starten, gehe ich zu analysieren und wähle den Text-Explorer. Nehmen Sie unseren Text und fügen Sie ihn in die Rolle der Textspalten ein. Paar Dinge zu beachten. |
| |
Einer davon ist, dass der Text-Explorer im Allgemeinen eine Reihe von Sprachen unterstützt, |
| |
Die Stimmungsanalyse ist derzeit nur auf Englisch verfügbar. |
| |
Und die andere ist, dass, wenn ... zumindest wenn Sie ein erfahrener Text-Explorer-Benutzer sind, Sie vielleicht daran gewöhnt sind, Stemming einzuschalten, und Sie werden feststellen, dass ich es jetzt ausschalten werde. |
| |
Für diejenigen, die sich nicht mit Stemming auskennen, es ist eine Möglichkeit, über mehrere Formen desselben Wortes oder in sprachlicher Sprache dasselbe Lemme zu kollabieren. Also nimm stark, stärker und am stärksten. |
| |
Wir würden über sie alle zusammenbrechen und einfach sagen, nun, sie sind alle stark für unsere Zwecke. |
| |
Und das wollen wir hier natürlich nicht, denn am stärksten ist positiver als am stärksten, was wiederum positiver als stark ist. |
| |
Also lassen wir das Stemmen ausgeschaltet, und selbst wenn Sie es nach dem Aufrufen der Stimmungsanalyse aktiviert haben, wird es dieses Stemmen ignorieren, weil Sie es wirklich nicht verwenden sollten. |
| |
Also klicke ich auf Okay. Nein, und es sieht so aus, als hätten wir dabei einen kleinen technischen Schluckauf bekommen. Ich entschuldige mich dafür, dass in letzter Zeit etwas Seltsames mit meinem Computer passiert ist, das das tut, aber das ist in Ordnung. Wir können unsere Bildschirmfreigabe einfach neu starten und mein Video zurückbringen. Hallo zusammen. |
| |
Und das werden wir teilen. Okay, also sollten wir noch gehen, sieht so aus, als würde die Aufnahme noch laufen. Lassen Sie mich sicherstellen, dass JMP hier dem richtigen Monitor zugewiesen ist. Sieht so aus. Okay, tut mir leid. Wie auch immer, lass uns darauf zurückkommen. |
| |
Hier haben wir also unser Text-Explorer-Fenster. Nun noch einmal, wenn Sie daran gewöhnt sind |
| |
Textanalyse wissen Sie, dass Sie normalerweise damit beginnen, Stoppwörter zu deklarieren. Man spricht zum Beispiel von meinen Kontakten in der Industrie und hat mir gesagt, dass... Und Sie wissen, dass ich das Wort Kontakte in meiner Analyse nicht verwenden möchte, also würde ich es normalerweise tun |
| |
fügen Sie das als Stoppwort hinzu und gehen Sie dann möglicherweise stundenlang durch |
| |
Stoppwörter zu deklarieren, bevor ich meine Analyse tatsächlich durchgeführt habe, und das müssen Sie bei der Sentimentanalyse nicht tun. |
| |
Es basiert alles auf diesem Stimmungswörterbuch, und daher ist es für ein Wort wie Kontakte nicht im Wörterbuch enthalten. Es ist sowieso funktional ausgeschlossen, also ist es eine nette Möglichkeit, etwas Zeit zu sparen. |
| |
Sie möchten jedoch wahrscheinlich Ausdrücke angeben, zum Beispiel Immobilien oder eine, die wir uns ansehen werden, nämlich die Kreditnachfrage, die hier sitzt. |
| |
Also klicke ich auf die Kreditnachfrage und füge sie als Phrase hinzu. Es wird in unsere Begriffsliste aufgenommen, also suchen wir es einfach ganz schnell. |
| |
Da sind es 1.139 Instanzen. Und dies soll uns helfen, in diesen Analysen oder in diesem tatsächlich in Unterdomänen vorzudringen |
| |
in diesem Datensatz. Stellen Sie sich also vor, ich möchte die Stimmung nicht als Ganzes berechnen, sondern nur in Bezug auf die Kreditnachfrage. |
| |
Um dies zu tun, muss ich es, wie wir sehen werden, zuerst als Phrase deklarieren, daher ist es sinnvoll, zumindest für wirklich prominente Domänen, an denen Sie interessiert sein könnten, einige Phrasen durchzugehen und zu deklarieren. |
| |
Okay, also lassen Sie uns das jetzt schließen und die Stimmungsanalyse tatsächlich starten. |
| |
Und Sie werden sehen, wenn ich das tue, werde ich einen vollständigen Bericht herausbringen, und daher könnte es für mich so aussehen, als wäre es an der Zeit, meine Ergebnisse zu untersuchen, denn dies sieht nach einer abgeschlossenen Analyse aus, aber ich möchte es tun Ermutigen Sie jeden, der dies verwendet, auf die Bremse zu treten und Ihr Stimmungswörterbuch zu berücksichtigen. |
| |
Unterschiedliche, wissen Sie, Gruppen von Menschen, die Texte in unterschiedlichen Kontexten über unterschiedliche Dinge und mit unterschiedlichen Umgangssprachen erstellen |
| |
kann Sprache auf viele verschiedene Arten verwenden. Und es ist wichtig, Ihre Stimmungs- und Intensivierungs-Verneinungsbegriffslisten anzupassen |
| |
das widerzuspiegeln. Das heißt also ... ich zögere, das Wort "nie" zu verwenden, aber ich werde ... ich werde sagen, "nie" verwenden Sie einfach das Standard-Stimmungswörterbuch. Sie erhalten immer validere Ergebnisse, wenn Sie es selbst kuratieren. |
| |
Wenn ich also hier zu den Stimmungsbegriffen gehe, können Sie sehen, dass die Bewertungen auf diesem eingebauten Wörterbuch basieren, das relativ spärlich ist. |
| |
Aber ich möchte tatsächlich einen Teil des Textes durchlesen und sehen, ob ich vielleicht noch weitere Wörter identifizieren kann, die in das Wörterbuch aufgenommen werden sollten. Ich sollte erwähnen, dass Sie vielleicht sogar durch die gehen möchten |
| |
die integrierte Liste und schließen Sie einige aus, obwohl diese Liste relativ spärlich ist und Sie daher idealerweise nicht zu viele oder vielleicht gar keine ausschließen müssen. |
| |
Unten in unserem Bericht haben Sie also tatsächlich einige Tools zum Kuratieren Ihres Wörterbuchs, nicht nur zum Erkunden der Ergebnisse. Ich kann das Dokument in dieser Dokumententabelle auswählen und den Text aufrufen |
| |
gleich darunter. Also gehe ich kurz vom unteren Bildschirmrand weg. Sie können in diesem Text hervorgehoben sehen, dass die Stimmungsbegriffe und -phrasen bereits gefunden wurden, wie etwas besser. |
| |
Aber wenn Sie schauen, sagen wir, hier haben wir das Wort schwach, die aktuellen Bedingungen blieben schwach, und es stellt sich heraus, dass dies, soweit ich das beurteilen kann, sehr häufig vorkommt |
| |
Begriff in den Beige Book-Berichten, die darauf hindeuten, dass etwas im Wesentlichen schlecht ist. Ich weiß nicht, ich bin kein Wirtschaftswissenschaftler, aber vielleicht ist es in der Wirtschaftswissenschaft so, |
| |
Weißt du, schwach ist ein Synonym für schlecht, stark ist ein Synonym für gut, und das ist meine Meinung, nachdem ich mir diese Daten ein wenig angesehen habe. |
| |
Jetzt werden Sie sehen, dass es nicht hervorgehoben ist. Das bedeutet schwach ist derzeit nicht in meinem Wörterbuch, aber ich kann es ganz einfach hinzufügen. Ich schwebe einfach darüber |
| |
Begriff direkt im Text, und ich kann ihn als Negator hinzufügen. Ich kann ihm einen Intensivierungswert oder einen Stimmungswert geben, sodass er moderat negativ ist, also klicke ich auf minus 60. |
| |
Und was passiert, ist, dass es jetzt zu meinem Wörterbuch hinzugefügt wird und alle Stimmungswerte hier in Echtzeit neu berechnet werden. |
| |
So kann ich in meiner Sentimentbegriffsliste jetzt sogar schwach auswählen und alle Instanzen davon sehen. Wenn wir zu dieser Tabelle in der Zählspalte zurückkehren, sieht es so aus, als ob es 1.012 Mal in dieser Teilmenge der Beige Book-Daten vorkommt. |
| |
Gehen Sie also auf jeden Fall durch und lesen Sie vielleicht eine zufällige Teilmenge oder eine geschichtete zufällige Teilmenge Ihrer Dokumente und versuchen Sie, einige Stimmungsbegriffe zu identifizieren, die in Ihr Wörterbuch gehören. |
| |
Jetzt können Sie sich auch auf eine praktische Funktion verlassen, diese mögliche Stimmungsliste, |
| |
was tatsächlich potenzielle Stimmungsbedingungen für Ihre Betrachtung bereitstellt. Ich könnte feststellen, dass hier stark ist, und ich füge schwach hinzu. Ich möchte auf jeden Fall stark sein und deshalb werde ich das als a erklären |
| |
stark. |
| |
Und ich habe die Tastenkombinationen verwendet, weißt du, positiv 60, negativ 60, aber du kannst jede beliebige Punktzahl zwischen minus 100 und 100 eingeben, also möchte ich vielleicht nur eine Punktzahl von 50 für stark. Also werde ich das tun, und wenn Sie jetzt unten nach unten schauen, können Sie alles wieder sehen, automatische Updates. |
| |
Gehen Sie also vorsichtig mit Ihrer Stimmungsbegriffsliste um. Ich werde auch nicht auf die Mechanik Ihrer Negationsverstärkerbedingungen eingehen, aber es gelten dieselben Ideen. |
| |
Stellen Sie sicher, dass Sie diese richtig machen, um Ihre Domäne wirklich widerzuspiegeln, und dann empfehle ich, dass Sie unter dem roten Dreieck jederzeit in die vollständigen Begriffsverwaltungstools gehen können, um entweder manuell einige Begriffe einzugeben, also weiß ich vielleicht, dass ich am stärksten will und ich Ich möchte, dass das eine Punktzahl von 90 ist. |
| |
Also kann ich hier eine Art Batch-Format hinzufügen |
| |
ohne jedes Mal automatisch zu aktualisieren, oder ich kann auch Stimmungsbegriffslisten importieren und exportieren, |
| |
Das ist großartig, um sie mit anderen Menschen zu teilen, sie portabel zu machen und dabei zu helfen, unsere Arbeit zu verfolgen und reproduzierbar zu machen. |
| |
Da Ihre Ergebnisse von der Stimmungsbegriffsliste und auch von den Intensivierern und Negatoren abhängen, empfehle ich dringend, dass Sie eine Set-Liste exportieren, damit Sie sie vollständig dokumentiert haben und auch in eine importieren können neue Analyse und repliziert. |
| |
Das reicht zum Einrichten der Analyse. Ich möchte wirklich nur darauf hinweisen, dass Sie einen Bericht erhalten, wenn Sie die Stimmungsanalyse aufrufen, aber tauchen Sie nicht direkt in diesen Bericht ein. Kuratieren Sie zuerst Ihr Wörterbuch. |
| |
So, jetzt, wo ich es habe |
| |
Nachdem wir diesen Punkt gnadenlos geschlagen haben, werfen wir einen Blick auf diesen Bericht. |
| |
Und was ich jetzt tun werde, ist, wissen Sie, einen vollständig gebackenen Bericht einzuziehen, der in diesem Fall alle 5.300 plus verwendet |
| |
Beige Book berichtet hier. Wie ich bereits erwähnt habe, haben Sie im Ergebnisabschnitt diese Gesamtzusammenfassung. Das werden wir nicht noch einmal durchmachen. Wir haben gesehen, dass Sie das auch haben |
| |
alle einzelnen Dokumente, sodass Sie jedes Dokument anzeigen können, um zu sehen, wie es bewertet wurde und was darin erscheint. Untersuchen Sie die Verwendung von Stimmungsbegriffen und Phrasen im Kontext. |
| |
Sie können in dieser Tabelle auch eine Reihe praktischer Kennzahlen sehen, z. B. die positive Gesamtpunktzahl für ein Dokument, |
| |
die durchschnittliche Punktzahl der positiven Stimmungsphrasen im Dokument. Dasselbe gilt für Negativ und dann die Gesamtpunktzahl und Sie werden feststellen, wie ich |
| |
Bewegen Sie den Mauszeiger über diese Werte, das zeigt mir tatsächlich, wie sie berechnet werden. Wenn ich mir also den Mittelwert der negativen Punktzahl anschaue, kann ich sehen, dass es insgesamt sieben Begriffe gibt, ich kann sehen, wie ihre Punktzahlen waren, und dann kann ich sehen, was der Durchschnitt ist. |
| |
Ich kann auch sehen, dass der Durchschnitt, in diesem Fall von negativ, nur der durchschnittliche Wert über alle Stimmungsbedingungen hinweg ist, positiv und negativ. |
| |
Es gibt viele praktische Möglichkeiten, hilfreiche Informationen anzuzeigen, wenn Sie den Mauszeiger über Elemente in diesem Bericht bewegen. Ich empfehle es sehr, wissen Sie, probieren Sie es einfach aus. Bewegen Sie die Maus an verschiedenen Stellen. Sie werden wahrscheinlich etwas Nützliches finden. |
| |
Normalerweise schauen wir uns einzelne Dokumente nicht allzu genau an, wenn wir Textmining auf diese Weise durchführen. Ich meine, wenn wir sie alle lesen könnten, |
| |
dann würden wir. Ich meine, wir verstehen Sprache besser als Computer. Also, wissen Sie, wir werden sicherlich nicht nur diese gesamte Sammlung von 5.300 Dokumenten durchgehen, aber Sie könnten sagen, sortieren Sie nach Punktzahl und sehen Sie sich nur die negativsten an |
| |
Berichte, und diese tatsächlich durchlesen, um eine Vorstellung davon zu bekommen, okay, nun, |
| |
Wenn Menschen besonders negativ sind, was sind sie negativ? Was kann ich darüber lernen, was diese Negativität antreibt, und noch einmal, insbesondere in der Verbraucherforschung, kann das Ansehen von Produktbewertungen und Umfragen wirklich wertvoll sein. |
| |
Wir haben auch gesehen, dass Sie Ihre Sentimentbegriffsliste haben, in der wir alle verschiedenen Sentimentbegriffe sehen können, die vorkommen, wie oft sie vorkommen und wie oft sie vorkommen |
| |
Partituren, die damit verbunden sind. Und wenn ich mir einen von ihnen schnappe, kann ich diese Begriffe auch im Kontext sehen. Also, wenn es einen bestimmten Stimmungsbegriff gibt, der verwendet wird |
| |
ziemlich häufig in Ihren Daten, möchten Sie sie vielleicht im Kontext besser verstehen, um zu sehen, warum Menschen sie verwenden oder was sie dazu bewegt, sie zu verwenden. Und das ist ziemlich einfach, indem Sie einfach den Begriff auswählen und dann den Text unten durchsuchen. |
| |
Nun, endlich, was ich für eine der nützlichsten Funktionen in der Stimmungsanalyse halte, befindet sich auf dieser Registerkarte. |
| |
Wenn ich also auf Suchen klicke, findet es Nicht-Stimmungsbegriffe, die häufig mit Stimmungsbegriffen vorkommen, und ermöglicht uns eine Drilldown-Analyse, bei der wir die Stimmung nur in Bezug darauf bewerten |
| |
ausgewählten Begriff, oder was wir Feature nennen, oder Sie könnten es auch Subdomain nennen. Vielleicht ist die Stimmung also nur für den Umsatz und wir können sehen, dass der Umsatz schwach gemeldet wurde, was zu einer Abschwächung des Umsatzes führte. |
| |
Oder um auf früher zurückzukommen, als ich sagte, dass Sie möglicherweise etwas formulieren möchten. Lassen Sie uns die Kreditnachfrage in dieser Liste finden, |
| |
und bewerten wir alle unsere Dokumente nur in Bezug auf die Stimmung bezüglich der Kreditnachfrage. Und natürlich nutzt dies einige |
| |
Verarbeitung natürlicher Sprache, um zu versuchen zu bestimmen, welche Stimmungsphrasen auf die Kreditnachfrage zutreffen und welche nicht, und bei keiner NLP-Methode wird es nicht 100% genau sein, aber seine Genauigkeit, insbesondere bei wohlgeformtem geschriebenem Text |
| |
So wie es die Beige Book-Berichte sind, scheint es ganz gut zu funktionieren. Und so kann ich jetzt zum Beispiel sehen, wie sie über die Kreditnachfrage denken |
| |
über all diese Berichte hinweg? Und es sieht allgemein positiv aus, obwohl wir einige besonders negative Berichte darin haben. |
| |
Das letzte, was ich hier rufe, und nur um uns irgendwie wieder in den Kreis zu bringen, merke wahrscheinlich, dass ich Spitzen habe, als ich das tat, und das ist ... das sieht aus wie positiv 60 und negativ 60. |
| |
Und dies unterstreicht nur noch einmal, wie wichtig es ist, Ihr Stimmungswörterbuch zu kuratieren, wenn Sie diese Analyse durchführen, und zu berücksichtigen, wie Sie es erstellt haben, wenn Sie Ihre Ergebnisse interpretieren. |
| |
Dieser Anstieg bei positiven 60 könnte sehr gut darauf zurückzuführen sein, dass ich, als ich anfangs viele Stimmungsbegriffe in das Wörterbuch eingab, diese Tastenkombinationen benutzte. |
| |
Ich habe also diese 30, 60, 90 Shortcut-Tasten und so baue ich mich fast auf, um Spitzen in den Punktzahlen zu sehen |
| |
positiv 60 und negativ 60. Und wenn ich ein wenig mehr darauf geachtet hätte, Partituren feinkörniger zu machen, dann würde ich vielleicht nicht ganz so eine interessante Verteilung sehen. |
| |
Also nenne ich das nur, um noch einmal zu betonen, wie wichtig es ist, sich Ihr Stimmungswörterbuch zu besorgen |
| |
zusammen und dann, sobald Sie dies getan haben, haben Sie all diese nützlichen Informationen über die globale Stimmung, die Stimmung nach Dokument, die Stimmung nach einzelnen Begriffen oder sogar nach Unterdomänen, indem Sie diese Funktionen verwenden |
| |
Abschnitt hier. Und dann, wie Sie es wahrscheinlich in JMP gewohnt sind, finden Sie diese Optionen, wenn es an der Zeit ist, das, was Sie getan haben, zu speichern und es an anderer Stelle unter dem roten Dreieck zu verwenden Ich könnte meine Dokumentpartituren speichern. |
| |
Wenn wir zurück zu meiner Datentabelle gehen, die genau hier ist, können Sie sehen, dass ich tatsächlich gespeichert habe, in diesem Fall sind es die Ergebnisse für diese Unterdomäne für die Kreditnachfrage, zurück in meine Datentabelle, damit ich sie beispielsweise verwenden kann , in weiterer Analyse oder grafischer Darstellung, wie einige der Grafiken, die wir für die Folien erstellt haben. |
| |
Das ist also die Stimmungsanalyse, neu in JMP Pro 16, um positive und negative Emotionen in Texten zu quantifizieren. Und |
| |
Lassen Sie uns damit zur Begriffsauswahl übergehen, der anderen neuen Text-Mining-Technik, über die ich sprechen möchte. Wie es heißt, geht es bei der Begriffsauswahl darum, Wörter zu identifizieren, die mit einem Ergebnis, dh einem anderen Maß, verbunden sind. Zum Beispiel haben wir hier, wissen Sie, |
| |
Die beigefarbenen Buchberichtstexte könnten wir aber auch einarbeiten |
| |
B. BIP, und sehen Sie, wie bestimmte Begriffe in den Beige Book-Berichten mit dem BIP oder vielleicht mit einer binären Variablen übereinstimmen, z. B. ob sich die Wirtschaft in einer Rezession befindet oder nicht. |
| |
Dies ist eine ... Begriffsauswahl hier ist ein Allzweckwerkzeug zum Auffinden von Wörtern, die mit einer anderen Variablen verknüpft sind, was nützlich sein kann |
| |
in einem interpretativen Kontext, um vielleicht die Treiber einer anderen Variablen zu finden, oder vielleicht in einer prädiktiven Modellierungsübung, damit wir Begriffe identifizieren können, die etwas vorhersagen, damit wir diese Begriffe in Zukunft verwenden können, um zu helfen, es vorherzusagen. |
| |
Lassen Sie uns also sehen, wie die Begriffsauswahl funktioniert, und wir werden uns hier tatsächlich ein anderes Beispiel als die Verbraucherbeschwerde des Consumer Financial Protection Bureau ansehen |
| |
Datenbank. Wenn Verbraucher also eine Beschwerde bezüglich eines Finanzprodukts oder einer Finanzdienstleistung haben, können sie diese Beschwerde beim CFPB einreichen, und das CFPB vermittelt zwischen diesem Verbraucher und dem |
| |
der Anbieter des Finanzprodukts oder der Finanzdienstleistung. Hier ist ein Beispiel dafür, was Sie in diesen Daten finden können. Hier ist also jemand, der sagt, dass er seine Kreditauskunft überwacht, und es wurde eine Mahnung über 3.900 Dollar eingereicht, und er behauptet, nichts darüber zu wissen. |
| |
Und Sie können auch sehen, in der Datentabelle haben wir eine Spalte direkt daneben, die besagt, dass der Verbraucher dies angefochten hat, und hier hat der Verbraucher angefochten, und das bedeutet, dass er eine Antwort von der erhalten hat |
| |
Finanzdienstleister und sie waren mit dieser Antwort nicht zufrieden, also haben sie sie angefochten. |
| |
Sie können in der Header-Graph-Spezifikation in der Datentabelle sehen, dass dies nicht so häufig vorkommt. Es ist im Grunde ungefähr jeder fünfte in diesem Datensatz, den wir uns ansehen, |
| |
Verbraucherstreitigkeiten führen, aber wenn Sie das Finanzunternehmen sind, das mit diesem Kunden zu tun hat, möchten Sie sicherlich nicht eine Antwort geben und diese Antwort dann weiterhin anfechten. Vielleicht möchten Sie verstehen, welche Arten von Beschwerden |
| |
kommen, die tatsächlich zu Verbraucherstreitigkeiten führen, damit Sie beispielsweise diejenigen erkennen können, die wahrscheinlich im Voraus zu Streitigkeiten führen werden, |
| |
oder einfach Ihre Streitbeilegungspraktiken besser verstehen, um die Anzahl der Streitigkeiten zu reduzieren. Es gibt viele Gründe, in denen Sie sich daran erinnern möchten. |
| |
Erzähldaten von Verbraucherbeschwerden, um zu sehen, was diese Streitigkeiten überhaupt antreiben könnte, und was die Begriffsauswahl tut, ist, die einzelnen Begriffe in den Texten zu finden, die mit diesem Ergebnis, dieser Streitvariable, verbunden sind. |
| |
Hier habe ich also ein Diagramm, das ich aus den Ergebnissen einer Begriffsauswahlanalyse erstellt habe, in der wir eine Sammlung von Begriffen entlang der Y-Achse haben. Auf dem X haben wir den Logwert, der ist |
| |
ein Maß für die Stärke des statistischen Nachweises der Assoziation. Dies ist also tatsächlich nach Logworth-Werten geordnet, also haben wir ganz oben |
| |
verletzen und Sie können den kleinen Punkt dort sehen. Das zeigt tatsächlich, dass wir hier Stemming durchführen ließen, sodass verletzen bedeutet, dass verletzen, verletzen, verletzen und so weiter sein könnte. |
| |
Wir haben also starke statistische Beweise dafür, dass dieser Begriff „Verletzung“ mit Verbraucherstreitigkeiten in Verbindung gebracht wird, und zwar in der Farbcodierung, |
| |
Ich habe hier die Stärke des Effekts in Bezug auf ein Odds Ratio. Also, wenn Leute... wenn jemand dieses Wort erwähnt, verletzen, |
| |
die Streitwahrscheinlichkeit steigt um den Faktor 1,5. Also wenn ich bin |
| |
Als Finanzdienstleister möchte ich vielleicht nach diesem Begriff Ausschau halten. Ich möchte vielleicht untersuchen, wie und wann Leute bestimmte Verstöße geltend machen, und wie wir sehen werden, handelt es sich wirklich um Verstöße gegen Bundesgesetze. |
| |
Wenn sie das in einer Beschwerde behaupten, wie gehen wir dann damit um, weil es so aussieht, als würden wir damit nicht zufriedenstellend umgehen? |
| |
Vielleicht möchten Sie das Vorhandensein oder Fehlen dieses Begriffs in einem Teil eines Vorhersagemodells verwenden, um potenziell problematische Beschwerden im Voraus zu kennzeichnen, damit wir ihre Lösung eskalieren können. |
| |
Also, wie funktioniert das alles? Nun, wir erstellen ein Modell, das mit der Dokumentbegriffsmatrix beginnt, die eine Darstellung des Textes ist, wobei each |
| |
Zeile ist ein Dokument und dann ist jede Spalte ein Begriff, der vorkommen könnte. Und dann |
| |
in diesem Fall haben wir das, was wir binäre Gewichtung nennen, also geben wir einfach eins ein, wenn der Begriff vorkommt; Wenn der Begriff in diesem Dokument nicht vorkommt, geben Sie eine Null ein. Es gibt noch mehr Gewichtungen, aber wir bleiben für unser Beispiel bei binär. |
| |
Wenn wir diese binären Spalten dort als Prädiktoren in ein Modell eingeben und insbesondere verwenden |
| |
JMPs verallgemeinerte Regression und wir werden gleich sehen, warum. Zuerst möchte ich nur spezifizieren, dass das, was wir hier tun, eine Regression ist, tatsächlich einige |
| |
Einige Leute werden, wie Sie wahrscheinlich hören werden, die Begriffsauswahl als Textregression bezeichnen. |
| |
Machen Sie sich nicht zu viele Gedanken über die Form des Modells. Ich versuche nur hervorzuheben, dass wir eine Ergebnisvariable verwenden. |
| |
Da wir eine binäre Variable haben, sind es die logarithmischen Chancen für die logistische Regression, und wir sagen, dass das gleich ist, wissen Sie, ein gewisser Schnittpunkt plus, |
| |
Wissen Sie, ein Koeffizient multipliziert mit einer Variablen. In diesem Fall ist es eine binäre Eins oder Null; ist ein Verstoß aufgetreten oder nicht. |
| |
Plus einen anderen Koeffizientenwert, in diesem Fall das negative 0,2-fache einer anderen binären Variablen; hier, ob jemand den Begriff erwähnt hat, aufgelegt hat oder nicht, und so weiter. |
| |
Wir geben also eine Reihe von Termen in dieses Modell ein und verwenden die verallgemeinerte Regression, um auszuwählen, welche Terme in das Modell gehören und welche nicht. Und |
| |
Was wir hier sehen, ist ein Beispiel für JMP, das diese Lösung berechnet, welche Begriffe zu uns gehören und welche nicht. |
| |
Hier drüben im Lösungspfad sehen wir in Blau alle Terme, die in das Modell eingegeben wurden, und in Schwarz alle Terme, die tatsächlich nicht in das Modell aufgenommen wurden, weil sie nicht wirklich zu seinem Vorhersagewert beitragen. |
| |
Was wir also erhalten, ist eine Liste von Begriffen. Wir haben hier zum Beispiel ihre Modellkoeffizientenwerte verletzt, ich habe diesen Wert von 0,4, weil das eigentlich der ist |
| |
Wert des Koeffizienten, wenn wir das Modell anpassen. Und wir erhalten auch, wie wir bereits erwähnt haben, ein Maß für die statistische Evidenz oder die Stärke der Evidenz, |
| |
Dieser Logworth-Wert, hier 16,58, wobei, wenn Sie eine Faustregel wollen, jeder Wert über 2 als starker statistischer Beweis angesehen werden könnte, aber in Wirklichkeit ist Logworth ein negativer Logwert zur Basis 10 des p-Werts, also der Wert von 2 entspricht gerade einem P-Wert von 0,01. |
| |
Wir haben also beides, in diesem Fall mit dem Koeffizienten, wie stark erhöht oder verringert dies die Wahrscheinlichkeit eines Streits? Und dann das Log, das es wert ist, uns zu sagen, wissen Sie, wie zuverlässig sind unsere Beweise dafür wirklich? |
| |
Und mit diesen Informationen können wir eine ganze Menge tun, und wir werden gleich sehen, wie wir zu JMP übergehen und diese Analyse tatsächlich durchführen. |
| |
Ich bin also wieder auf meinem anderen Desktop hier. Ich rufe unsere Verbraucherbeschwerdedaten auf. |
| |
Und |
| |
Anstatt von Grund auf neu in den Text-Explorer einzusteigen, werde ich ihn hier einfach mit einem Tabellenskript starten. |
| |
Und wie wir sehen werden, tauchte dies auf dem falschen Bildschirm auf, sobald es angezeigt wurde. Na, bitte. |
| |
Wir haben, wissen Sie, wir beginnen immer mit einer Liste von Begriffen, die tatsächlich in die Analyse eingehen. Dann haben wir unsere Phrasenliste, in der wir bestimmte Phrasen deklarieren können, die in die Begriffsliste gehören, die auch enthalten sein sollten. |
| |
Ich habe viele Ausdrücke eingefügt, wie z. B. Fair Credit Reporting Act, denn wenn die Erwähnung dieses Ausdrucks oder dieses Konzepts mit Verbraucherstreitigkeiten in Verbindung gebracht wird, möchte ich das finden. |
| |
Und Sie werden auch bemerken, wenn ich zu unserem ... gehen wir, um Stoppwörter hier zu verwalten, dass ich viele Stoppwörter deklariert habe. Das sind also alles Worte, die |
| |
Ich möchte sie nicht in die Analyse einbeziehen, hauptsächlich weil sie andere Wörter überschwemmen könnten. |
| |
Sie könnten sehr häufig sein, und wenn ich nur darum bitten würde, die 500 häufigsten Wörter zu analysieren, möchte ich das nicht vermasseln können. |
| |
Vor allem, weil, selbst wenn fähig als ein mit Streit verbundener Begriff zurückgegeben würde, ich nicht einmal genau weiß, was ich tun würde ... was ich damit machen würde oder wie ich ein so allgemeines Wort wie fähig interpretieren könnte. |
| |
Nehmen Sie sich also Zeit, um Ihre Stoppwörter und -phrasen zu machen, und wenn Sie fertig sind, rufen Sie unter dem roten Dreieck die Begriffsauswahl auf. |
| |
Wenn wir das tun, werden wir zuerst unsere auswählen |
| |
Ergebnisvariable und das ist dieser Verbraucher umstritten. Und wir wollen über Dinge in Bezug auf die Wahrscheinlichkeit sprechen, dass es zu einem Streit kommt. |
| |
Sie können hier sowohl kontinuierliche als auch kategoriale Ergebnisvariablen festlegen. Sie arbeiten beide. Und ich sollte auch erwähnen, dass wir über einen Streit sprechen, der, |
| |
Weißt du, du denkst vielleicht, dass es tatsächlich eine Art Stellvertreter für Gefühle sein könnte, das heißt, wenn jemand etwas bestreitet, liegt es wahrscheinlich daran, dass er nicht glücklich ist. |
| |
Aber es könnte üblich sein, dass einige Leute Daten haben, bei denen Sie eine externe Variable haben, die ein direkteres Maß für die Stimmung ist, z. B. eine Sternebewertung für ein Produkt, die wirklich Zufriedenheit anzeigt. |
| |
Wenn Sie also zusammen mit Ihren Textdaten ein gutes Maß an Stimmung haben, können Sie ein Tool wie dieses verwenden, um das zu tun, was wir nennen würden |
| |
datenabgeleitete Stimmungsanalyse, bei der Sie dieses Tool verwenden, um nach Begriffen zu suchen, die ein Stimmungsmaß vorhersagen, wodurch im Wesentlichen Stimmungsbegriffe und automatisch ausgewählt werden |
| |
herauszufinden, was ihre Partituren sein sollten. Es kann also ziemlich praktisch sein. Das ist einfach nicht ganz das, was wir hier tun. Wir verwenden es allgemeiner. |
| |
Okay, also bleibe ich für diese Dokumenttermmatrix bei der binären Gewichtung. Um die Dinge bissig zu halten, werde ich sagen, schauen wir uns nur die 200 häufigsten Begriffe an. |
| |
Darüber hinaus werde ich es ab Term 201 nicht in die Analyse einbeziehen. In der Praxis würde ich wahrscheinlich mehr einbauen, wissen Sie, es ist nur so, dass ich möchte, dass dies für die Demo schön und bissig ist. |
| |
Und wenn Sie ein GenReg-Benutzer sind, werden Sie sehen, dass Sie dies getan haben |
| |
Einige Optionen zum Festlegen der Schätz- und Validierungsmethoden im Voraus. Ich werde diese auf Standard belassen und auf Ausführen klicken. |
| |
Und was passiert ist, dass JMP nach GenReg ruft. Es baut ein logistisches Regressionsmodell auf und führt eine Variablenauswahl mit der Elastic-Net-Methode durch. |
| |
Es sieht so aus, als hätten wir gerade einen zweiten technischen Fehler gehabt. Das tut mir schrecklich leid. Wir werden es ansprechen, wenn dieses Modell passt. Mal sehen. Wir bringen meine Bildschirmfreigabe zurück. |
| |
Wir bringen mich zurück. Es sieht so aus, als würden wir noch aufnehmen, also machen wir gleich weiter. Hier ist also das Ergebnis. |
| |
Bevor wir auf den Bericht im Detail eingehen, schauen wir uns zunächst nur diese eine Zeile in der Übersichtstabelle an. Dies fasst das einzelne Modell zusammen, das ich bisher gebaut habe. |
| |
So kann ich zum Beispiel sehen, dass 145 Begriffe zurückgegeben wurden. Ich habe AICc als Validierung verwendet und da ist der AICc-Wert. Wir können einige andere Fit-Statistiken sehen. |
| |
Und wie bei jedem Modell möchten wir vielleicht mehrere Durchläufe am Modell ausprobieren, um das Modell zu erstellen, das am besten zu unseren Daten passt. |
| |
Wenn ich also hier zu diesem generalisierten Regressionsknoten gehe, werden Sie sehen, dass wir GenReg tatsächlich in den Text-Explorer eingebettet haben. |
| |
Ich könnte das Modell, das wir angepasst haben, genauer untersuchen, oder in meinem Fall werde ich tatsächlich ein weiteres Modell anpassen, um zu sehen, ob ich es besser machen kann. Lassen Sie uns ein adaptives elastisches Netz erstellen. |
| |
Und werden stattdessen dieses Modell anpassen und sehen, ob es besser ist als das normale elastische Netz, das wir bereits angepasst haben. |
| |
Okay, also hat es auch zu diesem Modell gepasst. |
| |
Wenn wir zu unserer Zusammenfassung gehen, können wir sehen, dass diese jetzt 98 Terme zurückgegeben hat, tatsächlich einen niedrigeren AICc hat, also vielleicht besser passt. |
| |
Und so werde ich mit diesem Modell gehen. Jetzt könnte ich, wenn ich mit dem Original gehen wollte, einfach darauf klicken. Wie Sie sehen können, wird der Bericht unten auf das Modell aktualisiert, das ich in dieser Tabelle ausgewählt habe. |
| |
Ich habe meine Begriffsliste hier unten. Darüber haben wir bereits gesprochen, also könnte ich es anhand der Koeffizienten betrachten. Hier sind also die Begriffe, die am meisten ... die größte Wirkung haben und die Wahrscheinlichkeit eines Verbraucherstreits erhöhen. |
| |
Hier sind diejenigen, die die Wahrscheinlichkeit eines Verbraucherstreits am stärksten verringern. In jedem von ihnen könnte ich zum Beispiel aufgelegt sehen und sehen, dass es natürlich darum geht, dass sie jemandem auflegen oder dass jemand an ihnen hängt, und vielleicht ergibt das für uns Sinn |
| |
dass dies auf eine Verringerung der Streitwahrscheinlichkeit hindeutet, da es sich so anhört, als ob es sich wirklich um ein Kommunikationsproblem handelt, das möglicherweise etwas einfacher zu lösen ist. |
| |
Auch hier wollen wir auf unsere Logworth-Werte achten, 2,883, das ist also ein wenig über der Faustregel, 2, die ich zuvor gesagt habe, also könnten wir sagen, okay, ich denke, es gibt ziemlich starke statistische Beweise dafür, dass das echt ist Verband. |
| |
Nur um das klarzustellen: Wenn wir hier runtergehen, sehen wir das Wort Polizei. Und mein erster Eindruck ist, na ja, die Leute sagen, na ja, ich habe einen Polizeibericht erstellt oder ich habe die Polizei gerufen. |
| |
Sie werden wahrscheinlich nicht so einfach verschwinden, wenn wir eine Antwort geben, der Wahrscheinlichkeitsstreit, es muss steigen, wenn jemand bereits die Polizei ruft. |
| |
Aber wenn wir uns das ansehen |
| |
Logworth, wir können gut sehen, dass die statistischen Beweise dafür wirklich nicht so stark sind, also, obwohl es meiner Intuition widerspricht, wissen Sie, vielleicht, vielleicht ist es nicht ganz real. |
| |
Es ist sicherlich nicht so weit, dass ich das in der Kette zum Management bringen und sagen möchte, hey, wenn die Leute sagen, dass sie die Polizei wegen uns gerufen haben, ist das eigentlich eine gute Sache. Das sagen wir sicher nicht. Es wurde nur für die Aufnahme in das Modell hier ausgewählt, weil es letztendlich |
| |
zu einem besser passenden Modell führen, aber es liegt immer noch an uns, unser eigenes Wissen und unseren gesunden Menschenverstand bei der Interpretation der Ergebnisse einzusetzen. |
| |
Wenn Sie also wirklich versuchen, nur die Begriffe zu identifizieren und ihre Auswirkungen in gewisser Weise zu quantifizieren, könnte diese Tabelle so aussehen: |
| |
Dies könnte das Ziel Ihrer Analyse sein. Und so könnte ich mit der rechten Maustaste klicken und zur Datentabelle wechseln |
| |
und erhalten Sie eine Datentabelle dieser Terme und ihrer Koeffizienten und Logwerte, und verwenden Sie diese dann, um möglicherweise eine Analyse unserer früheren Antworten, Verbesserungsbemühungen durchzuführen oder diese sogar als Terme zu kennzeichnen, die in Zukunft in eine Art Vorhersagemodell aufgenommen werden sollten. |
| |
Aber wissen Sie, wir haben hier ein Modell erstellt, ein Regressionsmodell, also haben wir Informationen für, auf der Ebene der einzelnen Dokumente, über die |
| |
die Summe der Koeffizienten, die eine Zunahme der Streitwahrscheinlichkeit vorhersagen, die Summe, die eine Abnahme vorhersagt, der Gesamtwert des Modells, die Wahrscheinlichkeit von |
| |
ein Streit, der dem Modell zugeordnet ist und was wir tatsächlich beobachtet haben. Also all die Dinge, die Sie erwarten könnten, wenn Sie tatsächlich auf der Ebene des einzelnen Dokuments bewerten, wie gut dieses Modell funktioniert. |
| |
Oben haben wir auch eine allgemeine Zusammenfassung, in diesem Fall, der einzelnen Dokumente und ihrer ... was wir unseren Beitrag nennen, das ist also der |
| |
Summe oder Durchschnitt dieser Koeffizientenwerte. So sieht es beispielsweise so aus, als hätten 30.412 unserer Dokumente eine Summe ... positive Summe ihrer Koeffizientenwerte und des mittleren Koeffizientenwerts, der mittlere Beitrag liegt bei etwa 0,57. |
| |
Also, wieder nur ein Flag, wissen Sie, wir sprechen hier über Regressionskoeffizienten, und daher sollten diese Beitragswerte, die Koeffiziententabelle, all dies so interpretiert werden, wie Sie es beim Konstruieren tun würden |
| |
andernfalls lineares Regressionsmodell, also in unserem Fall hier logistische Regression, sollten wir diese interpretieren |
| |
richtig, das heißt, wenn wir sie potenzieren, dann haben wir es mit dem Log zu tun oder ... entschuldigen Sie ... dann haben wir es mit dem Odds Ratio zu tun, das ist also der Faktor, um den die Odds steigen oder fallen würden wenn dieses Wort im Text vorkommt. |
| |
Auch wenn Sie Regression nicht so sehr mögen, können diese Werte in einem allgemeineren Sinne immer noch gut für Sie sein, da Sie sehen können, na ja, okay, welche Begriffe die stärkste Wirkung haben oder nicht. Und das gleiche gilt für Logworth, nun, die die stärksten Beweise haben oder nicht. |
| |
Nun, endlich, wie Sie sich vielleicht vorstellen können, ich meine, wir haben bereits gesehen, wie Sie die Termtabelle speichern können, aber wenn Ihr Ziel nicht diese Termtabelle ist, sondern wirklich das Modell |
| |
die Sie erstellt haben, haben Sie die Möglichkeit, diese ebenfalls zu speichern. Und so habe ich das Modell ausgewählt, das ich verwenden möchte, dieses adaptive elastische Netz, und unter dem roten Dreieck kann ich die Vorhersageformeln speichern. |
| |
Und ich denke, mein Computer wird hier wahrscheinlich nur für eine Sekunde abstürzen. Es wird also die Dokumentbegriffsmatrix gespeichert, also für die Top-200-Begriffe, wie wir es angegeben haben, und dann auch die Formel |
| |
die auf diesen Spalten oder dieser Dokumententermmatrix operiert, um unser Modell tatsächlich zu berechnen. Hier habe ich also die Dokumentbegriffsmatrix |
| |
und dann die Formelspalten am Ende hier, damit ich sie jetzt tatsächlich verwenden kann |
| |
dieses Modell direkt, wenn ich will. |
| |
Das ist also die Begriffsauswahl. Wiederum auf hohem Niveau finden wir heraus, welche Begriffe am stärksten mit einer Ergebnisvariablen verbunden sind, die uns wichtig ist, entweder um besser zu interpretieren, was dieses Ergebnis antreibt, oder vielleicht sogar um eine Modellierungspraxis zu informieren, um zu versuchen, dieses Ergebnis vorherzusagen. |
| |
Und damit sind die Begriffsauswahl und Stimmungsanalyse, die beiden neuen Text-Mining-Funktionen in JMP Pro 16, die erst im vergangenen Frühjahr erneut eingeführt wurden, abgeschlossen. |
| |
Ich werde jetzt ein bisschen abhängen und alle Fragen beantworten, die irgendjemand dazu hat, |
| |
Sie wissen schon, diese beiden neuen Funktionen. Und wissen Sie auch, dass Sie später jederzeit einen zusätzlichen Kommentar oder eine Frage auf der Benutzer-Community-Seite für diese Präsentation posten können, und ich werde immer ein Auge darauf haben |
| |
offen, um alle Fragen zu beantworten, die durchkommen. Also vielen Dank, dass Sie sich die Zeit genommen haben. Achten Sie bitte darauf. |
