Lautsprecher
|
Transkript
|
| Ross Metusalem |
Hallo zusammen, und willkommen zu dieser Präsentation darüber, wie JMP sein Text-Mining-Toolkit in JMP Pro 16 erweitert hat, das erst im vergangenen Frühjahr herauskam. |
| |
Ich bin Ross Metusalem. Ich bin akademischer Botschafter von JMP und werde Ihnen diese beiden neuen Text-Mining-Funktionen vorstellen |
| |
Stimmungsanalyse und Begriffsauswahl. Wir werden darüber sprechen, was sie sind und wie man sie und JMP verwendet, und dann werden wir zwei Beispiele für die Durchführung dieser Analysen anhand öffentlich verfügbarer Daten aus der realen Welt sehen. |
| |
Stimmungsanalyse und Begriffsauswahl sind also zwei neue Ergänzungen zum Text-Explorer von JMP, einem Allzweck-Text-Mining-Tool. |
| |
Sie können dies also verwenden, um quantitative Informationen aus dem abzuleiten, was wir üblicherweise als freie oder unstrukturierte Textdaten bezeichnen. Das kann also alles sein, was mit der Ableitung von Worthäufigkeiten zu tun hat, sodass wir eine Wortwolke erstellen können. |
| |
zur Durchführung einer latenten semantischen Analyse, sodass wir semantisch ähnliche Dokumente gruppieren können. Die beiden Funktionen, die wir heute sehen werden, sind also Funktionen innerhalb des Text-Explorer-Tools. |
| |
Wir beginnen mit der Stimmungsanalyse, einer beliebten und häufig nachgefragten Funktion, die wir gerne in JMP Pro 16 einführen. |
| |
Für diejenigen, die es nicht kennen: Bei der Stimmungsanalyse geht es darum, die positiven bis negativen Emotionen in unstrukturierten Textdaten zu quantifizieren. |
| |
Das Beispiel, das wir uns nun ansehen werden, stammt aus dem Beige Book, einem narrativen Bericht der Federal Reserve. |
| |
Und wie wir auf der Karte sehen können, ist die Federal Reserve in 12 verschiedene Bezirke unterteilt und etwa acht Mal im Jahr veröffentlicht jeder Bezirk einen narrativen Beige-Book-Bericht |
| |
die die aktuellen und potenziellen zukünftigen wirtschaftlichen Bedingungen in dieser geografischen Region selbst zusammenfasst. Und diese Berichte basieren größtenteils auf qualitativen Datenquellen, denken Sie also |
| |
Gespräche mit Unternehmensführern, Umfragen und ähnliches. Daher denke ich, dass das Beige Book nicht nur deshalb ein gutes Beispiel für die Stimmungsanalyse ist |
| |
Es handelt sich um öffentlich zugängliche Daten, und ich kann sie mit Ihnen allen teilen, aber auch, weil es ziemlich interessant wäre, wenn Sie, sagen wir, ein Investor wären oder, |
| |
Sie wissen schon, ich habe ein Finanzinstitut geleitet, um herauszufinden, wie positiv oder negativ die Direktoren der Federal Reserve die Wirtschaftslage in verschiedenen Teilen des Landes beurteilen. Das könnte man tatsächlich nutzen |
| |
vielleicht als Leitfaden für die Entscheidungsfindung, oder selbst wenn Sie es quantifizieren können, können Sie es in einigen statistischen Analysen verwenden, vielleicht sogar in einigen Vorhersagemodellen. |
| |
Schauen wir uns also einen Beispieltext aus dem Beige Book an. |
| |
Hier haben wir nur einen Ausschnitt aus einem der Berichte, und wir können von oben beginnen, dass dieser Bericht besagt, dass die Computerverkäufe andererseits stark zurückgegangen sind. |
| |
Während, wenn wir nach unten gehen, eine Person auch berichtet hat, dass es eine Reihe günstiger Strohhalme im Wind gibt, haben wir hier „stark deprimiert“ und „günstig“ und auch „verbessern“ hervorgehoben, |
| |
denn das sind das, was wir Sentimentphrasen nennen würden. Es handelt sich also um ein oder mehrere Wörter, die einen positiven oder negativen emotionalen Inhalt bezeichnen. |
| |
Oben haben wir also stark deprimiert, was stark negativ wäre, und dann haben wir unten günstig, was im Allgemeinen positiv wäre, und wir verwenden diese Farbcodierung, sodass Orange gegenüber diesem Blau oder Lila (je nachdem, wie) angezeigt wird du siehst es) |
| |
um eine positive bzw. negative Stimmung anzuzeigen. |
| |
Und genau das tun viele Formen der Stimmungsanalyse. Sie suchen im Text nach positiven und negativen Phrasen. |
| |
Die Form, die JMP verwendet und die Ihnen woanders begegnen könnte, quantifiziert tatsächlich positive und negative Stimmungen auf einer kontinuierlichen Skala. |
| |
Nehmen wir zum Beispiel unten in diesem zweiten Textausschnitt, wo wir sehen, dass jemand sagt, dass große Kaufhäuser in der Region schlechte Umsätze melden. |
| |
Oben sehen wir also, dass die Umsätze stark rückläufig sind, und unten sehen wir, dass die Umsätze schlecht sind. Nun, ich denke, wir sind uns alle einig, dass eine schwere Depression schlimmer klingt |
| |
in Bezug auf den Umsatz als schlecht. Und so möchten wir vielleicht, |
| |
Während sie beide negativ sind, quantifizieren wir schwere Depressionen eher als negativ als als arm, und genau das tun wir bei der Stimmungsanalyse in JMP. Und wir werden reden |
| |
Ich möchte hier ganz kurz auf die Berechnung dieser Werte eingehen, aber zunächst denke ich, dass es sich lohnt, einen Blick darauf zu werfen |
| |
Mögliche Beweise für die Gültigkeit der Quantifizierung von Stimmungen durch Betrachtung einzelner Begriffe und Ausdrücke wie dieser. |
| |
Dabei handelt es sich im Wesentlichen um die Bewertung von Dokumenten anhand der darin vorkommenden Wörter |
| |
von denen wir denken, dass sie Emotionen bezeichnen und in welchem Ausmaß. Und das ist eine Art interne und subjektive Sache, aber dieser Ansatz, die Stimmungsanalyse, |
| |
kann wirklich eine gewisse Vorhersagevalidität nachweisen. Wenn wir uns zum Beispiel ansehen, wie sich die Stimmung im Beige Book im Laufe der Zeit entwickelt, können wir sehen, dass sie sich bei Rezessionen tatsächlich recht zuverlässig verhält. Hier haben wir also die Stimmung |
| |
auf der y-Achse. Sie können sehen, dass es von minus 75 bis minus 75 reicht. Das ist genau der Bereich, den wir eingezeichnet haben. Die wahre Skala reicht von minus 100 |
| |
bis 100, wobei Null neutral ist. Und Sie können sehen, dass der Smoother im Laufe der Zeit den allgemeinen Stimmungstrend in allen Beige-Book-Berichten erfasst. |
| |
Ein interessantes Muster lässt sich in Bezug auf wirtschaftliche Rezessionen erkennen, die ihrerseits rot hervorgehoben sind. Insbesondere können wir sehen, dass die Stimmung vor jeder Rezession zuverlässig zu sinken scheint. |
| |
Auch wenn dies ein relativ subjektives Maß dafür ist, was unserer Meinung nach der emotionale Zustand der Direktoren der US-Notenbank ist, so meine ich, dass dies erwartungsgemäß mit wirtschaftlichen Rezessionen übereinstimmt. |
| |
Interessanterweise verfolgt es auch tatsächlich geografisch. Nehmen wir zum Beispiel die Dotcom-Pleite zwischen 2000 und 2001, als eine Reihe von Internet-Startups in der San Francisco Bay Area entstanden |
| |
ging unter. Wir können sehen, und ich habe die Hover-Labels für San Francisco hier hervorgehoben, damit wir die Ergebnisse für diese Region sehen können. Wir haben, wie wir zuvor gesehen haben, eine positive Stimmung in Orange und eine negative in Blau. |
| |
Wir können sehen, dass sich die Stimmung bis zum Jahr 2000 aufbaut |
| |
war in der Bay Area mit 38,65 ziemlich hoch und stürzte dann im Jahr 2001 um durchschnittlich über 60 Punkte ab |
| |
ca. negativ 24,7. Und das ist ein viel größerer Umschwung, als wir ihn anderswo im Land gesehen haben, denn das ist die Region … vermutlich, weil das die Region ist, die am stärksten betroffen war. |
| |
Und wir sehen etwas Ähnliches bei der großen Rezession. Wir gehen also davon aus, dass der Absturz des Immobilienmarkts im Jahr 2008 mit einem Stimmungsrückgang einhergeht und nicht einheitlich erfolgt. |
| |
Es sieht so aus, als ob die stärksten Rückgänge an der Westküste zu verzeichnen waren, also wieder in der Region San Francisco, New York und auch in der Region Atlanta |
| |
Florida, wo ich lebe, war eine besonders stark betroffene Region des Landes. Und tatsächlich können wir, wenn wir in die unterste Reihe hinunterblicken, erkennen, dass Florida ... |
| |
Die Stimmung scheint sich in diesem allgemeinen Bereich erst etwa 2012 zu erholen, im Gegensatz zu einigen anderen Regionen, und das scheint Sinn zu machen. Der Immobilienmarkt in Florida war einer der letzten, der sich landesweit erholte. |
| |
Wir haben also dieses subjektive Maß für Emotionen, aber es passt sich in diesem Fall externen Ereignissen an ... wirtschaftlichen Ereignissen in einer Art und Weise, wie wir es erwarten würden. |
| |
Und Sie wissen es noch einmal: Wir schauen uns das Beige Book an, weil es ein besonders gutes, öffentlich zugängliches Beispiel ist. Wenn du |
| |
Ich spreche von vielleicht häufigeren Bereichen für die Anwendung von Sentimentanalysen, etwa der Verbrauchermarktforschung, bei der es um Folgendes geht: |
| |
Stimme des Kunden in Form von Textdaten, also Produktbewertungen, Umfrageantworten usw. |
| |
Möglicherweise können Sie die Stimmungsanalyse nutzen, um das Kundenverhalten besser zu verstehen und vielleicht sogar vorherzusagen, so wie wir hier die Stimmung nutzen können, um wirtschaftliche Rezessionen besser zu verstehen oder vielleicht vorherzusagen. |
| |
Vor diesem Hintergrund ist mir klar, dass wir uns hier in den letzten Minuten die Stimmungswerte angesehen haben, und es stellt sich wirklich die Frage, woher sie kommen. |
| |
Daher verwendet JMP eine Form der Stimmungsanalyse, die als lexikalische Stimmungsanalyse bezeichnet wird. Es verwendet also ein Sentiment-Lexikon oder |
| |
Stimmungswörterbuch |
| |
Allen einzelnen Wörtern, von denen wir glauben, dass sie eine bestimmte Stimmung vermitteln, Punkte zuzuordnen. Ein Wort wie „fantastisch“ könnte also eine Punktzahl von 90 erhalten, was sehr positiv ist. Es ist fast das Maximum von positiv, 100, während ein Paar weniger, befürchtet, eine negative Punktzahl von 60 ergibt. |
| |
Jetzt können wir diesen Begriffen Punkte zuweisen und sie grundsätzlich hochzählen oder ihren Durchschnitt in jedem einzelnen Dokument ermitteln. |
| |
Aber wir möchten noch ein paar andere Dinge berücksichtigen. Wenn Sie sich erinnern, war der erste Sentimentsatz, den wir im Beige-Book-Beispiel sahen, äußerst deprimierend. |
| |
Mit anderen Worten, ernsthaft als Beispiel für etwas, das wir Verstärker nennen, was im Grunde ein Stimmungsmultiplikator ist. Wie Sie hier sehen können, könnten wir sagen, dass es sich um einen Multiplikator mit einem Sentiment-Score von 1,4 handelt, was eigentlich ein wenig ist |
| |
skaliert es um 0,3 und verringert so die Stärke der Stimmung ein wenig. |
| |
Wenn also ein Verstärker mit dem Stimmungsterm auftritt, führen wir diese Multiplikation durch und dann auch, wenn ein Negator auftritt. Also sagen wir: |
| |
Wissen Sie, etwas ist nein oder nicht oder sollte nicht oder war nicht, wir multiplizieren es mit minus eins, sodass wir im Grunde, wissen Sie, das Vorzeichen umdrehen; Positiv wird negativ und umgekehrt. |
| |
Und so führen wir für jede Stimmungsphrase einfach diese einfache Multiplikation durch und dann über ein Dokument hinweg: |
| |
Wir können die durchschnittliche Punktzahl oder vielleicht die Differenz zwischen der minimalen und der maximalen Stimmungspunktzahl heranziehen |
| |
Berechnen Sie einen Stimmungswert für diese Dokumente. Und genau das haben wir uns in diesen Diagrammen angesehen, also das Stimmungsdiagramm über die Zeit in diesen Karten. |
| |
Das ist also eine lexikalische Stimmungsanalyse. Dies ist eine weitverbreitete Praxis und die Art der Stimmungsanalyse, die in JMP implementiert ist. Und wie wir sehen werden, wenn Sie JMP haben |
| |
Wenn Sie alle Stimmungswerte berechnen, erhalten Sie viele nützliche Informationen. Hier ist ein Beispiel dafür, wie der Sentiment-Analysebericht aussieht. |
| |
Um nur eine Vorschau auf ein Element der Ergebnisse anzuzeigen, finden Sie hier oben eine einfache Zusammenfassung der Stimmung in allen unseren Dokumenten. |
| |
Wir haben also ein Histogramm, das praktisch farbcodiert ist und uns zeigt, dass die Verteilung der allgemeinen Stimmungen eher positiv zu sein scheint, was bedeutet, dass wir einen ziemlich starken negativen Stimmungsausläufer haben. |
| |
Wir können sehen, dass der durchschnittliche Stimmungswert über alle Dokumente hinweg bei 4,1 liegt, also knapp über Neutral. |
| |
Für alle insgesamt positiven Dokumente, von denen es 3.900 gibt, liegt ihr Durchschnittswert bei 22,9, während bei den rund 1.400 negativen Dokumenten die |
| |
Der durchschnittliche Wert liegt bei 15,4, die negativen Dokumente sind also nicht ganz so stark negativ wie die positiven Dokumente. |
| |
Nun, wissen Sie, hier mit dem Beige Book könnte ich sagen, nun ja, wissen Sie, von diesem Fall von 1970 bis heute, wenn ich mir nur die durchschnittliche Stimmungsbewertung ansehe, vielleicht, wissen Sie, ich weiß es nicht. Es ist mir weniger wichtig, als sich vielleicht die Ergebnisse einzelner Dokumente anzusehen oder |
| |
Vielleicht schauen wir uns die Verteilung bestimmter Stimmungsbegriffe an. Aber noch einmal: Wenn Sie es mit Daten zu tun haben, |
| |
sagen wir, Verbrauchermarktforschung, so etwas in der Art, alle beliebigen Textdaten, in denen Sie die Stimme des Kunden haben, selbst nur eine allgemeine Zusammenfassung wie diese, die uns anhand der Daten gut sagen kann, wie positiv oder negativ unsere Kunden denken wir haben, |
| |
Schon der einfache Bericht kann wirklich wertvoll sein. Aber wir stehen kurz davor, auf JMP umzusteigen, und wir werden sehen, dass der Stimmungsanalysebericht eine ganze Reihe zusätzlicher Möglichkeiten bietet, die Daten zu untersuchen, um Erkenntnisse zu gewinnen. |
| |
Gehen wir also zu JMP und sehen, wie es gemacht wird. |
| |
Hier sind wir also, ich bin in JMP Pro 16.1, und bevor wir uns mit diesen Beige Book-Daten befassen, möchte ich Xan Gregg einen Gruß aussprechen. |
| |
Für diejenigen unter Ihnen, die ihn nicht kennen: Xan ist Direktor unseres Entwicklungsteams. Er ist der Schöpfer von Graph Builder |
| |
und er ist auch die Person, die ursprünglich auf die Idee kam, sich die Beige Book-Daten anzusehen, und war sogar so freundlich, die HTML-Seiten in den Archiven des Beige Book zu durchsuchen und mir eine schöne JMP-Datentabelle zur Verfügung zu stellen. Vielen Dank, Xan. |
| |
Nun gut, werfen wir einen Blick auf die Stimmungsanalyse, und anstatt auf die Ergebnisse einzugehen, möchte ich lieber darauf eingehen, |
| |
Wissen Sie, ich möchte Ihnen kurz zeigen, wie Sie die Analyse einrichten, da es einige wichtige Überlegungen zu beachten gilt: |
| |
Dies betrifft nicht nur die Art und Weise, wie JMP es implementiert, sondern auch die Art und Weise, wie eine Stimmungsanalyse oder eine lexikalische Stimmungsanalyse im Allgemeinen durchgeführt wird. |
| |
Und um diesen Aufbau zu demonstrieren, werde ich mir tatsächlich nur eine Teilmenge der Daten von 2010 bis heute ansehen, in diesem Fall nur, um die Sache kurz zu halten, denn wir werden fragen |
| |
Der Text-Explorer aktualisiert seine Analyse mehrmals automatisch, und wir möchten, dass dies so unmittelbar wie möglich geschieht. |
| |
Hier habe ich also diese Teilmenge der Daten, also haben wir unsere Beige-Book-Berichte für alle 12 Bezirke, beginnend im Januar 2010, bis zum letzten Bericht letzten Monat. |
| |
Okay, um unsere Stimmungsanalyse zu starten, gehe ich zur Analyse und wähle den Text-Explorer. Nehmen Sie unseren Text und fügen Sie ihn in die Rolle „Textspalten“ ein. Ein paar Dinge, die Sie beachten sollten. |
| |
Einer davon ist, dass der Text-Explorer im Allgemeinen eine Reihe von Sprachen unterstützt, |
| |
Die Stimmungsanalyse ist derzeit nur auf Englisch verfügbar. |
| |
Und das andere ist, dass Sie, zumindest wenn Sie ein erfahrener Text-Explorer-Benutzer sind, vielleicht daran gewöhnt sind, die Wortstammerkennung einzuschalten, und Sie werden feststellen, dass ich sie jetzt weglassen werde. |
| |
Für diejenigen, die sich mit der Wortstammerkennung nicht auskennen: Es handelt sich um eine Möglichkeit, mehrere Formen desselben Wortes oder, sprachlich gesprochen, desselben Lemmes zu zerlegen. Also nimm stark, stärker und am stärksten. |
| |
Wir würden bei allen zusammenbrechen und einfach sagen: Nun ja, sie sind alle stark für unsere Zwecke. |
| |
Und das wollen wir hier natürlich nicht tun, denn „stärkste“ ist positiver als „stärker“, was positiver als „stark“ ist. |
| |
Deshalb lassen wir die Stemming-Funktion aus, und selbst wenn Sie sie nach dem Aufrufen der Sentiment-Analyse aktiviert haben, wird die Stemming-Methode ignoriert, denn wiederum sollten Sie sie nicht verwenden. |
| |
Also klicke ich auf „Okay“. Nein, und es sieht so aus, als hätten wir, als ich das tat, einen leichten technischen Schluckauf gehabt. Es tut mir leid, dass in letzter Zeit etwas Seltsames mit meinem Computer passiert ist, der das tut, aber das ist in Ordnung. Wir können einfach unsere Bildschirmfreigabe neu starten und mein Video zurückbringen. Hallo zusammen. |
| |
Und das werden wir teilen. Okay, wir sollten also noch weitermachen, es sieht so aus, als ob die Aufnahme noch läuft. Lassen Sie mich sicherstellen, dass JMP hier dem richtigen Monitor zugewiesen ist. Sieht so aus. Okay, das tut mir allen leid. Wie auch immer, also lasst uns darauf zurückkommen. |
| |
Hier haben wir also unser Text-Explorer-Fenster. Nun noch einmal, wenn Sie es gewohnt sind |
| |
Wenn Sie eine Textanalyse durchführen, wissen Sie, dass Sie normalerweise mit der Erklärung von Stoppwörtern beginnen. Die Leute reden zum Beispiel über meine Kontakte in der Industrie und haben mir gesagt, dass... Und Sie wissen, dass ich das Wort „Kontakte“ in meiner Analyse nicht verwenden möchte, was ich normalerweise tun würde |
| |
Fügen Sie das als Stoppwort hinzu und gehen Sie es dann möglicherweise stundenlang durch |
| |
Stoppwörter zu deklarieren, bevor ich meine Analyse tatsächlich durchgeführt habe, und das ist bei der Stimmungsanalyse nicht erforderlich. |
| |
Es basiert alles auf diesem Sentiment-Wörterbuch und daher ist ein Wort wie „Kontakte“ nicht im Wörterbuch enthalten. Es ist sowieso funktionell ausgeschlossen, also ist es eine gute Möglichkeit, etwas Zeit zu sparen. |
| |
Allerdings möchten Sie wahrscheinlich Ausdrücke deklarieren, zum Beispiel „Immobilien“ oder einen, den wir uns ansehen werden, nämlich die Kreditnachfrage, die hier behandelt wird. |
| |
Also klicke ich auf „Kreditnachfrage“ und füge es als Phrase hinzu. Es wird in unsere Begriffsliste aufgenommen, also lasst es uns einfach ganz schnell finden. |
| |
Da sind es 1.139 Fälle. Und dies soll uns dabei helfen, in diesen Analysen tatsächlich tiefer in die Unterdomänen vorzudringen |
| |
in diesem Datensatz. Stellen Sie sich also vor, ich möchte die Stimmung nicht als Ganzes, sondern nur in Bezug auf die Kreditnachfrage berechnen. |
| |
Dazu muss ich es, wie wir sehen werden, zunächst als Phrase deklarieren. Daher ist es sinnvoll, zumindest für wirklich prominente Domänen, die Sie interessieren könnten, einige Phrasen durchzugehen und zu deklarieren. |
| |
Okay, jetzt schließen wir das ab und starten tatsächlich die Stimmungsanalyse. |
| |
Und Sie werden sehen, wenn ich das tue, werde ich einen vollständigen Bericht herausbringen, und daher könnte es für mich so aussehen, als wäre es an der Zeit, mit der Untersuchung meiner Ergebnisse zu beginnen, denn dies sieht wie eine abgeschlossene Analyse aus, aber ich möchte es tun Ermutigen Sie jeden, der dies verwendet, auf die Bremse zu treten und Ihr Sentiment-Wörterbuch zu berücksichtigen. |
| |
Verschiedene, wissen Sie, Gruppen von Menschen, die in unterschiedlichen Kontexten Texte über unterschiedliche Dinge und mit unterschiedlichen Umgangssprachen erstellen |
| |
kann Sprache auf viele verschiedene Arten verwenden. Und es ist wichtig, Ihre Sentiment- und Verstärker-Negationsbegriffslisten anzupassen |
| |
um das widerzuspiegeln. Das heißt also ... Ich zögere, das Wort „nie“ zu verwenden, aber ich werde ... Ich sage „nie“ und verwende einfach das Standard-Stimmungswörterbuch. Sie erhalten immer aussagekräftigere Ergebnisse, wenn Sie es selbst kuratieren. |
| |
Wenn ich mir hier also die Stimmungsbegriffe anschaue, sehen Sie, dass die Bewertungen auf diesem integrierten Wörterbuch basieren, das relativ spärlich ist. |
| |
Aber ich möchte tatsächlich einen Teil des Textes durchlesen und sehen, ob ich vielleicht noch weitere Wörter identifizieren kann, die in das Wörterbuch aufgenommen werden sollten. Ich sollte erwähnen, dass Sie vielleicht sogar das durchgehen möchten |
| |
die integrierte Liste und schließen Sie einige aus, obwohl diese Liste relativ spärlich ist und Sie daher im Idealfall nicht zu viele oder vielleicht gar keine ausschließen müssen. |
| |
Unten in unserem Bericht stehen Ihnen also tatsächlich einige Tools zur Verfügung, mit denen Sie Ihr Wörterbuch kuratieren und nicht nur die Ergebnisse untersuchen können. Ich kann das Dokument in dieser Dokumententabelle auswählen und den Text aufrufen |
| |
gleich darunter. Also verlasse ich kurz den unteren Bildschirmrand. Wie Sie in diesem Text hervorheben können, wurden die Stimmungsbegriffe und -phrasen bereits gefunden, also etwas besser. |
| |
Aber wenn man sich das Wort „schwach“ anschaut, sagen wir mal, die aktuellen Bedingungen blieben schwach, und es stellt sich heraus, dass dies, soweit ich das beurteilen kann, sehr häufig vorkommt |
| |
Der Begriff im Beige Book weist darauf hin, dass etwas grundsätzlich schlecht ist. Ich weiß nicht, ich bin kein Ökonom, aber vielleicht ist es so, dass in den Wirtschaftswissenschaften |
| |
Wissen Sie, schwach ist ein Synonym für schlecht, stark ist ein Synonym für gut, und das ist meine Meinung, nachdem ich mir diese Daten ein wenig angesehen habe. |
| |
Jetzt werden Sie sehen, dass es nicht hervorgehoben ist. Das bedeutet, dass schwach derzeit nicht in meinem Wörterbuch enthalten ist, ich es aber ganz einfach hinzufügen kann. Ich schwebe einfach darüber |
| |
Ich kann den Begriff direkt im Text einfügen und ihn als Negator hinzufügen. Ich kann ihm einen Verstärkerwert oder einen Stimmungswert zuweisen, damit er mäßig negativ ist, also klicke ich auf „Negativ 60“. |
| |
Und was passiert, ist, dass es jetzt zu meinem Wörterbuch hinzugefügt wird und alle Stimmungswerte hier in Echtzeit neu berechnet werden. |
| |
In meiner Sentiment-Begriffsliste kann ich jetzt sogar „Schwach“ auswählen und alle Vorkommen davon sehen. Wenn wir zu dieser Tabelle in der Zählspalte zurückkehren, sieht es so aus, als ob es in dieser Teilmenge der Beige Book-Daten 1.012 Mal vorkommt. |
| |
Gehen Sie also auf jeden Fall eine zufällige Teilmenge oder eine geschichtete zufällige Teilmenge Ihrer Dokumente durch und lesen Sie sie durch und versuchen Sie, einige Stimmungsbegriffe zu identifizieren, die in Ihr Wörterbuch gehören. |
| |
Jetzt können Sie sich auch auf eine praktische Funktion verlassen, diese mögliche Stimmungsliste. |
| |
was tatsächlich potenzielle Stimmungsbegriffe für Ihre Überlegung bereithält. Ich könnte beispielsweise feststellen, dass hier „stark“ steht und ich „schwach“ eingefügt habe. Ich möchte auf jeden Fall stark sein und deshalb werde ich das als ein erklären |
| |
stark. |
| |
Und ich habe die Tastenkombinationen verwendet, Sie wissen schon, positiv 60, negativ 60, aber Sie können jede beliebige Punktzahl zwischen minus 100 und 100 eingeben, also möchte ich vielleicht eigentlich nur eine Punktzahl von 50 für stark. Also werde ich das tun, und wenn Sie jetzt unten nachsehen, können Sie noch einmal alles sehen, automatische Updates. |
| |
Seien Sie also vorsichtig mit Ihrer Sentiment-Begriffsliste. Ich werde auch nicht auf die Mechanik Ihrer Negationsverstärker-Begriffe eingehen, aber es gelten die gleichen Ideen. |
| |
Stellen Sie sicher, dass Sie diese richtig einstellen, um Ihre Domain wirklich widerzuspiegeln, und dann empfehle ich Ihnen, unter dem roten Dreieck immer in die Tools zur vollständigen Begriffsverwaltung zu gehen, um entweder eines, das Sie kennen, manuell einige Begriffe einzugeben, also weiß ich vielleicht, dass ich die stärksten will und ich Ich möchte, dass das eine Punktzahl von 90 ist. |
| |
Daher kann ich hier eine Art Batch-Format hinzufügen |
| |
ohne jedes Mal automatisch aktualisiert zu werden, oder ich kann auch Sentiment-Begriffslisten importieren und exportieren, |
| |
Das ist großartig, um sie mit anderen zu teilen, sie tragbar zu machen und dabei zu helfen, unsere Arbeit zu verfolgen und reproduzierbar zu machen. |
| |
Da Ihre Ergebnisse in hohem Maße von der Stimmungsbegriffsliste sowie den Verstärkern und Negatoren abhängen, empfehle ich dringend, dass Sie, wenn Sie eine Set-Liste haben, diese exportieren, damit Sie sie vollständig dokumentiert haben und auch in eine importieren können neu analysiert und repliziert. |
| |
Das reicht also, um die Analyse einzurichten. Ich möchte nur darauf hinweisen, dass Sie zwar einen Bericht erhalten, wenn Sie die Stimmungsanalyse aufrufen, sich aber nicht direkt mit diesem Bericht befassen. Kuratieren Sie zuerst Ihr Wörterbuch. |
| |
So, jetzt wo ich es getan habe |
| |
Nachdem wir diesen Punkt gnadenlos geschlagen haben, werfen wir einen Blick auf diesen Bericht. |
| |
Und was ich jetzt tun werde, ist, einen vollständig ausgearbeiteten Bericht zu erstellen, in diesem Fall alle 5.300 plus |
| |
Beige Book berichtet hier. Wie ich bereits erwähnt habe, finden Sie im Abschnitt „Ergebnisse“ diese Gesamtzusammenfassung. Wir werden das nicht noch einmal durchgehen. Wir haben gesehen, dass Sie das auch getan haben |
| |
Alle einzelnen Dokumente, sodass Sie jedes Dokument anzeigen können, um zu sehen, wie es bewertet wurde und was darin steht. Entdecken Sie die Verwendung von Stimmungsbegriffen und -phrasen im Kontext. |
| |
In dieser Tabelle können Sie auch eine Reihe praktischer Messwerte sehen, zum Beispiel die gesamte positive Gesamtpunktzahl für ein Dokument, |
| |
die durchschnittliche Punktzahl der positiven Sentimentphrasen im Dokument. Das Gleiche gilt für das Negative und dann für die Gesamtpunktzahl, und das werden Sie, wie ich, auch bemerken |
| |
Wenn Sie mit der Maus über diese Werte fahren, wird mir tatsächlich angezeigt, wie sie berechnet werden. Wenn ich mir also den Mittelwert der negativen Bewertung ansehe, kann ich sehen, dass es insgesamt sieben Begriffe gibt, ich kann sehen, wie hoch ihre Bewertungen waren, und dann kann ich sehen, wie hoch der Durchschnitt ist. |
| |
Ich kann auch sehen, dass der Durchschnitt, in diesem Fall, von „negativ“ nur der Durchschnittswert aller Stimmungsbegriffe, positiv und negativ, ist. |
| |
Es gibt viele praktische Möglichkeiten, mit der Maus über Elemente in diesem Bericht zu fahren, um hilfreiche Informationen anzuzeigen. Ich kann es nur wärmstens empfehlen, wissen Sie, probieren Sie es einfach aus. Bewegen Sie die Maus über verschiedene Orte. Sie werden wahrscheinlich etwas Nützliches finden. |
| |
Normalerweise schauen wir uns einzelne Dokumente nicht allzu genau an, wenn wir Text Mining wie dieses durchführen. Ich meine, wenn wir sie einfach alle lesen könnten, |
| |
dann würden wir. Ich meine, wir verstehen Sprache besser als Computer. Wir werden also sicherlich nicht einfach nur diese gesamte Sammlung von 5.300 Dokumenten durchgehen, sondern wir könnten sagen, wir sortieren sie nach Punktzahl und schauen uns nur die negativsten an |
| |
Berichte, und lesen Sie diese tatsächlich durch, um eine Vorstellung davon zu bekommen, okay, nun ja, |
| |
Wenn Menschen besonders negativ sind, worüber äußern sie sich negativ? Was kann ich darüber lernen, was diese Negativität antreibt, und insbesondere in der Verbraucherforschung kann es sehr wertvoll sein, sich beispielsweise Produktbewertungen und Umfragen anzusehen. |
| |
Wir haben auch gesehen, dass Sie über eine Sentiment-Begriffsliste verfügen, in der wir alle verschiedenen Sentiment-Begriffe sehen können, die vorkommen, wie oft sie vorkommen und welche |
| |
Partituren, die ihnen zugeordnet sind. Und wenn ich mir eines davon schnappe, kann ich diese Begriffe auch im Kontext sehen. Wenn also ein bestimmter Stimmungsbegriff verwendet wird |
| |
Wenn Ihre Daten häufig vorkommen, möchten Sie sie möglicherweise besser im Kontext verstehen, um zu sehen, warum Menschen sie verwenden oder was sie dazu bewegt, sie zu verwenden. Und das geht ganz einfach, indem Sie einfach den Begriff auswählen und dann den Text unten durchsuchen. |
| |
Nun endlich, was meiner Meinung nach eine der nützlichsten Funktionen in der Stimmungsanalyse ist, befindet sich auf dieser Registerkarte „Funktionen“. |
| |
Wenn ich also auf „Suchen“ klicke, werden Nicht-Sentiment-Begriffe gefunden, die häufig mit Sentiment-Begriffen vorkommen, und wir können eine Drilldown-Analyse durchführen, bei der wir die Sentiment nur im Hinblick darauf bewerten |
| |
Ausgewählter Begriff oder das, was wir Feature nennen, oder Sie könnten es auch Subdomain nennen. Vielleicht ist die Stimmung also nur in Bezug auf die Verkäufe, und wir können sehen, dass die Verkäufe als schwach gemeldet wurden und sich die Verkäufe abschwächten. |
| |
Oder um auf früher zurückzukommen, als ich sagte, dass Sie möglicherweise einige Formulierungen vornehmen möchten. Lassen Sie uns die Kreditnachfrage in dieser Liste finden, |
| |
Und lassen Sie uns alle unsere Dokumente nur im Hinblick auf die Stimmung hinsichtlich der Kreditnachfrage bewerten. Und das erfordert natürlich einiges |
| |
Verarbeitung natürlicher Sprache, um herauszufinden, welche Sentimentphrasen auf die Kreditnachfrage zutreffen und welche nicht, und mit keiner NLP-Methode wird sie nicht 100 % genau sein, aber ihre Genauigkeit, insbesondere in wohlgeformten geschriebenen Texten |
| |
In gewisser Weise, wie es in den Beige-Book-Berichten der Fall ist, scheint es recht gut zu funktionieren. Und so kann ich jetzt zum Beispiel sehen, wie sie über die Kreditnachfrage denken |
| |
in all diesen Berichten? Und es sieht im Großen und Ganzen positiv aus, auch wenn es einige besonders negative Berichte gibt. |
| |
Das Letzte, was ich hier erwähnen möchte, und nur um den Kreis wieder zu schließen, ist mir wahrscheinlich aufgefallen, dass ich Spitzenwerte habe, als ich das gemacht habe, und das ist ... das sieht aus wie positive 60 und negative 60. |
| |
Und dies unterstreicht nur noch einmal, wie wichtig es ist, bei der Durchführung dieser Analyse Ihr Sentiment-Wörterbuch zu kuratieren und bei der Interpretation Ihrer Ergebnisse zu berücksichtigen, wie Sie es erstellt haben. |
| |
Dieser Anstieg bei positiven 60 könnte also durchaus darauf zurückzuführen sein, dass ich bei der ersten Eingabe vieler Stimmungsbegriffe in das Wörterbuch diese Tastenkombinationen verwendet habe. |
| |
Ich habe also diese 30, 60, 90 Shortcut-Schaltflächen und bereite mich schon fast darauf vor, Spitzen in den Punktzahlen zu sehen |
| |
positiv 60 und negativ 60. Und wenn ich etwas mehr darauf geachtet hätte, die Partituren feiner zu gestalten, dann würde ich vielleicht nicht ganz diese, wissen Sie, interessante, wir nennen es, Verteilung sehen. |
| |
Deshalb möchte ich das nur hervorheben, um noch einmal zu betonen, wie wichtig es ist, sich ein Sentiment-Wörterbuch zu besorgen |
| |
Wenn Sie dies getan haben, erhalten Sie mithilfe dieser Funktionen alle nützlichen Informationen über die globale Stimmung, die Stimmung pro Dokument, die Stimmung pro einzelnem Begriff oder sogar pro Unterdomäne |
| |
Abschnitt hier. Und wenn es dann an der Zeit ist, das, was Sie getan haben, zu speichern, damit Sie es an anderer Stelle verwenden können, finden Sie diese Optionen natürlich, wie Sie es wahrscheinlich von JMP gewohnt sind, unter dem roten Dreieck Ich könnte meine Dokumentbewertungen speichern. |
| |
Wenn wir zu meiner Datentabelle zurückkehren, die sich genau hier befindet, können Sie sehen, dass ich tatsächlich gespeichert habe, in diesem Fall sind es die Ergebnisse für diese Unterdomäne der Kreditnachfrage, zurück zu meiner Datentabelle, damit ich sie beispielsweise verwenden kann , in der weiteren Analyse oder grafischen Darstellung, wie einige der Grafiken, die wir für die Folien erstellt haben. |
| |
Das ist also die Stimmungsanalyse, neu in JMP Pro 16 zur Quantifizierung positiver und negativer Emotionen in Texten. Und |
| |
Kommen wir nun zur Begriffsauswahl, der anderen neuen Text-Mining-Technik, über die ich sprechen möchte. Wie es heißt, geht es bei der Begriffsauswahl darum, Wörter zu identifizieren, die mit einem Ergebnis, also einem anderen Maß, verbunden sind. Hier zum Beispiel, wissen Sie, wir haben, |
| |
die Beige-Book-Berichtstexte, wir könnten sie aber auch integrieren |
| |
Wirtschaftsvariablen, zum Beispiel das BIP, und sehen Sie, wie bestimmte Begriffe in den Beige-Book-Berichten mit dem BIP oder vielleicht mit einer binären Variablen übereinstimmen, etwa ob sich die Wirtschaft in einer Rezession befindet oder nicht. |
| |
Dies ist ein ... Begriffsauswahl hier ist ein allgemeines Werkzeug zum Suchen von Wörtern, die mit einer anderen Variablen verknüpft sind, was nützlich sein kann |
| |
in einem interpretativen Kontext, um vielleicht die Treiber einer anderen Variablen zu finden, oder vielleicht in einer prädiktiven Modellierungsübung, damit wir Begriffe identifizieren können, die etwas vorhersagen, sodass wir diese Begriffe in Zukunft zur Vorhersage verwenden können. |
| |
Sehen wir uns also an, wie die Begriffsauswahl funktioniert, und sehen uns hier tatsächlich ein anderes Beispiel als die Verbraucherbeschwerde des Consumer Financial Protection Bureau an |
| |
Datenbank. Wenn Verbraucher also eine Beschwerde bezüglich eines Finanzprodukts oder einer Finanzdienstleistung haben, können sie diese Beschwerde bei der CFPB einreichen, und die CFPB vermittelt zwischen diesem Verbraucher und dem |
| |
der Anbieter des Finanzprodukts oder der Finanzdienstleistung. Hier ist ein Beispiel dafür, was Sie in diesen Daten finden können. Hier sagt also jemand, dass er seine Kreditauskunft überwacht hat und dass ein Inkassobescheid über 3.900 US-Dollar eingereicht wurde und er behauptet, nichts darüber zu wissen. |
| |
Und Sie können auch sehen, dass wir in der Datentabelle direkt daneben eine Spalte haben, die besagt, dass der Verbraucher Einspruch erhoben hat, und hier hat der Verbraucher Einspruch erhoben, und das bedeutet, dass er eine Antwort von erhalten hat |
| |
Sie waren mit dieser Antwort nicht zufrieden und bestritten sie. |
| |
Sie können in der Kopfdiagrammspezifikation in der Datentabelle sehen, dass dies nicht so häufig vorkommt. In diesem Datensatz, den wir betrachten, ist es im Grunde etwa jeder Fünfte. |
| |
Dies kann zum Verbraucherstreit führen, aber wenn Sie das Finanzunternehmen sind, das mit diesem Kunden zu tun hat, möchten Sie auf keinen Fall eine Antwort herausgeben und diese dann weiterhin anfechten. Möglicherweise möchten Sie verstehen, um welche Arten von Beschwerden es sich handelt |
| |
kommen, die tatsächlich zu Verbraucherrechtsstreitigkeiten führen, so dass Sie beispielsweise im Voraus diejenigen identifizieren können, die wahrscheinlich zu Streitigkeiten führen, |
| |
Oder Sie verstehen einfach Ihre Streitbeilegungspraktiken besser, um die Zahl der Streitigkeiten zu reduzieren. Es gibt viele Gründe, warum Sie darauf achten sollten. |
| |
Narrative Daten zu Verbraucherbeschwerden, um zu sehen, was diese Streitigkeiten überhaupt auslösen könnte, und um herauszufinden, welche Begriffsauswahl die einzelnen Begriffe in den Texten findet, die mit diesem Ergebnis, dieser Streitvariable, verbunden sind. |
| |
Hier habe ich also ein Diagramm, das ich aus den Ergebnissen einer Begriffsauswahlanalyse erstellt habe, wobei wir eine Sammlung von Begriffen entlang der Y-Achse haben. Auf dem X haben wir den Logworth, also |
| |
ein Maß für die Stärke der statistischen Evidenz des Zusammenhangs. Dies ist also tatsächlich nach Logworth-Werten geordnet, also oben haben wir |
| |
verstoßen und Sie können dort den kleinen Punkt sehen. Das zeigt tatsächlich, dass wir hier Stemming durchgeführt haben, sodass „verletzen“ bedeutet, dass „verletzt“, „verletzt“, „Verletzung“ usw. sein könnte. |
| |
Wir haben also starke statistische Beweise dafür, dass dieser Begriffsverstoß mit Verbraucherstreitigkeiten in Zusammenhang steht, und zwar in der Farbcodierung. |
| |
Ich habe hier die Stärke des Effekts im Hinblick auf ein Chancenverhältnis. Wenn also Leute...wenn jemand dieses Wort erwähnt, verletzen, |
| |
Die Wahrscheinlichkeit eines Streits steigt um etwa den Faktor 1,5. Also, wenn ich es bin |
| |
Wenn ich ein Finanzdienstleister bin, sollte ich nach diesem Begriff Ausschau halten. Ich möchte vielleicht untersuchen, wie und wann Menschen bestimmte Verstöße geltend machen, und wie wir sehen werden, handelt es sich in Wirklichkeit um Verstöße gegen Bundesgesetze. |
| |
Wenn sie das in einer Beschwerde behaupten, wie kommt es dann, dass wir damit umgehen, denn es sieht so aus, als würden wir sie vielleicht nicht zufriedenstellend bearbeiten? |
| |
Vielleicht möchten Sie das Vorhandensein oder Fehlen dieses Begriffs in einem Vorhersagemodell nutzen, um potenziell problematische Beschwerden im Vorfeld zu kennzeichnen, damit wir deren Lösung eskalieren können. |
| |
Wie funktioniert das alles? Nun, wir erstellen ein Modell, das mit der Dokumentbegriffsmatrix beginnt, die eine Darstellung des Textes ist, wobei jeder |
| |
Zeile ist ein Dokument und jede Spalte ist ein Begriff, der vorkommen könnte. Und dann |
| |
In diesem Fall haben wir das, was wir als binäre Gewichtung bezeichnen. Wenn also der Begriff vorkommt, geben wir einfach eins ein. Wenn der Begriff in diesem Dokument nicht vorkommt, geben Sie eine Null ein. Es gibt noch mehr Gewichtungen, aber für unser Beispiel bleiben wir bei der binären Gewichtung. |
| |
Wenn wir diese binären Spalten dort als Prädiktoren in ein Modell eingeben und insbesondere verwenden |
| |
JMPs verallgemeinerte Regression und wir werden gleich sehen, warum. Zunächst möchte ich nur klarstellen, dass es sich bei dem, was wir hier tun, tatsächlich um eine Regression handelt |
| |
Einige Leute werden, wie Sie wahrscheinlich hören werden, die Begriffsauswahl als Textregression bezeichnen. |
| |
Machen Sie sich nicht zu viele Gedanken über die Form des Modells. Ich versuche nur hervorzuheben, dass wir eine Ergebnisvariable berücksichtigen. |
| |
Da wir eine binäre Variable haben, handelt es sich um die logarithmischen Quoten für die logistische Regression, und wir sagen, dass das gleich ist, wissen Sie, etwas Achsenabschnitt plus, |
| |
Sie wissen schon, ein Koeffizient multipliziert mit einer Variablen. In diesem Fall ist es eine binäre Eins oder Null; ob ein Verstoß vorliegt oder nicht. |
| |
Plus einen weiteren Koeffizientenwert, in diesem Fall negativ 0,2 mal eine andere binäre Variable; hier, ob jemand den Begriff erwähnt hat, aufgelegt hat oder nicht, und so weiter. |
| |
Deshalb geben wir eine Reihe von Begriffen in dieses Modell ein und verwenden eine verallgemeinerte Regression, um auszuwählen, welche Begriffe in das Modell gehören und welche nicht. Und |
| |
Was wir hier sehen, ist ein Beispiel dafür, wie JMP diese Lösung berechnet, welche Begriffe für uns dazugehören und welche nicht. |
| |
Hier im Lösungspfad sehen wir in Blau alle Begriffe, die in das Modell eingegeben wurden, und in Schwarz alle Begriffe, die eigentlich nicht in das Modell aufgenommen wurden, weil sie nicht wirklich zu seinem Vorhersagewert beitragen. |
| |
Am Ende haben wir also eine Liste von Begriffen. Wir haben ihre Modellkoeffizientenwerte, also habe ich hier zum Beispiel den Wert von 0,4 erhalten, weil das tatsächlich der Fall ist |
| |
Wert des Koeffizienten, wenn wir das Modell anpassen. Und wir erhalten auch, wie bereits erwähnt, ein Maß für die statistische Evidenz oder die Stärke der Evidenz. |
| |
Dieser Logworth-Wert, hier 16,58, wobei, wenn Sie eine Faustregel wollen, jeder Wert über 2 als starker statistischer Beweis gelten könnte, aber in Wirklichkeit ist Logworth ein negativer Logarithmus zur Basis 10 des p-Werts, also der Wert von 2 entspricht gerade einem P-Wert von .01. |
| |
Wir haben also beides, in diesem Fall mit dem Koeffizienten: Wie stark erhöht oder verringert dies die Wahrscheinlichkeit eines Streits? Und dann das Protokoll, das es wert ist, uns erzählt zu werden: Wie zuverlässig sind unsere Beweise dafür wirklich? |
| |
Und mit diesen Informationen können wir eine ganze Menge tun, und wir werden gleich sehen, wie, wenn wir zu JMP übergehen und diese Analyse tatsächlich durchführen. |
| |
Ich bin hier also wieder auf meinem anderen Desktop. Ich werde unsere Daten zu Verbraucherbeschwerden abrufen. |
| |
Und |
| |
Anstatt den Text-Explorer von Grund auf neu zu starten, starte ich ihn hier einfach mit einem Tabellenskript. |
| |
Und wie wir sehen werden, sobald dies angezeigt wird ... ist es leider auf dem falschen Bildschirm aufgetaucht. Na, bitte. |
| |
Wir beginnen immer mit einer Liste von Begriffen, die tatsächlich in die Analyse eingehen. Dann haben wir unsere Phrasenliste, in der wir bestimmte Phrasen deklarieren können, die in die Begriffsliste gehören und ebenfalls enthalten sein sollen. |
| |
Ich habe viele Ausdrücke eingefügt, etwa „Fair Credit Reporting Act“, denn wenn die Erwähnung dieses Satzes oder dieses Konzepts mit Verbraucherstreitigkeiten verbunden ist, möchte ich das finden. |
| |
Und Sie werden auch feststellen, dass ich viele Stoppwörter deklariert habe, wenn ich zu unserem Abschnitt „Stoppwörter verwalten“ gehe. Das sind also alles Wörter, die |
| |
Ich möchte sie nicht in die Analyse einbeziehen, vor allem weil sie andere Wörter überdecken könnten. |
| |
Sie könnten sehr häufig vorkommen, und wenn ich nur darum bitten würde, die, Sie wissen schon, 500 häufigsten Wörter zu analysieren, möchte ich das nicht vermasseln. |
| |
Vor allem, weil ich, selbst wenn „able“ als mit Streit verbundener Begriff zurückgegeben würde, nicht einmal genau wüsste, was ich damit machen würde oder wie ich ein so generisches Wort wie „able“ interpretieren würde. |
| |
Nehmen Sie sich also die Zeit, Ihre Stoppwörter und -phrasen zu erstellen, und rufen Sie, wenn Sie bereit sind, unter dem roten Dreieck die Begriffsauswahl auf. |
| |
Wenn wir das tun, werden wir zuerst unsere auswählen |
| |
Ergebnisvariable und das ist dieser Verbraucher umstritten. Und wir wollen über die Wahrscheinlichkeit sprechen, dass es zu einem Streit kommt. |
| |
Hier können Sie sowohl kontinuierliche als auch kategoriale Ergebnisvariablen festlegen. Sie arbeiten beide. Und ich sollte auch erwähnen, dass es sich um einen Streit handelt, der, |
| |
Weißt du, man denkt vielleicht, es könnte tatsächlich eine Art Indikator für die Stimmung sein, das heißt, wenn jemand etwas bestreitet, liegt das wahrscheinlich daran, dass er nicht glücklich ist. |
| |
Aber es könnte üblich sein, dass einige Leute über Daten verfügen, bei denen eine externe Variable ein direkterer Maßstab für die Stimmung ist, beispielsweise eine Sternebewertung für ein Produkt, die wirklich auf Zufriedenheit hinweist. |
| |
Wenn Sie also zusammen mit Ihren Textdaten über ein gutes Maß an Stimmung verfügen, können Sie ein Tool wie dieses verwenden, um das zu tun, was wir nennen würden |
| |
Datenbasierte Stimmungsanalyse, bei der Sie mit diesem Tool nach Begriffen suchen, die ein Stimmungsmaß vorhersagen, und dabei Stimmungsbegriffe im Wesentlichen automatisch auswählen |
| |
herauszufinden, wie hoch ihre Punktzahl sein sollte. Es kann also ziemlich praktisch sein. Das ist einfach nicht ganz das, was wir hier tun. Wir verwenden es allgemeiner. |
| |
Okay, für die Begriffsmatrix dieses Dokuments bleibe ich bei der binären Gewichtung. Um es kurz zu halten, möchte ich sagen, schauen wir uns nur die 200 häufigsten Begriffe an. |
| |
Darüber hinaus, ab Semester 201, werde ich es nicht in die Analyse einbeziehen. In der Praxis würde ich wahrscheinlich mehr hinzufügen, wissen Sie, ich möchte nur, dass es für die Demo schön und knackig ist. |
| |
Und wenn Sie ein GenReg-Benutzer sind, werden Sie sehen, dass Sie es haben |
| |
Einige Optionen zum Vorangeben der Schätz- und Validierungsmethoden. Ich belasse diese auf den Standardeinstellungen und klicke auf „Ausführen“. |
| |
Was also passiert, ist, dass JMP GenReg anruft. Dabei wird ein logistisches Regressionsmodell erstellt und die Variablenauswahl mithilfe der elastischen Netzmethode durchgeführt. |
| |
Es sieht so aus, als hätten wir gerade einen zweiten technischen Fehler gehabt. Das tut mir furchtbar leid. Wir werden uns darum kümmern, wenn dieses Modell passt. Also mal sehen. Wir werden meine Bildschirmfreigabe zurückbringen. |
| |
Wir bringen mich zurück. Es sieht so aus, als würden wir noch aufnehmen, also machen wir gleich weiter. Hier also das Ergebnis. |
| |
Bevor wir näher auf den Bericht eingehen, schauen wir uns zunächst nur diese eine Zeile der Übersichtstabelle an. Dies fasst das einzelne Modell zusammen, das ich bisher gebaut habe. |
| |
So sehe ich zum Beispiel, dass 145 Begriffe zurückgegeben wurden. Ich habe AICc als Validierung verwendet und es gibt den AICc-Wert. Wir können einige andere Anpassungsstatistiken sehen. |
| |
Und wie bei jedem Modell möchten wir möglicherweise mehrere Läufe mit dem Modell ausprobieren, um das Modell zu erstellen, das am besten zu unseren Daten passt. |
| |
Wenn ich also hier zu diesem verallgemeinerten Regressionsknoten gehe, werden Sie sehen, dass wir GenReg tatsächlich in den Text-Explorer eingebettet haben. |
| |
Ich könnte das von uns angepasste Modell detaillierter untersuchen, oder in meinem Fall werde ich tatsächlich ein weiteres Modell anpassen, um zu sehen, ob ich es noch besser machen kann. Lassen Sie uns ein adaptives elastisches Netz erstellen. |
| |
Und wir werden stattdessen dieses Modell einbauen und sehen, ob es besser funktioniert als das normale elastische Netz, das wir bereits eingebaut haben. |
| |
Okay, es hat also auch zu diesem Modell gepasst. |
| |
Wenn wir zu unserer Zusammenfassung gehen, können wir sehen, dass dieser jetzt 98 Begriffe zurückgegeben hat, tatsächlich einen niedrigeren AICc hat und daher möglicherweise besser passt. |
| |
Und deshalb werde ich mich für dieses Modell entscheiden. Jetzt könnte ich, wenn ich zum Original gehen wollte, einfach darauf klicken. Wie Sie sehen können, wird der unten stehende Bericht für jedes Modell aktualisiert, das ich in dieser Tabelle ausgewählt habe. |
| |
Ich habe meine Liste der Begriffe hier unten. Da wir bereits darüber gesprochen haben, könnte ich es anhand der Koeffizienten betrachten. Hier sind also die Begriffe, die die größte Wirkung haben und die Wahrscheinlichkeit eines Verbraucherstreits erhöhen. |
| |
Hier sind diejenigen aufgeführt, die die Wahrscheinlichkeit eines Verbraucherrechtsstreits am stärksten verringern. In jedem von ihnen könnte ich zum Beispiel auf „aufgehängt“ schauen und sehen, dass es natürlich darum geht, dass sie bei jemandem auflegen oder dass jemand bei ihnen auflegt, und vielleicht macht das für uns Sinn |
| |
dass dies ein Zeichen dafür wäre, dass die Wahrscheinlichkeit eines Streits sinkt, denn es hört sich so an, als handele es sich tatsächlich um ein Kommunikationsproblem, und das könnte etwas einfacher zu lösen sein. |
| |
Auch hier möchten wir auf unsere Logworth-Werte achten, 2,883, das liegt also ein wenig über der Faustregel 2, die ich zuvor angegeben habe, also können wir sagen: Okay, ich denke, es gibt einigermaßen starke statistische Beweise dafür, dass dies ein echter Wert ist Verband. |
| |
Um das zu verdeutlichen: Wenn wir hierher kommen, sehen wir das Wort Polizei. Und mein erster Eindruck ist, nun ja, die Leute sagen, nun, ich habe einen Polizeibericht erstellt oder die Polizei gerufen. |
| |
Es ist wahrscheinlich nicht so wahrscheinlich, dass sie einfach verschwinden, wenn wir eine Antwort geben, der Wahrscheinlichkeitsstreit, er muss sich verschärfen, wenn jemand schon so weit ist, dass er die Polizei ruft. |
| |
Aber wenn wir uns das ansehen |
| |
Logworth, wir können gut sehen, dass die statistischen Beweise dafür wirklich nicht so stark sind. Obwohl es meiner Intuition widerspricht, wissen Sie, vielleicht, vielleicht ist es nicht ganz real. |
| |
Es ist sicherlich nicht so weit, dass ich das Ganze bis zum Management weiterleiten und sagen möchte: „Hey, wenn die Leute sagen, sie hätten die Polizei wegen uns gerufen, dann ist das eigentlich eine gute Sache.“ Das sagen wir sicher nicht. Es wurde nur für die Aufnahme in das hier vorliegende Modell ausgewählt, weil es letztlich |
| |
Ergebnis ist ein besser passendes Modell, aber es liegt immer noch an uns, unser eigenes Wissen und unseren gesunden Menschenverstand bei der Interpretation der Ergebnisse anzuwenden. |
| |
Diese Tabelle könnte also so aussehen, wenn Sie wirklich nur versuchen, die Begriffe zu identifizieren und ihre Auswirkungen in gewisser Weise zu quantifizieren: |
| |
Dies könnte das Ziel Ihrer Analyse sein. Und so könnte ich mit der rechten Maustaste klicken und in die Datentabelle wechseln |
| |
und erhalten Sie eine Datentabelle dieser Begriffe und ihrer Koeffizienten und Logwerte und verwenden Sie diese dann möglicherweise als Leitfaden für eine Analyse unserer früheren Antworten, Verbesserungsbemühungen oder kennzeichnen Sie diese Begriffe sogar als Begriffe, die künftig in eine Art Vorhersagemodell einbezogen werden sollten. |
| |
Aber wissen Sie, wir haben hier ein Modell erstellt, ein Regressionsmodell, sodass wir auf der Ebene einzelner Dokumente Informationen darüber haben |
| |
die Gesamtsumme der Koeffizienten, die einen Anstieg der Streitwahrscheinlichkeit vorhersagt, die Gesamtsumme, die eine Abnahme vorhersagt, der Gesamtmodellwert, die Wahrscheinlichkeit von |
| |
ein Streit darüber, was das Modell zuordnete und was wir tatsächlich beobachteten. Alles, was Sie erwarten können, wenn Sie tatsächlich auf der Ebene des einzelnen Dokuments beurteilen, ist die Frage, wie gut dieses Modell funktioniert. |
| |
Oben haben wir auch eine allgemeine Zusammenfassung, in diesem Fall, der einzelnen Dokumente und ihrer ... was wir unseren Beitrag nennen, das ist also der |
| |
Summe oder Durchschnitt dieser Koeffizientenwerte. Es sieht also so aus, als hätten beispielsweise 30.412 unserer Dokumente eine Summe ... positive Summe ihrer Koeffizientenwerte und des mittleren Koeffizientenwerts, der mittlere Beitrag liegt bei etwa 0,57. |
| |
Also, noch einmal nur eine Flagge, wissen Sie, wir reden hier über Regressionskoeffizienten, und daher sollten diese Beitragswerte, die Koeffiziententabelle, all das so interpretiert werden, wie Sie es bei der Konstruktion tun würden |
| |
Ansonsten handelt es sich um ein lineares Regressionsmodell, also in unserem Fall hier um eine logistische Regression, die wir interpretieren sollten |
| |
Das heißt, wenn wir sie potenzieren, dann haben wir es mit dem Protokoll zu tun, oder ... Entschuldigung ... dann haben wir es mit dem Quotenverhältnis zu tun, das ist also der Faktor, um den die Quoten steigen oder fallen würden wenn dieses Wort im Text vorkommt. |
| |
Auch wenn Sie sich nicht besonders gut mit Regression auskennen, können diese Werte im allgemeineren Sinne dennoch gut für Sie sein, da Sie sehen können, welche Begriffe die stärkste Wirkung haben und welche nicht. Und das Gleiche gilt für Logworth, nun ja, wer die stärksten Beweise hat oder nicht. |
| |
Nun endlich, wie Sie sich vielleicht vorstellen können, haben wir bereits gesehen, wie man die Termtabelle speichert, aber wenn Ihr Ziel nicht diese Termtabelle, sondern wirklich das Modell ist |
| |
die Sie erstellt haben, haben Sie auch die Möglichkeit, diese zu speichern. Und so habe ich das Modell ausgewählt, das ich verwenden möchte, das adaptive elastische Netz, und unter dem roten Dreieck kann ich die Vorhersageformeln speichern. |
| |
Und ich denke, mein Computer wird hier wahrscheinlich nur für eine Sekunde stillstehen. Es wird also die Begriffsmatrix des Dokuments gespeichert, also für die von uns angegebenen Top-200-Begriffe, und dann auch die Formel |
| |
das diese Spalten oder die Dokumenttermmatrix bearbeitet, um unser Modell tatsächlich zu berechnen. Hier habe ich also die Dokumentbegriffsmatrix |
| |
und dann die Formelspalten am Ende hier, damit ich sie jetzt tatsächlich verwenden kann |
| |
dieses Modell direkt, wenn ich möchte. |
| |
Das ist also die Begriffsauswahl. Wiederum auf hoher Ebene finden wir heraus, welche Begriffe am stärksten mit einer Ergebnisvariablen verbunden sind, die uns wichtig ist, entweder um besser zu interpretieren, was dieses Ergebnis antreibt, oder vielleicht sogar, um eine Modellierungspraxis zu informieren, die versucht, dieses Ergebnis vorherzusagen. |
| |
Und damit sind die Begriffsauswahl und die Stimmungsanalyse abgeschlossen, die beiden neuen Text-Mining-Funktionen in JMP Pro 16, die erst im vergangenen Frühjahr erneut eingeführt wurden. |
| |
Ich werde jetzt ein wenig Zeit verbringen und alle Fragen beantworten, die irgendjemand zu diesem Thema hat. |
| |
Sie wissen schon, diese beiden neuen Funktionen. Und wissen Sie auch, dass Sie später jederzeit einen zusätzlichen Kommentar oder eine Frage auf der Benutzer-Community-Seite für diese Präsentation posten können, und ich werde dies immer im Auge behalten |
| |
offen für die Beantwortung aller auftauchenden Fragen. Vielen Dank also, dass Sie sich die Zeit genommen haben. Achten Sie bitte darauf. |
