| Lautsprecher |
Transkript |
| Ross Metusalem |
Hallo zusammen und willkommen zu dieser Präsentation darüber, wie JMP sein Text Mining-Toolkit in JMP Pro 16 erweitert hat, das erst im vergangenen Frühjahr erschienen ist. |
| |
Ich bin Ross Metusalem. Ich bin ein akademischer Botschafter für JMP und werde Ihnen diese beiden neuen Text Mining-Funktionen vorstellen. |
| |
Sentimentanalyse und Begriffsauswahl. Wir werden darüber sprechen, was sie sind und wie man sie und JMP verwendet. Anschließend sehen wir uns zwei Beispiele für die Durchführung dieser Analysen mit realen, öffentlich verfügbaren Daten an. |
| |
Daher sind Stimmungsanalyse und Begriffsauswahl zwei neue Ergänzungen zum Text Explorer von JMP, einem allgemeinen Text Mining-Tool. |
| |
Damit können Sie quantitative Informationen aus sogenannten freien oder unstrukturierten Textdaten ableiten. Dies kann alles Mögliche sein, von der Ableitung von Worthäufigkeiten bis hin zur Erstellung einer Wortwolke. |
| |
zur Durchführung latenter semantischer Analysen, sodass wir semantisch ähnliche Dokumente clustern können. Die beiden Funktionen, die wir uns heute ansehen werden, sind Funktionen des Text-Explorer-Tools. |
| |
Wir beginnen mit der Stimmungsanalyse, einer beliebten und häufig nachgefragten Funktion, die wir gerne in JMP Pro 16 einführen. |
| |
Für diejenigen, die damit nicht vertraut sind: Bei der Stimmungsanalyse geht es darum, die positiven bis negativen Emotionen in unstrukturierten Textdaten zu quantifizieren. |
| |
Das Beispiel, das wir uns ansehen werden, stammt aus dem Beige Book, einem narrativen Bericht der Federal Reserve. |
| |
Und wie wir auf der Karte sehen können, ist die Federal Reserve in 12 verschiedene Distrikte unterteilt und ungefähr achtmal im Jahr veröffentlicht jeder Distrikt einen narrativen Beige Book-Bericht |
| |
das die aktuellen und potenziellen zukünftigen wirtschaftlichen Bedingungen in dieser geografischen Region selbst zusammenfasst. Und diese Berichte basieren größtenteils auf qualitativen Datenquellen, also denken Sie |
| |
Gespräche mit Unternehmensführern, Umfragen und dergleichen. Ich denke, das Beige Book ist ein gutes Beispiel für die Sentimentanalyse, nicht nur, weil |
| |
Es sind öffentlich zugängliche Daten und ich kann sie mit Ihnen allen teilen, aber auch, weil es ziemlich interessant wäre, wenn Sie, sagen wir, ein Investor wären oder Sie, |
| |
Sie wissen schon, leitete ein Finanzinstitut, um zu erfahren, wie positiv oder negativ die Direktoren der Federal Reserve die wirtschaftliche Lage in verschiedenen Teilen des Landes einschätzen. Das könnte man tatsächlich nutzen, um |
| |
Vielleicht können Sie die Entscheidungsfindung leiten oder, wenn Sie es quantifizieren können, es in einigen statistischen Analysen verwenden, vielleicht sogar in einigen Vorhersagemodellen. |
| |
Sehen wir uns also ein Beispiel für einen Text aus dem Beige Book an. |
| |
Hier haben wir nur einen Ausschnitt aus einem der Berichte, und wir können, beginnend oben, sehen, dass in diesem Bericht steht, dass die Computerverkäufe dagegen stark zurückgegangen sind. |
| |
Wenn wir hingegen weiter unten nach unten gehen, berichtete eine Person auch, dass es eine Reihe positiver Aussichten gibt, daher haben wir hier „stark deprimiert“, „günstig“ und auch „Verbesserung“ hervorgehoben. |
| |
denn das sind sogenannte Sentiment-Phrasen. Es handelt sich also um ein oder mehrere Wörter, die einen positiven oder negativen emotionalen Inhalt ausdrücken. |
| |
Oben haben wir also „stark deprimiert“, was stark negativ wäre, und weiter unten haben wir „günstig“, was im Allgemeinen positiv wäre, und wir verwenden diese Farbcodierung, sodass Orange im Gegensatz zu Blau oder Lila (je nachdem, wie Sie es sehen) steht. |
| |
um jeweils eine positive bzw. negative Stimmung anzuzeigen. |
| |
Und viele Formen der Stimmungsanalyse tun genau das. Sie suchen nach positiven und negativen Ausdrücken im Text. |
| |
Das von JMP verwendete Formular, das Sie möglicherweise auch anderswo antreffen, quantifiziert tatsächlich positive und negative Stimmungen auf einer kontinuierlichen Skala. |
| |
Nehmen wir beispielsweise den zweiten Textausschnitt weiter unten, wo jemand sagt, dass große Kaufhäuser in der Region schlechte Umsätze melden. |
| |
Oben sehen wir also einen starken Rückgang der Umsätze, und weiter unten sehen wir, dass die Umsätze schlecht sind. Nun, ich denke, wir sind uns alle einig, dass „starker Rückgang“ schlimmer klingt als |
| |
in Bezug auf den Umsatz als arm tut. Und so möchten wir vielleicht, |
| |
Obwohl beide negativ sind, quantifizieren wir schwere Depressionen als negativer als schlechte Depressionen. Und genau das tun wir in der Stimmungsanalyse in JMP. Und wir werden darüber sprechen |
| |
Ich werde hier kurz darauf eingehen, wie diese Werte berechnet werden, aber zunächst lohnt es sich, einen Blick darauf zu werfen, |
| |
mögliche Demonstrationen der Gültigkeit der Quantifizierung von Stimmungen durch Betrachtung einzelner Begriffe und Ausdrücke wie dieser. |
| |
Und wir sprechen im Wesentlichen über die Bewertung von Dokumenten, basierend auf den Wörtern, die in ihnen vorkommen |
| |
dass wir denken, dass Emotionen und in welchem Ausmaß bedeuten. Und das ist eine Art interne und subjektive Sache, aber dieser Ansatz, Sentimentanalyse, |
| |
kann tatsächlich eine gewisse Vorhersagekraft aufweisen. Wenn wir uns beispielsweise ansehen, wie sich die Beige Book-Stimmung im Laufe der Zeit entwickelt, können wir sehen, dass sie tatsächlich ziemlich zuverlässig mit Rezessionen übereinstimmt. Hier haben wir also die Stimmung |
| |
auf der y-Achse. Sie können sehen, dass es von -75 bis 75 reicht, das ist nur der Bereich, den wir aufgetragen haben. Die wahre Skala reicht von -100 |
| |
bis 100, wobei Null neutral ist. Und Sie können sehen, dass die Glättung im Zeitverlauf den allgemeinen Stimmungstrend in allen Beige Book-Berichten erfasst, |
| |
Sie können ein interessantes Muster in Bezug auf Wirtschaftsrezessionen erkennen, die selbst rot hervorgehoben sind. Insbesondere können wir erkennen, dass die Stimmung vor jeder Rezession zuverlässig zu sinken scheint. |
| |
Auch wenn es sich hierbei um ein relativ subjektives Maß für die Gefühlslage der Direktoren der US-Notenbank handelt, ist dies, wie zu erwarten, mit wirtschaftlichen Rezessionen verbunden. |
| |
Interessanterweise ist es auch geografisch orientiert. Nehmen wir zum Beispiel den Dotcom-Crash um 2000-2001, als eine Reihe von Internet-Startups in der San Francisco Bay Area |
| |
ging unter. Wir können sehen, und ich habe die Hover-Labels für San Francisco hier hervorgehoben, damit wir die Werte für diese Region sehen können. Wir haben die positive Stimmung in Orange, wie wir zuvor gesehen haben, und die negative in Blau. |
| |
Wir können sehen, dass sich bis zum Jahr 2000 eine Stimmung |
| |
war in der Bay Area ziemlich hoch, 38,65, und dann stürzte es im Jahr 2001 im Durchschnitt um über 60 Punkte auf |
| |
Minus 24,7, ungefähr. Und das ist eine viel größere Schwankung als anderswo im Land, weil das die Region ist ... vermutlich, weil das die Region ist, die am stärksten betroffen war. |
| |
Und etwas Ähnliches beobachten wir bei der Großen Rezession. So gehen wir davon aus, dass der Zusammenbruch des Immobilienmarktes im Jahr 2008 mit einem Stimmungsrückgang einherging, und zwar nicht einheitlich. |
| |
Es sieht so aus, als ob die größten Rückgänge an der Westküste zu verzeichnen waren, also in der Region San Francisco, in der Region New York und auch in der Region Atlanta, die Folgendes umfasst: |
| |
Florida, wo ich lebe, war eine besonders stark betroffene Region des Landes. Und wenn wir in die untere Reihe schauen, können wir tatsächlich sehen, dass Florida … |
| |
Die Stimmung in dieser Region scheint sich erst etwa 2012 zu erholen, also hinter einigen anderen Regionen, und das scheint verständlich. Der Immobilienmarkt in Florida war einer der letzten, der sich landesweit erholte. |
| |
Wir verfügen also über dieses subjektive Maß an Emotionen, das jedoch in diesem Fall mit externen Ereignissen, wirtschaftlichen Ereignissen, in der von uns erwarteten Weise übereinstimmt. |
| |
Und wissen Sie, wir schauen uns das Beige Book an, weil es ein besonders gutes öffentlich zugängliches Beispiel ist. Wenn Sie |
| |
sprechen wir über vielleicht häufigere Anwendungsbereiche der Sentimentanalyse, wie etwa die Verbrauchermarktforschung, wo man es mit einer |
| |
Stimme des Kunden in Form von Textdaten, also Produktbewertungen, Umfrageantworten und dergleichen, |
| |
Sie können mithilfe der Stimmungsanalyse möglicherweise das Kundenverhalten besser verstehen und vielleicht sogar vorhersagen, ähnlich wie wir hier die Stimmung nutzen können, um wirtschaftliche Rezessionen besser zu verstehen oder vorherzusagen. |
| |
Nachdem das gesagt ist, ist mir klar, dass wir uns hier in den letzten paar Minuten mit Stimmungswerten beschäftigt haben und es stellt sich wirklich die Frage, woher diese kommen. |
| |
JMP verwendet eine Form der Sentimentanalyse, die sogenannte lexikalische Sentimentanalyse. Es verwendet also ein Sentimentlexikon oder |
| |
Gefühlswörterbuch |
| |
Wir vergeben Punkte für alle einzelnen Wörter, die unserer Meinung nach eine bestimmte Stimmung vermitteln. Ein Wort wie „fantastisch“ könnte beispielsweise eine Punktzahl von 90 erhalten, was sehr positiv ist. Es liegt fast am Maximum von 100, während ein Wort wie „gefürchtet“ eine Punktzahl von minus 60 erhält. |
| |
Jetzt können wir diesen Begriffen Punkte zuordnen und sie im Grunde genommen zusammenzählen oder ihren Durchschnitt in jedem einzelnen Dokument bilden. |
| |
Wir möchten jedoch noch ein paar andere Dinge berücksichtigen. Wenn Sie sich erinnern, war die erste Stimmungsphrase, die wir im Beispiel des Beige Book gesehen haben, „stark deprimiert“. |
| |
Mit anderen Worten, als Beispiel für etwas, das wir einen Intensivierer nennen, der im Grunde ein Sentiment-Multiplikator ist. Sie können hier also sehen, dass wir unglaublicherweise einen Multiplikator mit einem Sentiment-Score von 1,4 deklarieren könnten, wo ein wenig tatsächlich |
| |
skaliert es um 0,3 und verringert so die Stärke der Stimmung ein wenig. |
| |
Wenn also ein Verstärker mit dem Stimmungsbegriff auftritt, führen wir diese Multiplikation durch und dann auch, wenn ein Negator auftritt. Wir sagen also: |
| |
Wenn etwas nicht stimmt oder nicht stimmt oder nicht sollte oder war, multiplizieren wir es mit -1, sodass wir im Grunde das Vorzeichen umdrehen: Aus positiv wird negativ und umgekehrt. |
| |
Und so führen wir für jede Stimmungsphrase einfach diese einfache Multiplikation durch und dann über ein Dokument, |
| |
Wir können den Durchschnittswert oder vielleicht die Differenz zwischen dem minimalen und maximalen Stimmungswert nehmen, um |
| |
Berechnen Sie einen Stimmungswert für diese Dokumente. Und das haben wir uns in diesen Diagrammen angesehen, also das Diagramm der Stimmung im Zeitverlauf in diesen Karten. |
| |
Dies ist also eine lexikalische Sentimentanalyse. Sie ist eine weit verbreitete Praxis und die Art der Sentimentanalyse, die in JMP implementiert ist. Und wie wir sehen werden, wenn Sie JMP haben |
| |
Berechnen Sie alle Stimmungswerte. Sie erhalten viele nützliche Informationen. Hier ist ein Beispiel für den Stimmungsanalysebericht. |
| |
Um nur ein Element der Ergebnisse in der Vorschau anzuzeigen, haben wir hier oben eine einfache Zusammenfassung der Stimmung in allen unseren Dokumenten. |
| |
Wir haben also ein Histogramm mit praktischer Farbkodierung, das uns zeigt, dass die Verteilung der Gesamtstimmung eher positiv zu sein scheint und dass wir einen ziemlich starken negativen Stimmungsschwanz haben. |
| |
Wir können sehen, dass der durchschnittliche Stimmungswert über alle Dokumente hinweg bei 4,1 liegt und somit knapp über neutral liegt. |
| |
Für alle insgesamt positiven Dokumente, von denen es 3.900 gibt, beträgt der Durchschnittswert 22,9, während bei den etwa 1.400 negativen Dokumenten die |
| |
Der Durchschnittswert beträgt minus 15,4, die negativen Dokumente sind also nicht ganz so stark negativ wie die positiven Dokumente stark positiv sind. |
| |
Nun, wissen Sie, hier mit dem Beige Book könnte ich sagen, nun, wissen Sie, von 1970 bis heute, wenn ich mir nur den durchschnittlichen Stimmungswert anschaue, ist es mir vielleicht nicht so wichtig, wie die Bewertungen einzelner Dokumente oder |
| |
vielleicht die Verteilung bestimmter Stimmungsbegriffe betrachten. Aber noch einmal, wenn Sie mit Daten arbeiten, |
| |
sagen wir Verbrauchermarktforschung oder etwas in der Art, alle Textdaten, aus denen die Meinung des Kunden hervorgeht, selbst nur eine grobe Zusammenfassung wie diese, die uns anhand der uns vorliegenden Daten gut sagen kann, wie positiv oder negativ die Gefühle unserer Kunden sind, |
| |
Selbst ein einfacher Bericht kann sehr wertvoll sein. Wir werden jedoch bald auf JMP umsteigen und werden sehen, dass der Bericht zur Stimmungsanalyse eine ganze Reihe zusätzlicher Möglichkeiten bietet, die Daten zu untersuchen und Erkenntnisse zu gewinnen. |
| |
Gehen wir also zu JMP und sehen wir, wie es geht. |
| |
Hier sind wir also, ich bin in JMP Pro 16.1, und bevor wir uns in diese Beige Book-Daten vertiefen, möchte ich Xan Gregg ein Lob aussprechen. |
| |
Für diejenigen unter Ihnen, die ihn nicht kennen: Xan ist Leiter unseres Entwicklungsteams. Er ist der Schöpfer von Graph Builder |
| |
Und er ist auch derjenige, der ursprünglich auf die Idee kam, sich die Daten des Beige Book anzuschauen. Er war sogar so freundlich, die HTML-Seiten in den Archiven des Beige Book zu durchsuchen und mir eine schöne JMP-Datentabelle zur Verfügung zu stellen. Vielen Dank also, Xan. |
| |
Also gut, schauen wir uns jetzt die Stimmungsanalyse an. Anstatt auf die Ergebnisse einzugehen, |
| |
wissen Sie, ich möchte Ihnen kurz zeigen, wie Sie die Analyse einrichten, denn es gibt einige wichtige Überlegungen, die Sie beachten sollten, |
| |
nicht nur im Hinblick darauf, wie JMP es implementiert, sondern auch darauf, wie man eine Stimmungsanalyse oder eine lexikalische Stimmungsanalyse im Allgemeinen durchführt. |
| |
Und um diesen Aufbau zu demonstrieren, werde ich mir in diesem Fall nur eine Teilmenge der Daten von 2010 bis heute ansehen, nur um die Dinge kurz zu halten, denn wir werden fragen |
| |
Der Text Explorer aktualisiert seine Analyse sozusagen mehrmals automatisch und wir möchten, dass dies so schnell wie möglich geschieht. |
| |
Hier habe ich also diese Teilmenge der Daten, also unsere Beige Book-Berichte für alle 12 Bezirke, beginnend im Januar 2010 bis zum aktuellsten Bericht im letzten Monat. |
| |
Okay, um unsere Sentimentanalyse zu starten, gehe ich zu „Analysieren“ und wähle den Text-Explorer. Nehmen Sie unseren Text und fügen Sie ihn in die Rolle „Textspalten“ ein. Ein paar Dinge sind zu beachten. |
| |
Einer davon ist, dass der Text Explorer zwar im Allgemeinen eine Reihe von Sprachen unterstützt, |
| |
Die Stimmungsanalyse ist derzeit nur auf Englisch verfügbar. |
| |
Und der andere Grund ist, dass Sie, wenn Sie zumindest ein erfahrener Benutzer des Text-Explorers sind, vielleicht daran gewöhnt sind, die Wortstammerkennung einzuschalten, und Ihnen wird auffallen, dass ich sie jetzt ausgeschaltet lasse. |
| |
Für diejenigen, die Stemming nicht kennen: Es handelt sich dabei um eine Methode, mehrere Formen desselben Wortes oder, in der Fachsprache, desselben Lemmes zusammenzufassen. Nehmen Sie also „strong“, „stronger“ und „strongest“. |
| |
Wir würden über sie alle hinwegsehen und einfach sagen: „Nun, für unsere Zwecke sind sie alle stark genug.“ |
| |
Und das wollen wir hier natürlich nicht tun, denn „stärkster“ ist positiver als „stärker“, was wiederum positiver ist als „stark“. |
| |
Daher lassen wir die Stammerkennung deaktiviert. Selbst wenn Sie sie aktivieren, wird die Stammerkennung beim Aufrufen der Stimmungsanalyse ignoriert, da Sie sie, wie gesagt, wirklich nicht verwenden sollten. |
| |
Also klicke ich auf „Okay“. Nein, und es sieht so aus, als ob es dabei zu einem kleinen technischen Problem gekommen wäre. Es tut mir leid, aber das ist okay. Wir können die Bildschirmfreigabe einfach neu starten und mein Video wiederherstellen. Hallo zusammen. |
| |
Und das teilen wir mit. Okay, wir sollten also weitermachen, die Aufnahme läuft anscheinend noch. Ich stelle sicher, dass JMP hier dem richtigen Monitor zugewiesen ist. Scheint so. Okay, tut mir leid, Leute. Aber zurück zum Thema. |
| |
Hier haben wir also unser Text-Explorer-Fenster. Wenn Sie es gewohnt sind, |
| |
Textanalyse, Sie wissen, dass Sie typischerweise mit der Deklaration von Stoppwörtern beginnen. Zum Beispiel sprechen die Leute über meine Kontakte in der Industrie, die mir sagten, dass... Und Sie wissen, dass ich das Wort Kontakte in meiner Analyse nicht verwenden möchte, also würde ich normalerweise |
| |
fügen Sie das als Stoppwort hinzu und gehen Sie dann möglicherweise stundenlang durch |
| |
Ich habe Stoppwörter deklariert, bevor ich meine Analyse tatsächlich durchgeführt habe, und bei der Stimmungsanalyse müssen Sie das nicht tun. |
| |
Alles basiert auf diesem Sentiment-Wörterbuch. Ein Wort wie „Kontakte“ steht also nicht im Wörterbuch. Es ist ohnehin funktional ausgeschlossen, sodass man auf diese Weise etwas Zeit sparen kann. |
| |
Sie möchten jedoch wahrscheinlich Ausdrücke deklarieren, beispielsweise „Immobilien“ oder einen, den wir uns ansehen werden, nämlich „Kreditnachfrage“, der hier unten steht. |
| |
Ich klicke also auf „Kreditanfrage“ und füge es als Phrase hinzu. Es wird in unsere Begriffsliste eingefügt, also suchen wir es einfach schnell. |
| |
Da sind sie, 1.139 Instanzen. Und das soll uns helfen, in diesen Analysen oder in diesem |
| |
in diesem Datensatz. Stellen Sie sich also vor, ich möchte die Stimmung nicht insgesamt, sondern nur im Hinblick auf die Kreditnachfrage berechnen. |
| |
Wie wir sehen werden, muss ich es dazu zunächst als Phrase deklarieren. Daher ist es sinnvoll, zumindest für die wirklich prominenten Domänen, die für Sie von Interesse sein könnten, einige Phrasen durchzugehen und zu deklarieren. |
| |
Gut, schließen wir das jetzt ab und starten die Stimmungsanalyse. |
| |
Und Sie werden sehen, wenn ich das tue, werde ich einen umfassenden Bericht herausgeben, und daher könnte es für mich so aussehen, als wäre es an der Zeit, mit der Untersuchung meiner Ergebnisse zu beginnen, da dies wie eine abgeschlossene Analyse aussieht. Ich möchte jedoch jeden, der dies verwendet, dazu ermutigen, auf die Bremse zu treten und Ihr Stimmungswörterbuch zu berücksichtigen. |
| |
Verschiedene Gruppen von Menschen verfassen Texte in unterschiedlichen Kontexten über unterschiedliche Dinge, mit unterschiedlichen Umgangssprachen. |
| |
kann Sprache auf viele verschiedene Arten verwenden. Und es ist wichtig, Ihre Sentiment- und Intensivierer-Negationsbegriffslisten anzupassen |
| |
um das widerzuspiegeln. Das heißt also … ich zögere, das Wort „nie“ zu verwenden, aber ich werde … ich werde sagen: Verwenden Sie niemals einfach das Standard-Stimmungswörterbuch. Sie erhalten immer validere Ergebnisse, wenn Sie es selbst kuratieren. |
| |
Wenn ich hier also zu den Stimmungsbegriffen gehe, können Sie sehen, dass die Bewertungen auf diesem integrierten Wörterbuch basieren, das relativ spärlich ist. |
| |
Aber ich möchte den Text noch einmal durchlesen und sehen, ob ich vielleicht noch ein paar Wörter finde, die ins Wörterbuch gehören. Ich sollte erwähnen, dass Sie vielleicht auch die |
| |
die integrierte Liste und schließen Sie einige aus, obwohl diese Liste relativ spärlich ist und Sie daher im Idealfall nicht zu viele oder vielleicht gar keine ausschließen müssen. |
| |
In unserem Bericht finden Sie einige Tools zur Pflege Ihres Wörterbuchs, nicht nur zur Analyse der Ergebnisse. Ich kann das Dokument in dieser Dokumenttabelle auswählen und den Text aufrufen. |
| |
direkt darunter. Ich gehe kurz auf den unteren Bildschirmrand ein. Sie können im Text hervorgehoben sehen, dass die Stimmungsbegriffe und -phrasen bereits gefunden wurden, also etwas besser. |
| |
Aber wenn man sich das Wort „schwach“ ansieht, dann ist die aktuelle Lage weiterhin schwach, und soweit ich das beurteilen kann, ist das ein sehr häufiges |
| |
Begriff im Beige Book, der darauf hinweist, dass etwas grundsätzlich schlecht ist. Ich weiß es nicht, ich bin kein Ökonom, aber vielleicht ist es so, dass in der Ökonomie |
| |
wissen Sie, schwach ist ein Synonym für schlecht, stark ist ein Synonym für gut, und das ist meine Meinung, nachdem ich mir diese Daten ziemlich genau angesehen habe. |
| |
Jetzt siehst du, dass es nicht hervorgehoben ist. Das bedeutet, dass „schwach“ derzeit nicht in meinem Wörterbuch steht, aber ich kann es ganz einfach hinzufügen. Ich fahre einfach mit der Maus darüber |
| |
Begriff direkt im Text, und ich kann ihn als Negator hinzufügen. Ich kann ihm einen Intensivierungswert oder einen Sentimentwert zuweisen, sodass er moderat negativ ist. Ich klicke also auf -60. |
| |
Und was passiert, ist, dass es jetzt zu meinem Wörterbuch hinzugefügt wird und alle Stimmungswerte hier in Echtzeit neu berechnet werden. |
| |
In meiner Sentimentbegriffliste kann ich jetzt sogar „schwach“ auswählen und alle Vorkommen davon sehen. Wenn wir in der Tabelle in der Spalte „Anzahl“ zurückgehen, sieht es so aus, als ob der Begriff in dieser Teilmenge der Beige Book-Daten 1.012 Mal vorkommt. |
| |
Gehen Sie also auf jeden Fall eine zufällige oder geschichtete Teilmenge Ihrer Dokumente durch und lesen Sie sie, und versuchen Sie, einige Stimmungsbegriffe zu identifizieren, die in Ihr Wörterbuch gehören. |
| |
Jetzt können Sie sich auch auf eine praktische Funktion verlassen, diese mögliche Stimmungsliste, |
| |
was Ihnen tatsächlich potenzielle Stimmungsbegriffe zur Überlegung liefert. Ich könnte beispielsweise „stark“ hier anführen und „schwach“ hineinschreiben. Ich möchte auf jeden Fall „stark“ und deshalb werde ich das als |
| |
stark. |
| |
Und ich habe die Tastenkombinationen verwendet, wissen Sie, positiv 60, negativ 60, aber Sie können jede beliebige Punktzahl zwischen minus 100 und 100 eingeben, also möchte ich vielleicht eigentlich nur eine Punktzahl von 50 für stark. Also mache ich das, und wenn Sie jetzt nach unten schauen, können Sie alles wieder automatisch aktualisieren sehen. |
| |
Seien Sie also vorsichtig mit Ihrer Liste der Sentimentbegriffe. Ich werde auch nicht auf die Funktionsweise Ihrer Negationsverstärkerbegriffe eingehen, aber die gleichen Ideen gelten. |
| |
Stellen Sie sicher, dass Sie diese richtig machen, um Ihre Domäne wirklich widerzuspiegeln. Dann empfehle ich Ihnen, unter dem roten Dreieck jederzeit in die Tools zur vollständigen Begriffsverwaltung zu gehen und entweder manuell einige Begriffe einzugeben, also vielleicht weiß ich, dass ich die stärksten haben möchte und dass das eine Punktzahl von 90 sein soll. |
| |
Ich kann hier also eine Art Batch-Format hinzufügen |
| |
ohne jedes Mal eine automatische Aktualisierung vorzunehmen, oder ich kann auch Listen mit Stimmungsbegriffen importieren und exportieren, |
| |
Das ist großartig, um sie mit anderen Leuten zu teilen, sie tragbar zu machen und dabei zu helfen, unsere Arbeit zu verfolgen und sie replizierbar zu machen. |
| |
Da Ihre Ergebnisse stark von der Liste der Stimmungsbegriffe sowie den Verstärkern und Negatoren abhängen, empfehle ich Ihnen dringend, eine festgelegte Liste zu exportieren, damit Sie sie vollständig dokumentieren und in eine neue Analyse importieren und replizieren können. |
| |
So viel zum Einrichten der Analyse. Ich möchte nur noch darauf hinweisen, dass Sie einen Bericht erhalten, wenn Sie die Sentimentanalyse aufrufen. Aber stürzen Sie sich nicht gleich in diesen Bericht. Pflegen Sie zuerst Ihr Wörterbuch. |
| |
So, jetzt, da ich |
| |
Nachdem wir diesen Punkt gnadenlos nach Hause gebracht haben, schauen wir uns den Bericht doch einmal genauer an. |
| |
Und was ich jetzt tun werde, ist, einen komplett ausgereiften Bericht zu erstellen, der in diesem Fall alle 5.300 plus |
| |
Beige Book berichtet hier. Wie bereits erwähnt, finden Sie im Abschnitt „Ergebnisse“ eine allgemeine Zusammenfassung. Wir werden das nicht noch einmal durchgehen. Wir haben gesehen, dass Sie auch |
| |
Alle einzelnen Dokumente, sodass Sie jedes Dokument anzeigen können, um zu sehen, wie es bewertet wurde und was darin enthalten ist. Erkunden Sie die Verwendung von Stimmungsbegriffen und -phrasen im Kontext. |
| |
In dieser Tabelle können Sie auch eine Reihe praktischer Kennzahlen sehen, beispielsweise die Gesamtpunktzahl für ein Dokument, |
| |
die durchschnittliche Bewertung der positiven Stimmungsausdrücke im Dokument. Dasselbe gilt für negative und dann die Gesamtbewertung und es ist, wie Sie sehen werden, wie ich |
| |
Wenn ich mit der Maus über diese Werte fahre, wird mir angezeigt, wie sie berechnet werden. Wenn ich mir den Mittelwert der negativen Punktzahl ansehe, sehe ich, dass es insgesamt sieben Begriffe gibt, ich kann sehen, wie hoch ihre Punktzahl war und dann, wie hoch der Durchschnitt ist. |
| |
Ich kann auch sehen, dass der Durchschnitt, in diesem Fall minus eins, einfach der Durchschnittswert aller Stimmungsbegriffe ist, positiv und negativ. |
| |
Es gibt viele praktische Möglichkeiten, mit denen Sie durch Bewegen der Maus über Elemente in diesem Bericht hilfreiche Informationen erhalten. Ich empfehle Ihnen dringend, es einfach auszuprobieren. Bewegen Sie die Maus über verschiedene Stellen. Sie werden wahrscheinlich etwas Nützliches finden. |
| |
Normalerweise schauen wir uns einzelne Dokumente nicht allzu genau an, wenn wir Text Mining wie dieses durchführen. Ich meine, wenn wir sie einfach alle lesen könnten, |
| |
dann würden wir. Ich meine, wir verstehen Sprache besser als Computer. Wir werden also sicherlich nicht einfach die gesamte Sammlung von 5.300 Dokumenten durchgehen, sondern man könnte sagen, wir sortieren nach Punktzahl und schauen uns nur die negativsten an. |
| |
Berichte, und lesen Sie diese tatsächlich durch, um eine Vorstellung davon zu bekommen, okay, nun, |
| |
Wenn Menschen besonders negativ eingestellt sind, worüber sind sie dann negativ eingestellt? Was kann ich über die Ursachen dieser Negativität lernen? Und insbesondere in der Verbraucherforschung kann es sehr wertvoll sein, sich Produktbewertungen, Umfragen und ähnliches anzuschauen. |
| |
Wir haben auch gesehen, dass Sie Ihre Sentiment-Term-Liste haben, in der wir alle verschiedenen Sentiment-Terms sehen können, die vorkommen, wie oft sie vorkommen und ihre |
| |
Bewertungen, die mit ihnen verbunden sind. Und wenn ich einen davon greife, kann ich diese Begriffe auch im Kontext sehen. Wenn also ein bestimmter Stimmungsbegriff verwendet wird |
| |
Da Ihre Daten häufig vorkommen, möchten Sie den Begriff im Kontext besser verstehen und herausfinden, warum die Leute ihn verwenden oder was sie dazu bewegt. Das geht ganz einfach: Wählen Sie einfach den Begriff aus und durchsuchen Sie den Text unten. |
| |
Und schließlich finden Sie unter dieser Registerkarte „Funktionen“ eine der meiner Meinung nach nützlichsten Funktionen der Stimmungsanalyse. |
| |
Wenn ich auf „Suchen“ klicke, werden Begriffe gefunden, die nicht mit Sentiment-Begriffen in Zusammenhang stehen, aber häufig mit Sentiment-Begriffen vorkommen. So können wir eine Drilldown-Analyse durchführen, bei der wir die Stimmung nur in Bezug auf diese Begriffe bewerten. |
| |
ausgewählter Begriff oder was wir als Feature bezeichnen, oder Sie könnten es auch als Subdomäne bezeichnen. Vielleicht also nur die Stimmung für den Umsatz, und wir können sehen, dass die Umsätze schwach gemeldet wurden, eine Abschwächung der Umsätze. |
| |
Oder um auf das zurückzukommen, was ich vorhin sagte: Sie sollten möglicherweise etwas formulieren. Lassen Sie uns in dieser Liste die Kreditnachfrage finden. |
| |
und bewerten wir alle unsere Dokumente nur hinsichtlich der Stimmung bezüglich der Kreditnachfrage. Und natürlich verwenden wir einige |
| |
natürliche Sprachverarbeitung, um zu versuchen, zu bestimmen, welche Stimmungsausdrücke auf die Kreditnachfrage zutreffen und welche nicht. Und mit jeder NLP-Methode wird es nicht 100% genau sein, aber seine Genauigkeit, insbesondere in gut formuliertem Text, der in |
| |
So wie die Beige Book-Berichte funktionieren, scheint es recht gut zu funktionieren. Und jetzt kann ich zum Beispiel sehen, wie sie über die Kreditnachfrage denken |
| |
in all diesen Berichten? Und es sieht im Großen und Ganzen positiv aus, obwohl es auch einige besonders negative Berichte gibt. |
| |
Als letztes möchte ich hier noch etwas anmerken, und um den Kreis wieder zu schließen: Wahrscheinlich ist mir aufgefallen, dass ich zwei Spitzen habe, als ich das gemacht habe, und das ist … das sieht aus wie plus 60 und minus 60. |
| |
Und dies unterstreicht erneut, wie wichtig es ist, bei dieser Analyse Ihr Stimmungswörterbuch zu pflegen und bei der Interpretation Ihrer Ergebnisse zu berücksichtigen, wie Sie es erstellt haben. |
| |
Dieser Anstieg auf über 60 könnte also durchaus daran liegen, dass ich diese Tastenkombinationen verwendet habe, als ich anfangs viele Stimmungsbegriffe in das Wörterbuch eingegeben habe. |
| |
Ich habe also diese 30, 60, 90 Shortcut-Buttons und bin fast dabei, Spitzen in den Scores zu sehen bei |
| |
positiv 60 und negativ 60. Und wenn ich mir etwas mehr Mühe gegeben hätte, die Ergebnisse feiner zu gliedern, dann würde ich vielleicht nicht ganz diese, wie wir es nennen, interessante Verteilung sehen. |
| |
Ich erwähne das also nur, um noch einmal zu betonen, wie wichtig es ist, sich ein Stimmungswörterbuch zu besorgen |
| |
Zusammen im Voraus und dann, wenn Sie das getan haben, haben Sie alle diese nützlichen Informationen über die globale Stimmung, Stimmung nach Dokument, Stimmung nach einzelnen Begriffen oder sogar nach Subdomäne, mit diesen Funktionen |
| |
Abschnitt hier. Und dann, wie Sie es wahrscheinlich von JMP gewohnt sind, wenn es an der Zeit ist, das, was Sie getan haben, zu speichern, damit Sie es anderswo verwenden können, finden Sie diese Optionen unter dem roten Dreieck, sodass ich meine Dokumentergebnisse speichern kann. |
| |
Wenn wir zu meiner Datentabelle zurückkehren, die sich hier befindet, können Sie sehen, dass ich in diesem Fall die Bewertungen für diese Unterdomäne der Kreditnachfrage in meiner Datentabelle gespeichert habe, damit ich sie beispielsweise für weitere Analysen oder zum Erstellen von Diagrammen verwenden kann, wie einige der Diagramme, die wir für die Folien erstellt haben. |
| |
Das ist also die Sentimentanalyse, neu in JMP Pro 16 zur Quantifizierung positiver und negativer Emotionen in Texten. Und |
| |
Kommen wir nun zur Termauswahl, einer weiteren neuen Text-Mining-Technik, über die ich sprechen möchte. Wie bereits erwähnt, geht es bei der Termauswahl darum, Wörter zu identifizieren, die mit einem bestimmten Ergebnis, also einer bestimmten Maßnahme, assoziiert sind. Hier haben wir zum Beispiel: |
| |
die Texte des Beige Book-Berichts, aber wir könnten auch |
| |
ökonomische Variablen, zum Beispiel das BIP, und sehen Sie, wie bestimmte Begriffe in den Beige Book-Berichten mit dem BIP oder vielleicht mit einer binären Variable übereinstimmen, etwa ob sich die Wirtschaft in einer Rezession befindet oder nicht. |
| |
Dies ist eine... Begriffsauswahl hier ist ein allgemeines Werkzeug zum Auffinden von Wörtern, die mit einer anderen Variable verknüpft sind, was nützlich sein kann |
| |
in einem interpretativen Kontext, um vielleicht die Treiber einer anderen Variable zu finden, oder vielleicht in einer prädiktiven Modellierungsübung, damit wir Begriffe identifizieren können, die etwas vorhersagen, sodass wir diese Begriffe in Zukunft zur Unterstützung der Vorhersage verwenden können. |
| |
Schauen wir uns also an, wie die Begriffsauswahl funktioniert. Wir werden uns hier ein anderes Beispiel ansehen, nämlich die Verbraucherbeschwerde des Consumer Financial Protection Bureau. |
| |
Datenbank. Verbraucher können also, wenn sie eine Beschwerde über ein Finanzprodukt oder eine Finanzdienstleistung haben, diese Beschwerde bei der CFPB einreichen, und die CFPB vermittelt zwischen diesem Verbraucher und dem |
| |
der Anbieter des Finanzprodukts oder der Finanzdienstleistung. Hier ist ein Beispiel dafür, was Sie in diesen Daten finden können. Jemand sagt, er habe seine Kreditauskunft überwacht und es sei eine Inkassomitteilung über 3.900 Dollar eingegangen, und er behauptet, nichts davon zu wissen. |
| |
Und Sie können auch sehen, dass wir in der Datentabelle direkt daneben eine Spalte haben, in der steht, dass der Verbraucher Einspruch erhoben hat. Und hier hat der Verbraucher Einspruch erhoben, und das bedeutet, dass er eine Antwort von der |
| |
Finanzdienstleister und waren mit dieser Antwort nicht zufrieden, also haben sie sie angefochten. |
| |
Sie können in der Graphenspezifikation in der Datentabelle sehen, dass es nicht allzu häufig vorkommt. Im Grunde ist es etwa ein Fünftel des Datensatzes, den wir betrachten. |
| |
führen zu einem Verbraucherstreit, aber wenn Sie das Finanzunternehmen sind, das mit diesem Kunden zu tun hat, möchten Sie sicherlich nicht eine Antwort geben und dann weiterhin diese Antwort bestreiten. Sie möchten vielleicht wissen, welche Arten von Beschwerden |
| |
eingehen, die tatsächlich zu Verbraucherstreitigkeiten führen, sodass Sie beispielsweise diejenigen, die wahrscheinlich zu Streitigkeiten führen, im Voraus identifizieren können, |
| |
oder einfach Ihre Verfahren zur Streitbeilegung besser verstehen, um die Zahl der Streitigkeiten zu verringern. Es gibt viele Gründe, warum Sie darauf achten sollten. |
| |
Anhand narrativer Daten zu Verbraucherbeschwerden lässt sich herausfinden, was diese Streitigkeiten überhaupt erst antreibt. Die Begriffsauswahl findet die einzelnen Begriffe in den Texten, die mit diesem Ergebnis, dieser Streitvariable, in Zusammenhang stehen. |
| |
Hier ist ein Diagramm, das ich aus den Ergebnissen einer Termauswahlanalyse erstellt habe. Auf der Y-Achse haben wir eine Reihe von Termen. Auf der X-Achse haben wir den Logworth, der |
| |
ein Maß für die Stärke der statistischen Beweise für den Zusammenhang. Dies ist also tatsächlich nach Logworth-Werten geordnet, also haben wir oben |
| |
„violate“ und Sie können dort den kleinen Punkt sehen. Das zeigt tatsächlich, dass wir hier eine Wortstammerkennung durchgeführt haben, sodass „violate“ bedeuten könnte, dass es „violate“, „violated“, „violate“ usw. sein könnte. |
| |
Wir haben also starke statistische Beweise dafür, dass der Begriff "Verletzen" mit Verbraucherstreitigkeiten in Verbindung steht, und zwar in Form einer Farbkodierung, |
| |
Ich habe hier die Stärke des Effekts in Form einer Quotenquote dargestellt. Wenn also jemand das Wort „verletzen“ erwähnt, |
| |
Die Wahrscheinlichkeit eines Streits steigt um den Faktor 1,5. Wenn ich also |
| |
Als Finanzdienstleister sollte ich nach diesem Begriff Ausschau halten. Ich sollte untersuchen, wie und wann Personen bestimmte Verstöße geltend machen, und wie wir sehen werden, handelt es sich dabei tatsächlich um Verstöße gegen Bundesgesetze. |
| |
Wenn sie das in einer Beschwerde behaupten, wie gehen wir dann damit um? Denn es scheint, als würden wir damit möglicherweise nicht zufriedenstellend umgehen. |
| |
Vielleicht möchten Sie das Vorhandensein oder Fehlen dieses Begriffs in einem Teil eines Vorhersagemodells verwenden, um potenziell problematische Beschwerden im Voraus zu kennzeichnen, damit wir ihre Lösung vorantreiben können. |
| |
Wie funktioniert das Ganze? Wir erstellen ein Modell, das mit der Dokumenttermmatrix beginnt. Diese ist eine Darstellung des Textes, in der jeder |
| |
Zeile ist ein Dokument und dann ist jede Spalte ein Begriff, der erscheinen könnte. Und dann |
| |
In diesem Fall verwenden wir die sogenannte binäre Gewichtung. Wenn der Begriff vorkommt, geben wir eine Eins ein. Wenn der Begriff nicht im Dokument vorkommt, geben wir eine Null ein. Es gibt noch weitere Gewichtungen, aber für unser Beispiel bleiben wir bei der binären Gewichtung. |
| |
Wenn wir diese binären Spalten dort als Prädiktoren in ein Modell eingeben, und insbesondere verwenden wir |
| |
JMPs generalisierte Regression, und wir werden gleich sehen, warum. Zunächst möchte ich klarstellen, dass es sich hier um eine Regression handelt, tatsächlich einige |
| |
Sie werden wahrscheinlich hören, dass manche Leute die Begriffsauswahl als Textregression bezeichnen. |
| |
Machen Sie sich nicht zu viele Gedanken über die Form des Modells. Ich möchte nur hervorheben, dass wir eine Ergebnisvariable verwenden. |
| |
Da wir eine binäre Variable haben, handelt es sich um die Log-Odds für die logistische Regression, und wir sagen, dass dies gleich einem Achsenabschnitt plus ist. |
| |
Sie wissen schon, ein Koeffizient mal einer Variablen. In diesem Fall ist es eine binäre Eins oder Null; ist eine Verletzung aufgetreten oder nicht. |
| |
Plus ein weiterer Koeffizientenwert, in diesem Fall minus 0,2 mal eine andere binäre Variable; hier, ob jemand den Begriff „aufgelegt“ erwähnt hat oder nicht, und so weiter. |
| |
Wir geben also eine Reihe von Begriffen in dieses Modell ein und verwenden eine verallgemeinerte Regression, um auszuwählen, welche Begriffe in das Modell gehören und welche nicht. Und |
| |
was wir hier sehen, ist ein Beispiel dafür, wie JMP diese Lösung berechnet und welche Begriffe für uns dazugehören und welche nicht. |
| |
Hier im Lösungspfad können wir in Blau alle Begriffe sehen, die in das Modell aufgenommen wurden, und in Schwarz alle Begriffe, die eigentlich nicht in das Modell aufgenommen wurden, weil sie nicht wirklich zu seinem Vorhersagewert beitragen. |
| |
Und so erhalten wir am Ende eine Liste von Begriffen. Wir haben ihre Modellkoeffizientenwerte, hier zum Beispiel, verletzen, habe ich den Wert .4, weil das eigentlich der |
| |
Wert des Koeffizienten, wenn wir das Modell anpassen. Und wir erhalten, wie bereits erwähnt, auch ein Maß für die statistische Evidenz oder die Stärke der Evidenz, |
| |
dieser Logworth-Wert, hier 16,58, wobei, wenn Sie eine Faustregel wollen, jeder Wert über 2 als starker statistischer Beweis gelten könnte, aber in Wirklichkeit ist Logworth der negative Logarithmus zur Basis 10 des P-Werts, also entspricht der Wert 2 nur einem P-Wert von 0,01. |
| |
Wir haben also beides, in diesem Fall den Koeffizienten: Wie stark erhöht oder verringert dies die Wahrscheinlichkeit eines Streits? Und dann sagt uns der Logarithmus, wie zuverlässig unsere Beweise dafür wirklich sind. |
| |
Und mit diesen Informationen können wir eine ganze Menge tun, und wir werden gleich sehen, wie, wenn wir zu JMP wechseln und diese Analyse tatsächlich durchführen. |
| |
Ich bin also wieder an meinem anderen Desktop und werde unsere Daten zu Verbraucherbeschwerden aufrufen. |
| |
Und |
| |
anstatt den Text-Explorer von Grund auf neu zu starten, werde ich ihn hier einfach mit einem Tabellenskript starten. |
| |
Und wie wir sehen werden, sobald dies angezeigt wird ... Entschuldigung, es ist auf dem falschen Bildschirm aufgetaucht. So, da haben wir es. |
| |
Wir beginnen immer mit einer Liste von Begriffen, die tatsächlich in die Analyse eingehen. Dann haben wir unsere Phrasenliste, in der wir bestimmte Phrasen angeben können, die in die Begriffsliste gehören und auch aufgenommen werden sollten. |
| |
Ich habe viele Ausdrücke wie „Fair Credit Reporting Act“ aufgenommen, denn wenn die Erwähnung dieses Ausdrucks oder dieses Konzepts mit Verbraucherstreitigkeiten in Verbindung gebracht wird, möchte ich das herausfinden. |
| |
Und Sie werden auch bemerken, wenn ich zu unseren... gehen wir hier zu Stoppwörter verwalten, dass ich viele Stoppwörter deklariert habe. Das sind also alles Wörter, die |
| |
Ich möchte sie nicht in die Analyse einbeziehen, hauptsächlich weil sie andere Wörter verdrängen könnten. |
| |
Sie kommen möglicherweise sehr häufig vor, und wenn ich nur darum gebeten hätte, die 500 häufigsten Wörter zu analysieren, würde ich das nicht vermasseln. |
| |
Insbesondere, weil ich, selbst wenn „fähig“ als Begriff im Zusammenhang mit Streit zurückgegeben würde, nicht einmal genau wüsste, was ich damit anfangen würde oder wie ich ein so allgemeines Wort wie „fähig“ interpretieren würde. |
| |
Nehmen Sie sich also Zeit für die Eingabe Ihrer Stoppwörter und -phrasen und rufen Sie, wenn Sie fertig sind, unter dem roten Dreieck die Begriffsauswahl auf. |
| |
Wenn wir das tun, wählen wir zunächst unsere |
| |
Ergebnisvariable, und das ist dieser Verbraucherstreit. Und wir möchten über Dinge im Hinblick auf die Wahrscheinlichkeit eines Streits sprechen. |
| |
Sie können hier sowohl kontinuierliche als auch kategorische Ergebnisvariablen festlegen. Beide funktionieren. Und ich sollte auch erwähnen, dass wir über einen Streit sprechen, der |
| |
wissen Sie, man könnte meinen, es könnte tatsächlich eine Art Stellvertreter für Gefühle sein, das heißt, wenn jemand etwas bestreitet, liegt das wahrscheinlich daran, dass er nicht glücklich ist. |
| |
Es könnte jedoch üblich sein, dass manche Leute über Daten verfügen, bei denen es sich um eine externe Variable handelt, die ein direkteres Maß für die Stimmung ist, beispielsweise eine Sternebewertung eines Produkts, die wirklich auf Zufriedenheit hinweist. |
| |
Wenn Sie also neben Ihren Textdaten auch über ein gutes Maß an Stimmung verfügen, können Sie ein Tool wie dieses verwenden, um das zu tun, was wir als |
| |
Datenbasierte Sentimentanalyse, bei der Sie dieses Tool verwenden, um nach Begriffen zu suchen, die eine Sentimentmessung vorhersagen. Dabei wählen Sie im Wesentlichen Sentimentbegriffe aus und automatisch |
| |
herauszufinden, wie hoch ihre Punktzahl sein sollte. Das kann also ziemlich praktisch sein. Das ist hier aber nicht ganz das, was wir tun. Wir verwenden es allgemeiner. |
| |
Okay, für diese Dokumentbegriffsmatrix bleibe ich bei der binären Gewichtung. Um es kurz zu halten, schlage ich vor, wir betrachten nur die 200 häufigsten Begriffe. |
| |
Darüber hinaus werde ich es ab Term 201 nicht mehr in die Analyse einbeziehen. In der Praxis würde ich wahrscheinlich mehr einbeziehen, wissen Sie, ich möchte nur, dass es für die Demo schön und knackig ist. |
| |
Und wenn Sie ein GenReg-Benutzer sind, werden Sie sehen, dass Sie |
| |
Es gibt mehrere Optionen zum Festlegen der Schätz- und Validierungsmethoden im Voraus. Ich belasse die Standardeinstellungen und klicke auf „Ausführen“. |
| |
Und was passiert, ist, dass JMP GenReg aufruft. Es erstellt ein logistisches Regressionsmodell und führt die Variablenauswahl mithilfe der Elastic-Net-Methode durch. |
| |
Es sieht so aus, als hätten wir gerade eine zweite technische Panne gehabt. Das tut mir sehr leid. Wir werden das Problem beheben, sobald dieses Modell passt. Mal sehen. Wir werden meine Bildschirmfreigabe wiederherstellen. |
| |
Wir bringen mich zurück. Es sieht so aus, als würden wir noch aufnehmen, also machen wir gleich weiter. Hier ist also das Ergebnis. |
| |
Bevor wir im Detail auf den Bericht eingehen, werfen wir zunächst einen Blick auf diese eine Zeile in der Übersichtstabelle. Diese fasst das einzelne Modell zusammen, das ich bisher erstellt habe. |
| |
So kann ich beispielsweise sehen, dass 145 Begriffe zurückgegeben wurden. Ich habe AICc zur Validierung verwendet, und hier ist der AICc-Wert. Wir können einige weitere Anpassungsstatistiken sehen. |
| |
Und wie bei jedem Modell möchten wir möglicherweise mehrere Durchläufe des Modells ausprobieren, um das Modell zu erstellen, das am besten zu unseren Daten passt. |
| |
Wenn ich also hier zu diesem Knoten der verallgemeinerten Regression gehe, sehen Sie, dass wir GenReg tatsächlich in den Text-Explorer eingebettet haben. |
| |
Ich könnte das von uns angepasste Modell genauer untersuchen. In meinem Fall werde ich sogar noch ein weiteres Modell anpassen, um zu sehen, ob ich es noch besser machen kann. Lassen Sie uns ein adaptives elastisches Netz erstellen. |
| |
Und wir werden stattdessen dieses Modell montieren und sehen, ob es besser ist als das normale elastische Netz, das wir bereits montiert haben. |
| |
Okay, also hat es auch zu diesem Modell gepasst. |
| |
Wenn wir zu unserer Zusammenfassung gehen, können wir sehen, dass dieser jetzt 98 Begriffe zurückgegeben hat, tatsächlich einen niedrigeren AICc hat und daher möglicherweise besser passt. |
| |
Ich werde also dieses Modell verwenden. Wenn ich das Original verwenden möchte, klicke ich einfach darauf. Wie Sie sehen, wird der Bericht unten auf das in der Tabelle ausgewählte Modell aktualisiert. |
| |
Ich habe hier meine Liste mit den Begriffen. Wir haben bereits darüber gesprochen, daher könnte ich sie anhand der Koeffizienten betrachten. Hier sind also die Begriffe, die den größten Einfluss haben und die Wahrscheinlichkeit eines Verbraucherstreits erhöhen. |
| |
Hier sind diejenigen, die die Wahrscheinlichkeit eines Verbraucherstreits am stärksten verringern. In jedem von ihnen könnte ich mir zum Beispiel „aufgelegt“ ansehen und sehen, dass es natürlich darum geht, dass sie jemandem aufgelegt haben oder jemand ihnen aufgelegt hat, und vielleicht macht es für uns Sinn, dass |
| |
Dies ließe sich auf eine Verringerung der Streitwahrscheinlichkeit hinweisen, da es sich anscheinend tatsächlich um ein Kommunikationsproblem handelt, das möglicherweise etwas einfacher zu lösen wäre. |
| |
Auch hier möchten wir auf unsere Logworth-Werte achten, 2,883, das liegt also etwas über der Faustregel 2, die ich zuvor angegeben habe, also könnten wir sagen: Okay, ich denke, es gibt einigermaßen starke statistische Beweise dafür, dass dies eine echte Assoziation ist. |
| |
Um das noch einmal zu verdeutlichen: Wenn wir hier runtergehen, sehen wir das Wort „Polizei“. Und mein erster Eindruck ist, die Leute sagen: „Ich habe eine Anzeige bei der Polizei erstattet oder die Polizei gerufen.“ |
| |
Sie werden wahrscheinlich nicht einfach verschwinden, wenn wir etwas dagegen unternehmen. Die Wahrscheinlichkeit, dass jemand die Polizei ruft, muss steigen, wenn er bereits die Polizei ruft. |
| |
Aber wenn wir uns die |
| |
Logworth, wir können gut sehen, dass die statistischen Beweise dafür nicht wirklich stark sind. Obwohl es meiner Intuition widerspricht, wissen Sie, ist es vielleicht, vielleicht nicht ganz real. |
| |
Es ist sicherlich nicht so weit gegangen, dass ich das an die Geschäftsleitung weitergeben und sagen würde: „Hey, wenn die Leute sagen, sie hätten die Polizei gerufen, ist das eigentlich eine gute Sache.“ Das sagen wir ganz sicher nicht. Es wurde nur für die Aufnahme in das Modell ausgewählt, weil es letztendlich … |
| |
Dies führt zu einem besser passenden Modell, aber es liegt immer noch an uns, bei der Interpretation der Ergebnisse unser eigenes Wissen und unseren gesunden Menschenverstand anzuwenden. |
| |
Wenn Sie also wirklich nur versuchen, die Bedingungen zu identifizieren und ihre Auswirkungen in gewisser Weise zu quantifizieren, könnte diese Tabelle hilfreich sein. |
| |
Dies könnte das Ziel Ihrer Analyse sein. Ich könnte also mit der rechten Maustaste klicken und „In Datentabelle erstellen“ auswählen. |
| |
und eine Datentabelle dieser Begriffe und ihrer Koeffizienten und Logworths zu erhalten und diese dann möglicherweise als Leitfaden für einige Analysen unserer vorherigen Antworten und Verbesserungsbemühungen zu verwenden oder diese sogar als Begriffe zu kennzeichnen, die künftig in eine Art Vorhersagemodell aufgenommen werden sollten. |
| |
Aber wissen Sie, wir haben hier ein Modell erstellt, ein Regressionsmodell, also haben wir Informationen auf der Ebene einzelner Dokumente über die |
| |
die Summe der Koeffizienten, die eine Zunahme der Streitwahrscheinlichkeit vorhersagen, die Summe der Koeffizienten, die eine Abnahme vorhersagen, der Gesamtwert des Modells, die Wahrscheinlichkeit von |
| |
Ein Streit darüber, was das Modell zugewiesen hat und was wir tatsächlich beobachtet haben. Also all die Dinge, die Sie erwarten können, wenn Sie tatsächlich auf der Ebene des einzelnen Dokuments bewerten, also wie gut dieses Modell funktioniert. |
| |
Oben haben wir auch eine allgemeine Zusammenfassung der einzelnen Dokumente und ihrer... was wir unseren Beitrag nennen, also das ist die |
| |
Summe oder Durchschnitt dieser Koeffizientenwerte. So sieht es beispielsweise aus, als ob 30.412 unserer Dokumente eine positive Summe ihrer Koeffizientenwerte aufweisen und der mittlere Koeffizientenwert, der mittlere Beitrag, bei etwa 0,57 liegt. |
| |
Also, noch einmal, nur ein Hinweis, wir sprechen hier über Regressionskoeffizienten, und diese Beitragswerte, die Koeffiziententabelle, all das sollte so interpretiert werden, wie Sie es tun würden, wenn Sie |
| |
lineares Regressionsmodell, sonst, also in unserem Fall hier, logistische Regression, sollten wir diese interpretieren |
| |
richtig, das heißt, wenn wir sie potenzieren, dann haben wir es mit dem Logarithmus zu tun oder... entschuldigen Sie... dann haben wir es mit der Odds Ratio zu tun, also dem Faktor, um den die Odds steigen oder fallen würden, wenn dieses Wort im Text vorkommt. |
| |
Auch wenn Sie sich nicht so gut mit Regression auskennen, können diese Werte im Allgemeinen hilfreich sein. Sie können dann sehen, welche Terme die stärkste Wirkung haben und welche nicht. Dasselbe gilt für Logworth: Welche Terme haben die stärksten Beweise und welche nicht. |
| |
Nun, wie Sie sich vielleicht vorstellen können, haben wir bereits gesehen, wie man die Termtabelle speichert, aber wenn Ihr Ziel nicht diese Termtabelle ist, sondern wirklich das Modell |
| |
Sie haben die Möglichkeit, das erstellte Modell auch zu speichern. Ich habe das Modell ausgewählt, das ich verwenden möchte, das adaptive elastische Netz, und unter dem roten Dreieck kann ich die Vorhersageformeln speichern. |
| |
Und ich denke, mein Computer wird hier wahrscheinlich nur eine Sekunde lang arbeiten. Es wird also die Dokument-Termmatrix gespeichert, also die Top 200-Terms, wie wir sie angegeben haben, und dann auch die Formel |
| |
das auf diesen Spalten oder dieser Dokumenttermmatrix operiert, um unser Modell zu berechnen. Hier habe ich also die Dokumenttermmatrix |
| |
und dann die Formelspalten hier am Ende, also jetzt kann ich tatsächlich verwenden |
| |
dieses Modell direkt, wenn ich möchte. |
| |
Das ist also die Termauswahl. Auf einer höheren Ebene finden wir heraus, welche Terme am stärksten mit einer für uns relevanten Ergebnisvariablen verbunden sind, entweder um die Ursachen dieses Ergebnisses besser interpretieren zu können oder vielleicht sogar, um eine Modellierungspraxis zu unterstützen, mit der wir versuchen können, dieses Ergebnis vorherzusagen. |
| |
Und damit ist die Begriffsauswahl und Stimmungsanalyse abgeschlossen, die beiden neuen Text-Mining-Funktionen in JMP Pro 16, die erst im vergangenen Frühjahr eingeführt wurden. |
| |
Ich werde jetzt ein bisschen abhängen und alle Fragen beantworten, die jemand hat, |
| |
Sie wissen schon, diese beiden neuen Funktionen. Und wissen Sie auch, dass Sie später jederzeit einen zusätzlichen Kommentar oder eine Frage auf der Community-Seite für diese Präsentation posten können. Ich werde immer ein Auge darauf haben |
| |
Wir beantworten gerne alle Ihre Fragen. Vielen Dank, dass Sie sich die Zeit genommen haben. Passen Sie bitte auf sich auf. |
