Lautsprecher
|
Transkript
|
| Ross Metusalem |
Hallo zusammen, und vielen Dank, dass Sie sich die Zeit genommen haben, zu erfahren, wie JMP sein Text-Mining-Toolkit in JMP Pro 16 erweitert |
| |
Stimmungsanalyse und Begriffsauswahl. |
| |
Ich bin Ross Metusalem, ein JMP-Systemingenieur im Südosten der USA, und ich werde Ihnen eine Vorschau auf diese beiden neuen Analysen geben, ein wenig über ihre Funktionsweise erklären und einige Best Practices für deren Verwendung vorstellen. |
| |
Beide Analysetechniken sind also im Text Explorer enthalten, für diejenigen, die damit nicht vertraut sind: JMP |
| |
Werkzeug zur Analyse dessen, was wir freie oder unstrukturierte Texte nennen, also natürlichsprachliche Texte. |
| |
Und es ist ein sogenanntes Text-Mining-Tool, also ein Tool zum Ableiten quantitativer Informationen aus freiem Text, damit wir es können |
| |
Verwenden Sie andere Arten von statistischen oder analytischen Tools, um Erkenntnisse aus dem Freitext abzuleiten, oder verwenden Sie diesen Text möglicherweise sogar als Input für andere Analysen. |
| |
Werfen wir also einen Blick auf diese beiden neuen Text-Mining-Techniken, die in JMP Pro 16 zum Text Explorer kommen, und beginnen wir mit der Stimmungsanalyse. |
| |
Die Sentimentanalyse beantwortet im Kern die Frage, wie emotional positiv oder negativ ein Text ist. |
| |
Und wir werden eine Stimmungsanalyse zum Beige Book durchführen, einem wiederkehrenden Bericht der US-Notenbank. |
| |
Ich entschuldige mich jetzt für die Verwendung eines Beispiels aus den USA bei JMP Discovery Europe, aber das Beige Book bietet eine schöne Demonstration dessen, worum es bei der Stimmungsanalyse geht. |
| |
Dies ist also eine monatliche Veröffentlichung, sie enthält Berichte auf nationaler Ebene sowie 12 Berichte auf Bezirksebene, die die wirtschaftliche Lage in diesen Bezirken zusammenfassen, und alle basieren auf qualitativen Informationen, beispielsweise Interviews und Umfragen. |
| |
Und US-Politiker können die qualitativen Informationen im Beige Book zusammen mit quantitativen Informationen, wie Sie wissen, in traditionellen Wirtschaftsindikatoren nutzen, um die Wirtschaftspolitik voranzutreiben. |
| |
Sie könnten also denken, dass wir im Moment über Sentimentalität oder Emotionen sprechen. Ich weiß nicht, ob ich erwarte, dass Wirtschaftsberichte viele Emotionen enthalten, aber die Beige-Book-Berichte und ein Großteil der Sprache enthalten tatsächlich Worte, die Emotionen transportieren oder vermitteln können. |
| |
Schauen wir uns also einen Auszug aus einem Bericht an. Hier ist ein Screenshot direkt aus der neuen Stimmungsanalyseplattform. |
| |
Sie werden feststellen, dass einige Wörter hervorgehoben sind. Dies sind die Begriffe, die wir Stimmungsbegriffe nennen, d. h. |
| |
Begriffe, über die wir argumentieren würden, haben einen emotionalen Inhalt. An der Spitze beispielsweise seien „die Computerverkäufe dagegen stark zurückgegangen“ |
| |
wobei „stark deprimiert“ in Lila hervorgehoben ist, was darauf hindeutet, dass wir das als Ausdruck negativer Emotionen betrachten. Wenn jemand Computerverkäufe als „stark deprimiert“ beschreibt, scheint das für uns so zu sein, als ob er das mit Sicherheit als eine schlechte Sache interpretieren würde . |
| |
Wenn wir nach unten schauen, sehen wir in Orange einige hervorgehobene positive Stimmungsbegriffe, wie „verbessern“ oder „günstig“. So können wir nach Wörtern suchen, von denen wir glauben, dass sie positive oder negative Emotionen haben |
| |
Lila steht für negativ, Orange für positiv, und einige Stimmungsanalysen halten die Dinge auf diesem Niveau, also nur eine binäre Unterscheidung, ein positiver Text oder ein negativer Text. |
| |
Es gibt weitere Möglichkeiten zur Durchführung einer Stimmungsanalyse und insbesondere |
| |
Auf viele Arten wird versucht, den Grad der Positivität oder Negativität zu quantifizieren, nicht nur, ob etwas positiv oder negativ ist. Betrachten Sie also dieses andere Beispiel und ich lenke unsere Aufmerksamkeit hier ganz nach unten, wo wir einen Bericht über „schlechte Verkäufe“ sehen können. |
| |
Und ich vergleiche das mit dem, was wir sagten: „Die Computerverkäufe sind stark zurückgegangen.“ |
| |
Beides sind also negative Aussagen, aber ich denke, wir sind uns alle einig, dass „stark deprimiert“ viel negativer klingt als nur „arm“. |
| |
Wir wollen also nicht nur herausfinden, ob eine Stimmung positiv oder negativ ausgedrückt wird, sondern auch, wie positiv oder negativ sie ist, und genau das ist die Stimmungsanalyse |
| |
Text Explorer tut es. Wie macht es das? Nun, es verwendet eine Technik namens lexikalische Stimmungsanalyse, die auf einigen Stimmungsbegriffen und zugehörigen Bewertungen basiert. |
| |
Was wir also gerade sehen, ist ein Auszug aus einem sogenannten Sentiment-Wörterbuch, das die Begriffe und ihre Bewertungen enthält. |
| |
Beispielsweise hat der Begriff „fantastisch“ einen positiven Wert von 90 und der Begriff „grimmig“ ganz unten einen Wert von -75. |
| |
Wir geben also an, welche Begriffe unserer Meinung nach einen emotionalen Inhalt haben und inwieweit sie auf einer willkürlichen Skala positiv oder negativ sind, hier -100 bis 100. |
| |
Und dann können wir diese Begriffe in allen unseren Dokumenten finden und sie nutzen, um zu bewerten, wie positiv oder negativ diese Dokumente insgesamt sind. |
| |
Wenn Sie an unser Beispiel „stark deprimiert“ zurückdenken, nehmen wir das Wort „schwer deprimiert“ und nehmen das Wort „deprimiert“ und verstärken es durch das, was wir nennen. |
| |
Es handelt sich um einen Verstärker oder Multiplikator der ausgedrückten Stimmung, daher haben wir auch ein Wörterbuch mit Verstärkern und was sie mit der durch den Stimmungsbegriff ausgedrückten Stimmung machen. |
| |
Wir sagen zum Beispiel: „unglaublich“ multipliziert die Stimmung mit dem Faktor 1,4, wohingegen „wenig“ die Stimmung mit dem Faktor 0,3 multipliziert, sodass die ausgedrückte Stimmung tatsächlich ein wenig abgeschwächt wird. |
| |
Nun gibt es endlich noch eine andere Art von Wörtern, die wir berücksichtigen möchten, nämlich Negatoren, Dinge wie „nein“ und „nicht“, und wir behandeln diese im Grunde genommen als Polaritätsumkehrungen. Also |
| |
„nicht fantastisch“ würde bedeuten, dass die Punktzahl für „fantastisch“ genommen und mit -1 multipliziert wird. |
| |
Dies ist also eine gängige Methode zur Durchführung einer Stimmungsanalyse, die wiederum als lexikalische Stimmungsanalyse bezeichnet wird. Was wir also tun, ist, dass wir Sentimentterme, die wir finden, mit einem zugehörigen Verstärker multiplizieren |
| |
oder Negatoren, und wenn wir dann für jedes Dokument alle Sentiment-Scores für die einzelnen vorkommenden Begriffe haben, mitteln wir einfach den Durchschnitt über alle, um einen Sentiment-Score für dieses Dokument zu erhalten. |
| |
Und JMP gibt diese Ergebnisse auf vielfältige Weise an uns zurück. Das ist also ein Screenshot des Sentiment-Analysetools und wir werden ihn, wie Sie wissen, gleich verwenden. |
| |
Aber Sie können sehen, dass es uns unter anderem eine Verteilung der Stimmungswerte über alle unsere Dokumente hinweg liefert. Es gibt uns eine Liste aller Stimmungsbegriffe und wie häufig sie vorkommen. |
| |
Und wie wir sehen werden, haben wir sogar die Möglichkeit, die Stimmungswerte zu exportieren, um sie in Grafiken oder Analysen zu verwenden. |
| |
Und deshalb habe ich hier tatsächlich ein paar Grafiken erstellt, um nur einen ersten Eindruck zu vermitteln: Stimmt die Stimmung in den Beige-Book-Berichten tatsächlich in einer Weise mit den wirtschaftlichen Ereignissen überein, wie wir es für richtig halten? Wissen Sie, ist das wirklich berechtigt? |
| |
Stimmung als eine Art Wirtschaftsindikator? Und die Antwort sieht so aus: Ja, wahrscheinlich. |
| |
Hier habe ich einen Plot, den ich in Graph Builder erstellt habe; Es ist eine Stimmung im Laufe der Zeit, also sind alle kleinen grauen Punkte die einzelnen Berichte |
| |
und die blaue, glattere Art zeigt den Stimmungstrend im Zeitverlauf, wobei die schwarze Linie bei Null eine neutrale Stimmung anzeigt, zumindest gemäß unserem Bewertungsschema. |
| |
Die roten Bereiche sind |
| |
Zeiten wirtschaftlicher Rezession, wie von der Federal Reserve offiziell aufgeführt. |
| |
Sie bemerken vielleicht, dass die Stimmung ihren Tiefpunkt erreicht zu haben scheint oder dass es Tiefststände in der Nähe von Rezessionen gibt, aber Sie werden vielleicht noch etwas anderes bemerken |
| |
liegt darin, dass wir tatsächlich vor jeder Rezession einen Rückgang der Stimmung beobachten, und zwar entweder Monate oder, in manchen Fällen, sogar ein paar Jahre im Voraus. Und wir sehen diese großen Stimmungseinbrüche nicht |
| |
in Situationen, in denen keine Rezession folgte. Vielleicht ist die Stimmung im Beige Book als Frühindikator für eine Rezession durchaus berechtigt. |
| |
Wenn wir es geografisch betrachten, sehen wir auch Dinge, die Sinn machen. Dies ist nur ein Beispiel aus der Analyse. Wir betrachten die Stimmung im 12 |
| |
Distrikte der Federal Reserve im Zeitverlauf von 1999 bis 2000 bis 2001. Dies war die Zeit dessen, was allgemein als Dotcom-Bust bezeichnet wird, also ist dies der Zeitpunkt |
| |
Es entstand eine große Blase aus Technologieunternehmen und Online-Unternehmen, von denen viele schließlich untergingen, was ziemlich schwerwiegende wirtschaftliche Folgen hatte. |
| |
Die Stimmung von 1999 bis 2000 wächst, tatsächlich scheint die Stimmung ziemlich stark zu wachsen, |
| |
im San Francisco Federal Reserve District, wo viele dieser Unternehmen ihren Hauptsitz haben. Und dann, im Jahr 2001, nach der Pleite, sahen wir den größten Rückgang bis hin zur negativen Stimmung in Rot, die wiederum in diesem Bezirk von San Francisco auftrat. |
| |
Ein kurzer grafischer Blick auf diese Beige-Book-Stimmungswerte lässt also darauf schließen, dass sie eine gewisse Gültigkeit haben, was ihre Fähigkeit angeht, einige wirtschaftliche Ereignisse zu verfolgen und vielleicht sogar vorherzusagen, obwohl wir uns natürlich mit letzteren genauer befassen müssen sorgfältig. |
| |
Dies ist jedoch nur ein Beispiel für die möglichen Anwendungsfälle der Stimmungsanalyse, und es gibt noch viel mehr. |
| |
Einer der größten Anwendungsbereiche, in denen es derzeit eingesetzt wird, ist die Verbraucherforschung, wo Menschen beispielsweise Analysen durchführen können |
| |
Einige Antworten auf Verbraucherumfragen, um herauszufinden, was zu positiven oder negativen Meinungen oder Reaktionen führt. |
| |
Aber die Stimmungsanalyse kann beispielsweise auch bei der Produktverbesserung eingesetzt werden, wo die Analyse von Produktbewertungen oder Garantieansprüchen uns dabei helfen kann, Produktmerkmale oder -probleme zu finden, die bei unseren Kunden starke emotionale Reaktionen hervorrufen. |
| |
Wenn wir uns beispielsweise den Kundensupport ansehen, könnten wir Callcenter oder Chats analysieren ... Chat-Transkripte dazu |
| |
Finden Sie einige Supportpraktiken, die zu zufriedenen oder unzufriedenen Kunden führen. Vielleicht sogar im Bereich der öffentlichen Politik analysieren wir offene Kommentare, um die Reaktion der Öffentlichkeit auf vorgeschlagene oder bestehende Richtlinien abzuschätzen. |
| |
Dies sind nur einige Bereiche, in denen die Stimmungsanalyse angewendet werden kann. Es ist wirklich überall dort anwendbar, wo Sie Texte haben, die Emotionen vermitteln und diese Emotionen informativ sein könnten. |
| |
Das ist also alles, was ich vorab sagen möchte. Jetzt möchte ich ein wenig Zeit damit verbringen, Ihnen die Funktionsweise von JMP näher zu bringen. Kommen wir also zu JMP. |
| |
Hier haben wir die Beige-Book-Daten. Unten können Sie also sehen, dass wir hier etwas mehr als 5.000 Berichte haben, und wir haben das Datum jedes Berichts von |
| |
Mai 1972, Oktober 2020, aus welchem der 12 Bezirke es stammt, und dann der Text des Berichts. Und Sie können sehen, dass diese Berichte, |
| |
Dabei handelt es sich nicht nur um kurze Aussagen darüber, ob es der Wirtschaft gut oder schlecht geht, sondern sie können bis zu einem gewissen Grad ins Detail gehen. |
| |
Bevor wir uns nun mit diesen Daten befassen, möchte ich mich einfach bei jemandem für die Idee bedanken, das Beige Book zu analysieren und die Daten tatsächlich abzurufen und in JMP zu übertragen |
| |
Format zur Analyse bereit. Und dieser Dank geht an Xan Gregg, der, falls Sie es nicht wissen, Xan Direktor im JMP-Entwicklungsteam und Schöpfer von Graph Builder ist. Vielen Dank, Xan, für Ihre Hilfe. |
| |
Also gut, lasst uns den Grad der positiven und negativen Emotionen in all diesen Berichten quantifizieren. Wir verwenden den Text-Explorer im Analysemenü. |
| |
Hier haben wir unser Startfenster. Ich nehme unsere Textdaten und füge sie in die Rolle „Textspalten“ ein. Ein paar Dinge, die wir hervorheben sollten, bevor wir loslegen. |
| |
Der Text Explorer unterstützt mehrere Sprachen, aber derzeit ist die Stimmungsanalyse nur auf Englisch verfügbar, und ich möchte noch etwas darauf aufmerksam machen, nämlich das Stemming hier. |
| |
Diejenigen, die Textanalysen durchführen, wissen wahrscheinlich, was Wortstammerkennung ist, aber für diejenigen, die nicht damit vertraut sind, ist Wortstammerkennung ein Prozess, bei dem wir mehrere Elemente sozusagen zusammenfassen ... |
| |
Nun, um es nicht technisch zu halten ... mehrere Versionen desselben Wortes zusammen. Nehmen Sie „stark“, „stärker“ und „am stärksten“. Das sind also drei |
| |
Versionen des gleichen Wortes „stark“ und bei einigen Text-Mining-Techniken möchte man eigentlich alle diese in einem Begriff kombinieren und einfach sagen: „Oh, sie bedeuten alle „stark“, weil das konzeptionell irgendwie dasselbe ist. |
| |
Ich werde mich hier eigentlich nicht weiter ausdrücken, und das liegt daran, dass … „am stärksten“ bedeutet, dass so stark beschrieben wird, wie etwas nur sein kann |
| |
versus „stärker“, was bedeutet, dass Sie wissen, dass es stark ist, es aber immer noch Raum dafür gibt, dass es noch stärker wird. |
| |
Daher sollte „am stärksten“ wahrscheinlich einen höheren Sentiment-Score erhalten als „stärker“, und wenn ich stammeln würde, würde ich die Unterscheidung zwischen diesen Wörtern verlieren. Da ich diese Unterscheidung nicht verlieren möchte, möchte ich ihnen unterschiedliche Stimmungswerte geben. Ich werde mich hier weiter zurückhalten. |
| |
Also klicke ich auf OK. |
| |
Und JMP wird nun unseren Text tokenisieren, ihn also in alle einzelnen Wörter zerlegen und dann zählen, wie oft jedes einzelne vorkommt. |
| |
Und hier haben wir eine Liste aller Begriffe und wie häufig sie vorkommen. „Sales“ kommt also über 46.000 Mal vor und wir haben hier auch unsere Phrasenliste. So lauten die Sätze |
| |
Folgen von zwei oder mehr Wörtern, die häufig vorkommen, und manchmal möchten wir diese tatsächlich als Begriffe in unserem Verzeichnis zählen |
| |
Analyse. Und für eine Stimmungsanalyse würden Sie Ihre Phrasenliste durchgehen und, sagen wir, vielleicht „Immobilien“ hinzufügen, was zwar zwei Wörter sind, sich aber eigentlich auf Immobilien bezieht. |
| |
Und das könnte ich hinzufügen. Normalerweise fügen wir bei der Textanalyse auch sogenannte Stoppwörter hinzu. |
| |
Das sind Wörter, die im Kontext unserer Analyse keine wirkliche Bedeutung haben und die wir ausschließen möchten. Nehmen Sie „Bezirk“. Dies geschieht ... oder das Beige Book verwendet |
| |
Das Wort „Bezirk“ wird häufig verwendet, einfach nur „dieser Bericht aus dem Bezirk Richmond“ zu sagen, so etwas in der Art, das ist nicht wirklich aussagekräftig. |
| |
Aber ich werde mich hier eigentlich nicht mit Stoppwörtern herumschlagen, und das liegt daran, dass, wenn Sie sich erinnern, |
| |
Zurück von unseren Folien sagten wir, dass alle unsere Sentiment-Bewertungen auf einem Wörterbuch basieren, in dem wir Sentiment-Wörter auswählen und welche Bewertung sie erhalten sollten. |
| |
Und wenn wir „Bezirk“ einfach weglassen, erhält es automatisch einen Wert von 0 und hat keinen Einfluss auf unseren Stimmungswert, sodass ich es nicht wirklich als Stoppwort deklarieren muss. |
| |
Sobald wir also bereit sind, würden wir hier unter dem roten Dreieck eine Text- oder, entschuldigen Sie, Stimmungsanalyse aufrufen. |
| |
Da wir keine Sentiment-Begriffe oder Ähnliches deklariert haben, verwendet JMP derzeit ein integriertes Sentiment-Wörterbuch, um alle Dokumente zu bewerten. Hier geben wir unsere Punkte bekannt. |
| |
Bevor wir nun durch diese Ergebnisse navigieren, sollten wir wahrscheinlich unser Sentiment-Wörterbuch anpassen, also die Sentiment-tragenden Wörter und ihre Bewertungen. Und das liegt daran, dass in verschiedenen Bereichen |
| |
Wenn verschiedene Personen den Text erstellen, können bestimmte Wörter möglicherweise unterschiedliche Ebenen der Stimmung ausdrücken oder in einem Fall eine Stimmung vermitteln und in einem anderen nicht. Also wollen wir |
| |
Wir erstellen wirklich sehr sorgfältig und gründlich ein Stimmungswörterbuch, das unserer Meinung nach die Stimmung, wie sie durch die Sprache, die wir gerade analysieren, vermittelt, genau einfängt. |
| |
JMP verwendet also, wie gesagt, ein integriertes Wörterbuch und ist ziemlich spärlich. Sie können es also hier sehen, es hat einige Emoticons, |
| |
wie diese kleinen Smileys und so weiter, aber dann haben wir eine ziemlich klare, gefühlsausdrückende Sprache, wie „abgrundtief“ bei -90. |
| |
Nun ist es wahrscheinlich nicht so, dass jemand das Wort „abgründig“ verwendet und es nicht im negativen Sinne meint, also sind wir ziemlich zufrieden damit. Aber wissen Sie, die Liste ist nicht besonders lang und wir möchten ihr vielleicht einige Begriffe hinzufügen. |
| |
Schauen wir uns also an, wie wir das machen. Eine Sache, die ich empfehlen kann, ist, sich einfach Ihre Daten anzusehen. Wissen Sie, lesen Sie einige der Dokumente, die Sie haben, und versuchen Sie, einige Wörter zu finden, die Ihrer Meinung nach auf eine Stimmung hinweisen könnten. |
| |
Wir haben hier unten tatsächlich ein Tool, mit dem wir unsere Dokumente durchsehen und daraus direkt Stimmungsbegriffe hinzufügen können. Hier habe ich also eine Dokumentenliste. Sie können sehen, dass Dokument 1 hervorgehoben ist und dann Dokument 1 unten angezeigt wird. Ich könnte verschiedene Dokumente auswählen, um sie anzuzeigen. |
| |
Wenn wir uns nun Dokument 1 ansehen, fallen Ihnen vielleicht gleich ein paar mögliche Stimmungsbegriffe auf, wie „Pessimismus“ und „Optimismus“. |
| |
Jetzt können Sie sehen, dass diese nicht hervorgehoben sind. Diese sind tatsächlich nicht im Standard-Sentiment-Wörterbuch enthalten. |
| |
Und bei vielen Substantiven, die Sie finden, ist das in Wirklichkeit nicht der Fall, und das liegt daran, dass Substantive wie „Pessimismus“ oder „Optimismus“ im Grunde auf eine Weise beschrieben werden können, die ihre Anwesenheit oder Abwesenheit suggeriert. Ich könnte also sagen: „Der Pessimismus nimmt ab“ oder |
| |
„Es gibt einen deutlichen Mangel an Pessimismus“, „Pessimismus wird nicht mehr gemeldet.“ |
| |
Und in solchen Fällen würden wir nicht sagen, dass „Pessimismus“ etwas Negatives ist. Deshalb sollten Sie vorsichtig sein und über den Kontext der Wörter und ihre tatsächliche Verwendung nachdenken, bevor Sie sie einem Stimmungswörterbuch hinzufügen. |
| |
Ich könnte zum Beispiel hier noch einmal auf unsere Begriffsliste zurückgreifen. Ich zeige nur den Filter, |
| |
Suchen Sie nach „Pessimismus“ und zeigen Sie dann den Text, um zu sehen, wie er verwendet wird. An diesem ersten Beispiel können wir also erkennen, dass „die Stimmung unserer Direktoren zwischen Pessimismus und Optimismus schwankt.“ |
| |
Und das nächste |
| |
„Private Gespräche eine tiefe Stimmung des Pessimismus.“ Wenn Sie es tatsächlich durchlesen, ist dies die typische Verwendung. Im Beige Book scheint das Wort Pessimismus also nicht auf die Art und Weise verwendet zu werden, die ich befürchten könnte. |
| |
„Der Optimismus nimmt zu.“ |
| |
Daher finde ich es eigentlich in Ordnung, hier „Pessimismus“ hinzuzufügen, also nehmen wir es in unser Sentiment-Wörterbuch auf. |
| |
Wenn ich also direkt darüber schwebe, |
| |
Wie Sie sehen, bieten wir einige Möglichkeiten an, was man damit machen kann. Hier kann ich also, sagen wir mal, einen Wert von -60 vergeben. |
| |
Und das wird jetzt mit der entsprechenden Bewertung zu unserem Wörterbuch hinzugefügt und löst eine aktualisierte Stimmungsbewertung in JMP aus. Das heißt, es sucht nun nach dem Wort „Pessimismus“ und passt alle Dokumentbewertungen dort an, wo es es findet. |
| |
Gehen wir also noch einmal nach oben, um einen genaueren Blick auf unsere Sentiment-Begriffe zu werfen. Wenn ich weiter nach unten scrolle, werde ich auf „Pessimismus“ stoßen. |
| |
genau hier mit der Punktzahl von -60, die ich gerade vergeben habe. Jetzt möchte ich vielleicht tatsächlich ... wenn Sie bemerken, dass „pessimistisch“ standardmäßig einen Wert von -50 hat, also gebe ich hier vielleicht einfach -50 ein, um das konsistent zu machen. |
| |
Und ich könnte, aber ich werde es nicht tun, nur damit wir kein weiteres Update auslösen. |
| |
Sie werden hier auch diese Liste möglicher Stimmungsbegriffe bemerken. Dies sind also Begriffe, die JMP als möglicherweise stimmungsauslösend identifiziert hat. Vielleicht möchten Sie einen Blick darauf werfen und sie für die Aufnahme in Ihr Wörterbuch in Betracht ziehen. |
| |
Zum Beispiel das Wort „stark“ hier, wenn Sie sich einige der Dokumenttexte auf der rechten Seite ansehen, könnten Sie sagen: „Okay, das ist eindeutig eine positive Sache.“ Und wenn man sich viele dieser Beispiele angesehen hat, fällt das wirklich auf |
| |
Das Wort „stark“ und entsprechend „schwach“ sind Wörter, die diese Ökonomen häufig verwenden, um über Dinge zu sprechen, die an der aktuellen Wirtschaft gut oder schlecht sind. |
| |
Ich könnte sie also hinzufügen oder hier „stark“ hinzufügen, indem ich auf, sagen wir, positive 60 in den Schaltflächen dort oben klicke. Auch hier werde ich es im Moment nicht tun, nur um unseren Blick auf die Stimmungsanalyse zu beschleunigen. |
| |
Wir könnten also, genau wie unsere Texte weiter unten, unsere Sentiment-Begriffsliste hier durchgehen, um einige gute Kandidaten auszuwählen. |
| |
Unter dem roten Dreieck können wir die Sentiment-Bedingungen auch direkter verwalten, sodass sie vollständig sind |
| |
Begriffsverwaltungslisten, an die wir als Text-Explorer-Benutzer möglicherweise gewöhnt sind, z. B. die Phrasenverwaltung und die Stoppwortverwaltung. |
| |
Wie Sie sehen, haben wir dieser speziellen Analyse zusätzlich zu all unseren integrierten Begriffen einen neuen lokalen Begriff hinzugefügt. Natürlich könnten wir auch Ausnahmen deklarieren, wenn wir einige davon vielleicht nicht wirklich einbeziehen möchten. |
| |
Und was noch wichtiger ist: Sie können Ihr Sentiment-Wörterbuch auch importieren und exportieren. Eine andere Möglichkeit, Sentiment-Begriffe zu deklarieren, besteht darin, sich an Fachexperten zu wenden. Du weisst, |
| |
Ökonomen hätten wahrscheinlich eine ganze Menge über die Art von Wörtern zu sagen, von denen sie erwarten würden, dass sie klar zum Ausdruck kommen würden |
| |
positive oder negative Emotionen in diesen Berichten. Und wenn wir mit ihnen sprechen könnten, würden wir gerne wissen, was sie dazu zu sagen haben, und vielleicht könnten wir mit ihnen sogar ein Wörterbuch beispielsweise in einer durch Tabulatoren getrennten Datei ableiten und es dann einfach hier importieren. |
| |
Und wenn wir dann ein Wörterbuch erstellt haben, mit dem wir zufrieden sind, sollten wir es natürlich exportieren und speichern, damit wir es in Zukunft problemlos erneut verwenden können. |
| |
Das ist also ein wenig darüber, wie Sie Ihr Sentiment-Wörterbuch tatsächlich kuratieren würden. Es wäre auch wichtig |
| |
Kuratieren Sie Ihre Verstärkerbegriffe und Ihre Negationsbegriffe, und auch hier sehen Sie keine Ergebnisse, da es sich lediglich um Polaritätsumkehrungen handelt. |
| |
Um Ihnen ein bisschen mehr darüber zu zeigen, wie das tatsächlich aussieht, werfen wir hier einen Blick auf die Stimmung, damit wir Beispiele dafür sehen können |
| |
JMP hat vor einigen dieser Stimmungsbegriffe das Wort „nicht“ gefunden und tatsächlich die entsprechende Bewertung angewendet. An der Spitze erhält „nicht akzeptabel“ also einen Wert von -25. |
| |
Ich zeige Ihnen das nur, um Ihre Aufmerksamkeit auf die Tatsache zu lenken, dass diese Negatoren und Verstärker von JMP sozusagen automatisch angewendet werden. |
| |
Aber wie dem auch sei, lasst uns von der Diskussion über die Einrichtung der Analyse zur tatsächlichen Betrachtung der Ergebnisse übergehen. Also werde ich es ansprechen |
| |
eine Version der Analyse, die bereits durchgeführt wurde, das heißt, ich habe das Sentiment-Wörterbuch bereits kuratiert, und wir können tatsächlich beginnen, die Ergebnisse zu interpretieren, die wir erhalten. |
| |
Wir haben also hier oben unsere allgemeine Zusammenfassung, sodass wir mehr positive als negative Dokumente haben. Wie wir bereits besprochen haben, können wir sehen, wie viele von jedem. Tatsächlich sehen Sie unten in der Tabelle links, dass wir ein Dokument haben, in dem keinerlei Stimmung zum Ausdruck kommt. |
| |
„stark“ kommt 14.000 Mal vor, „schwach“ kommt ungefähr 4.500 Mal vor |
| |
und indem man diese entweder anhand ihrer Anzahl oder ihrer Punkte betrachtet, wobei man die negativsten und positivsten betrachtet, |
| |
Selbst wenn man sie im Kontext betrachtet, kann das an sich schon ziemlich aufschlussreich sein. Ich meine, insbesondere in einem Bereich wie der Verbraucherforschung, wenn Sie wissen möchten, wann sich Menschen positiv fühlen oder eine positive Einstellung zum Ausdruck bringen |
| |
über unsere Marke oder einige Produkte, die wir haben, welche Art von Sprache verwenden sie, vielleicht würde das, sagen wir mal, Marketingbemühungen beeinflussen. Diese Liste von Stimmungsbegriffen kann in dieser Hinsicht sehr aufschlussreich sein. |
| |
Herstellung, |
| |
Tourismus, Investitionen. Und manchmal möchten wir uns speziell auf eine dieser Subdomänen konzentrieren, die wir als Feature bezeichnen könnten. |
| |
Und wenn ich in der Stimmungsanalyse zu dieser Registerkarte „Funktionen“ gehe, klicke ich auf „Suchen“. JMP findet einige Wörter, die häufig in Stimmungsbegriffen vorkommen, und fragt Sie, ob Sie möglicherweise in die Stimmung in Bezug auf diese Funktion eintauchen möchten. |
| |
Nehmen wir zum Beispiel „Verkäufe“. Wir können sehen: „Umsätze wurden als schwach gemeldet“, „Abschwächung der Umsätze“, „Umsätze sollen sich gut halten“ und so weiter. |
| |
Wenn ich also nur diese ausgewählte Funktion bewerte, liefert JMP jetzt Stimmungsbewertungen nur in Bezug auf die Erwähnung von „Verkäufen“ in diesen größeren Berichten, und das wird uns dabei helfen, unsere Analyse zu verfeinern oder sie auf einen wirklich guten Punkt zu konzentrieren. definierte Subdomain. |
| |
Und das ist besonders wichtig. |
| |
Es könnte sein, dass die Domäne in der Sprache, die wir analysieren, nicht so stark eingeschränkt ist. Nehmen wir zum Beispiel |
| |
Produktrezensionen. Sie interessieren sich dafür, wie positiv oder negativ die Leute über das Produkt denken, aber sie sprechen vielleicht auch über den Versand, und es ist Ihnen nicht unbedingt wichtig, wenn sie mit dem Versand nicht allzu zufrieden sind, vor allem, weil er außerhalb Ihrer Kontrolle liegt . |
| |
Sie möchten nicht nur eine Reihe von Bewertungen hinzufügen, in denen auch Kommentare zu diesem Versand abgegeben werden. Daher ist es wichtig, den Analysebereich zu berücksichtigen und ihn entsprechend einzuschränken. Der Feature-Finder hier ist eine Möglichkeit, dies zu tun. |
| |
Wie Sie jetzt sehen können, da ich bei „Verkäufen“ gepunktet habe, haben wir eine sehr unterschiedliche Verteilung positiver und negativer Dokumente. Wir haben mehr Dokumente, die keinen Sentiment-Score haben, weil sie |
| |
Sprechen Sie einfach nicht über Verkäufe oder verwenden Sie keine emotionale Sprache, um darüber zu diskutieren, und wir haben jetzt eine andere Liste von Stimmungsbegriffen, die jetzt insbesondere Verkäufe erfassen. |
| |
Lassen Sie mich das entfernen. |
| |
Eine Sache, die ich vergessen habe zu erwähnen, habe ich kurz erwähnt, ist die Art und Weise, wie diese Gesamtbewertungen der Dokumente, die wir uns angesehen haben, berechnet werden, und ich sagte, dass sie der Durchschnitt aller Sentiment-Begriffe von ... sind. |
| |
die in einem bestimmten Dokument aufgetreten sind. Schauen wir uns also Dokument 1 an. Das möchte ich Ihnen gerne zeigen |
| |
Wenn Sie sich jemals fragen, woher dieser Wert kommt, sagen wir, -20, können Sie einfach mit der Maus darüber fahren und es wird Ihnen eine Liste aller angezeigten Stimmungsbegriffe angezeigt. |
| |
Und Sie sehen, hier haben wir 16 davon, darunter alle ganz unten, ein „echter Lichtblick“, also +78, und wenn man dann dividiert ... addiert man alle diese Werte. dividiere durch 78... |
| |
oder durch 16 teilen, entschuldigen Sie, dann erhalten Sie eine durchschnittliche Stimmung von -20. Und dies ist eine von zwei Möglichkeiten, Gesamtbewertungen bereitzustellen. Eine andere Möglichkeit ist eine Min-Max-Bewertung, also Unterschiede zwischen Minimum und Maximum |
| |
Gefühle, die im Text ausgedrückt werden. |
| |
Jetzt können wir allein aus diesem Bericht viele Informationen gewinnen, wissen Sie, natürlich Sentiment-Scores, die gebräuchlichsten Begriffe. |
| |
Aber oft möchten wir die Gefühle nehmen und sie auf andere Weise verwenden, z |
| |
Betrachten Sie sie grafisch, wie wir es damals in den Folien getan haben. Wenn es also Zeit für diesen Teil Ihrer Analyse ist, gehen Sie einfach zum roten Dreieck hier |
| |
und speichern Sie die Dokumentbewertungen. Und diese speichern diese Ergebnisse wieder in Ihrer Datentabelle, sodass Sie sie in weitere Analysen eingeben oder grafisch darstellen können, was auch immer Sie tun möchten. |
| |
Das ist also eine Vorschau auf die Stimmungsanalyse, die in JMP Pro 16 im Text Explorer verfügbar sein wird. Die Idee zum Mitnehmen ist, dass die Stimmungsanalyse ein Stimmungswörterbuch verwendet |
| |
Sie richten eine Bewertung ein, die dem positiven und negativen emotionalen Inhalt jedes Dokuments entspricht, und können diese Informationen dann auf jede Art und Weise verwenden, die für Sie informativ ist. |
| |
Daher lassen wir die Stimmungsanalyse jetzt hinter uns und kehre zu unseren Folien zurück, um über die andere Technik zu sprechen, die bald in Text Explorer verfügbar sein wird. |
| |
Und das ist die Begriffsauswahl, bei der die Begriffsauswahl eine andere Frage beantwortet, nämlich welche Begriffe am stärksten mit einer wichtigen Variablen oder Variable verbunden sind, die mir am Herzen liegt? |
| |
Wir bleiben beim Beige Book. |
| |
Wir werden fragen, welche Wörter statistisch mit Rezessionen verbunden sind. In der Grafik hier sehen wir also die prozentuale Veränderung im Laufe der Zeit |
| |
BIP (Bruttoinlandsprodukt) Quartal für Quartal, wobei Blau das Wirtschaftswachstum und Rot den Wirtschaftsrückgang anzeigt. Und wir fragen uns vielleicht, was? |
| |
Könnten Begriffe, wie sie im Beige Book erscheinen, statistisch mit diesen Perioden des wirtschaftlichen Abschwungs in Verbindung gebracht werden? Ein paar davon hier zum Beispiel. |
| |
Wissen Sie, warum sollten wir bestimmte Begriffe im Beige Book mit Zeiten des wirtschaftlichen Abschwungs in Verbindung bringen? |
| |
Nun, es könnte an sich schon informativ sein, eine Liste mit Begriffen zu erhalten. Weißt du, ich könnte einige davon potenziell, du weißt schon, subtil finden |
| |
Treiber oder Auswirkungen von Rezessionen, die mir möglicherweise nicht bewusst sind oder die ich in quantitativen Daten nicht leicht erfassen kann. |
| |
Vielleicht finde ich auch einige Wörter zur weiteren Analyse. Ich könnte ... ich könnte welche finden |
| |
Potenzielle Sentiment-Begriffe, einige Begriffe, die verwendet werden, wenn es der Wirtschaft besonders schlecht geht, die ich beim ersten Mal, als ich meine Sentiment-Analyse durchführte, übersehen habe. |
| |
Oder vielleicht finde ich einige Wörter, die so stark mit Rezessionen verbunden sind, dass ich denke, ich könnte sie in einem Vorhersagemodell verwenden, um herauszufinden, wann Rezessionen in der Zukunft auftreten könnten. |
| |
Es gibt also verschiedene Gründe, warum wir wissen möchten, welche Wörter am stärksten mit Rezessionen in Verbindung gebracht werden. |
| |
Wie funktioniert das also in JMP? Nun, wir erstellen im Grunde ein Regressionsmodell, bei dem die Ergebnisvariable die Variable ist, die uns wichtig ist, Rezessionen, und die Eingaben alle verschiedenen Wörter sind. |
| |
Die in das Modell eingegebenen Daten haben die Form einer Dokumentbegriffsmatrix, der jede Zeile entspricht |
| |
ein Dokument oder ein Beige-Book-Bericht, und dann erfassen die Spalten die Wörter, die in diesem Bericht vorkommen. Hier haben wir die Spalte „schwach“ hervorgehoben und dort steht „binär“, was das bedeutet |
| |
es wird Einsen und Nullen enthalten; Eine 1 gibt an, dass dieser Bericht das Wort „schwach“ enthielt, und eine 0 gibt an, dass dieser Bericht das Wort „schwach“ nicht enthielt. Und dies ist eine von mehreren Möglichkeiten, wie wir die Dokumente bewerten könnten, aber wir bleiben vorerst bei dieser Binärdatei. |
| |
Also nehmen wir diese Informationen und geben sie in ein Regressionsmodell ein. So würde der Start also aussehen. |
| |
Wir haben unsere Rezession als unsere Y-Variable und das ist einfach eine Art Ja- oder Nein-Variable, und dann haben wir alle diese binären Termprädiktoren als unsere Modelleffekte eingegeben. |
| |
Und dann verwenden wir das generalisierte Regressionstool von JMP Pro |
| |
um das Modell zu erstellen, und das liegt daran, dass die generalisierte Regression oder GenReg, wie wir es nennen, automatische Techniken zur Variablenauswahl umfasst. Also, wenn Sie damit vertraut sind |
| |
Bei der regulierten Regression sprechen wir vom Lasso oder dem elastischen Netz. Und wenn Sie nicht wissen, was das bedeutet, ist das völlig in Ordnung. Die Idee ist, dass es automatisch geschieht |
| |
Finden Sie heraus, welche Begriffe am stärksten mit der Ergebnisvariable „Rezession“ verbunden sind und welche, von denen es glaubt, dass sie nicht damit verbunden sind. Diese werden auf Null gesetzt. |
| |
Und das ermöglicht uns, die Beziehungen zwischen „Rezession“ und vielleicht Hunderten, Tausenden möglichen Wörtern zu betrachten, die damit in Verbindung gebracht werden könnten. |
| |
Was bekommen wir also, wenn wir die Analyse durchführen? |
| |
Wir holen ein Modell heraus. Was wir hier haben, ist die Gleichung für dieses Modell. Machen Sie sich darüber keine allzu großen Sorgen. Die Idee ist, dass wir sagen |
| |
Die logarithmischen Wahrscheinlichkeiten einer Rezession sind also einfach eine Funktion der Wahrscheinlichkeit, dass wir uns in einer Rezession befinden, und der Zeitpunkt der Veröffentlichung des Beige Book ist eine Funktion davon |
| |
all die verschiedenen Wörter, die im Beige Book-Bericht vorkommen könnten. |
| |
Und Sie sehen, wir haben, wissen Sie, die Auswirkung des Auftretens des Wortes „Pandemie“ mit einem Koeffizienten von 1,94. |
| |
Das bedeutet lediglich, dass die logarithmische Wahrscheinlichkeit einer „Rezession“ um 1,94 steigt, wenn im Beige-Book-Bericht das Wort „Pandemie“ erwähnt wird. Dann sehen wir einen minus 1,02-fachen „Gewinn“. Nun, das heißt, wenn im Beige-Book-Bericht das Wort „Gewinn“ erwähnt wird, dann ist die Wahrscheinlichkeit einer Rezession ... |
| |
oder die logarithmische Wahrscheinlichkeit einer Rezession sinkt um 1,02. |
| |
Wir erhalten also eine Liste von Begriffen, die stark mit einer Erhöhung der Rezessionswahrscheinlichkeit verbunden sind, beispielsweise „Pandemie“, „Verschiebung“, „Stornierung“, „Zwangsvollstreckung“. |
| |
Und wir erhalten auch eine Liste von Begriffen, die mit einer abnehmenden Rezessionswahrscheinlichkeit verbunden sind, also etwa „gewinnen“, „stärken“, „Konkurrenz“. |
| |
Wir sehen dort auch „Fertigung“, aber der Koeffizient ist relativ klein, etwa -,2. |
| |
Und Sie werden hier tatsächlich bemerken, und wenn wir uns eine grafische Darstellung aller in dieser Analyse ausgewählten Begriffe ansehen, sehen Sie nicht allzu viele spezifische Bereiche wie „Fertigung“, |
| |
„Tourismus“, „Investitionen“ und so weiter. Das liegt daran, dass über diese Dinge immer gesprochen wird, egal ob wir uns in einer Rezession befinden oder nicht. Wir suchen also wirklich nach Worten, die verwendet werden: |
| |
Wissen Sie, wenn wir uns häufiger in einer Rezession befinden, als man es zufällig erwarten würde. So haben wir ... zum Beispiel das |
| |
„Pandemie“ ist am aussagekräftigsten. Macht sehr viel Sinn. Bis vor kurzem haben wir überhaupt nicht über Pandemien gesprochen, und dann haben wir in letzter Zeit auch die Rezession erlebt, also haben wir das ziemlich deutlich mitbekommen. |
| |
Dann haben wir noch ein paar andere auf dieser Art zweiten Ebene, also „aufgeschoben“, „abgesagt“, „abgeschottet“, „verschlechtern“, „pessimistisch“. |
| |
Und es ist irgendwie interessant, dass diese „Verschiebung“ und „Absage“ mit Rezessionen verbunden sind. Es macht Sinn, dass Sie wirklich über die Verschiebung beispielsweise der Wirtschaftstätigkeit sprechen möchten |
| |
wenn eine Rezession stattfindet, oder zumindest ist das vielleicht ein verlässlicher Trend. Es ist...das ist also eine Einsicht an und für sich. Tatsächlich, ich |
| |
Ich kann Ihnen zwar nicht sagen, wie die Federal Reserve die Verschiebung oder Streichung wirtschaftlicher Aktivitäten verfolgt, aber die Tatsache, dass diese Begriffe in dieser Analyse hervorgehoben werden, legt nahe, dass es sich wahrscheinlich lohnt, dies im Auge zu behalten. |
| |
Okay, das ist also die Begriffsauswahl. Wir haben tatsächlich diese schöne Liste von Begriffen herausgebracht, die mit Rezessionen in Verbindung gebracht werden, und können die relative Stärke der Assoziation erkennen. Sehen wir uns nun kurz an, wie es in JMP gemacht wird. |
| |
Also gehe ich zurück zu JMP und wir werden eine etwas andere Datentabelle aufrufen. Allerdings handelt es sich immer noch um Beige-Book-Daten, jetzt haben wir nur noch die nationalen Berichte. |
| |
Und wir haben diese begleitende Variable, unabhängig davon, ob sich die USA zu diesem Zeitpunkt in einer Rezession befanden oder nicht. Und natürlich gibt es in diesen Daten eine gewisse Autokorrelation. Ich meine, wenn wir letzten Monat in einer Rezession waren, ist es wahrscheinlicher, dass wir diesen Monat in einer Rezession sein werden, als wenn wir es nicht wären. |
| |
Und Sie wissen, dass dies normalerweise ein Problem für regressionsbasierte Analysen sein könnte, aber dies ist rein explorativer Natur. Wir machen uns darüber keine allzu großen Sorgen. |
| |
Deshalb rufe ich den Text-Explorer einfach aus einem Tabellenskript auf, nur weil wir schon einmal gesehen haben, wie er gestartet wird. |
| |
Beachten Sie jedoch, dass ich wie zuvor bereits einige Formulierungen vorgenommen habe. Ich habe auch einige Stoppwörter hinzugefügt, die Sie hier nicht sehen können, aber Wörter, die bei dieser Analyse nicht unbedingt zurückgegeben werden sollen. |
| |
Und ich habe die Wortstammerkennung aktiviert, was die kleinen Punkte in der Begriffsliste bedeuten. Beispielsweise zerfällt das Wort „Zunahme“ jetzt tatsächlich in „Zunahmen“, „zunehmend“, „zunehmend“. |
| |
Und das liegt daran, dass ich das jetzt irgendwie als das gleiche Konzept betrachte und ich nur wissen möchte, ob dieses Konzept mit Rezessionen zusammenhängt. |
| |
Um also die Begriffsauswahl aufzurufen, gehen wir einfach zum roten Dreieck und ich wähle ihn hier aus. |
| |
Zuerst erscheint ein Kontrollfenster, oder besser gesagt ein Abschnitt, in dem wir auswählen, welche Variable uns interessiert, das sind Rezessionen. Wählen Sie das Zielniveau aus, also möchte ich, dass es sich um die Wahrscheinlichkeit einer Rezession handelt und nicht um die Wahrscheinlichkeit, dass es keine Rezession gibt. |
| |
Ich kann einige Modelleinstellungen festlegen. Wenn Sie mit GenReg vertraut sind, werden Sie feststellen, dass Sie wählen können, ob Sie ein vorzeitiges Stoppen wünschen, oder ob Sie eine von zwei verschiedenen Optionen wünschen |
| |
Strafen für die Variablenauswahl, welche Statistik Sie validieren möchten. Und wenn das Zeug für Sie neu ist, machen Sie sich darüber keine allzu großen Sorgen. Die Standardeinstellungen sind zunächst eine gute Lösung. |
| |
Wir haben unsere Gewichtung. Wie Sie sich erinnern, hatten wir in dieser Spalte die Einsen und Nullen für „schwach“, was nur angibt, ob das Wort in einem Dokument vorkam oder nicht, aber Sie können auswählen, was Sie möchten. Also |
| |
Bei der Häufigkeit geht es zum Beispiel nicht darum, ob „schwach“ aufgetreten ist oder nicht, sondern darum, wie oft es aufgetreten ist. Und das wirkt sich auf die Art und Weise aus, wie Sie Ihre Ergebnisse interpretieren würden. Wir bleiben vorerst bei Binär. |
| |
Aber ich möchte sagen, dass ich mir die 1.000 häufigsten Begriffe ansehen möchte, statt der standardmäßigen 400, die Sie sehen können, das sind viel mehr als 436, und normalerweise kann man kein Modell mit 1.000 Xs unterbringen aber nur 436 |
| |
Beobachtungen, aber dank der |
| |
Bei der automatischen Variablenauswahl in der generalisierten Regression ist dies kein Problem. Es wird also erneut ausgewählt, welche dieser tausend Begriffe am stärksten miteinander verbunden sind, daher der Name Begriffsauswahl. |
| |
Also werde ich das durchführen. Sie können sehen, was passiert ist, dass JMP die Plattform für die allgemeine Regression aufgerufen und diese Ergebnisse zurückgegeben hat. Hier oben sehen wir einige Informationen über das Modell, wie es angepasst wurde. Beispielsweise wurden 37 Begriffe zurückgegeben. |
| |
Lassen Sie mich das einfach verschieben. Denn hier rechts finden wir einige wirklich wertvolle Informationen. Dies ist die Liste der Begriffe, die am stärksten mit der Rezession in Verbindung gebracht werden. |
| |
Jetzt sortiere ich diese nach dem Koeffizienten, um diejenigen zu finden, die am stärksten mit der Wahrscheinlichkeit einer Rezession verbunden sind. Das ist also wieder „Pandemie“, „Verschiebung“, „Stornierungen“ und, wie Sie vielleicht erwarten, an dieser Stelle, wenn ich auf einen von ihnen klicke Diese Vorschauen werden aktualisiert |
| |
oder diese Textausschnitte unten, damit wir dieses Wort tatsächlich im Kontext sehen können. |
| |
Daher könnte diese Liste von Begriffen an sich schon unglaublich wertvoll sein. Möglicherweise erfahren Sie einige wichtige Dinge über bestimmte Begriffe oder Konzepte, die Sie vorher vielleicht noch nicht gewusst haben. Sie können diese Begriffe auch in Vorhersagemodellen verwenden. |
| |
Nun noch ein paar andere Dinge, die es zu beachten gilt. |
| |
Wie Sie hier unten sehen können, haben wir wieder eine Tabelle für jedes einzelne Dokument, aber anstelle der Stimmungswerte haben wir jetzt im Wesentlichen Werte aus dem Modell. Wir haben für jeden einen |
| |
Die... |
| |
Was wir den positiven Beitrag nennen, ist also der Beitrag positiver Koeffizienten, der die Wahrscheinlichkeit einer Rezession vorhersagt. Hier haben wir diejenigen am negativen Ende. |
| |
Und dann haben wir sogar die Wahrscheinlichkeit einer Rezession aus dem Modell, hier 71,8 %, was wir tatsächlich beobachtet haben. |
| |
Und wir erstellen hier nicht unbedingt ein Vorhersagemodell, das heißt, ich werde dieses Modell nicht verwenden, um zu versuchen, Rezessionen vorherzusagen. Ich meine, ich habe alle möglichen Wirtschaftsindikatorvariablen, die ich verwenden würde |
| |
auch, aber dies ist eine gute Möglichkeit, Ihr Modell grundsätzlich auf Plausibilität zu überprüfen. Sieht es so aus, als ob einige seiner Vorhersagen richtig liegen? |
| |
Denn wenn dies nicht der Fall ist, vertrauen Sie möglicherweise den zurückgegebenen Bedingungen nicht. Sie verfügen auch über viele andere Informationen, um zu versuchen, dieses Urteil zu fällen. Ich meine, wir haben einige Anpassungsstatistiken, wie die Fläche unter der Kurve hier oben. |
| |
Oder wir gehen sogar auf die generalisierte Regressionsplattform ein, mit all ihren normalen Optionen zur weiteren Bewertung Ihres Modells. |
| |
Ich werde an dieser Stelle nicht auf die Details eingehen, aber all das steht Ihnen zur Verfügung, sodass Sie Ihr Modell bewerten und nach Ihren Wünschen optimieren können, um sicherzustellen, dass Sie eine Liste mit Begriffen haben, die Ihnen gut gefallen. |
| |
Hier sehen Sie, dass wir unter der Zusammenfassung diese Liste von Modellen haben, und zwar deshalb, weil Sie möglicherweise tatsächlich mehrere Modelle ausführen möchten. Wenn ich also zum Modell zurückkehre ... oh, entschuldigen Sie ... wenn wir zu unserem Modell zurückkehren |
| |
Wenn ich die Einstellungen hier oben vorgenommen habe, könnte ich tatsächlich ein etwas anderes Modell betreiben. Vielleicht weiß ich zum Beispiel, dass der BIC etwas konservativer ist als der AICc und ich möchte weniger Begriffe zurückgeben. Vielleicht habe ich eine Analyse durchgeführt, die 900 Begriffe zurückgegeben hat, und Sie sind etwas überfordert. |
| |
Also klicke ich auf „Ausführen“ und erstelle stattdessen ein anderes Modell damit. |
| |
Und jetzt haben wir dieses Modell hier zu unserer Liste hinzugefügt, und ich kann zwischen diesen Modellen wechseln, um die Ergebnisse für jedes einzelne zu sehen. In diesem Fall haben wir nur 14 statt 37 Begriffe zurückgegeben, und ich würde sie weiter unten bewerten. |
| |
Zwei große Ergebnisse, die Sie daraus erhalten würden, sind natürlich diese Begriffsliste. Wenn Sie sich das sparen möchten, da dies nur wichtige Begriffe für Sie sind und Sie den Überblick behalten möchten, klicken Sie einfach mit der rechten Maustaste und erstellen Sie daraus eine Datentabelle. Jetzt habe ich eine JMP-Tabelle |
| |
mit den Termen, ihren Koeffizienten und anderen Informationen. |
| |
Und |
| |
Wenn Sie dies tatsächlich sozusagen in Ihre ursprüngliche Datentabelle zurückschreiben möchten, damit Sie die Informationen in einer anderen Art von Analyse oder einem Vorhersagemodell verwenden können, |
| |
Gehen Sie einfach zur Begriffsauswahl und sagen Sie, dass Sie die Begriffsbewertungen als Dokumentbegriffsmatrix speichern möchten. Wenn ich unsere Datentabelle hierher zurückbringe, können Sie sehen, dass ich jetzt in sie geschrieben habe |
| |
Spalten für jeden dieser ausgewählten Begriffe. In diesem Fall wurden die Koeffizientenwerte eingegeben, und jetzt kann ich diese verwenden |
| |
quantitative Informationen, wie ich möchte. |
| |
Das ist nur ein kleiner Teil der Begriffsauswahl. Auch hier besteht die große Idee darin, dass ich eine Liste von Begriffen gefunden habe, die sich auf eine Variable beziehen, die mir wichtig ist, und dass ich anhand ihrer Koeffizienten sogar Informationen darüber habe, wie stark diese Beziehung sein könnte. |
| |
Also lasst uns einfach zum Schluss kommen. Wir haben zwei Techniken behandelt. Wir haben gerade die Begriffsauswahl gesehen und die wichtigen Wörter gefunden. Zuvor haben wir uns die Stimmungsanalyse angesehen |
| |
Quantifizierung des Ausmaßes positiver oder negativer Emotionen in einem Text. Dies sind zwei neue Text-Mining-Techniken für den Text Explorer von JMP Pro 16. Wir freuen uns sehr, dass Sie sie in die Hände bekommen und freuen uns auf Ihr Feedback. |
