Informatiker profitieren seit langem von Methoden, die es ihnen ermöglichen, Informationen aus einer Vielzahl von Textdokumenten zu extrahieren. Ihre Methodik zählt nicht nur Begriffe und Wendungen in Texten zusammen, sondern deckt auch Strukturen auf und gibt Einblick in den Inhalt von Texten. Auf der anderen Seite die meisten Sozialwissenschaftler — die viele Textdaten in Kommentarfeldern von Umfragen, Interviewprotokollen usw. haben – scheinen sich nicht auf diese Methoden zu verlassen (diejenigen, die Sprache studieren oder mit Informatikern zusammenarbeiten, sind die seltenen Ausnahmen).
In diesem Beitrag ermutige ich Sozialwissenschaftler, das Spektrum der Möglichkeiten zu erkunden, die die Textanalyse bieten kann. Ich tue dies, indem ich zwei textanalytische Techniken kurz erkläre: Latent Semantic Analysis (LSA) und Topic Analysis (TA). Wie es bald offensichtlich sein wird, werden Sozialwissenschaftler mit einem Hintergrund in multivariater Statistik in der Lage sein, LSA und TA mühelos zu verwenden, anzuwenden und zu interpretieren (vielleicht braucht es nur diesen Beitrag, um Sie zum Laufen zu bringen!). Meine Erklärung stützt sich auf zwei Statistiken Techniken, die in den Sozialwissenschaften bekannt sind: Hauptkomponentenanalyse (PCA) und Faktorenanalyse (FA).
Eine Überprüfung der Hauptkomponentenanalyse
PCA ist eine Methode, die es uns ermöglicht, unkorrelierte Dimensionen der maximalen Variabilität aus unseren Daten zu identifizieren und zu extrahieren. Dies erfolgt durch eine Eigenwertzerlegung der Korrelationsmatrix der Daten. Abbildung 1 zeigt die Schritte der Eigenwertzerlegung und die nachfolgenden Schritte zur Unterstützung der Interpretation des PCA (beachten Sie, dass die Abbildung zu stark vereinfacht ist, um diese Überprüfung zu erleichtern).
Figure 1. Depiction of steps involved in Principal Components Analysis.Figure 1. Depiction of steps involved in Principal Components Analysis.Figure 1. Depiction of steps involved in Principal Components Analysis.Figure 1. Depiction of steps involved in Principal Components Analysis.Abbildung 1. Darstellung der an der Hauptkomponentenanalyse beteiligten Schritte.
Die Korrelationsmatrix repräsentiert eine „Datenwolke“ in einem mehrdimensionalen Raum. Die Eigenwertzerlegung hilft bei der Identifizierung der Hauptdimensionen, die innerhalb dieser Wolke senkrecht zueinander stehen, und liefert zwei Schlüsselinformationen: die Eigenvektoren , die die Richtungen der Hauptabmessungen angeben, und die Eigenwerte , die die Größe jeder Dimension identifizieren und die Varianzen der Dimensionen sind. Wenn nur ein paar Dimensionen den größten Teil der Variabilität in den Daten erfassen (d. h. die ersten beiden Eigenwerte sind in Bezug auf alle anderen groß), können Analysten sich dafür entscheiden, die ersten beiden Eigenvektoren und Eigenwerte beizubehalten, um die Anzahl der Variablen zu reduzieren, die sie benötigen analysieren. Alle Eigenvektoren haben Einheitslänge, können aber unter Verwendung der von den Eigenwerten bereitgestellten Informationen „in der Größe geändert“ werden. Diese umskalierten Eigenvektoren sind als Belastungen bekannt.
Belastungsvektoren haben eine Variabilität, die ihrem entsprechenden Eigenwert entspricht. Außerdem sind Ladungskoeffizienten Korrelationskoeffizienten, die den Zusammenhang zwischen der Dimension (Hauptkomponente) und der entsprechenden Variablen beschreiben. Aus diesem Grund sind Ladungen entscheidend, um zu verstehen, was eine Hauptkomponente darstellt. Eine Belastungsmatrix kann jedoch ein schwierig zu erkennendes Muster aufweisen, z. B. Belastungen mittlerer Größenordnung über mehrere Dimensionen hinweg (siehe Belastungsmatrix in Abbildung 1). Daher könnten Analysten sich dafür entscheiden, die Belastungsmatrix zu rotieren, um die Interpretation der Komponenten zu verbessern. Am häufigsten wird eine orthogonale Rotation verwendet (z. B. Varimax), die tendenziell zu einem einfachen Belastungsmuster führt (von Thurstone, 1947 als „einfache Struktur“ bezeichnet). Das heißt, die Belastungen sind für eine gegebene Komponente sehr hoch und für alle anderen Komponenten nahezu null. Die einfache Struktur der gedrehten Belastungsmatrix (siehe Abbildung 1) hilft dabei, klar zu erkennen, was jede Hauptkomponente darstellt.
Hauptkomponentenanalyse == Latente semantische Analyse
Jetzt, da PCA frisch in Ihrem Gedächtnis ist, ist die gute Nachricht, dass die latente semantische Analyse (LSA) einfach PCA ist, die auf einer Korrelationsmatrix von Textbegriffen durchgeführt wird (jedoch ohne Rotationen). Mit anderen Worten, die Variablen in der Analyse sind Spalten, die das Vorkommen eines Begriffs in Textdokumenten angeben. Dieser Satz von Variablen wird als Dokumentbegriffsmatrix (DTM; siehe Abbildung 2) bezeichnet, die so viele Spalten wie Begriffe in den Dokumenten und so viele Zeilen wie Dokumente hat. Wenn wir einen binären DTM wollen, kann jeder Zelleneintrag eine 0 oder 1 sein, je nachdem, ob der gegebene Begriff im gegebenen Dokument vorkommt. Ein Häufigkeits-DTM erfordert, dass jeder Eintrag eine Zählung dafür ist, wie oft der Begriff in dem gegebenen Dokument vorkommt. Es gibt andere Möglichkeiten, den DTM zu erstellen; Eine bevorzugte Methode in der Literatur (Ramos, 2003) heißt TF-IDF (Term Frequency-Inverse Document Frequency), die Sie implementieren können JMP mit einem Klick!
Figure 2. Sample Document Term Matrix (DTM) of three documents.Figure 2. Sample Document Term Matrix (DTM) of three documents.Figure 2. Sample Document Term Matrix (DTM) of three documents.Figure 2. Sample Document Term Matrix (DTM) of three documents.Figur 2. Beispiel einer Document Term Matrix (DTM) von drei Dokumenten.
Beachten Sie, dass das erste Dokument in Abbildung 2 das Wort „from“ enthält und dieser Begriff dennoch nicht im DTM auftaucht. Denn es gibt wichtige vorbereitende Schritte zur Erstellung eines DTM. Sehen wir uns die als nächstes an!
Einrichten von Textdaten für die Analyse
Die Textanalyse beginnt mit der Bestimmung der Maßeinheit. Insbesondere müssen Sie bestimmen, was ein „Dokument“ darstellen soll. Ein Dokument kann neben vielen anderen Möglichkeiten ein Satz, ein Absatz, ein Artikel oder ein Buch sein. Der nächste Schritt besteht darin, relevante Begriffe in den Dokumenten zu identifizieren. Sie tun dies, indem Sie „Stoppwörter“ herausfiltern (diese äußerst häufigen Wörter, die wahrscheinlich nicht dazu beitragen, die Struktur im Textkorpus aufzudecken, wie z. B. „das“, „und“, „von“, „ist“, „von“. ," etc.). Darüber hinaus können Sie ähnliche Begriffe zu einem zusammenfassen. Beispielsweise sind die Spalten „Analyse“ und „Analytik“ in Abbildung 2 redundant und können zu einer Spalte „Analytik“ zusammengefasst werden. Dies wird als Stemmen bezeichnet. Schließlich sollten nicht alle Wörter eines Textes zerlegt werden. „Sozialwissenschaftler“ in der ersten Zeile von Abbildung 2 ist ein Beispiel. Sie können diese Wörter zu einem Begriff kombinieren, bevor Sie den DTM erstellen (dasselbe können Sie mit Ausdrücken wie „es war einmal“) tun.
Alle oben genannten Schritte sind entscheidend für eine solide Analyse. Zum Glück ist die Text-Explorer-Plattform in JMP macht diese Aufgaben zum Kinderspiel! Weisen Sie im Menü Analysieren > Text-Explorer die Spalte in der Datentabelle mit den Dokumenten als Textspalte zu (siehe Abbildung 3). Sie können auch Optionen für das Stemming im Startfenster anpassen. Nach dem Start von Text Explorer können Sie weitere Phrasen auswählen, die als Begriffe betrachtet werden sollen.
Figure 3. Text Explorer launch window (left) and initial report from launching Text Explorer (right).Figure 3. Text Explorer launch window (left) and initial report from launching Text Explorer (right).Figure 3. Text Explorer launch window (left) and initial report from launching Text Explorer (right).Figure 3. Text Explorer launch window (left) and initial report from launching Text Explorer (right).Figur 3. Startfenster des Text-Explorers (links) und erster Bericht vom Start des Text-Explorers (rechts).
Wenn alle vorbereitenden Schritte abgeschlossen sind, können Sie den DTM erstellen und damit eine PCA durchführen. Je nachdem, wie groß Ihr DTM ist (und sie sind in der Regel ziemlich groß), kann die Ausführung einer PCA, wie ich sie oben beschrieben habe, lange dauern und viel Speicher erfordern. Glücklicherweise verwendet JMP die Singulärwertzerlegung anstelle der Eigenwertzerlegung, um diese Analyse sehr effizient zu machen! In einem zukünftigen Beitrag werde ich die Äquivalenzen zwischen Eigenwertzerlegung und Singularwertzerlegung erläutern, aber im Moment müssen Sie mir vertrauen, dass beide Ansätze zu denselben Ergebnissen führen.
Themenanalyse
Eine weitere wertvolle Textanalysetechnik ist die Themenanalyse (TA). Diese Technik kann auch leicht auf Sozialwissenschaftler übertragen werden, indem klargestellt wird, dass TA einfach PCA mit einer Varimax-Rotation der Ladematrix ist. Ähnlich wie bei LSA wird TA mit einer Singulärwertzerlegung anstelle einer Eigenwertzerlegung durchgeführt, um es effizienter zu machen. Die Ergebnisse von TA sind aufgrund der Rotation der Belastungen wahrscheinlich leichter zu interpretieren als die von LSA. Die Themen werden die Hauptdimensionen der Variabilität in Ihren Textdaten sein. Die Ladungen ermöglichen es Ihnen, zu interpretieren, was das Thema darstellt. Darüber hinaus können Themen- (oder Komponenten-) Scores berechnet und in sekundären Analysen verwendet werden.
Um einen Eindruck davon zu vermitteln, was TA leisten kann, habe ich TA an einem Datensatz von 231.657 Witzen* durchgeführt. Um keine Leser zu beleidigen, zeige ich nur die Ergebnisse von drei Themen, die aus der Analyse hervorgegangen sind (Abbildung 4).
Figure 4. Select topics from Topic Analysis (TA) performed on a data table of 231,657 jokes.Figure 4. Select topics from Topic Analysis (TA) performed on a data table of 231,657 jokes.Figure 4. Select topics from Topic Analysis (TA) performed on a data table of 231,657 jokes.Figure 4. Select topics from Topic Analysis (TA) performed on a data table of 231,657 jokes.Figur 4. Wählen Sie Themen aus der Themenanalyse (TA) aus, die anhand einer Datentabelle mit 231.657 Witzen durchgeführt wurde.
Die Leser werden vielleicht zustimmen, dass es eine klare Unterscheidung zwischen den Arten von Witzen gibt, die jedes der Themen in Abbildung 4 repräsentiert. Weitere überzeugende Beispiele zur Textanalyse finden Sie unter dieser Beitrag über die Vorhersage zukünftiger Aktienkurse, oder lesen Sie eine aktuelle Veröffentlichung mit Social-Media-Daten (Kern et al., 2016). Oder zuschauen Dieses Video .
Bemerkungen zur Faktorenanalyse
Im Eröffnungsabschnitt sagte ich, ich würde mich auf das Wissen der Sozialwissenschaftler über PCA und FA verlassen. Aber bisher habe ich nur über PCA gesprochen. Wenn Ihr Training meinem ähnlich war, wissen Sie, dass es wichtige Unterschiede zwischen PCA und FA gibt. In ein früherer Beitrag , habe ich diese Unterschiede beschrieben, aber ich habe auch eine wesentliche Ähnlichkeit erwähnt: Die Ergebnisse von PCA und FA werden immer ähnlicher, wenn die betrachtete Datenmatrix größer wird (wenn Sie eine Auffrischung zu FA wünschen, empfehle ich Ihnen lesen Sie den Beitrag ). Tatsächlich sind Datenmatrizen in der Textanalyse in der Regel so sehr groß. Im Beispiel für die Begriffsmatrix eines Dokuments oben hat der DTM bereits 10 Variablen! Und das Scherzbeispiel hat einen DTM mit 4.316 Variablen!). Somit können Themen oder Komponenten aus LSA und TA als Annäherungen an latente Variablen betrachtet und effektiv verwendet werden, um eine Vielzahl von Forschungsfragen anzugehen!
Schließen…
Zu oft erlauben wir unserem statistischen Werkzeugkasten, das Design und die Analyse unserer Forschung zu bestimmen (manchmal versehentlich!). Daher hoffe ich, dass dieser Beitrag die Tür zu neuen Forschungsfragen in den Sozialwissenschaften (und anderen Bereichen) öffnet, die auf einzigartige Weise mit Textanalyse angegangen werden können.
Wichtige Punkte
- Die Textanalyse wird in den Sozialwissenschaften zu wenig genutzt, obwohl sie sich auf statistische Techniken stützt, die den Sozialwissenschaftlern gut bekannt sind.
- Die latente semantische Analyse entspricht der Hauptkomponentenanalyse, die anhand einer Dokumentbegriffsmatrix durchgeführt wird.
- Eine Dokumentbegriffsmatrix hat so viele Zeilen, wie Dokumente vorhanden sind, und so viele Spalten, wie Begriffe in den Dokumenten vorhanden sind. Zellen enthalten die Häufigkeit von Begriffen in einem bestimmten Dokument.
- Die Themenanalyse entspricht der Hauptkomponentenanalyse mit einer Rotation der Komponentenladungen, um die Interpretation der Themen zu unterstützen. Beachten Sie jedoch, dass einige Clustering-Methoden manchmal auch als Themenanalyse bezeichnet werden.
- Da Dokumententermmatrizen dazu neigen, ziemlich groß zu sein, können sich Sozialwissenschaftler Hauptkomponenten als ziemlich gute Annäherungen an latente Variablen oder latente Themen vorstellen.
Zur Textanalyse gibt es noch viel mehr zu sagen! Ich schlage vor, mit anzufangen diesen On-Demand-Webcast , das sehr gut darin ist, viele weitere Details zu beschreiben. Sie können auch sehen mein Post über die Text-Explorer-Plattform in JMP, insbesondere die Abschnitt Rosetta Stone , die weitere Verknüpfungen zwischen PCA und LSA/TA verdeutlicht.
Verweise
- Kern, ML, Park, G., Eichstaedt, JC, Schwartz, HA, Saft, M., Schmied, LK, & Ungar, LH (2016). Erkenntnisse aus der Sprache der sozialen Medien gewinnen: Methoden und Herausforderungen. Psychologische Methoden. Online-Vorabveröffentlichung. http://dx.doi.org/10.1037/met0000091
- Ramos, J. (2003, Dezember). Verwendung von tf-idf zur Bestimmung der Wortrelevanz in Dokumentabfragen. In Tagungsband der ersten Lehrkonferenz zum maschinellen Lernen (Bd. 242, S. 133-142).
- Thurstein, LL (1947). Multifaktoranalyse . Chicago: University of Chicago Press, 1947.
* Danke an amoudgl, der diese Datei hier frei verfügbar gemacht hat: https://github.com/amoudgl/short-jokes-dataset
