JMP 13 stellte JMP-Kunden eine Vielzahl aufregender neuer Funktionen vor. Eine der am meisten erwarteten Funktionen war die Text Explorer-Plattform, die es Analysten ermöglicht, die Struktur von Textdaten zu verstehen. Die Aufregung um den Text Explorer ist sicherlich gerechtfertigt, da die Plattform das Potenzial hat, objektive Erkenntnisse aus einer Vielzahl von Texteinträgen zu gewinnen, die sonst für eine Einzelperson unmöglich zu erkennen wären (insbesondere wenn die Analyse Tausende oder Millionen von Textquellen umfasst).
Da JMP-Kunden weiterhin Text Explorer nutzen, hat das JMP-Entwicklungsteam Anstrengungen unternommen, um die Nutzung der Plattform zu vereinfachen und die Interpretierbarkeit der Ergebnisse zu verbessern. Diese Verbesserungen konzentrierten sich speziell auf die latente semantische Analyse und Themenanalyse und sind in JMP Pro 13.2 verfügbar. In diesem Beitrag skizziere ich diese Bemühungen und betone, wie die Änderungen die Verwendung und Interpretation der Text Explorer-Plattform durch Analysten erleichtern.
Eine Verwandlung
Latente semantische Analyse und Themenanalyse sind zwei Ansätze zur Textanalyse. Bisher wurden diese Analysen in JMP durch a Einzelwertzerlegung (SVD) der „Centered and Scaled“, „Centered“ oder „Uncentered“ Document Term Matrix (DTM). Der DTM ist eine aus Ihren Textdaten abgeleitete Matrix, die die Anzahl der Begriffe innerhalb und zwischen Textdokumenten zusammenfasst. Die SVD auf dem DTM führte zu aufschlussreichen Ergebnissen, die es JMP Pro-Benutzern ermöglichten, Schlüsseldimensionen (auch bekannt als Singularvektoren) zu identifizieren, die ihren Textdaten und Werten zugrunde liegen, die die Bedeutung solcher Dimensionen beschreiben (auch bekannt als Term- oder Dokument-Singularvektoren).
Figure 1. The new look of Latent Semantic Analysis and Topic Analysis, with more intuitive labels and values.Figure 1. The new look of Latent Semantic Analysis and Topic Analysis, with more intuitive labels and values.Figure 1. The new look of Latent Semantic Analysis and Topic Analysis, with more intuitive labels and values.Figure 1. The new look of Latent Semantic Analysis and Topic Analysis, with more intuitive labels and values.Abbildung 1. Das neue Aussehen der latenten semantischen Analyse und der Themenanalyse mit intuitiveren Bezeichnungen und Werten.
Eine wichtige Verbesserung der Plattform – implementiert in 13.2 – bestand darin, die SVD des „zentrierten und skalierten“ oder „zentrierten“ DTM dividiert durch N-1 (N = Gesamtzahl der Zeilen im DTM) oder nur N, wenn der Benutzer dies auswählt, durchzuführen die Skalierungsoption „Unzentriert“. Wichtig ist, dass das Teilen des DTM durch eine Konstante (N-1 oder N) das Ergebnismuster in der Plattform nicht ändert, aber die resultierenden Schätzungen viel besser interpretierbar macht.
Verbesserte Interpretierbarkeit
Dank der Teilung des DTM durch N-1 oder N ist die Latent Semantic Analysis nun identisch mit Hauptkomponentenanalyse (PCA). In ähnlicher Weise ist die Themenanalyse jetzt identisch mit einer rotierten PCA (siehe Abbildung 2 für ausgewählte Ergebnisse beider Plattformen). Daher sind Term Singular Vectors jetzt identisch mit Loadings in einem PCA-Kontext und werden folglich als „Term Topic Loadings“ bezeichnet. Wenn Benutzer „Zentriert und skaliert“ als Skalierungsoption im Text-Explorer auswählen (was die Standardeinstellung ist), sind die Ergebnisse identisch mit einer PCA einer Korrelationsmatrix. Wenn „Zentriert“ ausgewählt wird, entsprechen die Ergebnisse ähnlich denen der PCA einer Kovarianzmatrix, und wenn „Unzentriert“ ausgewählt wird, sind die Ergebnisse genauso wie die PCA einer unskalierten Matrix.
Figure 2. Side-by-side comparison of Topic Analysis and Rotated Principal Components Analysis, which can be accessed through the "Factor Analysis" option in the Principal Components platform.Figure 2. Side-by-side comparison of Topic Analysis and Rotated Principal Components Analysis, which can be accessed through the "Factor Analysis" option in the Principal Components platform.Figure 2. Side-by-side comparison of Topic Analysis and Rotated Principal Components Analysis, which can be accessed through the "Factor Analysis" option in the Principal Components platform.Figure 2. Side-by-side comparison of Topic Analysis and Rotated Principal Components Analysis, which can be accessed through the "Factor Analysis" option in the Principal Components platform.Figur 2. Direkter Vergleich von Themenanalyse und rotierter Hauptkomponentenanalyse, auf die über die Option „Faktoranalyse“ in der Hauptkomponentenplattform zugegriffen werden kann.
Warum sind diese Veränderungen spannend?
Kennst du PCA?Sie können jetzt alles, was Sie über PCA wissen, in die Textanalyse übersetzen. Hier sind einige Beispiele:
- Auswahl der besten Themenanzahl: Alle Richtlinien von PCA können nun verwendet werden, um eine angemessene Anzahl von Themen auszuwählen. Suchen Sie zum Beispiel nach dem Ellbogen auf a Geröll von quadrierten Singularwerten (auch bekannt als Eigenwerte) oder Summieren des Prozentsatzes der erklärten Varianz von quadrierten Singularwerten, bis ein angemessener Prozentsatz erreicht ist, oder eine andere Methode der Wahl.
- Die Wichtigkeit von Themen verstehen: Was früher „Thementeile“ genannt wurde, heißt jetzt „Varianz erklärt durch jedes Thema“. Die Werte sind die gleichen, aber jetzt ist die Interpretation der Werte intuitiver. Wenn Ihr erstes Thema 40 % der Varianz in Ihren Daten erklärt, wissen Sie, dass dieses Thema in Ihren Dokumenten sehr relevant ist.
- Interpretation der Bedeutung eines Themas: Wenn „Zentriert und skaliert“ oder „Zentriert“ als Skalierungsoptionen ausgewählt sind (erinnern Sie sich daran, dass diese PCA auf Korrelation bzw. auf Kovarianzen entsprechen), stellen Themenbegriffsladungen die Korrelation des bestimmten Begriffs mit dem zugrunde liegenden Thema dar. Hohe Werte (nahe 1) weisen also auf einen für das Thema sehr charakteristischen Begriff hin.
- Ableitung neuer Variablen zur weiteren Analyse: So wie Sie Komponentenwerte in PCA berechnen können, um sie für Sekundäranalysen zu verwenden, können Sie Dokumentthemenwerte (früher als Dokumentsingularvektoren bezeichnet) berechnen, die die überwiegende Mehrheit der Informationen in Ihrem DTM enthalten, jedoch in einer viel kürzeren Struktur.
Der Rosetta-Stein
Um die Übersetzung zwischen Latent Semantic Analysis/Topic Analysis und PCA/Rotated PCA weiter zu erleichtern, habe ich die folgende Illustration erstellt, die ich den Rosetta-Stein des Text-Explorers nenne (wie in der Ägyptischer Stein das half Historikern, Hieroglyphen zu verstehen). Ich füge Panels für die Plattformen Text Explorer und PCA mit Schlüsselwörtern hinzu, die in Berichten verwendet werden, die eine gleichwertige Bedeutung haben, und ich füge ein Panel für die Faktorenanalyse hinzu, da ein Sonderfall der Faktorenanalyse identisch mit dem rotierten PCA ist (der Fall von Kommunalitäten == 1, siehe mein Beitrag zu diesem Thema ).
Figure 3. The Rosetta stone of Text Explorer, Principal Components, and Factor Analysis platforms. Keywords in each panel are equivalent to those in the same row of other panels. *Not available in the platform as these aren’t normally used.Figure 3. The Rosetta stone of Text Explorer, Principal Components, and Factor Analysis platforms. Keywords in each panel are equivalent to those in the same row of other panels. *Not available in the platform as these aren’t normally used.Figure 3. The Rosetta stone of Text Explorer, Principal Components, and Factor Analysis platforms. Keywords in each panel are equivalent to those in the same row of other panels. *Not available in the platform as these aren’t normally used.Figure 3. The Rosetta stone of Text Explorer, Principal Components, and Factor Analysis platforms. Keywords in each panel are equivalent to those in the same row of other panels. *Not available in the platform as these aren’t normally used.Figur 3. Der Rosetta-Stein der Plattformen Text Explorer, Hauptkomponenten und Faktoranalyse. Die Schlüsselwörter in jedem Bereich entsprechen denen in derselben Zeile anderer Bereiche. *Nicht auf der Plattform verfügbar, da diese normalerweise nicht verwendet werden. Abbildung 3 hilft zu sehen, wie der Jargon einer Plattform mit dem Jargon der anderen zusammenhängt.
Zögern Sie also nicht aktualisieren zu JMP Pro 13.2 und profitieren Sie von dieser und anderen Verbesserungen JMP !
