Erfahren Sie mehr in unserem kostenlosen Online-Kurs:
Statistisches Denken zur industriellen Problemlösung
In diesem Video erfahren Sie, wie Sie unstrukturierte Textdaten mithilfe der Datei Pet Owner.jmp verarbeiten. Dieses Beispiel basiert auf der Datei Pet Survey.jmp in der JMP-Beispieldatenbibliothek.
In diesem Szenario wurden 150 Hunde- und Katzenbesitzer gefragt: „Denken Sie an Ihre Katze oder Ihren Hund.“ Was ist der erste Gedanke, der mir in den Sinn kommt?
Die Antworten finden Sie in der Spalte Umfrageantwort. Da es sich bei diesen Daten um unstrukturierten Text handelt, wurde der Modellierungstyp Unstrukturierter Text angewendet.
Um diese Daten zu analysieren, wählen wir Text Explorer aus dem Analysemenü in JMP.
Als Textspalte wählen wir „Umfrageantwort“.
Die Standardsprache ist Englisch, es sind jedoch auch andere Sprachen verfügbar.
Für die Tokenisierung, Benennung und Formulierung gibt es mehrere Möglichkeiten.
Mithilfe der Phrasenoptionen können Sie die maximale Anzahl von Wörtern pro Phrase und die maximale Anzahl anzuzeigender Phrasen festlegen.
Mit den Wortoptionen können Sie die minimale Wortgröße und die maximale Anzahl von Zeichen pro Wort festlegen.
Mithilfe der Wortstamm-Option können Sie Begriffe mit dem gleichen Wortstamm automatisch kombinieren.
Bei der Tokenisierung gibt es zwei Optionen: Regex und einfache Wörter. Der Standardwert ist Regex oder regulärer Ausdruck. Wenn Regex verwendet wird, werden die Dokumente mithilfe integrierter Ausdrücke und Symbole analysiert, einschließlich gebräuchlicher Satzzeichen, Leerzeichen und Tabulatoren. Mit der Option „Regex anpassen“ können Sie Ihren eigenen benutzerdefinierten Ausdruck hinzufügen.
Wir verwenden die Standardoptionen und klicken auf OK.
Hinter den Kulissen hat JMP die Daten tokenisiert. Satzzeichen, Abstände und Symbole sowie grundlegende Wörter wie „a“, „an“ und „the“ wurden entfernt.
Die Zusammenfassung oben gibt die Anzahl der eindeutigen Begriffe, die Anzahl der Dokumente (oder Fälle), die Gesamtzahl der Token und die durchschnittliche Anzahl der Token pro Fall an.
Die Begriffsliste und die Phrasenliste werden ebenfalls bereitgestellt.
Es gibt mehrere interessante Sätze. Beispielsweise hat der Ausdruck „Entenjagd“ mehr Bedeutung als die einzelnen Wörter „Ente“ und „Jagd“.
Um die Top-Phrasen zur Begriffsliste hinzuzufügen, wählen wir die Phrasen aus, klicken mit der rechten Maustaste und wählen Phrase hinzufügen.
Schauen wir uns die Begriffsliste genauer an. Wir klicken in der Begriffsliste auf das Wort „Begriff“, um die Einträge alphabetisch zu sortieren.
Während wir durch die Liste scrollen, können Ihnen einige Tippfehler auffallen. Beispielsweise sollte der Begriff „doggs“ als „dogs“ geschrieben werden.
Wenn Sie Tippfehler korrigieren oder Begriffe mit derselben Bedeutung zu einem Begriff zusammenfassen möchten, können Sie die Begriffe auswählen, mit der rechten Maustaste klicken und „Neu kodieren“ auswählen. Angenommen, wir möchten diese beiden Begriffe zu einem Begriff zusammenfassen: „Hunde“. Wir wählen die beiden Werte aus, klicken auf „Gruppe“, benennen die Gruppe in „Hunde“ um und klicken dann auf „Neu kodieren“.
Was ist mit den Begriffen „Hund“ und „Hunde“ oder „Ente“ und „Enten“?Diese Wörter haben die gleiche Basis oder den gleichen Stamm. Wenn Sie Begriffe mit demselben Wortstamm kombinieren möchten, können Sie die Wortstammerkennung nutzen.
Dazu klicken wir auf das obere rote Dreieck und wählen dann „Termoptionen“, „Stemming“ und dann „Stamm zum Kombinieren“ aus.
Der Punkt am Ende der Begriffe zeigt an, dass Stammbegriffe kombiniert wurden. Wenn wir den Cursor auf diese Stammbegriffe positionieren, sehen wir die Liste der zusammengefassten Begriffe.
Wir klicken zweimal auf die Spalte „Anzahl“, um in absteigender Reihenfolge zu sortieren. Beachten Sie, dass die obersten Begriffe „Katze“ und „Hund“ sind. Da wir wissen, dass diese Daten aus einer Umfrage über Katzen und Hunde stammen, sind diese Begriffe nicht besonders nützlich.
Um diese Begriffe zu entfernen, können wir sie als Stoppwörter hinzufügen. Dazu wählen wir die Begriffe aus,
Klicken Sie mit der rechten Maustaste und wählen Sie Stoppwort hinzufügen.
Jetzt können Sie sehen, dass sich die häufigsten Begriffe auf Bellen, Gehen, Springen und Videos beziehen.
Wir speichern das Skript für diese Analyse in der Datentabelle, damit wir dieselbe Analyse später wiederholen können.
