Aktuelle Ereignisse regen zu einem Gedankenexperiment an:
Ich habe neulich in den Nachrichten eine Schlagzeile über einen Professor gesehen, der die Hälfte der Studenten einer Klasse im Stich gelassen hat, weil sie eine KI zum Verfassen ihrer Abschlussaufsätze eingesetzt haben. Es stellte sich heraus, dass die Überschrift viel spannender war als die eigentliche Geschichte: In einer ironischen Wendung nutzte der Professor KI, um den Einsatz von KI aufzudecken. Jedenfalls brachte mich das zum Nachdenken: Kann JMP feststellen, wer einen Text geschrieben hat, und kann es dies für jemanden tun, der nicht viel über Textanalyse weiß? Es stellt sich heraus, dass JMP Pro dies kann, wie in der folgenden Grafik dargestellt:
Text zum Analysieren bringen:
Da ich keinen Zugriff auf viele studentische Arbeiten habe, habe ich sie verwendet Projekt Gutenberg , das Bücher hostet, deren Urheberrecht abgelaufen ist. Als Kandidaten habe ich sechs Bücher von fünf Autoren ausgewählt:
- Der große Gatsby von F. Scott Fitzgerald
- Moby Dick von Herman Melville
- Frankenstein, von Mary Shelley
- Der Ruf der Wildnis von Jack London
- Das Bildnis des Dorian Gray von Oscar Wilde
- „The Importance of Being Earnest“ von Oscar Wilde
Jedes dieser Bücher wurde entweder von einem amerikanischen oder britischen Autor geschrieben, und ihre Originalsprache war Englisch. Ich habe diese Wahl getroffen, weil ich die Sache nicht ruinieren wollte, indem ich versehentlich Bücher auswählte, deren Übersetzer dieselbe Person war.
Importieren und Bereinigen:
Das Importieren des Textes ist einfach: Legen Sie einfach alle Bücher als einzelne Textdateien in einem einzigen Ordner ab und verwenden Sie das Tool zum Importieren mehrerer Dateien, wie unten abgebildet. Ich habe darauf geachtet, die Optionen zum Hinzufügen einer Spalte für den Dateinamen, zum Hinzufügen einer Zeile pro Zeile und zum Stapeln ähnlicher Dateien auszuwählen. Das Endergebnis ist eine Datentabelle mit etwa 53.000 Zeilen.
Bei der Datenbereinigung wurden Leerzeilen und Kopfzeileninformationen am Anfang jedes Buchs entfernt sowie ein Spaltenname für den Autor jedes Buchs erstellt. Ich habe mich dabei stark auf die integrierten Formelspalten gestützt, insbesondere auf die Formelspalte „Erstes Wort“. Ich habe eine Kopie der endgültigen Datendatei als Cleaned Text.jmp angehängt, damit jeder, der sie liest, der Analyse folgen kann.
Ausführen der Analyse:
Um die Analyse durchzuführen, wählen Sie „Analysieren...Text-Explorer“ und platzieren Sie dann die Spalten „Text“ und „Dateiname“ im Dialogfeld wie im Bild unten. Belassen Sie alle anderen Optionen auf ihren Standardwerten und wählen Sie OK, um fortzufahren.
Wählen Sie als Nächstes im Menü „Rotes Dreieck“ des Text-Explorers die Option „Diskriminanzanalyse“ und wählen Sie im ersten angezeigten Dialogfeld die Spalte „Autor“ aus, um JMP Pro mitzuteilen, dass Sie ermitteln möchten, welcher Autor die einzelnen Zeilen geschrieben hat. Beachten Sie, dass die Textdiskriminanzanalyse nur in JMP Pro verfügbar ist.
Klicken Sie im zweiten Dialogfeld (siehe Abbildung unten) auf OK, um die Standardeinstellungen zu übernehmen und die Analyse zu starten. Dieser Schritt kann etwa eine Minute dauern, da JMP im Hintergrund Berechnungen durchführt.
Erste Ergebnisse bis Endergebnisse:
Im Abschnitt „Klassifizierungszusammenfassung“ sehen die Dinge zunächst nicht sehr vielversprechend aus – das Modell klassifiziert 64,5 % der Linien falsch. Beachten Sie jedoch, dass jede Zeile höchstens 80 Zeichen Text umfasst und dass jedes Buch Tausende von Zeilen umfasst. Wir brauchen eine Möglichkeit, das Gesamtbild zu betrachten. Dazu müssen wir uns mit der Tabelle „Vorhergesagte Rate“ unter dem Abschnitt „Fehlklassifizierungsrate“ befassen.
Wenn Sie mit der rechten Maustaste auf die Tabelle „Vorhergesagte Rate“ klicken und „In Datentabelle umwandeln“ auswählen, gefolgt von einem schnellen Stapeln der Datentabelle, wird die unten abgebildete Tabelle erstellt (und als Klassifizierungszusammenfassung angehängt – Stacked.jmp).
Mit dem Graph Builder zeigt eine Heatmap des vorhergesagten Autors gegenüber dem Autor, dass die höchste Vorhersage für jeden Autor richtig ist, mit Ausnahme von Oscar Wilde in der oberen rechten Ecke. Das ist gut, aber nicht perfekt.
Eine weitere Plattform, die hier hilfreich sein kann, ist Analyze...Multivariate Methods...Multiple Correspondence Analysis. Wenn Sie dies wie unten gezeigt ausführen, wird ein sehr hilfreiches Diagramm erstellt, das zeigt, dass der vorhergesagte Autor dem tatsächlichen Autor sehr nahe kommt. Auch hier kommt Oscar Wilde einer Vorhersage nicht so nahe wie die anderen, aber sie ist nah genug, um eine gute Entscheidung zu treffen.
Fazit und weitere Gedanken:
Während das Tool zur Diskriminanzanalyse zunächst nicht eindeutig vorherzusagen schien, welcher Autor das jeweilige Buch geschrieben hat, ergab eine weitere Untersuchung der Ausgabe viel vielversprechendere Ergebnisse: ohne dass die Optionen im Text-Explorer oder in der Diskriminanzanalyse JMP Pro verstanden werden mussten konnte eine gute Vorhersage darüber treffen, welcher Autor welches Buch geschrieben hat.
Die Unsicherheit bei Oscar Wildes Vorhersage ist etwas größer als bei den anderen, könnte aber daran liegen
- er hat zwei Bücher im Datensatz,
- Ich akzeptiere einfach die Standardeinstellungen – vielleicht könnte das Modell angepasst werden, oder
- die Tatsache, dass The Importance of Being Earnest als Theaterstück und nicht als Roman geschrieben ist, eine Tatsache, die ich erst nach der Analyse entdeckte.
Ich vermute, dass Option C der Grund ist. Es könnte Spaß machen, dieses Experiment mit anderen Autoren und anderen Beispielbüchern zu wiederholen. Ich bin an den Ergebnissen interessiert, die Sie erzielen, wenn Sie das Experiment erneut durchführen. Bitte posten Sie Ihre Ergebnisse in den Kommentaren!
