Aktuelle Ereignisse regen zu einem Gedankenexperiment an
Ich habe neulich in den Nachrichten eine Schlagzeile über einen Professor gesehen, der die Hälfte der Studenten einer Klasse im Stich gelassen hat, weil sie eine KI zum Verfassen ihrer Abschlussaufsätze eingesetzt haben. Es stellte sich heraus, dass die Überschrift viel spannender war als die eigentliche Geschichte: In einer ironischen Wendung nutzte der Professor KI, um den Einsatz von KI aufzudecken. Wie auch immer, das hat mich zum Nachdenken gebracht: Kann JMP feststellen, wer einen Text geschrieben hat – und kann es das für jemanden tun, der nicht viel über Textanalyse weiß? Es stellt sich heraus, dass JMP Pro dies kann, wie in der folgenden Grafik dargestellt:
Text zum Analysieren bringen
Da ich keinen Zugriff auf viele studentische Arbeiten habe, habe ich sie verwendet Projekt Gutenberg , das Bücher hostet, deren Urheberrecht abgelaufen ist. Als Kandidaten habe ich sechs Bücher von fünf Autoren ausgewählt:
- „Der große Gatsby“ von F. Scott Fitzgerald
- „Moby Dick“ von Herman Melville
- „Frankenstein“ von Mary Shelley
- „Der Ruf der Wildnis“ von Jack London
- „Das Bildnis des Dorian Gray“ von Oscar Wilde
- „The Importance of Being Earnest“ von Oscar Wilde
Jedes dieser Bücher wurde entweder von einem amerikanischen oder britischen Autor geschrieben, und ihre Originalsprache war Englisch. Ich habe diese Wahl getroffen, weil ich die Sache nicht ruinieren wollte, indem ich versehentlich Bücher auswählte, deren Übersetzer dieselbe Person war.
Import und Bereinigung
Das Importieren des Textes ist einfach: Legen Sie einfach alle Bücher als einzelne Textdateien in einem einzigen Ordner ab und verwenden Sie das Tool zum Importieren mehrerer Dateien, wie unten abgebildet. Ich habe darauf geachtet, die Optionen zum Hinzufügen einer Spalte für den Dateinamen, zum Hinzufügen einer Zeile pro Zeile und zum Stapeln ähnlicher Dateien auszuwählen. Das Endergebnis ist eine Datentabelle mit etwa 53.000 Zeilen.
Bei der Datenbereinigung wurden Leerzeilen und Kopfzeileninformationen am Anfang jedes Buchs entfernt sowie ein Spaltenname für den Autor jedes Buchs erstellt. Ich habe mich dabei stark auf die integrierten Formelspalten gestützt, insbesondere auf die Formelspalte „Erstes Wort“. Ich habe eine Kopie der endgültigen Datendatei als Cleaned Text.jmp angehängt, damit jeder, der sie liest, der Analyse folgen kann.
Ausführen der Analyse
Um die Analyse durchzuführen, wählen Sie „Analysieren...Text-Explorer“ und platzieren Sie dann die Spalten „Text“ und „Dateiname“ im Dialogfeld, wie in der Abbildung unten gezeigt. Belassen Sie alle anderen Optionen auf ihren Standardwerten. Wählen Sie OK, um fortzufahren.
Wählen Sie anschließend im Menü „Rotes Dreieck“ des Text-Explorers die Option „Diskriminanzanalyse“ und wählen Sie im ersten angezeigten Dialogfeld die Spalte „Autor“ aus, um JMP Pro mitzuteilen, dass Sie ermitteln möchten, welcher Autor die einzelnen Zeilen geschrieben hat. Beachten Sie, dass die Textdiskriminanzanalyse nur in JMP Pro verfügbar ist.
Klicken Sie im zweiten Dialogfeld (siehe Abbildung unten) auf OK, um die Standardeinstellungen zu übernehmen und die Analyse zu starten. Dieser Schritt kann etwa eine Minute dauern, da JMP im Hintergrund Berechnungen durchführt.
Erste Ergebnisse bis hin zu Endergebnissen
Im Abschnitt „Klassifizierungszusammenfassung“ sieht es zunächst nicht sehr vielversprechend aus – das Modell klassifiziert 64,5 % der Linien falsch. Beachten Sie jedoch, dass jede Zeile höchstens 80 Zeichen Text umfasst und dass jedes Buch Tausende von Zeilen umfasst. Wir brauchen eine Möglichkeit, das Gesamtbild zu betrachten. Dazu müssen wir uns mit der Tabelle „Vorhergesagte Rate“ unter dem Abschnitt „Fehlklassifizierungsrate“ befassen.
Wenn Sie mit der rechten Maustaste auf die Tabelle „Vorhergesagte Rate“ klicken und „In Datentabelle umwandeln“ auswählen, gefolgt von einem schnellen Stapeln der Datentabelle, wird die unten abgebildete Tabelle erstellt (und als Klassifizierungszusammenfassung angehängt – Stacked.jmp).
Mithilfe von Graph Builder zeigt eine Heatmap des vorhergesagten Autors gegenüber dem Autor, dass die höchste Vorhersage für jeden Autor richtig ist, mit Ausnahme von Oscar Wilde in der oberen rechten Ecke. Das ist gut, aber nicht perfekt.
Eine weitere Plattform, die hier hilfreich sein kann, ist Analyze...Multivariate Methods...Multiple Correspondence Analysis. Wenn Sie es wie unten gezeigt ausführen, wird ein sehr hilfreiches Diagramm erstellt, das zeigt, dass der vorhergesagte Autor dem tatsächlichen Autor sehr nahe kommt. Auch hier kommt Oscar Wilde einer Vorhersage nicht so nahe wie die anderen, aber sie ist nah genug, um eine gute Entscheidung treffen zu können.
Fazit und weitere Gedanken
Während das Tool zur Diskriminanzanalyse zunächst nicht eindeutig vorherzusagen schien, welcher Autor das jeweilige Buch geschrieben hat, ergab eine weitere Untersuchung der Ausgabe viel vielversprechendere Ergebnisse: ohne dass die Optionen im Text-Explorer oder in der Diskriminanzanalyse JMP Pro verstanden werden mussten konnte eine gute Vorhersage darüber treffen, welcher Autor welches Buch geschrieben hat.Die Unsicherheit bei Oscar Wildes Vorhersage ist etwas größer als bei den anderen, könnte aber folgende Ursachen haben:
- Habe zwei seiner Bücher im Datensatz.
- Wenn man einfach die Standardeinstellungen akzeptiert, könnte das Modell möglicherweise angepasst werden, oder
- Die Tatsache, dass „The Importance of Being Earnest“ ein Theaterstück und kein Roman war, habe ich erst nach der Analyse entdeckt.
Ich vermute, dass Option C der Grund ist. Es könnte Spaß machen, dieses Experiment mit anderen Autoren und anderen Beispielbüchern zu wiederholen. Ich bin an den Ergebnissen interessiert, die Sie erzielen, wenn Sie das Experiment erneut durchführen. Bitte posten Sie Ihre Ergebnisse in den Kommentaren!
Das ist faszinierend, Jed.Da die Größe der „Wilde“-Datei kleiner war als die der anderen, frage ich mich, ob dies die etwas ungenauere Vorhersage erklären könnte.Größere Stichprobe, bessere Vorhersage?Auch das ist sehr cool.Mit dieser Methode entlarven Sie vielleicht den Ghostwriter!
@chuck_boiler Das ist definitiv eine Möglichkeit. Ich denke, der größere Faktor ist, dass „The Importance of Being Earnest“ ein Theaterstück ist, was bedeutet, dass sein Schreibstil sich stark von dem aller anderen Werke unterscheidet. Je länger ich darüber nachdenke, desto beeindruckender wird die Übereinstimmung, da sie genreübergreifend ist.
