Les événements actuels stimulent une expérience de pensée :
J'ai vu un titre dans les nouvelles l'autre jour à propos d'un professeur qui a échoué la moitié des étudiants d'une classe pour avoir utilisé une IA pour rédiger leurs essais finaux. Il s'avère que le titre était beaucoup plus excitant que l'histoire réelle : dans une tournure ironique, le professeur a abusé de l'IA dans le but de détecter l'utilisation de l'IA. Quoi qu'il en soit, cela m'a fait réfléchir : JMP peut-il déterminer qui a écrit un corps de texte, et peut-il le faire pour quelqu'un qui ne connaît pas grand-chose à l'analyse de texte ? Il s'avère que JMP Pro peut, comme le montre le graphique ci-dessous :
Obtenir du texte à analyser :
Comme je n'ai pas accès à un tas de papiers d'étudiants, j'ai utilisé Projet Gutenberg , qui héberge des livres dont les droits d'auteur ont expiré. J'ai choisi six livres de cinq auteurs comme candidats :
- Gatsby le Magnifique, de F. Scott Fitzgerald
- Moby Dick, d'Herman Melville
- Frankenstein, de Mary Shelley
- L'appel de la forêt, de Jack London
- Le Portrait de Dorian Gray, d'Oscar Wilde
- L'importance d'être sérieux, d'Oscar Wilde
Un auteur américain ou britannique a écrit chacun de ces livres, et leur langue d'origine était l'anglais. J'ai fait ce choix car je ne voulais pas gâcher les choses en choisissant accidentellement des livres dont les traducteurs étaient la même personne.
Importation et nettoyage :
L'importation du texte est simple : placez simplement tous les livres sous forme de fichiers texte individuels dans un seul dossier et utilisez l'outil d'importation de fichiers multiples comme illustré ci-dessous. Je me suis assuré de sélectionner les options pour ajouter une colonne pour le nom du fichier, pour ajouter une ligne par ligne et pour empiler des fichiers similaires. Le résultat final est une table de données avec environ 53 000 lignes.
Le nettoyage des données impliquait la suppression des lignes vides et des informations d'en-tête au début de chaque livre, ainsi que la création d'un nom de colonne pour l'auteur de chaque livre. Je me suis fortement appuyé sur les colonnes de formules intégrées pour cela, en particulier la colonne de formules First Word. J'ai joint une copie du fichier de données final sous Cleaned Text.jmp, afin que toute personne lisant puisse suivre l'analyse.
Exécution de l'analyse :
Pour faire l'analyse, sélectionnez Analyze...Text Explorer, puis placez les colonnes Text et File Name dans la boîte de dialogue comme dans l'image ci-dessous. Laissez toutes les autres options à leurs valeurs par défaut et sélectionnez OK pour continuer.
Ensuite, dans le menu Triangle rouge de l'explorateur de texte, choisissez "Analyse discriminante" et, dans la première boîte de dialogue qui s'affiche, sélectionnez la colonne Auteur pour indiquer à JMP Pro que vous souhaitez déterminer quel auteur a écrit chaque ligne. Notez que l'analyse discriminante du texte n'est disponible que dans JMP Pro.
Cliquez sur OK dans la deuxième boîte de dialogue (illustrée ci-dessous) pour accepter les valeurs par défaut et démarrer l'analyse. Cette étape peut prendre environ une minute, car JMP effectue des calculs en arrière-plan.
Résultats initiaux aux résultats finaux :
Dans la section Résumé de la classification, les choses ne semblent pas très prometteuses au premier abord : le modèle classe de manière erronée 64,5 % des lignes. Mais gardez à l'esprit que chacune des lignes contient au maximum 80 caractères de texte et que chacun des livres contient des milliers de lignes. Nous avons besoin d'un moyen d'avoir une vue d'ensemble, ce qui implique de passer du temps avec le tableau des taux prévus sous la section Taux d'erreur de classification.
Un clic droit sur le tableau des taux prévus et la sélection de Transformer en tableau de données, suivi d'un empilement rapide du tableau de données crée le tableau illustré ci-dessous (et joint en tant que Résumé de classification - Stacked.jmp).
À l'aide du générateur de graphiques, une carte thermique de l'auteur prédit par rapport à l'auteur montre que la prédiction la plus élevée pour chaque auteur est correcte, à l'exception d'Oscar Wilde dans le coin supérieur droit. C'est bien, mais pas parfait.
Une autre plateforme qui peut être utile ici est l'Analyse...Méthodes multivariées...Analyse des correspondances multiples. L'exécution comme indiqué ci-dessous crée un graphique très utile, qui montre que l'auteur prévu est très proche de l'auteur réel. Oscar Wilde n'est, encore une fois, pas aussi proche d'une prédiction que les autres, mais il est suffisamment proche pour prendre une bonne décision.
Conclusion et autres réflexions :
Bien que l'outil d'analyse discriminante ne semble pas avoir prédit proprement quel auteur a écrit chaque livre, une exploration un peu plus approfondie de la sortie a montré des résultats beaucoup plus prometteurs : sans avoir besoin de comprendre les options de l'explorateur de texte ou de l'analyse discriminante, JMP Pro a pu créer une bonne prédiction de l'auteur qui a écrit chaque livre.
L'incertitude autour de la prédiction d'Oscar Wilde est un peu plus grande que les autres, mais pourrait être due à
- lui ayant deux livres dans l'ensemble de données,
- moi acceptant simplement les paramètres par défaut - peut-être que le modèle pourrait être réglé, ou
- le fait que The Importance of Being Earnest est écrit comme une pièce de théâtre et non comme un roman, un fait que je n'ai découvert qu'après avoir fait l'analyse.
Je suppose que l'option c est la raison. Il pourrait être amusant de répéter cette expérience avec d'autres auteurs et d'autres livres d'échantillons. Je suis intéressé par les résultats que vous avez si vous relancez l'expérience. S'il vous plaît poster vos résultats dans les commentaires!
