Los eventos actuales estimulan un experimento mental
El otro día vi un titular en las noticias sobre un profesor que suspendió a la mitad de los estudiantes en una clase por usar una IA para escribir sus ensayos finales. Resultó que el titular era mucho más emocionante que la historia real: en un giro irónico, el profesor abusó de la IA en un esfuerzo por detectar el uso de la IA. De todos modos, eso me hizo pensar, ¿JMP puede determinar quién escribió un cuerpo de texto y puede hacer esto para alguien que no sabe mucho sobre análisis de texto? Resulta que JMP Pro puede, como se muestra en el siguiente gráfico:
Obtener texto para analizar
Como no tengo acceso a un montón de trabajos de estudiantes, usé Proyecto Gutenberg , que alberga libros cuyos derechos de autor han expirado. Elegí seis libros de cinco autores como candidatos:
- "El gran Gatsby" de F. Scott Fitzgerald
- "Moby Dick" de Herman Melville
- "Frankenstein" de Mary Shelley
- "La llamada de lo salvaje" de Jack London
- "El retrato de Dorian Gray" de Oscar Wilde
- "La importancia de llamarse Ernesto" de Oscar Wilde
Un autor estadounidense o británico escribió cada uno de estos libros, y su idioma original era el inglés. Tomé esta decisión porque no quería arruinar las cosas eligiendo accidentalmente libros cuyos traductores fueran la misma persona.
Importación y limpieza
Importar el texto es fácil: simplemente coloque todos los libros como archivos de texto individuales en una sola carpeta y use la herramienta de importación de archivos múltiples como se muestra a continuación. Me aseguré de seleccionar las opciones para agregar una columna para el nombre del archivo, agregar una línea por fila y apilar archivos similares. El resultado final es una tabla de datos con unas 53.000 filas.
La limpieza de datos implicó la eliminación de líneas en blanco y la información del encabezado al principio de cada libro, así como la creación de un nombre de columna para el autor de cada libro. Me apoyé mucho en las columnas de fórmula integradas para esto, especialmente en la columna de fórmula Primera palabra. Adjunté una copia del archivo de datos final como Cleaned Text.jmp, por lo que cualquiera que lea debería poder seguir el análisis.
Ejecutando el análisis
Para hacer el análisis, seleccione Analizar...Explorador de texto, luego coloque las columnas Texto y Nombre de archivo en el cuadro de diálogo como se muestra en la imagen a continuación. Deje todas las demás opciones en sus valores predeterminados; seleccione Aceptar para continuar.
A continuación, en el menú Triángulo rojo del Explorador de texto, elija Análisis discriminante y, en el primer cuadro de diálogo que aparece, seleccione la columna Autor para decirle a JMP Pro que desea determinar qué autor escribió cada línea. Tenga en cuenta que el análisis discriminante de texto solo está disponible en JMP Pro.
Haga clic en Aceptar en el segundo cuadro de diálogo (que se muestra a continuación) para aceptar los valores predeterminados e iniciar el análisis. Este paso puede tardar alrededor de un minuto en completarse, ya que JMP hace operaciones matemáticas en segundo plano.
Resultados iniciales a resultados finales
En la sección Resumen de clasificación, las cosas no parecen muy prometedoras al principio: el modelo clasifica incorrectamente el 64,5 % de las líneas. Pero ten en cuenta que cada una de las líneas tiene, como máximo, 80 caracteres de texto, y que cada uno de los libros tiene miles de líneas. Necesitamos una forma de ver el panorama general, lo que implica pasar tiempo con la tabla Tasa prevista debajo de la sección Tasa de clasificación errónea.
Al hacer clic con el botón derecho en la tabla Tasa pronosticada y seleccionar Convertir en tabla de datos, seguido de un apilamiento rápido de la tabla de datos, se crea la tabla que se muestra a continuación (y se adjunta como Resumen de clasificación - Stacked.jmp).
Con Graph Builder, un mapa de calor de Autor previsto frente a autor muestra que la predicción más alta para cada autor es correcta, con la excepción de Oscar Wilde en la esquina superior derecha. Esto es bueno, pero no perfecto.
Otra plataforma que puede ser útil aquí es Analizar... Métodos multivariantes... Análisis de correspondencias múltiples. Ejecutarlo como se muestra a continuación crea un gráfico muy útil, que muestra que el autor previsto está muy cerca del autor real. Oscar Wilde, nuevamente, no es una predicción tan cercana como los demás, pero está lo suficientemente cerca como para poder tomar una buena decisión.
Conclusión y pensamientos adicionales
Si bien la herramienta Análisis discriminante al principio no parecía haber predicho claramente qué autor escribió cada libro, una pequeña exploración adicional de la salida mostró resultados mucho más prometedores: sin necesidad de comprender las opciones en el Explorador de texto o el Análisis discriminante, JMP Pro fue capaz de crear una buena predicción de qué autor escribió cada libro.La incertidumbre en torno a la predicción de Oscar Wilde es un poco mayor que las demás, pero podría deberse a:
- Tener dos de sus libros en el conjunto de datos.
- Simplemente aceptando la configuración predeterminada, tal vez el modelo podría ajustarse, o
- El hecho de que "La importancia de llamarse Ernesto" fuera una obra de teatro y no una novela, hecho que solo descubrí después de hacer el análisis.
Supongo que la opción C es la razón. Podría ser divertido repetir este experimento con otros autores y otros libros de muestra. Me interesan los resultados que tenga si vuelve a ejecutar el experimento. ¡Por favor publique sus resultados en los comentarios!
Esto es fascinante, Jed.Dado que el tamaño del archivo 'Wilde' era más pequeño que los demás, me pregunto si eso podría explicar la predicción ligeramente menos precisa.¿Muestra más grande, mejor predicción?De nuevo, esto es genial.¡Con este método, podrías desenmascarar al escritor fantasma!
@chuck_boiler Definitivamente esa es una posibilidad. Creo que el factor más importante es que "La importancia de llamarse Ernesto" es una obra de teatro, lo que significa que su estilo escrito es muy diferente al de todas las demás obras. En realidad, cuando pienso más en ello, la combinación es aún más impresionante, ya que abarca géneros.
