| Vocero |
Transcripción |
| Scott Wise |
Exploración de textos de investigación. Me llamo Scott Wise y soy el director sénior del equipo de educación de JMP. |
| |
Y tengo una presentación muy divertida para que la veamos hoy y los objetivos de esta presentación son brindarles un poco más de familiaridad. |
| |
con las capacidades y lo fácil que es hacer exploración de texto en JMP y JMP Pro, además de mostrarle una forma diferente de ver la exploración de texto, como, ¿puedo hacer algo con él para investigar como lo haría un detective? |
| |
Bien, vamos a hablar del chili de mi abuela y cómo se relaciona con un concurso de chili texano. Antes de empezar, |
| |
Desmitifiquemos algunos términos relacionados con la minería de texto. Para mí, son cinco pasos sencillos. Se dedica tiempo a resumir los datos, literalmente, a descubrir qué palabras del texto aparecen con mayor frecuencia, incluso qué combinación de palabras aparece con mayor frecuencia. |
| |
Entonces, ¿a qué se refiere esto? Revisar texto no estructurado, ¿verdad? Y luego esto... podría ser cualquier cosa. Podría ser una frase que tu cliente te dio sobre el rendimiento de tu producto o servicio. Podría ser... |
| |
Podrían ser las redes sociales, ¿verdad?, donde sabes lo que le gusta o no le gusta a la gente en función de los comentarios. |
| |
algo sobre su producto o servicio o podría ser este tipo, algo así como una receta. |
| |
Incluso lo he visto hacerse en materia de patentes, cuando la gente investiga cuáles son las cosas populares para las que se solicitan patentes y si deberíamos hacer eso. |
| |
En resumen, descubrir qué palabras son las más importantes. Ahora viene la preparación: reducir la lista de palabras que te interesan. |
| |
Por supuesto, no seríamos JMP si no pudiéramos visualizarlo, analizarlo y modelarlo. Incluso podemos realizar modelado avanzado. Para ello, usaré JMP Pro, versión 15.1. |
| |
y me aseguraré de señalar lo que puede hacer en JMP y dónde realmente incluyo un poco de Pro que ayuda a responder mejor mi pregunta. |
| |
Documento, corpus y término. El documento será... |
| |
Lo que estás analizando es básicamente el cuerpo del texto, cada fila. Así que estas son mis recetas para mi ejemplo. |
| |
Podrían ser diferentes clientes los que te han comentado sobre tu producto o servicio. El corpus es, en realidad, el texto no estructurado que intentas gestionar, el cuerpo del texto que vas a analizar. |
| |
Y luego, los términos serán las palabras o combinaciones de palabras que te interesen y que te ayuden a responder una pregunta. Hablemos de la historia. ¿Sabes por qué se me ocurrió buscar recetas de chili? Bueno, esto nos lleva de vuelta a... |
| |
Hace casi 25 años, cuando me mudé por primera vez a Texas y empecé a trabajar para una gran empresa, y como la mayoría de las grandes empresas en Texas, organizaron un gran concurso de chili texano. |
| |
Y me pidieron que participara. Todos participaron. Pero también me pidieron que hiciera algo más que eso: que fuera juez. |
| |
Así que debí haber rechazado al juez. Pensé que era un honor para el nuevo, pero creo que era el único al que podían dárselo. Descubrí por qué. |
| |
Pero hablemos primero de la reacción al chili que traje. Tenía una receta de chili que mi familia siempre ha usado y que me dio mi abuela, la abuela Lillian. |
| |
Esto no es chili. Esto no es lo que los tejanos consideraban chili. |
| |
La buena noticia era que tendría que llevarme lo que fuera a casa porque me encanta. Consideraron algo más que chili. Su chili no llevaba frijoles. No era sustancioso. Era muy picante, muy caldoso. |
| |
El mío tenía carne de res. El de ellos tenía principalmente cerdo. Tenían todo incluido. Y aquí está la otra cosa que me metió en problemas. No solo no les gustó el chili de mi abuela, sino que casi no sobreviví al juicio. |
| |
Porque la verdadera insignia de honor de un verdadero tejano es preparar el plato de chili más picante. Así que quieres vencer a tu vecino. Quieres vencer a tu compañero de trabajo. Así que aquí echaban todo tipo de chiles y especias picantes. |
| |
Y pensé, casi me hago un agujero en el estómago solo por probarlo y estás bebiendo toda esta leche, tratando de apagar el calor. Así que... |
| |
Fue un bautismo de fuego. Así que mi recomendación es que, a menos que te guste el calor, no te conviertas en juez, ¿verdad? Mala idea. Pero quería quedar bien; eso siempre me molestó. |
| |
¿Qué? ¿Por qué no le salió bien al chili de mi abuela? ¿De verdad hay distintos tipos de chili? ¿De dónde vienen? |
| |
Y resulta que el chile tiene una historia genial. Puedes ver algunos blogs y artículos históricos realmente interesantes al respecto, y lo más probable es que surja de... |
| |
Centroamérica, principalmente México. Hay algunos platillos ligeros, pero en San Antonio, se vio por primera vez que se vendía en el estado; ahora sabemos que es chile. |
| |
En la antigua plaza de San Antonio, junto al Álamo. Se usaba en arreos de ganado y empezó a popularizarse, extendiéndose por todo el centro del país, hasta llegar al Medio Oeste. |
| |
Y me dijeron que, ya sabes, muchas innovaciones culinarias se crearon en la Feria Mundial de San Luis, ya sabes, realmente despegaron cuando se mostraron, esta fue una de ellas. El chile llegó a la |
| |
Feria Mundial de San Luis y realmente se hizo popular. |
| |
Hay diferentes variedades. La idea era explorar el texto de los ingredientes y las recetas. Simplemente tomar la receta completa, añadirla y ver qué pasa. |
| |
¿Y con qué quiero compararlo? Así que busqué las regiones tradicionales; teníamos varias, desde Texas hasta Michigan. |
| |
En Texas, tenemos diferentes variedades. El que estaba probando era el Texas Bowl Red. Es chili con carne. |
| |
El pastel frito es algo que se sirve en un partido de fútbol americano, pero es tan popular que Luisiana tiene su propia versión. Nuevo México, con chiles verdes y pollo, tiene su propia versión. Oklahoma, Kansas City, Springfield, |
| |
Illinois, Cincinnati con el chili del horizonte, oye, ponlo sobre espaguetis. Michigan. Coney Island, los hot dogs, ya sabes, la salsa de chili que les ponen ahí es realmente chili. |
| |
Chile blanco, de origen desconocido. Chile vegetariano. Pero ahora hay muchos estilos. |
| |
Entonces dije, si tomo tres recetas de cada uno de estos estilos y las comparo con el chili de control de mi abuela, ¿puedo encontrar lo que estoy buscando? |
| |
Entonces, vamos a hacer esto y te lo voy a mostrar, mientras recorro los pasos, te mostraré un resumen de los pasos y luego iré detrás y te mostraré cómo lo hago en JMP. |
| |
El primer paso será resumir los datos. Queremos encontrar las palabras que nos interesan. |
| |
Ahora, ¿qué pasa cuando entras? |
| |
Cualquiera de estos análisis de texto, estos datos de texto, como mis ingredientes, en un explorador de texto, lo ejecutará a través de una biblioteca. |
| |
de expresiones regulares, y pensar en la palabra como algo regular, simplemente cosas que son parte del habla cotidiana. |
| |
Y no son tan útiles. No sirve si tengo "the" y "and" en mi lista. Así que intenta ayudarte a encontrar palabras que no te interesan. Y sí, se puede personalizar. |
| |
Y ya tiene uno bastante potente incorporado, y eso es lo que usé. Y luego, la lematización. La lematización es donde vas y |
| |
Di cómo quieres tratar las palabras similares, entonces "dice" es "dice", "dicendo", tienes plurales, diferentes... diferentes... |
| |
Diferentes versiones de la raíz. ¿Quieres contarlo todo en la raíz o por separado? Eso es algo a considerar. |
| |
Y luego, después de resumir, permítanme tomar estas palabras. Pueden ver que tengo una pequeña lista de palabras aquí. La de atrás no está editada y la de adelante... |
| |
En realidad, hemos revisado y reducido la lista de palabras. Lo que hacemos es buscar palabras que no nos interesan, las llamamos palabras vacías, es decir, eliminarlas y agregarlas de nuevo a mi biblioteca de palabras que no me interesan. |
| |
También puedes traer frases que realmente importen. Y una vez que las tengas, podremos visualizar algunas. |
| |
Y veremos que, en mi caso, me interesé mucho por los ingredientes. Así que veremos qué ingredientes aparecieron con más frecuencia. |
| |
Y a menudo vemos nubes de palabras aquí, y nubes de palabras, ya sabes, cuanto más grande es la palabra, más frecuente es. |
| |
Y puedes verlo en una nube, como un... un diseño esporádico, o puedes verlo en un orden donde, ya sabes, lo primero que aparece es la palabra más grande. Eso es como... |
| |
El gráfico que está delante de la diapositiva. Después, haremos algo con él. Así podremos crear algunos modelos básicos. |
| |
Y una de las maneras más fáciles de hacerlo es, una vez que sabemos qué palabras de nuestra lista nos interesan, |
| |
Podemos agregarlo de nuevo a nuestra tabla de datos. Esto se llama guardar la matriz de términos del documento. En este caso, una forma sencilla de hacerlo es simplemente usar los binarios. Tengo una columna separada aquí, como pueden ver a mi derecha, donde... |
| |
"Cebolla" tiene un uno en las filas, ya sabes, la receta. Tiene cero si no está, así que puedes tener ceros y unos aquí en las columnas. Y puedes ver cuál es el más importante. |
| |
Y muchas veces estás tratando de modelar algo como, si estuviera estancado, |
| |
Quizás obtuve las puntuaciones de evaluación con esto y puedo decir, bueno, aquí hay una puntuación numérica vinculada a cada receta. Quiero ver qué ingredientes... |
| |
Son comunes y resultan en una puntuación alta. Quizás sea algo que estoy haciendo, así que intenta ser un poco más predictivo. |
| |
En este caso, voy a analizar la agrupación. Me interesa mucho agrupar, como las recetas, y ver dónde se clasifica el chili de mi abuela. Les mostraré cómo lo haremos. Pero primero, vayamos a JMP y les mostraremos cómo realizamos estos pasos. |
| |
Así que aquí están mis datos sin procesar. |
| |
En cada documento aquí, cada fila es... tengo mi texto no estructurado y, en mis casos, son solo los ingredientes crudos. |
| |
Y si hago clic en cualquiera de estas celdas, pueden ver que son los ingredientes copiados. Ahí está el primero, el de chile cajún de Luisiana. |
| |
Tiene palabras que me interesan, como "tomate", "chile en polvo" y "miel". Tiene palabras que no me interesan, como "lata". |
| |
Probablemente no me importen mucho las medidas de los ingredientes, como "una", "dos libras", "cucharaditas". Entonces, ¿cómo vamos a solucionar esto? Lo que vamos a hacer... |
| |
Vamos a ir a Analizar y luego al Explorador de texto y simplemente colocaremos esos ingredientes en la columna de texto. |
| |
Voy a preguntar por la lematización, cómo hacerlo para todos los términos. Me parece muy útil. Y luego usaré la expresión regular integrada. |
| |
Digo ok y ahora aquí está mi lista inicial. |
| |
Ahora puedo seleccionar las cosas que no me interesan. No me interesan los números. Quizás pueda ir aquí, resaltarlas, hacer clic derecho y añadir una palabra vacía, y así se añadirá a la lista de cosas que no me interesan. |
| |
¿Y qué tal "chile en polvo"? Parece algo que necesita estar solo. Así que haré clic derecho en esa frase. Diré "agregar frase" y la añadiré. |
| |
Entonces vas y haces esto hasta que obtienes una lista simplificada y de tamaño reducido. |
| |
Solo voy a correr mi |
| |
Mi lista terminada. Y aquí están todas las palabras que se encontraron de la expresión regular, y también |
| |
cosas que agregué |
| |
Y palabras vacías. Y ahora, aquí está mi lista completa de términos y frases. Y así, he añadido estas frases que me interesan. Así que "cebolla" fue la más usada, luego "sal", luego "comino" y luego "chile en polvo". |
| |
Como pueden imaginar, sería muy útil visualizar esto, y tenemos una nube de palabras. Aquí está la nube de palabras para todo lo que contiene. Y, de nuevo, debajo de las opciones del triángulo rojo, puedo cambiarlo a un orden para que el resultado sea más nítido. |
| |
Si lo mantengo centrado, es algo divertido. Puedes agregar filtros a tus datos y, a veces, encontrar la respuesta visualmente sin tener que hacer nada más. En ese caso, voy a profundizar en esto. |
| |
Triángulo rojo. Voy a obtener un filtro de datos local. Solo miraré el tipo y diré: "Bueno, echemos un vistazo a..." |
| |
Así es el chili de la abuela Lillian, ya sabes, con "tomates", "frijoles rojos" y "carne", ese tipo de cosas. ¿Y cómo se compara con el chili cajún? |
| |
Bueno, compartían chile en polvo y carne, pero, ya sabes, puede que tuvieran cosas diferentes. ¿Sabes cómo se compara eso con el chile verde? |
| |
Ya sabes, que es más bien chile verde. Y llevan chiles crudos y jalapeños, caldo de pollo, todo ese tipo de cosas, caldo de pollo. |
| |
Esto es muy interesante, pero probablemente no me baste para entender qué está pasando. Así que fui. |
| |
(y esta es otra... tienes todas las opciones aquí debajo de tu triángulo rojo) Me aseguré (y probablemente necesito asegurarme aquí) de desactivar mi filtro de datos local, asegurarme de que todo esté seleccionado, de que estoy mirando todos mis términos. |
| |
Tengo 299. Haré clic derecho y diré "guardar matriz de términos del documento". |
| |
Al hacerlo, me preguntó cómo quería guardarlo, con ponderaciones. Es básicamente binario: hay frecuencias que puedo usar, cuántos términos, la frecuencia mínima de términos para que aparezcan en la tabla de datos. Y ya lo hice. |
| |
Entonces, si me deslizo y miro... |
| |
En realidad |
| |
Lo haré y les mostraré cómo se ve. Simplemente diré "guardar matriz de términos del documento" y diré "bien". |
| |
Y ahora, como les mostré en la diapositiva, ya tengo todos los términos que me interesan. Y está el primero para "cebolla". Aquí está el de "chile en polvo", y en relación con sus respectivos... |
| |
Receta, ya sabes, filas. |
| |
Entonces sé dónde hay uno, sé que este chile cajún tenía chile en polvo. |
| |
Cuando hay cero, |
| |
Este de aquí parece chile de Oklahoma o no, lo siento, el chile de Nuevo México no tenía chile en polvo, así es como funciona. Y esto se puede usar en modelado. Puedes ir a "Analizar ajuste del modelo" en JMP y aplicarlo a algún tipo de modelo. |
| |
Pero lo que voy a hacer es, como realmente no intento predecir qué ingredientes me darán una puntuación más alta. No tengo ninguno, ya sabes, |
| |
Ya sabes, los datos de salida. Quiero agruparlos y escuché que en JMP Pro puedo hacerlo. Así que volveré a mis diapositivas. |
| |
Y voy a hablar sobre el análisis de los datos. Para hacer un análisis más profundo... |
| |
en JMP Pro, le permite realizar algunas técnicas de agrupamiento realmente buenas y estos son métodos multivariados y están especializados para manejar análisis de texto y trabajar con esas matrices de términos de documentos que se tratan de texto. |
| |
Y utiliza algo llamado análisis de clases latentes. Es uno de los términos. Y es similar a los componentes principales, si estás acostumbrado a usar esa técnica. Pero básicamente va a... |
| |
Pregúntenos cuántas agrupaciones o clústeres de datos queremos analizar. Analizará ese espacio multidimensional. |
| |
entre todo lo que está en esas columnas y la matriz de términos de su documento para los términos importantes en su modelo aquí, los términos importantes que tenemos en la palabra |
| |
Lista de palabras, ¿verdad? Y las agrupará. En mi caso, pude reducirla a tres grupos. |
| |
Entonces, hay un grupo que parecía tener muchas recetas de chile con carne molida, salsa de tomate, chile en polvo y frijoles. |
| |
Hay un grupo dos, que tenía mucho que ver con pollo y chiles verdes, chiles crudos aquí. |
| |
Y luego está el grupo tres, que tenía muchos chiles nuevamente, pero eran más bien chiles rojos y estaban basados en carne de cerdo y esto tenía mucho sentido. |
| |
Bien, entonces cuando creé estos grupos, pude usar una probabilidad de grupo por fila, esto me dio una idea de cuán fuertes eran esos grupos individuales. |
| |
Recetas, mis filas en mi documento, ¿verdad? Estas, estas originales... mi receta de control, ¿dónde se ubicaron y qué tan fuertes eran? ¿Por qué las asigné a un grupo específico? Y cuando hice esto, |
| |
El grupo 22 era el de mi abuela... era el de control. Y descubrí que se agrupó en el grupo uno junto con otras recetas, incluyendo las de Kansas City, Misuri. |
| |
Hay una en el número 24 que estuvo muy cerca. Ahora bien, las recetas texanas del grupo tres llevaban chiles picantes, especias... muchas especias, y a menudo cerdo y nada de frijoles, ¿verdad? Los frijoles aparecieron en el grupo uno, pero no en el grupo tres, y luego... |
| |
El grupo dos |
| |
era más para, ya sabes, es más para chile verde, |
| |
más por esas cosas que ves en Nuevo México, ya sabes, chile a base de pollo, cosas con chile verde. |
| |
Bien, lo que pasó fue que logré hacer la combinación y encontré una receta. Y una de las tres representativas de Missouri. |
| |
En realidad eso se llamaba chili de Kansas City y casi coincidía exactamente con el chili de la abuela Lillian. |
| |
Así que cuando le pregunté a mi madre sobre esto, le dije: "Bueno, ¿por qué pudo pasar esto? No pensé que viniera de Missouri". Y ella dijo: "Todo esto tiene sentido". Dijo: "Abuela Lillian, |
| |
Creció en una granja en St. Joseph, Misuri, y era la única niña. Tenía unos once o doce hermanos. Así que cocinaba mucho. |
| |
Por cierto, fue la única que obtuvo una educación universitaria, así que fue bastante progresista durante su vida y fue una de mis parientes favoritas, pero su receta lo demuestra claramente. Así que les mostraremos cómo se ve en vivo. |
| |
Entonces si voy a... |
| |
en este punto, |
| |
Regreso a los datos que había creado y, en ese punto de acceso, solicitaré estos modelos adicionales que JMP Pro puede proporcionar. Hay un análisis de clase latente que agrupa documentos utilizando ese método. |
| |
Se basa en el método binario para documentar la matriz de términos. Usa un documento... usa esa matriz de términos del documento, así que ni siquiera tienes que guardarlo, se genera automáticamente. |
| |
También existe un análisis semántico latente, que utiliza un poco más de matemática, un método un poco más avanzado, pero ambos hacen básicamente lo mismo, y me gustó especialmente este análisis de clases latentes. Así que lo seleccioné. |
| |
Pedí tres grupos, puedes experimentar con ellos para ver si hay alguna diferencia. Probé más grupos y volví a tres. |
| |
Y dentro de su |
| |
Opciones, puedes mirar las probabilidades del clúster por fila. |
| |
Y de todos los resultados, este es el que tenía más sentido. Así que recuerden, volviendo a mi diapositiva, esto me ayudó a ver dónde caía el chile de mi abuela. |
| |
Que era 22, |
| |
Fila 22. Y luego, ¿con qué más combinaba bien? Así fue como pude hacer este análisis. |
| |
Es así de simple. |
| |
Entonces, |
| |
Ese fue un recorrido muy rápido por las capacidades de hacer exploración de texto JMP en JMP y luego cómo pude usar JMP Pro y |
| |
Encuentra estos grupos, coloca el chile de mi abuela y encuentra una receta que combine. Si quieres más, tengo un enlace al blog. |
| |
En la presentación, puedes hacer clic o ir directamente a la Comunidad y escribir "chile de la abuela" para encontrar ese blog. Además, te daré... |
| |
La receta. Para que tú también puedas preparar el chili de la abuela Lillian. |
| |
Por eso agradecemos poder mostrarles esto hoy. |
| |
Por favor, asegúrense de dejar cualquier pregunta en la sección de preguntas y respuestas que podamos responder. Y prueben esto, prueben algo nuevo. |
| |
que tienes a tu alrededor en el trabajo, en casa, en cualquier lugar que tenga datos de texto no estructurados, donde te gustaría explorar y hacer la pregunta, y encontrarás que es un método fantástico, fantástico, muy poderoso y realmente te ayuda a atacar esa tercera dimensión de los datos. |
