758530_es-ES

liliconcom

Encontrar la fuente del chile de la abuela: minería de textos de investigación (2020-US-45MP-532)

Scott Wise, director sénior, equipo educativo de JMP, SAS

El poder de utilizar Text Mining es una gran herramienta para investigar todo tipo de texto no estructurado que comúnmente reside en nuestros datos recopilados. Desde notas capturadas sobre problemas de garantía, pruebas de laboratorio/comentarios experimentales, hasta incluso mirar recetas de comida, este nuevo método abre muchas oportunidades para comprender mejor nuestro mundo. En esta presentación, mostraremos cómo utilizar los últimos métodos de análisis de texto para ayudar a resolver un misterio familiar sobre la fuente regional de la deliciosa receta de chile de mi abuela. A lo largo del camino, veremos cómo utilizar la minería de texto para crear términos principales y listas de frases e informes de nubes de palabras. Luego utilizaremos la matriz de términos del documento resultante para realizar un análisis de temas (mediante agrupación de análisis de clases latentes) que nos permitirá encontrar una solución a nuestra pregunta. ¡Obtendrá una comprensión de los poderosos enfoques de minería de texto que puede agregar a su propia caja de herramientas y comenzar a resolver sus propios desafíos de datos de texto!

Transcripción generada automáticamente...

Vocero	Transcripción
Scott Wise	Exploración de textos de investigación. Mi nombre es Scott Wise y soy el director sénior del equipo educativo de JMP.
	Y tengo una presentación muy divertida para que la veamos hoy y los objetivos de esta presentación son brindarles un poco más de familiaridad.
	con las capacidades y lo fácil que es realizar exploración de texto en JMP y JMP Pro, además de mostrarles una forma diferente de ver la exploración de texto, como, ¿me vendría bien investigar algo como lo haría un detective?
	Bien, entonces vamos a hablar sobre el chili de mi abuela y cómo se relaciona con un concurso de cocina con chili de Texas. Antes de que comencemos,
	desacreditemos parte de la terminología relacionada con la minería de textos y, para mí, en realidad son cinco pasos simples. Dedica su tiempo a resumir los datos, literalmente, a descubrir qué palabras del texto aparecen con más frecuencia, incluso qué combinación de palabras aparece con más frecuencia.
	Entonces el ??? Llame a esto mirar texto no estructurado correctamente y luego esto, esto podría ser cualquier cosa. Esta podría ser una frase que le dio su cliente sobre el rendimiento de su producto o servicio. Podría ser...
	Podrían ser las redes sociales, donde sabes que puedes descubrir lo que le gusta o no a la gente en función de los comentarios.
	algo sobre tu producto o servicio o podría ser este tipo, algo así como una receta.
	Incluso he visto que se hace en patentes cuando la gente investiga cuáles son las cosas populares para las que la gente solicita patentes y deberíamos hacerlo.
	Entonces, realmente, resumir y descubrir qué palabras son las más importantes. Ahora viene algo de preparación, que es simplemente llegar a la lista más pequeña de las palabras que le interesan.
	Entonces, por supuesto, no seríamos JMP si no lo visualizamos y analizamos y también podemos modelarlo. Incluso podemos hacer algún modelado avanzado. Entonces usaré JMP Pro para hacer esto, versión 15.1,
	y me aseguraré de señalar lo que puedes hacer en JMP y dónde agrego un poco de Pro que ayuda a responder mejor mi pregunta.
	documento, corpus y término. El documento van a ser esos...
	esas cosas que estás analizando, básicamente el cuerpo de texto individual, cada fila del texto. Así que estas son mis recetas para mi ejemplo.
	Podrían ser diferentes clientes que le hayan comentado sobre su producto o servicio. Corpus es en realidad ese texto no estructurado que estás tratando de manejar, el cuerpo de ese texto que vas a analizar.
	Y luego los términos serán esas palabras o esa combinación de palabras que le interesan y que pueden ayudarle a responder una pregunta. Así que hablemos de la historia. Ya sabes, ¿por qué se me ocurrió mirar recetas con chile? Bueno, esto vuelve a
	Hace casi 25 años, cuando me mudé por primera vez a Texas y vine a trabajar para una gran empresa y, como la mayoría de las grandes empresas de Texas, tenían una gran cocina de chile de Texas.
	Y me pidieron que participara. Todos participaron. Pero también me pidieron que hiciera aún más que eso: me pidieron que fuera juez.
	Entonces debería haber rechazado al juez. Pensé que era un honor para el chico nuevo, pero creo que era el único al que se lo podían dar, descubrí por qué.
	Pero hablemos primero de la reacción al chile que traje. Tenía la receta de chile que mi familia siempre usó y vino de mi abuela, la abuela Lillian.
	Esto no es chile. Esto no es lo que los tejanos consideraban el chile.
	Ahora la buena noticia es que tendría que traerlo a casa porque disfruto comerlo. Consideraron algo más además del chile. Su chili no tenía frijoles. Su chili no era abundante. Hacía mucho calor, mucha sopa.
	El mío tenía carne de res. El suyo tenía principalmente carne de cerdo. Tenían todo dentro. Aquí está la otra cosa que me metió en problemas. No sólo no les gustó el chili de mi abuela, sino que casi no sobreviví al juicio.
	porque la verdadera insignia de honor de un verdadero tejano es preparar el plato de chile más picante. Entonces quieres vencer a tu vecino. Quieres vencer a tu compañero de trabajo. Entonces estaban arrojando aquí todo tipo de chiles y especias picantes impíos.
	Y pensé, casi me hago un agujero en el estómago solo tratando de probarlo y estás bebiendo toda esta leche, tratando de apagar el calor. Entonces
	fue un bautismo de fuego. Así que mi recomendación es que, a menos que te guste el calor, no entres como juez, ¿verdad? No es Buena idea. Pero quería colocar; eso siempre me molestó.
	¿Por qué no le fue bien al chile de mi abuela? ¿Existen realmente diferentes tipos de chile? ¿De dónde vienen?
	Y resulta que el chile tiene una historia realmente interesante. Puedes ver algunos blogs y artículos de historia realmente interesantes al respecto y lo más probable es que surgiera de
	Centroamérica, principalmente México. Y hay algunos platos ligeros, pero en San Antonio, se observó por primera vez que se vendía en el estado, sabríamos que ahora es chile,
	en la antigua plaza de San Antonio junto al Álamo. Y se usó en arreos de ganado y comenzó a volverse popular y luego se abrió camino por el centro del país, hasta el Medio Oeste.
	Y me dijeron que, ya sabes, se crearon muchas innovaciones alimentarias en la Feria Mundial de St. Louis, ya sabes, realmente despegaron cuando se mostraron, esta fue una de ellas. El chile llegó al
	Feria Mundial de St. Louis y realmente se hizo popular.
	Entonces hay diferentes variedades. Entonces la idea era si... ¿podría utilizar la exploración de texto sobre ingredientes y recetas? Simplemente toma la receta completa y viértela, mira qué pasa.
	¿Y con qué quiero compararlo? Entonces busqué cuáles eran las regiones tradicionales; Tuvimos varios, desde Texas hasta Michigan.
	En Texas tenemos diferentes variedades. El Texas Bowl Red es el que estaba probando. Eso es chili con carne. A
	El pastel de frito es algo que encontrarás en un partido de fútbol, ​​pero es muy popular y Luisiana tiene su propia versión. Nuevo México, con chiles verdes y pollo, tiene su propia versión. Oklahoma, Kansas City, Springfield,
	Illinois, Cincinnati con el chile del horizonte, lo pusieron sobre espaguetis. Michigan. Coney Island, los hot dogs, ya sabes, la salsa de chile que le ponen allí es muy picante.
	Chile blanco, se desconoce de dónde viene. Chile vegetariano. Pero hay muchos estilos que existen ahora.
	Entonces dije, si tomo tres recetas de cada uno de estos estilos y las comparo para controlar el chile de mi abuela, ¿podré encontrar lo que busco?
	Así que vamos a hacer esto y les mostraré, a medida que avance los pasos, les mostraré un resumen de los pasos y luego iré detrás y les mostraré cómo lo hago. en JMP.
	Los primeros pasos serán resumir los datos. Queremos encontrar esas palabras que nos importan.
	Ahora, ¿qué pasa cuando entras?
	Cualquiera de estos análisis de texto, estos datos de texto, como mis ingredientes, en un explorador de texto, los ejecutará a través de una biblioteca.
	de expresiones regulares y piense en la palabra como algo regular, solo cosas que son parte del habla cotidiana.
	Y no son tan útiles. No sirve de nada si tengo "el" y "y" en mi lista. Por eso intenta ayudar a extraer palabras que no te interesan. Y sí, se puede personalizar.
	Y ya tiene uno bastante fuerte incorporado, y eso es lo que usé. Y luego derivar. Derivar es a donde vas y
	di cómo quieres tratar las palabras similares, entonces "dados" es "dados", "dados", tienes plurales, diferentes...diferentes...
	diferentes versiones de la raíz de la palabra. ¿Quiere contarlo todo desde la raíz de la palabra o quiere separarlo? Entonces esa es una consideración.
	Y luego resumimos. Déjame entender estas palabras. Puedes ver que tengo una pequeña lista aquí de palabras. El de atrás no está editado y luego el de delante.
	en realidad es uno en el que hemos revisado y reducido el tamaño de esa lista de palabras. Entonces lo que haces es buscar palabras que no te interesan, las llamas palabras vacías, básicamente dices, elimínalas. Agréguelos nuevamente a mi biblioteca de cosas que no me importan.
	También puedes traer frases que realmente importen. Y una vez que los tenga, podremos visualizar algunos.
	Y vamos a poder ver, en mi caso, me interesé mucho en los ingredientes. Entonces podremos ver qué ingredientes salieron con más frecuencia.
	Y a menudo se ven nubes de palabras aquí, y nubes de palabras, ya sabes, cuanto más grande es la palabra, más frecuencia tiene.
	Y puedes verlo en una nube, como si fuera un... solo un diseño esporádico o puedes mirar un orden donde, ya sabes, lo primero que aparece es la palabra más importante. Eso es como el
	gráfico que está frente a su diapositiva. Y después de eso, vamos a hacer algo con ello. Y así podemos crear algunos modelos básicos.
	Y una de las formas más sencillas de hacerlo es, una vez que sepamos qué palabras de nuestra lista nos interesan,
	Podemos volver a agregarlo a nuestra tabla de datos. Se llama guardar la matriz de términos del documento. En este caso, una forma sencilla de hacerlo son simplemente binarios. Entonces tengo una columna separada aquí, pueden ver a mi derecha, donde
	"cebolla" tiene uno en esas filas, ya sabes, receta. Tiene cero si no lo es, por lo que puedes obtener ceros y unos aquí en columnas. Y podrás ver qué es lo más importante.
	Y muchas veces intentas modelar para algo como, si estuviera estancado,
	tal vez obtuve los puntajes de evaluación por esto y puedo decir, bueno, aquí hay un puntaje numérico vinculado a cada receta. quiero ver que ingredientes
	son comunes y dan como resultado una puntuación alta. Eso podría ser algo que estoy haciendo, así que trate de hacerlo un poco más predictivo.
	Pero en este caso, voy a analizar la agrupación. Estoy realmente interesado en agrupar recetas similares y ver dónde cae el chile de mi abuela. Así que les mostraré cómo vamos a hacer eso. Pero primero vayamos a JMP y le mostremos cómo realizamos estos pasos en JMP.
	Así que aquí están mis datos sin procesar.
	En cada documento aquí, cada fila es... tiene mi texto no estructurado y en mis casos, son solo los ingredientes sin procesar.
	Y si hago clic en cualquiera de estas celdas aquí, pueden ver que son, literalmente, los ingredientes copiados. Ahí está el... el primero de chile cajún de Luisiana.
	Tiene palabras que me interesan, como "tomate", "chile en polvo" y "miel". Tiene palabras que no me importan como "puede".
	Probablemente sean las medidas de los ingredientes las que no me importan tanto, como "una", "dos libras", "cucharaditas". Entonces, ¿cómo nos vamos a ocupar de esto? Entonces, ¿qué vamos a hacer?
	es que vamos a ir a Analizar y vamos a ir al Explorador de texto y simplemente vamos a poner esos ingredientes en la columna de texto.
	Voy a preguntar sobre la derivación, cómo derivar todos los términos. Eso me resulta muy útil. Y luego usaré la expresión regular incorporada.
	Digo que está bien y ahora aquí está mi lista inicial.
	Entonces, lo que puedo hacer ahora es ir y seleccionar aquellas cosas que no me importan. No me importan los números. Así que tal vez pueda entrar aquí y resaltarlas, hacer clic derecho y decir agregar una palabra vacía, y luego se agregará a la lista de cosas que no me importan.
	¿Qué pasa con el "chile en polvo"? Suena como algo que necesita ser independiente. Entonces voy a hacer clic derecho en esa frase. Y voy a decir agregar frase y la agrega.
	Así que vaya y haga esto hasta que obtenga una lista reducida y simplificada.
	Sólo voy a ejecutar mi
	Mi lista terminada por eso. Y aquí están todas las palabras que surgieron de la expresión regular que se encontraron, y también
	cosas que agregué
	y dejar de palabras. Y ahora, aquí está mi lista terminada de términos y frases. Y por eso he añadido estas frases. Me importa. Entonces "cebolla" fue la más alta, luego "sal", luego "comino" y luego "chile en polvo".
	Como puedes adivinar, sería muy bueno visualizar esto y tenemos una nube de palabras. Así que aquí está la nube de palabras para todo lo que hay en este. Y nuevamente, bajo las opciones de mi triángulo rojo aquí, puedo cambiar eso a un orden para que sea más nítido lo que sale.
	Si lo mantengo centrado, es algo divertido de hacer. Sabes que puedes agregar filtros a tus datos y algo que puedes hacer es, a veces, encontrar tu respuesta visualmente sin tener que hacer nada más. Y entonces, en ese caso, voy a entrar en esto con mi
	triángulo rojo. Voy a conseguir un filtro de datos local. Sólo voy a mirar el tipo y diré, bueno, echemos un vistazo a
	cómo se ve el chile de la abuela Lillian, ya sabes, "tomates", "frijoles" y "carne", ese tipo de cosas. ¿Y cómo se compararía eso con el chile cajún?
	Bueno, compartían chile en polvo y carne de res, pero, ya sabes, puede que haya algunas cosas diferentes allí. Ya sabes, en comparación con el chile verde,
	ya sabes, que es más chile verde, ya sabes. Y tienen chiles crudos y jalapeños, caldo de pollo, todo ese tipo de cosas, caldo de pollo.
	Esto es realmente interesante, pero probablemente no lo suficiente como para entender qué está pasando. Así que fui
	(y esta es otra... tienes todas las opciones aquí debajo de tu triángulo rojo) Me aseguré (y probablemente necesito asegurarme aquí) de desactivar mi filtro de datos local, asegurarme de que todo esté seleccionado, que estoy mirando todos mis términos.
	Tengo 299 aquí. Voy a hacer clic derecho y diré "guardar matriz de términos del documento".
	Y cuando hago eso, me pregunta de qué manera quiero guardarlo, con pesas, qué tipo de ponderación. Es básicamente binario, hay frecuencias que puedo usar, cuántos términos, ya sabes, la frecuencia mínima de términos para obtener un lugar en tu tabla de datos. Y eso ya lo he hecho.
	Así que si me deslizo y miro...
	En realidad
	Seguiré adelante y haré eso y les mostraré cómo se ve. Así que simplemente diré "guardar matriz de términos del documento" y diré "está bien".
	Y ahora, como les mostré en la diapositiva, entiendo todos los términos que me interesan. Y está el primero para "cebolla". Aquí está el de "chile en polvo" y su relación con sus respectivos
	Receta, ya sabes, filas.
	Entonces sé dónde hay uno, sé que este chile cajún tenía chile en polvo.
	Cuando hay cero,
	Este de aquí parece chile de Oklahoma o no, lo siento, el chile de Nuevo México no tenía chile en polvo, así que así es como funciona. Y esto se puede utilizar en el modelado. Entonces puedes ir a Analizar el modelo de ajuste en JMP y tomar... y aplicar esto a algún tipo de modelo.
	Pero lo que voy a hacer es, ya que en realidad no estoy tratando de predecir, ya sabes, qué ingredientes me darán una puntuación más alta. No tengo ningún me gusta, ya sabes,
	Ya conoces los datos de salida aquí. Realmente quiero agruparlos y escuché en JMP Pro que realmente puedo hacer esto. Así que voy a volver a mis diapositivas aquí.
	Y voy a hablar de analizar los datos. Así que para hacer más análisis
	en JMP Pro, le permite realizar algunas técnicas de agrupación realmente buenas y estos son métodos multivariados y están especializados para manejar análisis de texto y trabajar con esas matrices de términos de documentos sobre texto.
	Y utiliza algo llamado análisis de clases latentes. Es uno de los términos. Y esto es similar a los componentes principales, si estás acostumbrado a hacer esa técnica. Pero básicamente va a
	Pregúntenos cuántas agrupaciones o grupos de datos queremos ver. Mirará a través de ese espacio multidimensional.
	entre todo lo que está en esas columnas y la matriz de términos de su documento para los términos importantes en su modelo aquí, los términos importantes que tenemos en la palabra
	lista de palabras, ¿verdad? Y los va a agrupar. Y en mi caso, pude reducirlo a tres grupos.
	Entonces hay un grupo, que parecía tener muchas recetas de chile con carne molida, salsa de tomate, chile en polvo y frijoles.
	Hay un grupo dos, que tenía mucho que ver con pollo y chiles verdes, aquí chiles crudos.
	Y luego está el grupo tres, que nuevamente tenía muchos chiles, pero eran más chiles rojos y tenían una especie de base de carne de cerdo y esto tenía mucho sentido.
	Bien, cuando creé estos grupos, pude usar una probabilidad de grupo por fila, esto me dio qué tan fuertes eran esos grupos individuales.
	recetas, mis filas en mi documento, claro, estas son originales... mi receta de control, dónde cayeron y qué tan fuertes pertenecían. ¿Por qué los asigné a cualquier grupo? Y cuando hice esto,
	22 era el grupo de mi abuela... era el control de mi abuela. Y descubrí que ella se agrupaba en el grupo uno junto con algunas otras recetas, incluidas las que provenían de Kansas City, Missouri.
	Hay uno en el número 24 que estaba muy cerca. Ahora bien, las recetas de Texas para el grupo tres tenían chiles picantes, especias... muchas especias y, a menudo, carne de cerdo y nada de frijoles, ¿verdad? Los frijoles eran algo que aparecía en el grupo uno, pero no en el grupo tres y luego...
	El grupo dos
	era más para, ya sabes, es más para el chile verde,
	más para esas cosas que ves en Nuevo México, ya sabes, chile a base de pollo, cosas con chile verde.
	Muy bien, lo que pasó fue que pude hacer la combinación y encontré una receta. Y uno de los tres representantes de Missouri.
	en realidad se llamaba chile de Kansas City y casi coincidía exactamente con el chile de la abuela Lillian.
	Entonces, cuando le pregunté a mi madre sobre esto, le dije: "Bueno, ¿por qué pudo suceder esto? No pensé que viniera de Missouri". Y ella dijo: "Todo esto tiene sentido". Ella dijo: "Abuela Lillian,
	Creció en una granja en St. Joseph, Missouri, era la única niña y tenía entre 11 y 12 hermanos. Así que ella cocinaba mucho".
	Por cierto, ella fue la única que obtuvo una educación universitaria, por lo que fue bastante progresista durante su época y fue una de mis parientes favoritas, pero su receta fue muy indicativa de esto. Así que vamos a mostrarte cómo se ve esto en vivo.
	Así que si voy a...
	en este punto,
	Vuelvo a los datos que había creado y bajo ese punto de acceso, voy a preguntar por estos modelos adicionales que JMP Pro puede ofrecer. Hay un análisis de clase latente que agrupa documentos que utilizan ese método,
	basado en la forma binaria de documentar la matriz de términos. Entonces usa un documento... usa esa matriz de términos del documento, sí, así que ni siquiera tienes que guardarlo, lo genera automáticamente.
	También hay un análisis semántico latente, que hace... que hace un poco más de matemáticas, un método un poco más avanzado, pero ambos básicamente hacen lo mismo, y me gustó particularmente este análisis de clases latente. Entonces ese es el que seleccioné.
	Y pedí tres grupos, puedes jugar con ellos para ver si hace alguna diferencia. Y probé más grupos y volví a tres.
	Y dentro de su
	opciones, puede ver las probabilidades del grupo por fila.
	Y de todos los resultados, este es el que tenía más sentido. Recuerden, volviendo a mi diapositiva, esto me ayudó a ver dónde cayó el chile de mi abuela.
	que era 22,
	fila 22. Y luego con qué más combinaba bien. Y así fue como pude hacer este análisis.
	Es así de simple.
	Entonces,
	Fue un recorrido muy rápido por las capacidades de realizar exploración de texto JMP en JMP y luego cómo pude usar JMP Pro y
	Encuentra estos racimos y coloca el chile de mi abuela y encuentra una receta que combine. Entonces, si tienes hambre de más, tengo un enlace al blog.
	en la presentación en la que puedes... puedes hacer clic en o simplemente ir directamente a la Comunidad y simplemente escribir "chile de la abuela" y encontrar ese blog. Y yo también te daré junto con eso, te daremos también
	la receta. Para que tú también puedas preparar el chili de la abuela Lillian.
	Así que apreciamos poder mostrarles esto hoy.
	Asegúrese de dejar cualquier pregunta en la sección de preguntas y respuestas que podamos responder. Y prueba esto, prueba algo
	que tienes a tu alrededor en el trabajo, en casa, donde sea que tenga datos de texto no estructurados, donde te gustaría explorar y hacer la pregunta, y encontrarás que es un método fantástico, fantástico, muy poderoso y que realmente te ayuda a atacar eso. Tercera dimensión de los datos.