Altavoz
|
Transcripción
|
| scott sabio |
Exploración Investigativa de Textos. Mi nombre es Scott Wise y soy Gerente Senior del Equipo de Educación de JMP. |
| |
Y tengo una presentación muy divertida para que la veamos hoy y los objetivos de esta presentación son brindarles un poco más de familiaridad. |
| |
con las capacidades y lo fácil que es hacer exploración de texto en JMP y JMP Pro, así como mostrarle una forma diferente de ver la exploración de texto, como, ¿puedo investigar algo como lo haría un detective? |
| |
Bien, entonces vamos a hablar sobre el chili de mi abuela y cómo se relaciona con una competencia de cocina de chili de Texas. Antes de que comencemos, |
| |
vamos a desacreditar parte de la terminología que se utiliza en torno a la minería de texto y, para mí, en realidad hay cinco pasos simples. Dedica su tiempo a resumir los datos, literalmente, averiguando qué palabras en el texto aparecen con más frecuencia, incluso qué combinación de palabras aparece con más frecuencia. |
| |
Entonces el ??? llame a esto mirando a través de texto no estructurado a la derecha y luego esto, esto podría ser cualquier cosa. Esta podría ser una oración que su cliente le dio sobre el desempeño de su producto o servicio. Podría ser... |
| |
podrían ser las redes sociales, cierto, donde sabes que averiguas lo que le gusta o no le gusta a la gente en función de los comentarios, |
| |
algo sobre su producto o servicio o podría ser este tipo, algo como una receta. |
| |
Incluso lo he visto hacer en patentes cuando la gente está investigando qué cosas populares están solicitando patentes y si deberíamos hacerlo. |
| |
Entonces, realmente, resumiendo, descubriendo qué palabras de esas son las más importantes. Ahora hay algo de preparación que viene a continuación, que es solo llegar a la lista más pequeña de las palabras que te interesan. |
| |
Entonces, por supuesto, no seríamos JMP si no vamos a visualizarlo y analizarlo y, además, podemos modelarlo. Incluso podemos hacer algunos modelos avanzados. Voy a usar JMP Pro para hacer esto, versión 15.1, |
| |
y me aseguraré de señalar lo que puede hacer en JMP y dónde realmente añado un poco de Pro que ayude a responder mejor a mi pregunta. |
| |
documento, corpus y plazo. El documento va a ser esos... |
| |
esas cosas que estás analizando, básicamente el cuerpo individual del texto, cada fila del texto. Así que son mis mis recetas para mi ejemplo. |
| |
Podrían ser diferentes clientes que le hayan respondido comentarios sobre su producto o servicio. Corpus es en realidad ese texto no estructurado que estás tratando de manejar, el cuerpo de ese texto que vas a analizar. |
| |
Y luego, los términos serán esas palabras o esa combinación de palabras que te interesan y que pueden ayudarte a responder una pregunta. Así que hablemos de la historia. Sabes, ¿por qué se me ocurrió mirar recetas de chili? Bueno, esto vuelve a |
| |
Hace casi 25 años, cuando me mudé a Texas por primera vez y vine a trabajar para una gran empresa y, como la mayoría de las grandes empresas en Texas, tenían una gran cocina de chili de Texas. |
| |
Y me pidieron que participara. Todos participaron. Pero también me pidieron que hiciera incluso más que eso, me pidieron que fuera juez. |
| |
Así que debería haber rechazado al juez. Pensé que era un honor para el chico nuevo, pero creo que era el único al que podían dárselo, descubrí por qué. |
| |
Pero hablemos primero de la reacción al chili que traje. Así que tenía una receta de chili que mi familia siempre usa y provino de mi abuela, la abuela Lillian. |
| |
Esto no es chile. Esto no es lo que los tejanos consideraban chili. |
| |
Ahora, la buena noticia era que tendría que llevar cualquiera a casa porque disfruto comiéndolo. Consideraron algo más además del chile. Su chili no tenía frijoles. Su chili no era abundante. Hacía mucho calor, muy caldoso. |
| |
El mío tenía carne de res. El suyo tenía principalmente carne de cerdo. Lo tenían todo adentro. Aquí está la otra cosa que me metió en problemas. No solo no les gustó el chile de mi abuela, casi no sobreviví al juicio. |
| |
porque la verdadera insignia de honor de un verdadero tejano es preparar el plato de chili más picante. Así que quieres vencer a tu vecino. Quieres vencer a tu compañero de trabajo. Así que arrojaron todo tipo de chiles y especias picantes impíos aquí. |
| |
Y pensé, casi me hace un agujero en el estómago solo tratando de saborearlo y estás bebiendo toda esta leche, tratando de apagar el calor. Asi que |
| |
fue un bautismo de fuego. Así que mi recomendación es que a menos que te guste el calor, no entres como juez, ¿verdad? No es Buena idea. Pero quería colocar; eso siempre me molestó. |
| |
¿Qué, por qué no le fue bien al chile de mi abuela? ¿Hay realmente diferentes tipos de chile? ¿De dónde vienen? |
| |
Y resulta que el chili tiene una historia genial. Puede ver algunos blogs y artículos de historia realmente geniales y lo más probable es que haya salido de |
| |
América Central, principalmente México. Y hay algunos platillos livianos, pero en San Antonio, primero se observó que se vendía algo así como en el estado, sabríamos que ahora es chili, |
| |
en la plaza vieja de San Antonio allá por el Álamo. Y se usó en arreos de ganado y comenzó a hacerse popular y luego se abrió camino por el centro del país hasta el Medio Oeste. |
| |
Y me dijeron que, ya sabes, se crearon muchas innovaciones alimentarias en la Feria Mundial de St. Louis, ya sabes, realmente despegaron cuando se mostraron, esta fue una de ellas. Chile llegó al |
| |
Feria Mundial de St. Louis y realmente se hizo popular. |
| |
Así que hay diferentes variedades. Entonces, la idea era si... ¿podría usar la exploración de texto en ingredientes y recetas? Simplemente tome la receta completa y tírela, vea qué sucede. |
| |
¿Y con qué lo quiero comparar? Así que busqué cuáles eran las regiones tradicionales; tuvimos varios, desde Texas hasta Michigan. |
| |
Entonces, en Texas, tenemos diferentes variedades. Texas bowl red es el que estaba probando. Eso es chili con carne. A |
| |
Frito pie es algo que obtendrá en un partido de fútbol, pero muy popular, que Louisiana tiene su propia versión. Nuevo México, con chiles verdes y pollo, tienen su propia versión. Oklahoma, Kansas City, Springfield, |
| |
Illinois, Cincinnati con el chile del horizonte hey, póngalo encima de los espaguetis. Michigan. Coney Island, los perritos calientes, ya sabes, la salsa de chile que le ponen allí es un chile serio. |
| |
Chile blanco, se desconoce de dónde viene. Chile vegetariano. Pero hay muchos estilos que existen ahora. |
| |
Entonces dije, si tomo tres recetas de cada uno de estos estilos y las comparo para controlar el chile de mi abuela, ¿puedo encontrar lo que estoy buscando? |
| |
Así que vamos a hacer esto y les mostraré, mientras sigo los pasos, les mostraré un resumen de los pasos, luego iré justo detrás y les mostraré cómo lo hago. en JMP. |
| |
Los primeros pasos van a ser resumir los datos. Queremos encontrar esas palabras que nos importan. |
| |
Ahora que pasa cuando entras |
| |
cualquiera de estos análisis de texto, estos datos de texto, como mis ingredientes, en un explorador de texto, lo ejecutará a través de una biblioteca |
| |
de expresiones regulares, y piense en la palabra como regular, solo cosas que son solo parte del habla cotidiana. |
| |
Y no son tan útiles. No es útil si tengo "el" y "y" en mi lista. Por lo tanto, trata de ayudar a extraer palabras que no le interesan. Y sí, se puede personalizar. |
| |
Y ya tiene uno bastante fuerte incorporado, y eso es lo que usé. Y luego derivar. Stemming es donde vas y |
| |
di cómo quieres tratar las palabras similares, así que "dado" es "dado", "cortar", tienes plurales, diferente... diferente... |
| |
diferentes versiones de la raíz de la palabra. ¿Quiere simplemente contarlo todo en la raíz de la palabra o lo quiere separado? Así que eso es una consideración. |
| |
Y luego, después de resumir. Déjame obtener estas palabras. Pueden ver que aquí tengo una pequeña lista de palabras. El de atrás no está editado y luego el de adelante. |
| |
es en realidad uno en el que hemos revisado y reducido el tamaño de esa lista de palabras. Entonces, lo que haces es buscar palabras que no te interesen, las llamas palabras de parada, básicamente dices, elimina estas. Agregarlos de nuevo a mi biblioteca de cosas que no me importan. |
| |
También puede traer frases que realmente importan. Y una vez que tenga estos, podremos visualizar algunos. |
| |
Y vamos a poder ver, en mi caso, me interesé mucho en los ingredientes. Así que vamos a poder ver qué ingredientes salieron con más frecuencia. |
| |
Y a menudo ves nubes de palabras aquí, y nubes de palabras, ya sabes, cuanto más grande es la palabra, más frecuente es. |
| |
Y puede mirarlo en una nube, como un diseño esporádico o puede mirar un pedido donde, ya sabe, lo primero que aparece es la palabra más importante. eso es como el |
| |
gráfico que está al frente de su diapositiva. Y después de eso, vamos a hacer algo con eso. Y así podemos crear algunos modelos básicos. |
| |
Y una de las maneras más fáciles de hacerlo es, una vez que sabemos qué palabras de nuestra lista nos interesan, |
| |
podemos volver a agregarlo a nuestra tabla de datos. Se llama guardar la matriz de términos del documento. En este caso, una forma sencilla de hacerlo es simplemente binarios. Así que tengo una columna separada aquí, pueden ver a mi derecha, donde |
| |
"cebolla" tiene uno donde está en esas filas, ya sabes, receta. Tiene cero si no lo es, por lo que puede obtener ceros y unos aquí en columnas. Y se puede ver lo que es más importante. |
| |
Y muchas veces estás tratando de modelar para algo como, si estuviera atascado, |
| |
tal vez obtuve los puntajes de evaluación por esto y puedo decir, bueno, aquí hay un puntaje numérico vinculado a cada receta. quiero ver que ingredientes |
| |
son comunes que dan como resultado una puntuación alta. Eso podría ser algo que estoy haciendo, así que trate de hacerlo un poco más predictivo. |
| |
Pero en este caso, voy a mirar la agrupación. Estoy realmente interesada en agrupar recetas similares y ver dónde cae el chili de mi abuela. Así que les mostraré cómo vamos a hacer eso. Pero primero vayamos a JMP y le mostraremos cómo hacemos estos pasos en JMP. |
| |
Así que aquí están mis datos sin procesar. |
| |
En cada documento aquí, cada fila es... tengo mi texto no estructurado y en mis casos, son solo los ingredientes sin procesar. |
| |
Y si hago clic en cualquiera de estas celdas aquí, pueden ver que son literalmente los ingredientes copiados. Así que ahí está el... el primero de chile cajún de Luisiana. |
| |
Tiene palabras que me importan, como "tomate", "chile en polvo" y "miel". Tiene palabras que no me importan como "puede". |
| |
Probablemente sean las medidas de los ingredientes las que no me importan tanto, como "una", "dos libras", "cucharadas". Entonces, ¿cómo vamos a cuidar de esto? entonces que vamos a hacer |
| |
es que vamos a ir a Analizar y vamos a ir a Explorador de texto y vamos a poner esos ingredientes en la columna de texto. |
| |
Voy a preguntar por derivación, cómo derivar para todos los términos. Encuentro eso muy útil. Y luego voy a usar la expresión regular incorporada. |
| |
Digo bien y ahora aquí está mi lista inicial. |
| |
Entonces, lo que puedo hacer ahora es ir y seleccionar aquellas cosas que no me importan. No me importan los números. Así que tal vez pueda entrar aquí y resaltarlos, hacer clic con el botón derecho y decir agregar una palabra vacía, y luego se agregará a la lista de cosas que no me importan. |
| |
¿Qué pasa con el "chile en polvo"? Suena como algo que necesita estar solo. Así que voy a hacer clic derecho en esa frase. Y voy a decir agregar frase y la agrega. |
| |
Así que vas y haces esto hasta que obtienes una lista simplificada y reducida. |
| |
solo voy a ejecutar mi |
| |
Mi lista terminada por eso. Y aquí están todas las palabras que salieron de la expresión regular que se encontraron, y también |
| |
cosas que agregué |
| |
y detener las palabras. Y ahora, aquí está mi lista terminada de términos y frases. Así que he añadido estas frases. Me importa. Entonces, "cebolla" salió en primer lugar, luego "sal", luego "comino", luego "chile en polvo". |
| |
Como puede adivinar, esto sería muy bueno para visualizar y tenemos una nube de palabras. Así que aquí está la nube de palabras para todo en este. Y nuevamente, debajo de mis opciones de triángulo rojo aquí, puedo cambiar eso a un orden para que sea más nítido en lo que sale. |
| |
Si lo mantengo centrado, es algo divertido de hacer. Usted sabe que puede agregar filtros a sus datos y algo que puede hacer es que, a veces, puede encontrar su respuesta visualmente sin tener que hacer nada más. Y entonces, en ese caso, voy a entrar en esto a mi |
| |
triangulo rojo Voy a conseguir un filtro de datos local. Solo voy a mirar el tipo y voy a decir, bueno, echemos un vistazo a |
| |
cómo se ve el chili de la abuela Lillian, ya sabes "tomates" y "frijoles" y "carne", ese tipo de cosas. ¿Y cómo se compararía eso con el chile cajún? |
| |
Bueno, compartieron chile en polvo y carne de res, pero, ya sabes, podría haber algunas cosas diferentes allí. Ya sabes, cómo eso comparado con el chile verde, |
| |
ya sabes, que es más del chile verde, ya sabes. Y tienen chiles crudos y jalapeños, caldo de pollo, todo ese tipo de cosas, caldo de pollo. |
| |
Así que esto es muy interesante, pero probablemente no lo suficiente como para que me dé cuenta de lo que está pasando. así que fui |
| |
(y esta es otra... tienes todas las opciones aquí debajo de tu triángulo rojo) Me aseguré (y probablemente deba asegurarme aquí) de desactivar mi filtro de datos local, asegurarme de que todo esté seleccionado, que estoy mirando todos mis términos. |
| |
Tengo 299 aquí. Voy a hacer clic derecho y voy a decir "guardar matriz de términos del documento". |
| |
Y cuando hago eso, me pregunta de qué manera quiero guardarlo, con pesos, qué tipo de peso. Es básicamente binario, hay frecuencias que puedo usar, cuántos términos, ya sabes, la frecuencia mínima de términos para obtener un lugar en tu tabla de datos. Y ya lo he hecho. |
| |
Así que si me deslizo y miro... |
| |
en realidad |
| |
Seguiré adelante y haré eso y te mostraré cómo se ve. Así que solo diré "guardar matriz de términos del documento" y diré "bien". |
| |
Y ahora, como les mostré en la diapositiva, obtengo todos los términos que me interesan. Y está el primero de "cebolla". Aquí está el de "chile en polvo", y en lo que se refiere a sus respectivos |
| |
Receta, ya sabes, filas. |
| |
Así que sé dónde hay uno, sé que este chile cajún tenía chile en polvo. |
| |
Cuando hay cero, |
| |
este de aquí parece chile de Oklahoma o no, lo siento, el chile de Nuevo México no tenía chile en polvo, así que así es como funciona. Y esto se puede utilizar en el modelado. Entonces puede ir a Analizar el modelo de ajuste en JMP y tomar... y aplicar esto a algún tipo de modelo. |
| |
Pero lo que voy a hacer es, ya que realmente no estoy tratando de predecir, ya sabes, qué ingredientes me darán una puntuación más alta. No tengo ningún como, ya sabes, |
| |
conoces los datos de salida aquí. Tengo muchas ganas de agruparlos y escuché en JMP Pro, realmente puedo hacer esto. Así que voy a volver a mis diapositivas aquí. |
| |
Y voy a hablar sobre el análisis de los datos. Así que para hacer un análisis más profundo |
| |
en JMP Pro, le permite realizar algunas técnicas de agrupación realmente buenas y estos son métodos multivariantes y están especializados para manejar análisis de texto y trabajar con esa matriz de términos de documentos que se trata de texto. |
| |
Y usa algo llamado análisis de clases latentes. Es uno de los términos. Y esto es similar a los componentes principales, si estás acostumbrado a hacer esa técnica. Pero básicamente va a |
| |
pregúntenos cuántas agrupaciones o grupos de datos queremos ver. Va a mirar a través de ese espacio multidimensional |
| |
entre todo lo que está en esas columnas y la matriz de términos de su documento para los términos importantes en su modelo aquí, los términos importantes que tenemos en la palabra |
| |
lista de palabras, ¿verdad? Y los va a agrupar. Y en mi caso, pude reducirlo a tres grupos. |
| |
Así que hay uno de grupo, que parecía tener muchas recetas de chile con carne molida, salsa de tomate, chile en polvo y frijoles. |
| |
Hay un grupo dos, que tuvo mucho que ver con pollo y chiles verdes, chiles crudos aquí. |
| |
Y luego está el grupo tres, que tenía muchos chiles nuevamente, pero eran más chiles rojos y tenían una especie de base de cerdo y esto tenía mucho sentido. |
| |
De acuerdo, cuando creé estos grupos, pude usar una probabilidad de grupo por fila, esto me dio la fuerza de esos grupos individuales. |
| |
recetas, mis filas en mi documento, correcto, estas son originales... mi receta de control, dónde cayeron y qué tan fuertes pertenecían. ¿Por qué los asigné a cualquier grupo? Y cuando hice esto, |
| |
22 era el grupo de mi abuela... era el control de mi abuela. Y descubrí que se agrupó en el grupo uno junto con algunas otras recetas, incluidas las que procedían de Kansas City, Missouri. |
| |
Hay uno en el número 24 que estaba muy cerca. Ahora, las recetas de Texas para el grupo tres tenían chiles picantes, especias... muchas especias en ellas y, a menudo, cerdo y sin frijoles, ¿verdad? Los frijoles eran algo que apareció en el grupo uno, pero no en el grupo tres y luego... |
| |
el racimo dos |
| |
era más por, ya sabes, es más por el chile verde, |
| |
más por esas cosas que ves en Nuevo México, ya sabes, chile a base de pollo, cosas con chile verde. |
| |
Muy bien, lo que sucedió fue que pude hacer la combinación y encontré una receta. Y uno de los tres representativos de Missouri |
| |
que en realidad se llamaba chili de Kansas City, y casi coincidía exactamente con el chili de la abuela Lillian. |
| |
Entonces, cuando le pregunté a mi madre sobre esto, dije: "Bueno, ¿por qué pudo pasar esto? No pensé que viniera de Missouri". Y ella dijo: "Todo esto tiene sentido". Ella dijo: "Abuela Lillian, |
| |
creció en una granja en St. Joseph, Missouri, era la única niña y tenía como 11-12 hermanos. Así que ella cocinó mucho". |
| |
Por cierto, ella fue la única en obtener una educación universitaria, por lo que fue bastante progresista para el tiempo que vivió y fue una de mis parientes favoritas, pero su receta fue muy indicativa de esto. Así que vamos a mostrarte cómo se ve esto en vivo. |
| |
Entonces si voy a... |
| |
en este punto, |
| |
Vuelvo a los datos que había creado y bajo ese punto de acceso, voy a preguntar por estos modelos adicionales que puede dar JMP Pro. Hay un análisis de clases latentes que agrupa documentos usando ese método, |
| |
basado en la forma binaria de documentar la matriz de términos. Entonces usa un documento... usa esa matriz de términos del documento, sí, así que ni siquiera tiene que guardarlo, lo genera automáticamente. |
| |
También hay un análisis semántico latente, que hace... que hace un poco más de matemáticas, un método un poco más avanzado, pero ambos básicamente hacen lo mismo, y me gustó especialmente este análisis de clase latente. Así que ese es el que seleccioné. |
| |
Y pedí tres grupos, puedes jugar con él para ver si hace la diferencia. Y probé más grupos y volví a tres. |
| |
Y dentro de su |
| |
opciones, puede ver las probabilidades de conglomerados por fila. |
| |
Y de todos los resultados, este es el que tenía más sentido. Así que recuerda, volviendo a mi diapositiva, esto me ayudó a ver dónde cayó el chile de mi abuela, |
| |
que tenía 22, |
| |
fila 22. Y luego con qué más combinó bien. Y así fue como pude hacer este análisis. |
| |
Es así de simple. |
| |
Asi que, |
| |
eso fue un repaso muy rápido a las capacidades de hacer exploración de texto JMP en JMP y luego cómo pude usar JMP Pro y |
| |
encuentre estos grupos y coloque el chile de mi abuela y encuentre una receta que coincida. Entonces, si tienes hambre de más, tengo un enlace al blog. |
| |
en la presentación que puede... puede hacer clic en o simplemente puede ir directamente a la Comunidad y puede escribir "chile de la abuela" y puede encontrar ese blog. Y también te daré junto con eso, también te daremos |
| |
la receta. Así que tú también puedes hacer el chili de la abuela Lillian. |
| |
Así que apreciamos poder mostrarles esto hoy. |
| |
Asegúrese de dejar cualquier pregunta en la sección de preguntas y respuestas que podamos responder. Y prueba esto, prueba algo |
| |
que tiene a su alrededor en el trabajo, en casa, donde sea que tenga algunos datos de texto no estructurados, donde le gustaría explorar y hacer la pregunta, y encontrará que es un método fantástico, fantástico, muy poderoso y realmente lo ayuda a atacar eso tercera dimensión de los datos. |
