Vocero | Transcripción |
| kira alhorn | Bien, bienvenidos a mi charla, Un recorrido por el Explorador de texto para comprender las necesidades de los clientes. estoy muy feliz de |
| presente en este JMP Discovery Summit en formato virtual. Mi nombre es Kira Alhorn y soy estadística en WL Gore and Associates. |
| Y, antes de comenzar con la presentación en sí, me gustaría presentarles rápidamente nuestra empresa. WL Gore and Associates es una compañía global de ciencia de materiales, estamos produciendo |
| soluciones muy diferentes para industrias muy diferentes, desde la aeroespacial hasta productos médicos y lo que podría ser familiar para la mayoría de ustedes |
| es nuestra marca Gore-tex. Eso es en lo que nos centraremos hoy y la marca Gore-tex está produciendo laminados de telas resistentes al agua y transpirables. |
| Y esos laminados se venden a nuestros clientes o socios de marca que fabrican productos a partir de eso. Más concretamente, nos centraremos hoy en los zapatos. |
| Este es un breve resumen de mi charla. Comenzaré con los antecedentes y la motivación. Entonces, ¿qué estamos mirando? Estamos viendo las descripciones de los zapatos y por qué estamos interesados en eso. |
| Posteriormente el resto de la charla se hará en JMP. Usaré JMP 15 Pro, y allí les mostraré cómo usar Text Explorer |
| por analizar nuestras descripciones de zapatos. Cómo encontrar temas en esos textos, o en las descripciones de zapatos, para que esos temas se puedan usar para encontrar descripciones de zapatos comunes o temas comunes en las descripciones de zapatos y compararlos con las diferentes categorías de zapatos que tenemos. |
| Y finalmente, esta será solo una breve introducción, usamos algunos modelos predictivos para validar nuestros hallazgos y para obtener más... obtendrá una visión más profunda de cómo las diferentes descripciones de zapatos clasifican los zapatos. |
| Así que imagina tu propio armario y los zapatos que tienes en tu armario. |
| Y cada uno de ustedes tendrá al menos una colección pequeña o bastante grande de zapatos diferentes en su armario, y la pregunta es, ¿por qué tienen tantos zapatos? |
| Y que tus zapatos tienen que adaptarse a tu estilo y tal vez necesites diferentes colores y demás, esta no es la única razón por la que tienes zapatos diferentes. |
| La otra razón es que necesitas zapatos diferentes. Así que imagínese, tiene un par de zapatos para correr, tiene varios pares de zapatos para uso final casual y puede tener zapatos para caminar. |
| Y los tiene porque cada uno de los zapatos tiene características diferentes o ligeramente diferentes que hacen que este zapato se pueda usar para este uso final y necesita esas características para ese uso final. |
| Entonces, lo que nos preguntamos es, si estamos mirando las descripciones de los zapatos de nuestros socios de marca, ¿podemos encontrar de alguna manera qué hace que los diferentes zapatos sean únicos? Entonces verás aquí una colección |
| de diferentes categorías de zapatos que ahora nos corresponden para diferentes usos finales de zapatos. |
| Y la pregunta ahora es, si un cliente desea producir un nuevo calzado para caminatas, por ejemplo, ¿qué configuración de características deberíamos ofrecer en nuestro laminado que vendemos para un calzado destinado a usarse para caminatas? |
| Entonces, ¿pueden esas descripciones de zapatos darnos un prototipo que podamos ofrecer a nuestros clientes? |
| Y, por supuesto, ¿cuál es otro aspecto que es interesante aquí, cómo se diferencian otros zapatos? Entonces, ¿cuál es la diferencia entre ese zapato de senderismo y el zapato de calle? ¿Por qué necesitamos esas diferencias? |
| Y esa era nuestra intención cuando empezamos a analizar los datos. |
| Así que con eso, me gustaría ir a JMP. |
| Y en JMP, primero quiero mostrarles cómo se ven los datos que recopilamos. |
| Entonces, lo que hicimos fue simplemente visitar las páginas web de nuestros socios de marca y recopilamos descripciones de zapatos de esos paquetes. |
| Para cada categoría de calzado, tenemos un cierto número de descripciones de calzado y, como verá, simplemente copiamos la descripción completa en nuestra tabla de datos. |
| Así que esto podría ser bastante largo, podría ser bastante corto, pero no hicimos más que simplemente copiar. |
| Pero por otro lado, puedes imaginar, con ese campo de texto, no podemos hacer mucho. |
| O al menos parece que no podemos, porque JMP ofrece grandes posibilidades para hacer algo. ¿Y qué significa hacer? Queremos extraer información de ese texto extenso y convertirlo en fragmentos más digeribles. |
| Y esos pedazos digeribles |
| se puede extraer utilizando el Explorador de texto. Así que quiero ir al Explorador de texto y poner la descripción del zapato en las columnas de texto aquí. |
| Y aquí hay muchas opciones. Esas opciones están alimentando los algoritmos que cortan nuestras descripciones de zapatos o llamamos a las descripciones documentos en el lenguaje de análisis de texto. |
| Y esto es cortar los documentos en pedazos de información más pequeños, como mencioné, esos pedazos digeribles. |
| Y lo que verá son fragmentos digeribles, es decir, tenemos esos términos, que son la unidad de información más pequeña, y tenemos esas frases que son términos que a menudo aparecen juntos y pueden tener un significado si los combina. |
| Así que puedes ver aquí el término más utilizado |
| en todos los documentos, así como en todas las descripciones de zapatos, está el término comodidad. |
| Entonces, lo primero que hicimos fue repasar todas las frases aquí y echar un vistazo. ¿Hay alguno que tenga sentido? |
| Y el primero ya tiene sentido. Así que ven aquí que los términos Gore y tex aparecen como términos únicos, pero por supuesto, tiene sentido que se analice el término Gore-tex y no Gore y tex. |
| De modo que puede agregar todas las frases que tengan sentido a la lista de términos. Así que agregamos la frase, y verán aquí ahora, tenemos el término Gore-tex en lugar del término único Gore. |
| Así que ese fue el primer paso de nuestro procesamiento de los datos. El segundo paso fue verificar la lista de términos si hay duplicados o |
| si hay términos que no tienen sentido. Y JMP ya tiene un gran procesamiento, porque JMP ya excluye muchas palabras que no tienen sentido, como y, a, |
| o, que no le dan ninguna información. Sin embargo, siempre quedarán algunos términos que no tengan sentido, como esta S, por ejemplo. |
| ¿Qué harías con una S? ¿Qué te dice eso sobre un zapato? Así que tuvimos que revisar todos los términos, y si hay un término que no tiene sentido, lo llamamos palabra vacía y lo editamos en la lista de palabras vacías para excluirlo del análisis. |
| Esa fue la única cosa. La otra cosa que mencioné fue que necesitamos verificar si hay duplicados y verán aquí, por ejemplo, tenemos el término Gore tex. |
| y el término GTX. Y GTX es solo una abreviatura del término Gore-tex, por lo que no debemos analizar ambos por separado, debemos combinarlos. |
| Entonces tiene la función Recode, que es más o menos lo mismo que para las columnas, y esta es una gran herramienta para combinar esos |
| ??? datos. Entonces, aquí está la función Recodificar, y las agrupo a ambas. |
| Y verá ahora que este es solo un término ahora (Gore-tex), y este es en realidad el término más frecuente en nuestros datos. |
| Entonces. |
| Empezamos con 4.000 términos y lo que terminamos después de toda la limpieza fueron solo 100 términos. Como puede ver, nos quedan 100 términos y con ellos podemos hacer muchos análisis. Esos son muy útiles para que tengamos una idea de lo que es la descripción de un zapato. |
| Entonces puede usar esa lista para ver cuáles son los términos más frecuentes, pero JMP también ofrece una herramienta de visualización muy fácil. |
| Al hacer clic en el triángulo rojo, puede agregar una nube de palabras. Y esta nube de palabras te está dando, por el tamaño de la palabra, su frecuencia en todos los documentos, así como en todas las descripciones de zapatos. Gore-tex, comodidad y ligereza son los términos más utilizados en las descripciones de calzado que hemos recopilado. |
| Pero quizás recuerdes que esto no es exactamente lo que nos preguntábamos, ¿verdad? Entonces nos preguntábamos, ¿qué pasa con los zapatos para diferentes usuarios finales? |
| Y para eso, podemos agregar fácilmente el filtro de datos locales aquí y usar el uso final del zapato como filtro. Así que me podría interesar, por ejemplo, cuáles son los términos más frecuentes en todas las descripciones de los zapatos de invierno de calle. |
| Y verás que no es de extrañar, los términos invierno y cálido aparecen con frecuencia en las descripciones de los zapatos de invierno de calle. |
| Por otro lado, tomando, por ejemplo, las zapatillas de trail running, aquí se ve un énfasis diferente. Verá que no es necesario que sean cálidos, pero deben ser transpirables, livianos y calzar bien. |
| Entonces, estas nubes de palabras son muy, muy buenas para obtener un primer control de nuestra pregunta inicial, entonces, ¿qué describe la configuración de características de diferentes tipos de zapatos? |
| Y no terminamos con eso. Queríamos ir un paso más allá. |
| El siguiente paso es que, si ya ha preparado todos sus datos, ¿puede modelar de alguna manera para encontrar este prototipo de configuraciones de zapatos? Y para ese modelado, hay diferentes opciones en JMP y decidimos tomar el SVD. |
| SVD está realizando un análisis de componentes principales de nuestra matriz de términos de documentos. |
| ¿Y qué significa eso? Las matrices de términos del documento incluyen para cada documento, por lo tanto, para cada descripción de calzado, |
| la frecuencia de cada término. Así que contaría, por ejemplo, para la descripción del primer calzado, con qué frecuencia tenemos el término Gore-tex, con qué frecuencia tenemos el término comodidad, y así sucesivamente. Entonces puedes imaginar que es una matriz muy grande. |
| Y la idea ahora es, a través del análisis de componentes principales, que reduce la dimensión de la matriz de términos del documento, para obtener un mejor control de sus datos. |
| Y, para poder visualizar mejor los datos. |
| Y en base a esa reducción de las dimensiones, ahora podemos hacer algunos modelos. ¿Y qué tipo de modelado es interesante para nosotros? Así que estábamos interesados en lo que describe un zapato para un determinado uso final. |
| Y para llegar a ese punto, analizamos, ¿hay algún tema en las descripciones de los zapatos? Y si hay temas, ¿corresponden esos temas a ciertos usos finales? |
| Entonces, en un mundo ideal, encontraríamos nueve temas en nuestros datos y esos nueve temas representarían exactamente una categoría de zapatos. Por lo tanto, tendríamos una configuración de calzado prototipo o una configuración de funciones para cada calzado. |
| Entonces, veamos qué sucede si yo... tú buscas nueve temas. Daré clic aquí en el análisis del tema e ingresaré un 9, ya que estoy interesado en nueve categorías de zapatos diferentes. |
| Y lo que obtengo entonces es una lista de temas con los términos que aparecen con frecuencia en esos temas. Entonces, el tema uno, por ejemplo, incluye zapatos |
| que tienen en sus descripciones de calzado los términos superfit, textil, cálido, etc. Así que mi primera intuición aquí sería que estos tienen que ser zapatos de calle o de calle para el invierno. |
| El tema dos, por ejemplo, consiste en descripciones de calzado que incluyen los términos cabaña, trekking, varios días, etc., por lo que parece un calzado de trekking. |
| Pero, por supuesto, como estadístico, no estoy contento con solo dar una intuición. Tengo muchas ganas de saber qué categoría de calzado pertenece a qué tema. Y para eso, estoy haciendo una distribución simple de las categorías de zapatos y agregaré el filtro de datos locales aquí para mostrar solo |
| categorías |
| que son... |
| para mostrar solo los zapatos seleccionados. |
| ¿Qué significa eso? ¿Cómo puedo usar eso? JMP ofrece aquí los gráficos de puntuaciones de temas y estos gráficos de puntuaciones de temas |
| tenga un punto para cada descripción del zapato para cada tema. |
| Por lo tanto, cuanto más alto sea el puntaje para la descripción del calzado, más representativo será este calzado de ese tema en particular. |
| Entonces, lo que hago es simplemente seleccionar todos esos zapatos que tienen puntajes altos para el tema uno y veré en eso |
| histograma aquí que esos son zapatos de invierno de calle y de calle. Así que básicamente mi intuición era correcta. Esos zapatos que son de textil, que tienen superfit, esos son los de calle y los zapatos de invierno de calle. |
| Y el tema dos, recuerda, esperábamos que fueran zapatos de trekking. Verás en ese histograma aquí, esos son zapatos de trekking. |
| Y puedes hacer eso ahora para todos los temas, y lo puse en el diario. |
| Y verás algunas dificultades para hacer todo eso. Entonces, al asignar una categoría de zapatos o más categorías de zapatos a cada tema, verá dos problemas. |
| Problema número uno, representado aquí, verás que hay ciertas categorías de calzado, como el alpinismo, que no están representadas por un tema, sino por varios. |
| Y también verá que esos temas se superponen, por lo que la palabra crampon, por ejemplo, aparece en ambos temas. |
| Lo que significa que parece que tenemos demasiados temas aquí. |
| Entonces, idealmente, esos temas deberían tener un tema por categoría de zapatos, y si vemos que hay temas que se superponen y que corresponden a varias categorías, parece que nueve son demasiados. |
| Pero esto, por supuesto, tiene que tener otro ???, por lo que si las zapatillas de montaña corresponden a más de un tema, es necesario que haya temas que no sean tan claramente identificables. |
| Así que mira, por ejemplo, este tema número cinco. Y así, como los zapatos más representativos. Verás esto como una gran colección. |
| Hay zapatillas progresivas, zapatillas de carretera, zapatillas de calle, etc. Entonces, esas son en su mayoría categorías que se superponen y no se diferencian entre sí. Así que imagínate, ¿cuál es la diferencia entre las zapatillas de trail y las de carretera? |
| O luego vaya al siguiente paso, ¿cuál es la diferencia entre correr por senderos y caminar? |
| Hay ciertas superposiciones en esos zapatos y si hay esas superposiciones, no puede identificar claramente la configuración de características para esa categoría de zapatos. |
| Así que eso también es un aprendizaje muy valioso. Es, por supuesto, administrar su cartera de diferentes laminados. Quiere saber, ¿necesito tener un laminado específico para ese uso final específico o es bastante similar a otros laminados que ya tengo? |
| Entonces, lo que terminamos haciendo fue que queríamos tener una colección final de temas donde no tuviéramos ningún tema correspondiente a más de una categoría, y lo hicimos a mano. Así que analizamos diferentes números de temas y terminamos teniendo cinco. |
| Esos cinco temas, verás, corresponden a una cierta cantidad de categorías, pero veremos que no todas las categorías de zapatos pueden ser representadas por él. |
| Así que tuvimos dos aprendizajes. El aprendizaje número uno fue que tenemos algunos prototipos de descripciones de zapatos para aquellos |
| categorías de calzado. Y por otro lado, todas las categorías de zapatos que no se mencionan aquí pueden no estar muy diferenciadas o no tener esta única configuración. |
| en la descripción de su calzado. |
| Y esa fue solo una de las opciones que ofrece Text Explorer. También hay otras opciones, pero nos enfocamos en esta y funcionó bastante bien. |
| Y con eso, me gustaría dejar Text Explorer y darle solo una breve perspectiva de lo que podría hacer con la matriz de términos del documento de tema. |
| Así que aquí tengo el mismo conjunto de datos que antes, pero he exportado la matriz de términos del documento. Entonces ves muchas columnas nuevas que se muestran para cada término |
| la frecuencia de ese término en una determinada descripción del calzado. |
| Y probamos con diferentes versiones de eso, así que teníamos una matriz de términos de documento que indicaba frecuencias; teníamos uno que indicaba solo que está contenido, no está contenido; etcétera. Y terminamos con esa versión. |
| Y utilizando las posibilidades de JMP Pro, creamos una columna de validación para dividir nuestro conjunto de datos en datos de entrenamiento, validación y prueba. Los datos de entrenamiento y validación se usan para entrenar nuestro modelo predictivo y los datos de prueba se usan para las pruebas. |
| Y cuando hablamos de modelado predictivo, ¿cuál es nuestro objetivo aquí? Así que lo que hicimos antes fue una especie de técnica no supervisada porque |
| simplemente buscamos temas y luego los comparamos con las categorías de zapatos. Y ahora queremos ser un poco más proactivos, así que tenemos la descripción del calzado, ¿podemos predecir una categoría explícitamente? |
| Y probamos diferentes técnicas de modelado predictivo que ofrece JMP 15 Pro y terminamos con un bosque de arranque. Y aquí me gustaría darles solo una idea de cómo se verían los resultados y para qué podríamos usar los resultados. |
| Entonces, verá los resultados en la matriz de confusión en el conjunto de datos de prueba, ¿cuál fue la categoría, cierta descripción del calzado y qué predije usando mi bosque de arranque? |
| Y, curiosamente, verá más o menos los mismos resultados que vimos antes. Así que hay ciertas categorías que se pueden diferenciar claramente de otras, |
| que ya tienen una configuración de características únicas, y hay otras que no la tienen. Así que échale un vistazo, por ejemplo, a las zapatillas de carretera. |
| Ya descubrimos en nuestro primer análisis que esos no están definidos de manera única. Y veremos aquí también, predigo que muchos zapatos serán zapatos para correr en carretera que de hecho son otros zapatos. |
| Eso significa que esto confirma los hallazgos que teníamos antes. Vemos exactamente que las categorías de calzado que se describieron bien usando esa técnica no supervisada también se describen bien aquí y aquellas que no están bien diferenciadas tampoco están tan diferenciadas aquí. |
| Eso fue muy interesante de ver, y hay muchas otras cosas que podría hacer ahora usando este análisis. Podrías hacer, por ejemplo, |
| un analisis, cual es...cuales son los problemas mas importantes cuando quiero diferenciar ciertos zapatos? Entonces esa es la contribución de la columna ¿Qué términos contribuyen más al diferenciar las categorías de zapatos? |
| O podría explorar más a fondo qué categorías de zapatos pueden diferenciarse mucho y cuáles no, usando las curvas ROC. |
| Y por último, pero no menos importante, podría usar este modelo para la predicción. Por lo tanto, puede ingresar aquí ciertas configuraciones de características o descripción del calzado. |
| y prediga entonces la probabilidad de que esta descripción pertenezca a una determinada categoría de calzado. En este caso, por ejemplo, predeciríamos que esta zapatilla podría ser una zapatilla para correr en carretera. |
| Debido al tiempo no entraré en más detalles, pero me gustaría resumir rápidamente. Entonces, ¿cuáles fueron nuestros hallazgos clave? Los hallazgos clave fueron que |
| Text Explorer es una herramienta excelente que es absolutamente intuitiva y puede usarla para extraer información rápidamente de datos de texto no estructurados. |
| ¿dónde se diferencian, dónde no? ¿Qué es... qué características se buscan en esos zapatos? Pero esos de alguna manera, los hallazgos confirmaron lo que esperábamos. |
| Y esta confirmación, podríamos hacer eso usando técnicas no supervisadas o una técnica supervisada, por lo que comparó el análisis de temas, usando el SVD y el modelo predictivo aquí con un bosque de arranque, y otros podrían funcionar de manera similar. |
| Finalmente, me gustaría agradecer al grupo ??? a quién se le ocurrió ese problema. Recolectaron todos los datos y limpiaron todos los datos. Tienen excelentes discusiones sobre |
| el sentido o sinsentido de diferentes técnicas. Entonces, sin ellos, no habrías escuchado esa charla ahora. Y además, |
| Me gustaría agradecer a Jonas, un ex colega de la Universidad TU de Dortmund, quien me consultó sobre el análisis de texto. |
| Y, por último, me gustaría agradecerles su atención y estaré encantado de responder cualquier pregunta, ya sea por correo electrónico o en la comunidad de usuarios de JMP. Solo déjame una nota. |
