Vocero | Transcripción |
| Kira Alhorn | Bien, bienvenido a mi charla, Un recorrido por el Explorador de texto para comprender las necesidades de los clientes. Estoy muy feliz de |
| presente en este es JMP Discovery Summit en formato virtual. Mi nombre es Kira Alhorn y soy estadística en WL Gore and Associates. |
| Y, antes de comenzar con la presentación en sí, me gustaría presentarles rápidamente nuestra empresa. WL Gore and Associates es una empresa global de ciencia de materiales, estamos produciendo |
| Soluciones muy diferentes para industrias muy diferentes, desde la aeroespacial hasta productos médicos y lo que podría ser familiar para la mayoría de ustedes. |
| es nuestra marca Gore-tex. Así que eso es en lo que nos enfocaremos hoy y la marca Gore-tex está produciendo laminados de tejidos duraderos, impermeables y transpirables. |
| Y esos laminados se venden a nuestros clientes o socios de marca que fabrican productos a partir de ellos. Más concretamente, hoy nos centraremos en los zapatos. |
| Así que esta es una breve descripción general de mi charla. Comenzaré con los antecedentes y la motivación. Entonces, ¿qué estamos mirando? Estamos mirando descripciones de zapatos y por qué estamos interesados en eso. |
| Posteriormente el resto de la charla se hará en JMP. Usaré JMP 15 Pro, y allí te mostraré cómo usar el Explorador de texto. |
| para analizar las descripciones de nuestros zapatos. Cómo encontrar temas en esos textos, o en las descripciones de zapatos, para que esos temas se puedan usar para encontrar descripciones de zapatos comunes o temas comunes en las descripciones de zapatos y compararlos con las diferentes categorías de zapatos que tenemos. |
| Y finalmente, esta será solo una introducción muy breve, usamos algunos modelos predictivos para validar nuestros hallazgos y para obtener más ... obtendrá una mirada más profunda sobre cómo las diferentes descripciones de zapatos clasifican los zapatos. |
| Así que imagina tu propio armario y los zapatos que tienes en tu armario. |
| Y cada uno de ustedes tendrá al menos una colección pequeña o bastante grande de zapatos diferentes en su armario, y la pregunta es, ¿por qué tienen tantos zapatos? |
| Y que tus zapatos tienen que ajustarse a tu estilo y tal vez necesites colores diferentes y así sucesivamente, esta no es la única razón por la que tienes zapatos diferentes. |
| La otra razón es que necesitas zapatos diferentes. Así que imagínese, tiene un par de zapatos para correr, tiene varios pares de zapatos para uso final informal y puede tener zapatos para caminar. |
| Y los tiene porque cada uno de los zapatos tiene características diferentes o ligeramente diferentes que hacen que este zapato sea utilizable para este uso final y usted necesita esas características para ese uso final. |
| Entonces, lo que nos preguntamos es, si estamos mirando las descripciones de zapatos de nuestros socios de marca, ¿podemos de alguna manera encontrar lo que hace que los diferentes zapatos sean únicos? Entonces verás aquí una colección. |
| de diferentes categorías de zapatos que nos corresponden ahora para diferentes usos finales de los zapatos. |
| Y la pregunta ahora es, si un cliente quiere producir un nuevo zapato de senderismo, por ejemplo, ¿qué configuración de características deberíamos ofrecer en nuestro laminado que vendemos para un zapato que está destinado a ser utilizado para el senderismo? |
| Entonces, ¿esas descripciones de zapatos pueden darnos un prototipo que podamos ofrecer a nuestros clientes? |
| Y, por supuesto, ¿cuál es otro aspecto que es interesante aquí, cómo se están diferenciando otros zapatos? Entonces, ¿cuál es la diferencia entre ese zapato de senderismo y el zapato de calle? ¿Por qué necesitamos esas diferencias? |
| Y esa fue nuestra intención cuando comenzamos a analizar los datos. |
| Entonces, con eso, me gustaría ir a JMP. |
| Y en JMP, primero quiero mostrarles cómo se ven los datos que recopilamos. |
| Entonces, lo que hicimos fue simplemente visitar las páginas web de nuestros socios de marca y recopilamos descripciones de zapatos de esos paquetes. |
| Para cada categoría de calzado tenemos un cierto número de descripciones de calzado y como verá, simplemente copiamos la descripción completa en nuestra tabla de datos. |
| Entonces, esto puede ser bastante largo, puede ser bastante corto, pero no hicimos más que simplemente copiar. |
| Pero por otro lado, puede imaginarse, con ese campo de texto, no podemos hacer mucho. |
| O al menos parece que no podemos, porque JMP ofrece grandes posibilidades para hacer algo. ¿Y qué quiere hacer? Queremos extraer información de ese texto extenso y convertirlo en fragmentos más digeribles. |
| Y esos trozos digeribles |
| se puede extraer con el Explorador de texto. Así que quiero ir al Explorador de texto y poner la descripción del zapato en las columnas de texto aquí. |
| Y aquí hay muchas opciones. Esas opciones se alimentan de los algoritmos que cortan las descripciones de nuestros zapatos o llamamos documentos de descripciones en el lenguaje de análisis de texto. |
| Y esto es cortar los documentos en trozos más pequeños de información, como mencioné, esos trozos digeribles. |
| Y lo que verá son fragmentos digeribles, es decir, tenemos esos términos, que son la unidad más pequeña de información, y tenemos esas frases que son términos que suelen aparecer juntos y que pueden tener un significado si los combina. |
| Para que pueda ver aquí el término más utilizado |
| en todos los documentos, por lo que en todas las descripciones de zapatos, está el término comodidad. |
| Así que primero lo que hicimos fue repasar todas las frases aquí y echar un vistazo. ¿Hay alguno que tenga sentido? |
| Y el primero ya tiene sentido. Así que aquí vemos que los términos Gore y tex aparecen como términos únicos, pero por supuesto, tiene sentido que se analice el término Gore-tex y no Gore y tex. |
| De modo que puede agregar todas las frases que tengan sentido a la lista de términos. Entonces agregamos la frase, y verá aquí ahora, tenemos el término Gore-tex en lugar del término único Gore. |
| Así que ese fue el primer paso de nuestro procesamiento de los datos. El segundo paso fue verificar la lista de términos si hay duplicados o |
| si hay términos que no tienen sentido. Y JMP ya tiene un procesamiento realmente excelente, porque JMP ya excluye muchas palabras que no tienen sentido, como y, a, |
| o, que no le brindan ninguna información. Sin embargo, siempre quedarán algunos términos que no tienen sentido, como este S, por ejemplo. |
| ¿Qué harías con una S? ¿Qué te dice eso sobre un zapato? Así que tuvimos que revisar todos los términos, y si hay un término que no tiene sentido, lo llamamos una palabra de parada y los editamos a la lista de palabras de parada para excluirlos del análisis. |
| Eso fue lo único. La otra cosa que mencioné fue, necesitamos verificar si hay duplicados y verá aquí, por ejemplo, tenemos el término Gore tex |
| y el término GTX. Y GTX es solo una abreviatura del término Gore-tex, por lo que no debemos analizar ambos por separado, debemos combinarlos. |
| Entonces tiene la función Recode, que es más o menos lo mismo que para las columnas, y esta es una gran herramienta para combinar esos |
| ??? datos. Entonces, aquí está la función Recode, y las agrupo a las dos. |
| Y verá ahora que este es solo un término ahora (Gore-tex), y este es en realidad el término más frecuente en nuestros datos. |
| Asi que. |
| Comenzamos con 4,000 términos y lo que terminamos después de toda la limpieza fueron solo 100 términos. Como puede ver, nos quedan 100 términos y con ellos podemos hacer mucho análisis. Son muy útiles para que tengamos una idea de lo que es una descripción de calzado. |
| Entonces, puede usar esa lista para ver cuáles son los términos más frecuentes, pero JMP también ofrece una herramienta de visualización muy fácil. |
| Al hacer clic en el triángulo rojo, puede agregar una nube de palabras. Y esta nube de palabras le da, por el tamaño de la palabra, su frecuencia en todos los documentos, es decir, en todas las descripciones de zapatos. Así que Gore-tex, comodidad y ligereza son los términos más utilizados en las descripciones de calzado que hemos recopilado. |
| Pero quizás recuerdes que esto no es exactamente lo que nos estábamos preguntando, ¿verdad? Entonces nos preguntamos, ¿qué pasa con los zapatos para diferentes usuarios finales? |
| Y para eso, podemos agregar fácilmente el filtro de datos locales aquí y usar el uso final del zapato como filtro. Entonces podría estar interesado, por ejemplo, en cuáles son los términos más frecuentes en todas las descripciones de zapatos de invierno de calle. |
| Y no es de extrañar que los términos invierno y cálido aparecen con frecuencia en las descripciones de los zapatos de invierno de calle. |
| Por otro lado, tomando, por ejemplo, las zapatillas de trail running, aquí se ve un énfasis diferente. Verá que no necesitan abrigarse, pero deben ser transpirables, livianos y que se ajusten bien. |
| Entonces, estas nubes de palabras son muy, muy buenas para entender por primera vez nuestra pregunta inicial, entonces, ¿qué está describiendo la configuración de características de los diferentes tipos de zapatos? |
| Y no terminamos con eso. Queríamos dar un paso más. |
| El paso más allá es, si ya ha preparado todos sus datos, ¿puede de alguna manera hacer un modelado para encontrar este prototipo de configuraciones de zapatos? Y para ese modelado, hay diferentes opciones en JMP y decidimos tomar el SVD. |
| SVD está realizando un análisis de componentes principales de nuestra matriz de términos de documentos. |
| ¿Y qué significa eso? Las matrices de términos del documento incluyen para cada documento, por lo que, para cada descripción de calzado, |
| la frecuencia de cada término. Por lo tanto, contaría, por ejemplo, para la descripción del primer zapato, con qué frecuencia tenemos el término Gore-tex, con qué frecuencia tenemos el término comodidad, etc. Así que puedes imaginar que es una matriz muy grande. |
| Y la idea es ahora, a través del análisis de componentes principales, que está reduciendo la dimensión de la matriz de términos del documento, para obtener un mejor control de sus datos. |
| Y, para poder visualizar mejor los datos. |
| Y en base a esa reducción de las dimensiones, ahora podemos hacer algo de modelado. ¿Y qué tipo de modelaje nos interesa? Así que estábamos interesados en lo que describe un zapato para un determinado uso final. |
| Y para llegar a ese punto, analizamos, ¿hay algún tema en las descripciones de los zapatos? Y si hay temas, ¿esos temas corresponden a determinados usos finales? |
| Entonces, en un mundo ideal, encontraríamos nueve temas en nuestros datos y esos nueve temas representarían exactamente una categoría de calzado. Entonces tendríamos una configuración de zapato prototipo o una configuración de características para cada zapato. |
| Así que veamos qué sucede si yo ... buscas nueve temas. Haré clic aquí en el análisis del tema e ingresaré un 9, ya que estoy interesado en nueve categorías diferentes de zapatos. |
| Y lo que obtengo entonces es una lista de temas con los términos que ocurren con frecuencia en esos temas. El tema uno, por ejemplo, incluye zapatos. |
| que tienen en sus descripciones de calzado los términos superfit, textil, abrigado, etc. Entonces, mi primera sensación aquí sería que estos tienen que ser zapatos de invierno de calle o de calle. |
| El tema dos, por ejemplo, consiste en descripciones de zapatos que incluyen los términos cabaña, trekking, varios días, etc., por lo que esto parece ser como zapatos de trekking. |
| Pero, por supuesto, como estadístico, no estoy contento con solo dar una sensación. Realmente quiero saber qué categoría de calzado pertenece a qué tema. Y para eso, estoy haciendo una distribución simple de las categorías de zapatos y agregaré el filtro de datos locales aquí para mostrar solo |
| categorias |
| que son... |
| para mostrar solo los zapatos seleccionados. |
| ¿Qué significa eso? ¿Cómo puedo usar eso? JMP ofrece aquí los gráficos de puntajes de tema y estos gráficos de puntaje de tema |
| tenga un punto por cada descripción de calzado para cada tema. |
| Entonces, cuanto más alta sea la puntuación para la descripción del zapato, más representativo es este zapato de ese tema en particular. |
| Entonces, lo que hago es, simplemente selecciono todos esos zapatos que tienen puntajes altos para el tema uno y veré en eso |
| histograma aquí que esos son zapatos de invierno de calle y calle. Así que, básicamente, mi instinto era correcto. Esos zapatos que son de textil, que tienen superfit, esos son los de calle y los de calle de invierno. |
| Y el tema dos recuerda, esperábamos que fueran zapatos de trekking. Verá en ese histograma aquí, esos son zapatos de trekking. |
| Y puede hacer eso ahora para todos los temas, y lo puse en el diario. |
| Y verá algunas dificultades para hacer todo eso. Entonces, al asignar una categoría de zapatos o más categorías de zapatos a cada tema, verá dos problemas. |
| El problema número uno, representado aquí, verá que hay ciertas categorías de calzado, como el montañismo, que no están representadas por un tema, sino por varios. |
| Y también verá que esos temas se superponen, por lo que la palabra crampón, por ejemplo, aparece en ambos temas. |
| Lo que significa que parece que tenemos demasiados temas aquí. |
| Entonces, esos temas, idealmente, desea tener un tema por categoría de calzado, y si vemos que hay temas que se superponen y corresponden a múltiples categorías, parece que nueve es demasiado. |
| Pero esto, por supuesto, tiene que tener otro ???, por lo que si los zapatos de montañismo corresponden a más de un tema, es necesario que haya temas que no sean tan claramente identificables. |
| Así que mire, por ejemplo, este tema número cinco. Y así, como los zapatos más representativos. Verá esto como una gran colección. |
| Hay zapatillas progresivas, zapatillas para correr en carretera, zapatillas de calle, etc. Entonces, esas son en su mayoría categorías que se superponen y no se diferencian entre sí. Así que imagina dónde está la diferencia entre la zapatilla de trail running y la zapatilla de running de carretera. |
| O luego vaya al siguiente paso, ¿cuál es la diferencia entre trail running y senderismo? |
| Hay ciertas superposiciones en esos zapatos y si hay esas superposiciones, no puede identificar claramente la configuración de una característica para esa categoría de zapatos. |
| Así que también es un aprendizaje muy valioso. Por supuesto, está gestionando su cartera de diferentes laminados. Quiere saber, ¿necesito un laminado específico para ese uso final específico o es bastante similar a otros laminados que ya tengo? |
| Entonces, lo que terminamos haciendo fue que queríamos tener una colección final de temas donde no tenemos ningún tema correspondiente a más de una categoría, y lo hicimos a mano. Así que analizamos diferentes números de temas y terminamos teniendo cinco. |
| Esos cinco temas, verán, corresponden a una cierta cantidad de categorías, pero veremos que no todas las categorías de zapatos pueden ser representadas por él. |
| Entonces tuvimos dos aprendizajes. El aprendizaje número uno fue que tenemos algunos prototipos de descripciones de zapatos para aquellos |
| categorías de calzado. Y, por otro lado, es posible que todas las categorías de zapatos que no se mencionen aquí no estén muy diferenciadas o que no tengan esta única configuración. |
| en la descripción de sus zapatos. |
| Y esa fue solo una de las opciones que ofrece el Explorador de texto. También hay otras opciones, pero nos centramos en esto y funcionó bastante bien. |
| Y con eso, me gustaría dejar Text Explorer y brindarle solo una breve perspectiva de lo que podría hacer más con la matriz de términos del documento de tema. |
| Entonces, aquí, tengo el mismo conjunto de datos que antes, pero he exportado la matriz de términos del documento. Entonces ves muchas columnas nuevas que se muestran para cada término. |
| la frecuencia de ese término en una descripción de calzado determinada. |
| Y probamos con diferentes versiones de eso, así que teníamos una matriz de términos de documento que indicaba frecuencias; teníamos uno que indicaba que solo está contenido, no está contenido; etcétera. Y terminamos con esa versión. |
| Y utilizando las posibilidades de JMP Pro, creamos una columna de validación para dividir nuestro conjunto de datos en datos de entrenamiento, validación y prueba. Los datos de entrenamiento y validación se utilizan para entrenar nuestro modelo predictivo y los datos de prueba se utilizan para realizar pruebas. |
| Y cuando hablamos de modelado predictivo, ¿cuál es nuestro objetivo aquí? Entonces, lo que hicimos antes fue una especie de técnica sin supervisión porque |
| solo buscamos temas y luego los comparamos con las categorías de zapatos. Y ahora queremos ser un poco más proactivos, así que tenemos la descripción del zapato, ¿podemos predecir una categoría explícitamente? |
| Y probamos diferentes técnicas de modelado predictivo que ofrece JMP 15 Pro y terminamos con un bosque de arranque. Y aquí me gustaría darle solo una idea de cómo podrían verse los resultados y para qué podríamos usarlos. |
| Entonces, verá los resultados en la matriz de confusión en el conjunto de datos de prueba, ¿cuál fue la categoría, la descripción de cierto zapato y qué predije usando mi bosque de arranque? |
| Y, curiosamente, verá prácticamente los mismos resultados que vimos antes. Entonces, hay ciertas categorías que se pueden diferenciar claramente de otras, |
| que ya tienen una configuración de funciones única, y hay otras que no la tienen. Así que échale un vistazo, por ejemplo, a las zapatillas para correr por carretera. |
| Ya descubrimos en nuestro primer análisis que esos no están definidos de manera única. Y veremos aquí también, predigo que muchos zapatos serán zapatos para correr en la carretera que de hecho son otros zapatos. |
| Eso significa que esto confirma los hallazgos que teníamos antes. Vemos exactamente que las categorías de zapatos que se describieron bien utilizando esa técnica sin supervisión también están bien descritas aquí y las que no están bien diferenciadas tampoco están tan diferenciadas aquí. |
| Así que fue muy interesante verlo, y hay muchas otras cosas que podría hacer ahora con este análisis. Podrías hacer, por ejemplo, |
| un análisis, que es ... ¿cuáles son los problemas más importantes a la hora de diferenciar determinados zapatos? Entonces, ¿cuál es la contribución de la columna, qué términos contribuyen más a la hora de diferenciar las categorías de calzado? |
| O puede explorar más a fondo qué categorías de calzado pueden diferenciarse mucho y cuáles no, utilizando las curvas ROC. |
| Y por último, pero no menos importante, puede utilizar este modelo para la predicción. Por lo tanto, puede ingresar aquí ciertas configuraciones de características o descripción de zapatos |
| y predecir entonces la probabilidad de que esta descripción pertenezca a una determinada categoría de calzado. En este caso, por ejemplo, predeciríamos que esta zapatilla podría ser una zapatilla para correr por carretera. |
| Debido al tiempo, no entraré en más detalles, pero me gustaría resumir rápidamente. Entonces, ¿cuáles fueron nuestros hallazgos clave? Los hallazgos clave fueron que |
| Text Explorer es una gran herramienta que es absolutamente intuitiva y puede usarla para extraer información rápidamente de datos de texto no estructurados. |
| ¿Dónde se diferencian, dónde no? ¿Qué es ... qué características se buscan en esos zapatos? Pero esos de alguna manera, los hallazgos confirmaron lo que esperamos. |
| Y esta confirmación, podríamos hacer eso usando técnicas no supervisadas o una técnica supervisada, así que comparó el análisis del tema, usando la SVD y el modelo predictivo aquí con un bosque de arranque, y otros podrían funcionar de manera similar. |
| Finalmente, me gustaría agradecer al grupo ??? a quién se le ocurrió ese problema. Recopilaron todos los datos y limpiaron todos los datos y tuvieron excelentes discusiones sobre |
| el sentido o el sinsentido de diferentes técnicas. Entonces, sin ellos, no habrías escuchado esa charla ahora. Y adicionalmente, |
| Me gustaría agradecer a Jonas, un ex colega de la Universidad TU Dortmund, que consultó conmigo sobre el análisis de texto. |
| Y finalmente, me gustaría agradecerle su atención y me complace responder cualquier pregunta, ya sea por correo electrónico o en la comunidad de usuarios de JMP. Envíeme una nota. |
