Vocero | Transcripción |
| Ladrador de arcilla | Gracias, mi nombre es Clay Barker. Soy desarrollador estadístico en el grupo JMP y hoy hablaré sobre una nueva característica en JMP pro para 16. Se llama selección de términos y trabajé en ello con mis colegas Paris Faison y Ernest Pasour. |
| Por eso, los datos de texto son cada vez más comunes en la práctica. Es posible que tengamos reseñas de clientes sobre un producto que fabricamos, es posible que tengamos descripciones de algunos eventos o registros de mantenimiento de algunos de nuestros equipos. |
| Y en este ejemplo aquí en mis diapositivas, esto es de la |
| Incidentes de aeronaves... conjunto de datos de incidentes que tenemos en datos de muestra. |
| Y cada fila de datos es una descripción de algún incidente aéreo, un accidente u otro tipo de mal funcionamiento. |
| Entonces, si nunca ha usado la plataforma Text Explorer, se introdujo en JMP 13 y la usamos principalmente para ayudar a resumir y analizar datos de texto. |
| Por lo tanto, facilita la realización de tareas comunes, como buscar las palabras y frases más frecuentes o que aparecen con mayor frecuencia, y facilita tareas como agrupar los documentos o buscar temas, como el análisis de temas. Y todo está impulsado por lo que se llama matriz de términos del documento. |
| Entonces, ¿cuál es la matriz de términos del documento? Es más fácil pensar en ello simplemente como una matriz de variables indicadoras de si cada documento incluye o no una palabra o frase en particular. |
| Y podemos ponderarlo según la frecuencia con la que aparece la palabra en cada documento. Entonces, cada documento es una fila en nuestra matriz de términos de documentos y cada columna es una palabra. |
| Entonces, para poner un ejemplo realmente simple, la primera línea es "el empaque de la pizza fue frustrante". Entonces tenemos un 1 para embalaje, |
| un 1 para pizza, un 1 para frustrante y un 0 para todas las demás palabras. Y, de la misma manera, para la segunda línea, tenemos un 1 para olor, excelente, sabor y pizza y ceros para el resto. Es sólo un simple resumen de las palabras que aparecen en cada documento. |
| También mencioné que hay un par de variaciones de la matriz de términos del documento. El más sencillo es el binario; son solo unos y ceros. |
| Pero es posible que queramos incluir información sobre la frecuencia con la que aparece cada palabra, por lo que aquí hay otra oración un poco más larga en la que pizza aparece varias veces. |
| En la matriz de términos del documento binario, esa columna de pizza sigue siendo un 1 porque no nos importa la frecuencia con la que ocurre. Para ternario es 2, porque el ternario es ceros, unos y dos. Es 0 si la palabra no aparece, es 1 si aparece una vez y es 2 si aparece más de una vez. |
| Independientemente de si ocurre cuatro veces aquí, todavía codificamos como 2. Y luego la frecuencia es realmente simple. Es solo la cantidad de veces que aparece cada palabra en ese documento. |
| Estos son tres esquemas realmente simples. También ofrecemos ponderación TF-IDF, que es algo así como una frecuencia relativa, pero puede obtener más información sobre estos esquemas de ponderación en |
| Plataforma Explorador de texto. |
| Entonces, ¿cuál es el siguiente paso? ¿Qué es lo siguiente que quizás quieras usar a continuación? |
| Es posible que desee utilizar el texto para ayudar con algún resultado. Así que aquí he creado algunas reseñas de muebles y hay una calificación de estrellas asociada con cada reseña, ¿verdad? |
| Entonces podríamos pensar que esas reseñas nos dan algunas pistas sobre por qué alguien calificaría más o menos un producto. Entonces, en esta primera línea, "las instrucciones fueron frustrantes" y el usuario solo nos calificó con un 3. Si eso... si ese patrón ocurre mucho y mucha gente está calificando... |
| Muchas de las calificaciones más bajas están asociadas con instrucciones, lo que podría indicarnos que necesitamos mejorar las instrucciones que enviamos con nuestros muebles. |
| Entonces, la idea simple es usarlos como modelo de regresión. Vamos a... vamos a tomar nuestra matriz de términos del documento, |
| Lo combinaremos con nuestra información de respuesta y simplemente haremos una regresión. |
| Y eso nos ayudará a comprender por qué a los clientes les gustan o no nuestros muebles o cualquier producto que estemos fabricando. |
| Puede ayudarnos a clasificar objetos, según las descripciones, veremos algo de eso más adelante, o tal vez queramos entender por qué algunas máquinas fallan o no según algunos de sus registros de mantenimiento. |
| Y la forma en que hacemos esto es realmente fácil. |
| En realidad, solo estamos haciendo un modelo de regresión, donde cada una de nuestras X, o nuestras variables predictoras, es una de las columnas de la matriz de términos. Entonces, si estamos modelando calificaciones de productos, se trata de una regresión lineal simple y si estamos |
| si estamos modelando un resultado binario, como si un cliente recomendaría o no nuestro producto |
| Posiblemente sean cientos de palabras y tendría sentido no usarlas todas. No todos los datos serán útiles, por lo que aplicaremos una técnica de selección de variables a nuestro modelo de regresión y obtendremos un modelo más simple, fácil de interpretar y que se ajuste bien. |
| Y aquí, en la parte inferior, es fácil visualizar la combinación de esas variables indicadoras con nuestra calificación de respuesta, nuestra calificación de estrellas. |
| Entonces, nuestra solución que estará en JMP 16 es incorporar modelos de regresión a la plataforma Text Explorer. Si alguna vez ha utilizado la plataforma de regresión generalizada para realizar una selección de variables, básicamente estamos incorporando esa plataforma dentro de Text Explorer. |
| Entonces, si tiene JMP pro, verá el elemento de selección de términos en el menú del triángulo rojo del Explorador de texto. |
| Esto es lo que realmente nos entusiasma. Hace que sea fácil y rápido construir y perfeccionar este tipo de modelos de regresión. |
| Entonces, cuando inicie esta plataforma, veremos algunas demostraciones en solo un minuto, pero rápidamente, |
| Desde el comienzo del lanzamiento, solo solicita información sobre nuestra respuesta y el tipo de modelo que queríamos adaptar. |
| Por lo tanto, puede manejar respuestas continuas, como una calificación de estrellas, y cuando especifica una respuesta continua, proporciona un filtro para que pueda filtrar algunas de las filas, según la respuesta. |
| Y cuando tenemos una columna de respuesta nominal, seleccionamos el nivel objetivo. Entonces, en este caso, ¿recomendarías nuestro producto, sí o no? Vamos a modelar el... |
| Vamos a modelar la recomendación igual a no. |
| Y si tenemos una respuesta de múltiples niveles como azul, verde, amarillo, elegiremos el nivel que queremos modelar y veremos un ejemplo de esto en solo un minuto. |
| Luego, después de especificar la respuesta, le daremos a la plataforma información sobre el tipo de modelo que queremos adaptar. |
| Entonces, cuando hacemos selección de variables, ¿vamos a utilizar la red elástica o el lazo? Ambas son técnicas de selección de variables integradas en la regresión generalizada. ¿Y cómo vamos a hacer la validación? ¿Queremos utilizar el AIC o el BIC? |
| Además, podemos especificar detalles sobre la matriz de términos de nuestro documento. Podemos seleccionar la ponderación y también seleccionar el número máximo de términos que queremos considerar. Entonces, si queremos considerar las 200 palabras que aparecen con más frecuencia, eso es lo que está establecido ahora en 200. |
| Entonces, ¿qué sucede cuando lo inicias y presionas el botón de ejecutar? Básicamente hace de todo. |
| necesitas hacer. Configura los datos correctamente detrás de escena para que usted no tenga que preocuparse por ello. Realiza una selección de variables, por lo que ahora tenemos un pequeño subconjunto de palabras que creemos que son útiles para predecir nuestra respuesta y presenta los resultados de una manera sencilla. |
| para interpretar el informe, y es bastante interactivo, como veremos en un momento. Entonces solías poder hacer esto por |
| guardar la matriz de términos del documento en su conjunto de datos, iniciar usted mismo una plataforma de regresión generalizada, |
| pero ya no tienes que hacer eso. Es todo, es todo en términos de selección ahora. |
| Entonces, esa especificación del modelo, ¿cómo sabemos qué, cómo sabemos qué seleccionar? |
| Los métodos de estimación disponibles son la red elástica y el lazo. La manera fácil de recordar la diferencia entre esos |
| es que la red elástica tiende a seleccionar grupos de predictores correlacionados. Entonces, en este contexto, cuando nuestros predictores son todos palabras, |
| eso significa que tenderá a seleccionar grupos de palabras que tienden a aparecer juntas. Entonces, si piensas en las instrucciones y el manual, |
| esas palabras aparecen juntas con frecuencia debido a los manuales de instrucciones. Entonces, esos dos predictores estarían altamente correlacionados y la red elástica probablemente seleccionaría a ambos, mientras que el lazo probablemente seleccionaría instrucción o manual, pero no necesariamente ambos. |
| Métodos de validación, tenemos el AIC y el BIC. |
| Entonces, una especie de regla general es que el AIC tiende a sobreseleccionar modelos y el BIC tiende a subseleccionar. Entonces en nuestras especificaciones, |
| es sólo que el AIC tenderá a seleccionar un conjunto más grande de palabras, mientras que el BIC seleccionará un conjunto más pequeño de palabras. |
| Y personalmente tiendo a usar mucho el AIC en el entorno porque prefiero tener más palabras de las necesarias que menos, pero en realidad eso es una cuestión de preferencia. |
| Y la ponderación de los términos del documento... |
| el término documento ponderación matricial, quiero decir. |
| Realmente depende de tu problema. Entonces en este ejemplo, |
| La palabra pintura aparece en la reseña varias veces. Eso podría significar que el crítico fue muy... |
| tomó... la pintura era muy importante para ese revisor y eso puede ser significativo en nuestro modelo de regresión, por lo que querríamos usar una frecuencia de ponderación en lugar de binaria. |
| Entonces, una vez que inicies la selección de términos, terminarás en un lugar como este, donde tenemos |
| un resumen de todos los documentos a la izquierda y todas las palabras que hemos seleccionado a la derecha. Y voy a saltarme esto por ahora; Es más fácil de ver cuando empezamos a hacer una demostración. |
| Otra cosa que creemos que es muy útil es que tenemos un resumen, por lo que puedes usar la selección de términos para ajustar una secuencia de modelos y luego todos se resumen en la parte superior y puedes alternar entre ellos. Y nuevamente lo veremos en un momento. |
| Así que echemos un vistazo a la plataforma. |
| Así que primero echaremos un vistazo a esto. |
| conjunto de datos de incidentes de aeronaves que se encuentra en la carpeta de datos de muestra de JMP. |
| Entonces cada fila de nuestra tabla es un incidente. Y sabemos cuántos daños sufrió la aeronave, qué tipo de heridos hubo y tenemos una descripción. Entonces esta última columna es una descripción de exactamente lo que sucedió en el incidente. |
| Entonces, iniciaremos el Explorador de texto y, si nunca antes han usado el Explorador de texto, a la izquierda tenemos los términos que aparecen con más frecuencia y a la derecha tenemos las frases que aparecen con más frecuencia, es decir, grupos de palabras. |
| Entonces queremos usar estas palabras para tal vez entender |
| lo cual... lo que hace que un accidente cause más, ya sabes, sufrir más daños o tal vez lesiones más graves. Entonces iremos al menú del triángulo rojo y solicitaremos la selección de términos. |
| Ahora vemos este lanzamiento que estábamos viendo hace un momento y quiero aprender más sobre los daños, ¿verdad? Y, en particular, quiero... podría querer discriminar entre incidentes en los que la aeronave fue destruida y en los que hubo menos daños, por lo que seleccionaremos el nivel objetivo a destruir. |
| Mencionaré que esta parada temprana es una característica que ahorra tiempo. Entonces |
| Cuando hacemos una selección de variables, puede llevar bastante tiempo para problemas mucho más grandes. Y si deja esta casilla marcada, dirá algo así como |
| creemos que tenemos un modelo que es lo suficientemente bueno; vamos a seguir adelante y detenernos temprano. Tiendo a desmarcar eso a menos que sepa que tengo un problema mucho mayor. |
| Así que lo dejaré con red elástica, AIC y le daremos a correr. |
| Ahora lo que está sucediendo en segundo plano es que creó los datos que necesitaba para ajustar este modelo de regresión y está ajustando el modelo de regresión detrás de escena, y ahora tengo mi resumen. Así que cada |
| Cada documento está resumido en este panel izquierdo, por lo que este es el primer incidente aéreo, este es el segundo, que está en blanco. |
| En el primero, el avión contactó con un banco de nieve al costado de la pista. |
| Y tenemos todas las palabras importantes resaltadas, por lo que las palabras azules tienen coeficientes negativos, las palabras naranjas tienen coeficientes positivos. |
| Y si nos interesan las palabras, podemos mirar este panel de la derecha. Me gusta ordenar por coeficiente para que puedas hacer clic en la parte superior. |
| Entonces, en este caso, es menos probable que las palabras con coeficientes negativos hayan sido destruidas. Así que si |
| el documento contiene la palabra aterrizaje, si el avión ha llegado al punto donde aterriza probablemente no sea un incidente muy grave. Por lo tanto, es menos probable que sean |
| destruido. Por otro lado, podemos observar los términos más positivos, y estas son las palabras que más se asocian con el avión que se está destruyendo. |
| Y esas son palabras como el fuego, testigos. Si están entrevistando a testigos para describir el incidente, eso probablemente significa que quienquiera que estuviera en el avión no pudo hacer una entrevista. |
| Entonces fuego, radar, giro, noche, todas estas son palabras que están altamente asociadas con |
| con ser destruido. |
| Ahora, tal vez también estemos interesados en el nivel de lesiones y, específicamente, veremos los peores niveles de lesiones. |
| Y haremos la selección de términos nuevamente. |
| Y lo aceptaré para que sea rápido. |
| Así que ahora podemos hacer el mismo tipo de cosas, pero ahora mirando al nivel de lesiones. |
| Entonces, si la entrevista incluye al capitán o al aterrizaje, probablemente no sean muy graves en términos del nivel de lesiones. |
| Pero si nuevamente se menciona el radar, la noche, las montañas, son palabras mucho más serias. Así que podemos ir y venir rápidamente entre estas dos... estas dos respuestas y ver qué palabras predicen esas dos. |
| nivel de lesión y nivel de daño. |
| Así que echemos un vistazo a otro ejemplo. |
| Así que este es uno que realmente disfruto. Anteriormente, estaba hablando de pizza en mis ejemplos. Ahora vamos a hablar de cerveza. Así que, obviamente, estas son cosas que son cercanas y queridas para mi corazón. |
| Entonces, lo que tengo aquí es que tengo... Descargué una descripción de cada estilo de cerveza, según una reseña de cerveza. |
| cuerpo. |
| Entonces cada cerveza tiene una descripción. |
| Y dice de dónde vino la cerveza. Entonces tenemos... |
| Estados Unidos, Alemania, Irlanda. |
| Utilice la selección de términos para ver |
