Vocero | Transcripción |
| Barker de arcilla | Gracias, mi nombre es Clay Barker. Soy desarrollador estadístico en el grupo JMP y hoy voy a hablar sobre una nueva función en JMP pro para 16. Se llama selección de términos y he trabajado en ello con mis colegas Paris Faison y Ernest Pasour. |
| Así que los datos de texto son cada vez más comunes en la práctica. Es posible que tengamos reseñas de clientes sobre un producto que fabricamos, es posible que tengamos descripciones de algunos eventos o registros de mantenimiento para algunos de nuestros equipos. |
| Y en este ejemplo aquí en mi en mis diapositivas, esto es de la |
| incidentes de aeronaves ... conjunto de datos de incidentes que tenemos en datos de muestra. |
| Y cada fila de datos es una descripción de algún incidente en la aerolínea, un accidente u otro tipo de mal funcionamiento. |
| Entonces, si nunca ha usado la plataforma Text Explorer, se introdujo en JMP 13 y la usamos principalmente para ayudar a resumir y analizar datos de texto. |
| Por lo tanto, facilita la realización de tareas habituales, como buscar las palabras y frases más frecuentes o que aparecen con mayor frecuencia, y facilita la realización de tareas como agrupar los documentos o buscar temas, como el análisis de temas. Y todo está impulsado por lo que se llama la matriz de términos del documento. |
| Entonces, ¿cuál es la matriz de términos del documento? Es más fácil pensar en él simplemente como una matriz de variables indicadoras de si cada documento incluye o no una palabra o frase en particular. |
| Y podemos sopesar eso por la frecuencia con la que aparece la palabra en cada documento. Entonces, cada documento es una fila en nuestra matriz de términos de documentos y cada columna es una palabra. |
| Entonces, para un ejemplo realmente simple aquí, la primera línea es "el empaque de la pizza fue frustrante". Entonces tenemos un 1 para empaque, |
| un 1 para pizza y un 1 para frustrante y 0 para todas las demás palabras. Y, del mismo modo, para la segunda línea, tenemos un 1 para el olor, excelente, sabor y pizza y 0 en el resto. Es solo un resumen simple de las palabras que aparecen en cada documento. |
| También mencioné que hay un par de variaciones de la matriz de términos del documento. El más fácil es el binario; son solo unos y ceros. |
| Pero es posible que queramos incluir información sobre la frecuencia con la que aparece cada palabra, por lo que aquí hay otra oración un poco más larga en la que aparece pizza varias veces. |
| En la matriz de términos del documento binario, esa columna de pizza sigue siendo un 1 porque no nos importa la frecuencia con la que ocurre. Para ternario es 2, porque el ternario es ceros, unos y dos. Es 0 si la palabra no aparece, es 1 si aparece una vez y es 2 si aparece más de una vez. |
| Independientemente de si ocurre cuatro veces aquí, seguimos codificando como 2. Y luego la frecuencia es realmente simple. Es solo la cantidad de veces que aparece cada palabra en ese documento. |
| Entonces esos son tres realmente simples, también ofrecemos ponderación TF-IDF, que es como una frecuencia relativa, pero puede aprender más sobre estos esquemas de ponderación en |
| Plataforma Text Explorer. |
| Entonces, ¿cuál es el siguiente paso? ¿Qué es lo siguiente que podría querer usar a continuación? |
| Es posible que desee utilizar el texto para ayudar con algún resultado. Así que aquí he creado algunas reseñas de muebles, y hay una calificación de estrellas asociada con cada reseña, ¿no? |
| Entonces, podríamos pensar que esas revisiones nos dan algunas pistas sobre por qué alguien calificaría un producto más alto o más bajo. Entonces, en esta primera línea, "las instrucciones fueron frustrantes" y el usuario solo nos calificó con un 3. Si eso ... si ese patrón ocurre mucho y mucha gente está calificando ... |
| muchas de las calificaciones más bajas están asociadas con instrucciones, que podrían indicarnos que debemos mejorar las instrucciones que enviamos con nuestros muebles. |
| Entonces, la idea simple es usarlos como un modelo de regresión. Vamos a ... vamos a tomar nuestra matriz de términos del documento, |
| lo combinaremos con nuestra información de respuesta, y solo haremos una regresión. |
| Y eso nos ayudará a comprender por qué a los clientes les gustan o no nuestros muebles, o cualquier producto que estemos fabricando. |
| Puede ayudarnos a clasificar objetos, basándonos en las descripciones, veremos algo de eso más adelante, o tal vez queremos entender por qué algunas máquinas fallan o no en función de algunos de sus registros de mantenimiento. |
| Y la forma en que lo hacemos es realmente fácil. |
| Realmente estamos haciendo un modelo de regresión, donde cada una de nuestras X, o nuestras variables predictoras, es una de las columnas en la matriz de términos. Entonces, si estamos modelando calificaciones de productos, eso es una regresión lineal simple y si estamos |
| si estamos modelando un resultado binario, como si un cliente recomendaría o no nuestro producto |
| es posiblemente cientos de palabras y tendría sentido no usarlas todas. No todos los datos van a ser útiles, así que aplicaremos una técnica de selección de variables a nuestro modelo de regresión y obtendremos un modelo más simple, fácil de interpretar y que se ajusta bien. |
| Y aquí, en la parte inferior, es fácil visualizar la combinación de esas variables indicadoras con nuestra calificación de respuesta, nuestra calificación de estrellas. |
| Entonces, nuestra solución que estará en JMP 16 es traer modelos de regresión a la plataforma Text Explorer. Si alguna vez ha utilizado la plataforma de regresión generalizada para realizar la selección de variables, básicamente estamos incorporando esa plataforma dentro de Text Explorer. |
| Entonces, si tiene JMP pro, verá el elemento de selección de término en el menú del triángulo rojo para Text Explorer. |
| Esto es lo que realmente nos emociona. Hace que sea fácil y rápido construir y refinar este tipo de modelos de regresión. |
| Entonces, cuando lance esta plataforma, revisaremos algunas demostraciones en solo un minuto, pero rápidamente, |
| desde el principio del lanzamiento, es solo pedir información sobre nuestra respuesta y el tipo de modelo que queríamos encajar. |
| Por lo tanto, puede manejar respuestas continuas, como una calificación de estrellas, y cuando especifica una respuesta continua, proporciona un filtro para que pueda filtrar algunas de las filas, según la respuesta. |
| Y cuando tenemos una columna de respuesta nominal, seleccionamos el nivel objetivo. Entonces, en este caso, recomendaría nuestro producto, sí o no. Vamos a modelar el ... |
| vamos a modelar la recomendación igual a no. |
| Y si tenemos una respuesta de niveles múltiples como azul, verde, amarillo, elegiremos el nivel que queremos modelar y veremos un ejemplo de esto en solo un minuto. |
| Luego, después de que especifique la respuesta, le daremos a la plataforma información sobre el tipo de modelo que queremos encajar. |
| Entonces, cuando hacemos una selección de variables, ¿usaremos la red elástica o el lazo? Ambas son técnicas de selección de variables integradas en la regresión generalizada. ¿Y cómo vamos a hacer la validación? ¿Queremos utilizar el AIC o el BIC? |
| Además, podemos especificar detalles sobre nuestra matriz de términos de documentos. Podemos seleccionar la ponderación y también seleccionar el número máximo de términos que queremos considerar. Entonces, si queremos considerar las 200 palabras más frecuentes, eso es lo que se establece ahora en 200. |
| Entonces, ¿qué sucede cuando lo inicias y presionas el botón de ejecución? Básicamente hace todo |
| necesitas hacer. Configura los datos correctamente detrás de escena para que no tenga que preocuparse por ellos. Hace una selección de variables, por lo que ahora tenemos un pequeño subconjunto de palabras que creemos que son útiles para predecir nuestra respuesta, y presenta los resultados de una manera sencilla. |
| para interpretar el informe, y es bastante interactivo, como veremos en un momento. Entonces solías poder hacer esto |
| guardar la matriz de términos del documento en su conjunto de datos, lanzar una plataforma de regresión generalizada usted mismo, |
| pero ya no tienes que hacer eso. Es todo, es todo en términos de selección ahora. |
| Entonces, esa especificación del modelo, ¿cómo sabemos qué, cómo sabemos qué seleccionar? |
| Los métodos de estimación disponibles son la red elástica y el lazo. La forma fácil de recordar la diferencia entre esos |
| es que la red elástica tiende a seleccionar grupos de predictores correlacionados. Entonces, en este entorno, cuando nuestros predictores son todas palabras, |
| eso significa que tenderá a seleccionar grupos de palabras que tienden a aparecer juntas. Entonces, si piensa en instrucciones y manual, |
| esas palabras aparecen juntas con frecuencia debido a los manuales de instrucciones. Por lo tanto, esos dos predictores estarían altamente correlacionados y la red elástica probablemente seleccionaría a ambos, mientras que el lazo probablemente seleccionaría instrucción o manual, pero no necesariamente ambos. |
| Métodos de validación, tenemos el AIC y el BIC. |
| Entonces, una especie de regla general es que el AIC tiende a sobre-seleccionar modelos y el BIC tiende a sub-seleccionar. Entonces, en nuestras especificaciones, |
| es solo que el AIC tenderá a seleccionar un conjunto más grande de palabras, mientras que el BIC seleccionará un conjunto más pequeño de palabras. |
| Y, personalmente, tiendo a usar mucho el AIC en el escenario porque prefiero tener más palabras de las necesarias que menos, pero eso es una cuestión de preferencia. |
| Y la ponderación del término del documento ... |
| el término documento ponderación matricial, quiero decir. |
| Realmente depende de tu problema. Entonces, en este ejemplo, |
| la palabra pintura aparece en la revisión varias veces. Eso podría significar que el crítico fue muy ... |
| tomó ... la pintura fue muy importante para ese revisor y eso puede ser significativo en nuestro modelo de regresión, por lo que querríamos usar una ponderación como frecuencia en lugar de binaria. |
| Entonces, una vez que inicie la selección de términos, terminará en un lugar como este, donde tenemos |
| un resumen de todos los documentos a la izquierda y todas las palabras que hemos seleccionado a la derecha. Y voy a saltarme esto por ahora; es más fácil de ver cuando comenzamos a hacer una demostración. |
| Otra cosa que creemos que es muy útil es que tenemos un resumen, por lo que puede usar la selección de términos para ajustar una secuencia de modelos y luego se resumen todos en la parte superior, y puede alternar entre ellos. Y nuevamente lo veremos en un momento. |
| Así que echemos un vistazo a la plataforma. |
| Así que primero echaremos un vistazo a esto |
| conjunto de datos de incidentes de aeronaves que se encuentra en la carpeta de datos de muestra de JMP. |
| Entonces, cada fila de nuestra tabla es un incidente. Y sabemos cuánto daño hubo en la aeronave, qué tipo de lesiones hubo, y tenemos una descripción. Entonces, esta última columna es una descripción de lo que sucedió exactamente en el incidente. |
| Así que lanzaremos el Explorador de texto y, si nunca antes ha utilizado el Explorador de texto, a la izquierda tenemos los términos que aparecen con mayor frecuencia y a la derecha las frases que aparecen con mayor frecuencia, es decir, grupos de palabras. |
| Así que queremos usar estas palabras para comprender |
| lo cual ... lo que hace que un choque cause más, ya sabes, sufra más daños o tal vez lesiones más graves. Así que vamos al menú del triángulo rojo y solicitaremos la selección de términos. |
| Así que ahora vemos este lanzamiento que estábamos viendo hace un momento, y quiero aprender más sobre daños, ¿no? Y, en particular, quiero ... Es posible que desee discriminar entre incidentes en los que la aeronave fue destruida y menos daños, por lo que seleccionaremos el nivel objetivo que se destruirá. |
| Mencionaré que esta parada anticipada es una característica que ahorra tiempo. Asi que |
| cuando hacemos una selección de variables, puede llevar bastante tiempo para problemas mucho mayores. Y si deja esta casilla de verificación marcada, dirá |
| creemos que tenemos un modelo que es lo suficientemente bueno; vamos a seguir adelante y detenernos temprano. Tiendo a desmarcar eso a menos que sepa que tengo un problema mucho mayor. |
| Así que lo dejo con red elástica, AIC y vamos a correr. |
| Entonces, lo que está sucediendo en segundo plano es que creó los datos que necesitaba para ajustar este modelo de regresión, y se ajusta al modelo de regresión detrás de escena, y ahora tengo mi resumen. Entonces cada |
| todos los documentos se resumen en este panel izquierdo, por lo que este es el primer incidente de aeronave, este es el segundo, que está en blanco. |
| Así que esta primera es que el avión entró en contacto con un banco de nieve al costado de la pista. |
| Y tenemos todas las palabras importantes resaltadas, por lo que las palabras azules tienen coeficientes negativos, las palabras naranjas tienen coeficientes positivos. |
| Y si estamos interesados en las palabras, podemos mirar este panel a la derecha. Me gusta ordenar por coeficiente para que puedas hacer clic en la parte superior. |
| Entonces, en este caso, es menos probable que las palabras con coeficientes negativos hayan sido destruidas. Así que si |
| el documento contiene la palabra aterrizaje, si el avión ha llegado al punto donde está aterrizando, probablemente no sea un incidente muy serio. Por lo que es menos probable que sean |
| destruido. Por otro lado, podemos ver los términos más positivos, y estas son las palabras que están más asociadas con la aeronave que se está destruyendo. |
| Y esas son palabras como fuego, testigos. Si están entrevistando a testigos para describir el incidente, eso probablemente significa que quien estaba en el avión no pudo hacer una entrevista. |
| Entonces, fuego, radar, giro, noche, todas estas son palabras que están altamente asociadas con |
| con ser destruido. |
| Ahora, quizás también estemos interesados en el nivel de lesiones, y específicamente, vamos a ver los peores niveles de lesiones. |
| Y haremos de nuevo la selección de términos. |
| Y lo aceptaré para que sea rápido. |
| Así que ahora podemos hacer el mismo tipo de cosas, pero ahora mirando el nivel de lesiones. |
| Entonces, si la entrevista incluye al capitán o al aterrizaje, probablemente no sean muy graves en términos del nivel de lesiones. |
| Pero si vuelve a mencionar el radar, noche, montañas, estas son palabras mucho más serias. Así que podemos ir y venir rápidamente entre estos dos ... estas dos respuestas y ver qué palabras predicen esos dos |
| nivel de lesión y nivel de daño. |
| Entonces, echemos un vistazo a otro ejemplo. |
| Así que este es uno que realmente disfruto. Anteriormente, estaba hablando de pizza en mis ejemplos. Ahora vamos a hablar de cerveza. Así que obviamente estas son cosas cercanas y queridas para mi corazón. |
| Entonces, lo que tengo aquí es que tengo ... Descargué una descripción de cada estilo de cerveza, según una reseña de cerveza |
| cuerpo. |
| Entonces, cada cerveza tiene una descripción. |
| Y dice, de dónde vino la cerveza. Entonces tenemos... |
| Estados Unidos, Alemania, Irlanda. |
| Utilice la selección de términos para ver |
