Estábamos muy emocionados de presentar a Manya Mayes, una experta en procesamiento del lenguaje natural (NLP) y directora de ciencia de datos en 1440 Consulting, como oradora plenaria en nuestra primera Hablando estadísticamente sobre análisis de texto . También estuvimos encantados de recibirla como panelista con otros dos expertos en análisis de texto: Weida Tong, directora de bioinformática y bioestadística de la Administración de Alimentos y Medicamentos; y Jeff Swartzel, científico de Procter & Gamble.
La experiencia práctica que transmiten estos expertos con mentalidad estadística y los ejemplos interesantes que comparten son inspiradores. Tuvimos tantas preguntas para el panel durante la transmisión en vivo que no pudimos responderlas todas. Nuestros invitados destacados han aceptado amablemente responderles a través de esta publicación de blog.
¿Cómo mide y demuestra el ROI para el análisis de texto?
Manya: Como ya anticipó, medir el ROI para el análisis de texto no siempre es fácil. Al identificar una advertencia temprana de un problema de producto, es posible que nunca sea posible identificar el verdadero ROI para un problema que se solucionó antes de que se convierta en un problema de Ford Explorer / Firestone Tire (que tenía un problema). costo estimado de $ 7.5B ) o el problema de aceleración repentina de Toyota (que provocó $ 1.2 mil millones en multas del Departamento de Justicia y $ 2 mil millones en costos de retiro ). Si ambas empresas hubieran tomado medidas sobre los resultados del análisis de texto (que eran fáciles de encontrar utilizando los datos de la Administración Nacional de Seguridad del Tráfico en las Carreteras [NHTSA] y buenas capacidades de análisis de texto), es posible que nunca hubieran sabido realmente cuánto ahorraron. El uso de análisis de texto en un modelo de predicción etiquetado y supervisado proporciona una forma de validar el ROI, pero esto no siempre es posible. Además, para el análisis de datos que informan la estrategia y las decisiones comerciales futuras de la empresa, es posible medir el rendimiento por dólar invertido a través de un análisis de impulso / sensibilidad.
Jeff: Esto es complicado, y a menudo lucho con esta pregunta porque el impacto puede ser inconsistente. A veces, un trabajo muy rápido y fácil proporciona información valiosa, mientras que otras veces, un análisis de alto esfuerzo puede producir resultados que tienen menos impacto. Las cosas en las que normalmente me enfoco como valor del análisis de texto son: 1) tiempo ahorrado, 2) la capacidad de intervenir antes de los problemas, 3) la singularidad de los conocimientos que podrían no haber sido posibles sin la técnica y 4) una mayor capacidad centrarse en temas de importancia.
¿Cómo se generó la trama en la pantalla (rueda voladora frente al tiempo) desde la ventana del Explorador de texto?
Manya: Utilizando Text Explorer en la muestra de quejas sobre vehículos eléctricos, eliminé un conjunto de términos de poca información agregándolos a la lista de detención, luego eliminé los términos que aparecieron una o dos veces y lo seguí con un análisis de clase latente. Los resultados del análisis de clases latentes (en JMP Pro ) incluyen una ventana de Probabilidades de clúster por fila. En esa ventana, muestra el grupo más probable para cada documento. Es posible hacer clic con el botón derecho en Convertir en tabla de datos. La siguiente ventana contiene los resultados como una tabla de datos que luego se puede unir nuevamente a la muestra original de quejas de vehículos seleccionando Tablas> Unir y luego uniendo estos resultados con los datos originales, haciendo coincidir el número de fila. Seleccioné solo las filas para el grupo de ruedas whopy. Los datos originales tienen un campo de fecha de error que luego se puede trazar usando Graph> Graph Builder. En Graph Builder, utilicé un histograma, con faildate como mi variable X, y la escala de respuesta se estableció en Count. El resto fue principalmente cosméticos, donde cambié el color haciendo clic en la variable de fecha de falla en la leyenda (vea la imagen adjunta para más detalles). Para obtener la información por modelo, arrastré y solté la variable del modelo del vehículo en la porción del Grupo X del gráfico y usé el modelo del vehículo como una variable de color.
¿Por qué las puntuaciones de los sentimientos negativos son más bajas que las positivas (98 v. 100)?
Manya: Las puntuaciones de sentimiento oscilan entre -100 y 100. Simplemente elegí términos negativos con puntajes de -98 y términos positivos con puntajes de 100.
Estas imágenes muestran que, en general, hubo más documentos positivos que negativos. Los puntajes muestran el sentimiento calculado en todo el documento (revisión), por lo que un documento podría tener un puntaje general positivo, aunque tenga partes negativas y partes positivas.
¿Se utiliza más el análisis de texto para el proceso de revisión de la FDA para orientar los esfuerzos de revisión o es un complemento de la lectura de documentos?
Weida : El análisis de texto se ha utilizado de manera amplia en la FDA, tanto en investigación como en revisión. Entre ellos, la recuperación de información y la clasificación de documentos tienen una fuerte presencia en el proceso de revisión. Además, también investigamos el resumen de texto, el reconocimiento de entidades con nombre y el análisis de sentimientos, la mayoría de los cuales es un esfuerzo regulatorio centrado en la ciencia.
¿Qué sinergias obtiene con el análisis de texto y otros métodos de análisis?
Manya: La combinación de información basada en texto con otros métodos de análisis es común. Al texto se le da esencialmente una representación estructurada. La incorporación del texto ahora estructurado puede ayudar a aumentar la precisión del modelo para modelos supervisados de aprendizaje automático cuando se aplica a una gran cantidad de casos de uso (adquisición de clientes, retención, fraude, riesgo, etc.). También puede ayudar con la explicación del modelo y puede informar el lenguaje correcto a usar para la marca, la mensajería, etc. También puede ayudar con la clasificación / agrupación no supervisada, donde los términos, junto con datos estructurados como información transaccional y demográfica, pueden ayudar a describir las agrupaciones.
Jeff: JMP es ideal para conectar directamente la salida del análisis de texto con otras variables relevantes (tiempo, calificación del cliente, categorías significativas, etc.) para modelar (selección de términos y análisis discriminante). Las palabras clave y los temas relevantes también pueden informar análisis más cualitativos en otros lugares.
¿Qué opinas sobre el enfoque de bolsa de palabras frente a la PNL más avanzada?
Manya: El enfoque de la bolsa de palabras no tiene en cuenta el contexto ni la direccionalidad, aunque se pueden incluir frases, lo que hace que el análisis sea más simple y rápido, sin dejar de aportar valor. La PNL más avanzada proporciona más contexto, aunque todavía requiere modelos previamente entrenados y el contexto puede ser mucho más localizado (es más probable que esté dentro de una oración, por ejemplo). La PNL más avanzada proporciona una mayor automatización, pero potencialmente pierde los matices involucrados cuando un científico de datos llega a conocer los datos en detalle. Básicamente, ambas técnicas tienen sus pros y sus contras.
Jeff: Sueno como un disco rayado, pero siempre digo: "Conecta la técnica de análisis con la pregunta". Con frecuencia, puedo obtener información rápida y útil con métodos básicos (especialmente cuando la pregunta está claramente definida). La gente vendrá a mí y me preguntará algo como “No sabemos lo que estamos buscando, pero queremos saberlo todo sobre todo. ¿Podemos PNL nuestro camino hacia la omnisciencia? " : sonriendo_cara_con_sudor: Los ayudaré a enfocarse en la definición de preguntas o comenzaré a explorar el texto con análisis de clase latente, análisis semántico latente o análisis de sentimientos. Además, el enfoque de la bolsa de palabras tiene la ventaja de ser muy fácil de conceptualizar e interpretar, y es un excelente punto de partida. En mi experiencia limitada, métodos como BERT son excelentes para preguntas de clasificación con modelos de aprendizaje automático bien entrenados.
¿Qué significa avanzar hacia la “ciencia reguladora avanzada”?
Weida: La FDA define la ciencia regulatoria como "la ciencia de desarrollar nuevas herramientas, estándares y enfoques para evaluar la seguridad, eficacia, calidad y desempeño de los productos regulados por la FDA". En cierto sentido, la ciencia regulatoria avanzada significa tomar tecnologías y metodologías emergentes para mejorar el funcionamiento de la FDA.
¿Cómo facilita JMP su colaboración con otros y con el análisis de texto en particular?
Manya: La comunidad JMP es una excelente plataforma para colaborar con otros. El análisis de texto es parte de la comunidad JMP, así como SKP (el JMP Portal de conocimiento estadístico ), que está a punto de volverse más activo con el contenido y la colaboración de análisis de texto.
Jeff: En P&G, tenemos una base de usuarios de JMP muy grande y muchas personas están familiarizadas con los conceptos básicos. Es fácil compartir el resultado de un análisis JMP y tener una sesión de trabajo con alguien que use Text Explorer. Compartir guiones y diarios lo hace muy fácil.
¿Crees que acabamos de arañar la superficie de lo que se puede hacer con todos los datos textuales que estamos recopilando?
Manya: Recientemente, el análisis de texto y la PNL han realizado grandes avances en las capacidades, pero aún quedan más por venir. Hay un buen rasguño en la superficie, pero con capacidades adicionales, el texto no se considerará de manera diferente a los datos estructurados. Por ahora, el elemento humano sigue siendo muy valioso.
Jeff: Sí, y creo que construir una cultura de personas que estén familiarizadas con los fundamentos de este tipo de trabajo es el mejor punto de partida para desarrollar una comprensión del análisis de datos de texto.
¿Qué más comparte con las personas con las que analiza los datos de texto?
Jeff: A veces me aseguro de recordarles que no es más inteligente que nosotros, lo que significa que las técnicas de análisis no podrán ver una oración como "Dejé de usar su producto porque olía raro" y entenderlo en a nivel humano. El olor extraño puede ser un indicio de un gran problema, o algo que la gente suele decir sobre este producto, o incluso parte de un cambio intencional que se entendió que se recibió de esta manera, o incluso algo sarcástico e irónico. El análisis de texto y la PNL siempre deben combinarse con el conocimiento del dominio y la curiosidad en torno a las preguntas que queremos responder. No podemos (todavía) presionar un botón y saber todo lo que queremos saber (e incluso lo que no sabemos que podríamos querer saber).
Si te perdiste el evento en vivo, puedes verlo Bajo demanda para obtener más información. Además de las preguntas anteriores, tuvimos muchas otras preguntas excelentes de nuestra audiencia. Obtenga más información sobre las ruedas "chifladas", los olores divertidos y otras ideas que podría obtener de algunos de los datos de texto que ha recopilado.
