Nos entusiasmó mucho contar con Manya Mayes, experta en procesamiento del lenguaje natural (PLN) y directora de Ciencia de Datos en 1440 Consulting, como ponente plenaria en nuestro primer Statistically Speaking sobre análisis de texto . También nos encantó contar con su participación como panelista junto con otros dos expertos en análisis de texto: Weida Tong, directora de Bioinformática y Bioestadística de la Administración de Alimentos y Medicamentos (FDA); y Jeff Swartzel, científico de Procter & Gamble.
La experiencia práctica que estos expertos con mentalidad estadística transmiten y los interesantes ejemplos que comparten son inspiradores. Tuvimos tantas preguntas para el panel durante la transmisión en vivo que no pudimos responderlas todas. Nuestros invitados especiales han tenido la amabilidad de responderlas a través de esta entrada del blog.
¿Cómo se mide y demuestra el ROI del análisis de texto?
Manya: Como habrás anticipado, medir el ROI para el análisis de texto no siempre es fácil. Al identificar la advertencia temprana de un problema de producto, puede que nunca sea posible identificar el verdadero ROI para un problema que se soluciona antes de que se convierta en un problema de Ford Explorer/Firestone Tire (que tuvo un costo estimado de $7.5 mil millones ) o el problema de aceleración repentina de Toyota (que incurrió en $1.2 mil millones en multas del Departamento de Justicia y $2 mil millones en costos de retirada ). Si ambas compañías hubieran tomado medidas en función de los resultados del análisis de texto (que fueron fáciles de encontrar utilizando los datos de la Administración Nacional de Seguridad del Tráfico en las Carreteras [NHTSA] y buenas capacidades de análisis de texto), es posible que nunca hubieran sabido realmente cuánto ahorraron. El uso del análisis de texto en un modelo de predicción etiquetado y supervisado proporciona una forma de validar el ROI, pero esto no siempre es posible. Además, para el análisis de datos que informan las futuras decisiones comerciales y la estrategia de la empresa, es posible medir el retorno por dólar invertido a través de un análisis de impulsores/sensibilidad.
Jeff: Esto es complicado, y a menudo me cuesta responder a esta pregunta porque el impacto puede ser inconsistente. A veces, un trabajo muy rápido y sencillo proporciona información valiosa, mientras que otras veces, un análisis que requiere mucho esfuerzo puede producir resultados menos impactantes. Los aspectos en los que suelo centrarme como valor del análisis de texto son: 1) ahorro de tiempo, 2) la capacidad de anticiparme a los problemas, 3) la singularidad de las ideas que podrían no haber sido posibles sin la técnica, y 4) una mayor capacidad para centrarse en temas importantes.
¿Cómo se generó la gráfica en la pantalla (rueda Whompy vs. tiempo) desde la ventana del Explorador de texto?
Adultos: Usando el Explorador de Texto en la muestra de quejas sobre vehículos eléctricos, eliminé un conjunto de términos con poca información añadiéndolos a la lista de exclusión. Luego, eliminé los términos que aparecieron una o dos veces y, a continuación, realicé un análisis de clases latentes. Los resultados del análisis de clases latentes (en JMP Pro ) incluyen una ventana "Probabilidades de Conglomerado por Fila". En esa ventana, se muestra el conglomerado más probable para cada documento. Es posible hacer clic derecho en "Convertir en Tabla de Datos". La siguiente ventana contiene los resultados como una tabla de datos que puede unirse a la muestra original de quejas de vehículos seleccionando "Tablas > Unir" y uniendo estos resultados con los datos originales, coincidiendo por número de fila. Seleccioné solo las filas del conglomerado de ruedas "whoppy". Los datos originales tienen un campo "fecha de fallo" que puede trazarse usando "Gráfico > Constructor de Gráficos". En el Constructor de Gráficos, usé un histograma, con "fecha de fallo" como variable X y la "Escala de Respuesta" establecida en "Contar". El resto fue principalmente información estética, donde cambié el color haciendo clic en la variable "fecha de fallo" en la leyenda (ver imagen adjunta para más detalles). Para obtener la información por modelo, arrastré y solté la variable del modelo del vehículo en la parte del Grupo X del gráfico y usé el modelo del vehículo como una variable de color.
¿Por qué las puntuaciones de los sentimientos negativos son inferiores a las de los sentimientos positivos (98 frente a 100)?
Adultos: Los puntajes de sentimiento varían entre -100 y 100. Resulta que elegí términos negativos con puntajes de -98 y términos positivos con puntajes de 100.
Estas imágenes muestran que, en general, hubo más documentos positivos que negativos. Las puntuaciones reflejan el sentimiento calculado para todo el documento (reseña), por lo que un documento podría tener una puntuación general positiva, aunque tenga partes negativas y positivas.
¿El análisis de texto para el proceso de revisión de la FDA se utiliza más para orientar los esfuerzos de revisión o es complementario a la lectura de documentos?
Weida : El análisis de texto se ha utilizado ampliamente en la FDA, tanto en investigación como en revisión. Entre ellas, la recuperación de información y la clasificación de documentos tienen una fuerte presencia en el proceso de revisión. Además, también investigamos el resumen de texto, el reconocimiento de entidades con nombre y el análisis de sentimientos, actividades que en su mayoría se centran en la ciencia regulatoria.
¿Qué sinergias se obtienen con el análisis de texto y otros métodos de análisis?
Adultos: La combinación de información textual con otros métodos de análisis es común. El texto recibe esencialmente una representación estructurada. La incorporación del texto, ahora estructurado, puede ayudar a aumentar la precisión de los modelos supervisados de aprendizaje automático al aplicarlos a una amplia gama de casos de uso (adquisición, retención, fraude, riesgo, etc.). También puede ayudar con la explicación del modelo y determinar el lenguaje adecuado para la marca, los mensajes, etc. También puede ayudar con la clasificación/agrupación no supervisada, donde los términos, junto con datos estructurados como información transaccional y demográfica, pueden ayudar a describir las agrupaciones.
Jeff: JMP es excelente para conectar directamente el resultado del análisis de texto con otras variables relevantes (tiempo, valoración del cliente, categorías significativas, etc.) para el modelado (selección de términos y análisis discriminante). Las palabras clave y los temas relevantes también pueden fundamentar análisis más cualitativos en otras áreas.
¿Qué opinas sobre el enfoque de bolsa de palabras en comparación con la PNL más avanzada?
Adultos: El enfoque de bolsa de palabras no tiene en cuenta el contexto ni la direccionalidad, aunque se pueden incluir frases, lo que simplifica y agiliza el análisis, a la vez que aporta valor. El PLN más avanzado proporciona más contexto, aunque aún requiere modelos preentrenados y este puede ser mucho más localizado (es más probable que esté dentro de una oración, por ejemplo). El PLN más avanzado proporciona mayor automatización, pero potencialmente pasa por alto los matices que implica el análisis detallado de los datos por parte del científico de datos. En esencia, ambas técnicas tienen sus ventajas y desventajas.
Jeff: Sueno como un disco rayado, pero siempre digo: "Conecta la técnica de análisis con la pregunta". Con frecuencia, puedo obtener información útil y rápida con métodos básicos (sobre todo cuando la pregunta está claramente definida). La gente me pregunta algo como: "No sabemos qué buscamos, pero queremos saberlo todo sobre todo. ¿Podemos usar el PLN para alcanzar la omnisciencia?". Les ayudo a centrarse en la definición de la pregunta o a empezar a explorar el texto con análisis de clases latentes, análisis semántico latente o análisis de sentimientos. Además, el enfoque de bolsa de palabras tiene la ventaja de ser muy fácil de conceptualizar e interpretar, y es un excelente punto de partida. En mi limitada experiencia, métodos como BERT son excelentes para preguntas de clasificación con modelos de aprendizaje automático bien entrenados.
¿Qué significa avanzar hacia una “ciencia regulatoria avanzada”?
Weida: La FDA define la ciencia regulatoria como «la ciencia que desarrolla nuevas herramientas, estándares y enfoques para evaluar la seguridad, la eficacia, la calidad y el rendimiento de los productos regulados por la FDA». En cierto sentido, la ciencia regulatoria avanzada implica aprovechar las tecnologías y metodologías emergentes para mejorar el funcionamiento de la FDA.
¿Cómo facilita JMP su colaboración con otros y con el análisis de texto en particular?
Adultos: La Comunidad JMP es una excelente plataforma para colaborar. El análisis de texto forma parte de la Comunidad JMP, así como de SKP (el Portal de Conocimiento de Estadísticas de JMP), que pronto se volverá más activo con contenido y colaboración en análisis de texto.
Jeff: En P&G, contamos con una amplia base de usuarios de JMP, y muchos están familiarizados con los conceptos básicos. Es fácil compartir los resultados de un análisis de JMP y tener una sesión de trabajo con alguien que usa Text Explorer. Compartir scripts y diarios lo hace muy fácil.
¿Crees que apenas hemos arañado la superficie de lo que se puede hacer con todos los datos textuales que estamos recopilando?
Adultos: Recientemente, el análisis de texto y el procesamiento del lenguaje natural (PLN) han avanzado enormemente en sus capacidades, pero aún queda mucho por hacer. Aunque aún se está empezando a desarrollar, con capacidades adicionales, el texto no se considerará de forma diferente a los datos estructurados. Por ahora, el factor humano sigue siendo muy valioso.
Jeff: Sí, y creo que construir una cultura de personas que estén familiarizadas con los fundamentos de este tipo de trabajo es el mejor punto de partida para desarrollar una comprensión del análisis de datos de texto.
¿Qué más compartes con las personas con las que analizas datos de texto?
Jeff: A veces me aseguro de recordarles que no son más inteligentes que nosotros, lo que significa que las técnicas de análisis no podrán interpretar una frase como "Dejé de usar su producto porque olía raro" y comprenderla a nivel humano. El olor raro podría indicar un problema grave, algo que la gente suele decir sobre este producto, o incluso parte de un cambio intencional que se entendió que se recibiría de esa manera, o incluso algo sarcástico e irónico. El análisis de texto y la PNL siempre deben ir acompañados del conocimiento del dominio y la curiosidad en torno a las preguntas que queremos responder. No podemos (todavía) pulsar un botón y saber todo lo que queremos saber (e incluso lo que no sabemos y que quizás querríamos saber).
Si te perdiste el evento en vivo, puedes verlo a la carta para obtener más información. Además de las preguntas anteriores, tuvimos muchas otras excelentes preguntas de nuestro público. Aprende más sobre ruedas ruidosas, olores extraños y otras ideas que puedes obtener de los datos de texto que has recopilado.
