Explorador de texto para análisis de Pareto de incumplimientoHola,
Un cliente está interesado en usar Text Explorer para mirar una base de datos de control de calidad. Quieren ver si pueden encontrar información sobre los problemas de incumplimiento que se han planteado al observar los comentarios de texto libre asociados con cada entrada en la base de datos; estos son los documentos en este caso. Es análogo a buscar temas en los datos de Trucks.
Lo principal que quieren hacer es clasificar los documentos utilizando el análisis de temas. Esto les permitiría realizar un análisis de Pareto para enfocar la actividad de mejora en los tipos de incumplimiento más comunes.
Un par de preguntas que actualmente no tengo buenas respuestas para:
1. ¿Alguna orientación sobre cómo puede decidir el número de temas más útil? ¿Algún diagnóstico que ayude con esto? ¿O es un caso de utilizar el conocimiento del dominio para guiar cuando no está agregando temas útiles?
2. Una vez identificados los temas, ¿existe una forma sencilla de contar la cantidad de documentos asociados con cada tema?
Esperamos sus comentarios.
Saludos,
Phil
Re: Text Explorer for Pareto Analysis of Non-complianceGracias Pedro Grandes ideas.
Phil
Re: Text Explorer for Pareto Analysis of Non-complianceGracias, Dan. De mucha ayuda.
Phil
Re: Text Explorer for Pareto Analysis of Non-compliancePhil:
Unos pocos pensamientos:
1. Número de temas? Dado que esto parece estar centrado en el cumplimiento, ¿hay una lista de hallazgos de incumplimiento de las auditorías pasadas (pienso, interno o externo, digamos ISO'ish)? Esto podría ayudar a guiar la determinación de ese número ... ¿Cuántos tipos diferentes de incumplimientos se han encontrado?
2. A menudo, con estos tipos de incumplimiento, tienen asociada una categorización de tipo FMEA. Por lo tanto, la probabilidad de detección, la gravedad de la aparición, la probabilidad de aparición, etc. Esto también podría ayudarlo a identificar el número de incumplimientos que son importantes para el sistema en estudio. Ignorando lo trivial. Si existe un FMEA completo (¿ojalá? ...) recurriría a la lista de RPN ANTES de la acción correctiva).
3. Por último, deje que los datos hablen sobre las categorías ... ¿el análisis de clase latente podría ayudar aquí?
Re: Text Explorer for Pareto Analysis of Non-compliancePhil -
Para el # 1, en general:
Necesita suficientes temas para obtener suficiente separación. Pero no demasiados para que tengas demasiada superposición entre los temas. El LCA tiene una gráfica útil, que puede usarse para ayudar a determinar este número. Es la trama MDS. Con los camiones, puede ver con 3 temas, tal vez haya demasiada separación, con 100, hay demasiada superposición.
Para su pregunta específica, creo que un buen flujo de trabajo podría ser utilizar el análisis de temas (SVD o LCA) y luego agrupar los grupos como causas relacionadas con los 6M (Método, Madre Naturaleza, Mano de obra, Medición, Máquinas, Materiales). Eso sería una etiqueta más útil en comparación con el grupo 1, el grupo 4, etc. Luego puede ver los términos principales que se relacionan con una categoría específica. LCA informa el BIC y también las probabilidades de término por clúster y probabilidad de mezcla de clúster. La clasificación de las probabilidades a plazo por grupo también es útil. En el caso de los camiones. El análisis de los temas de LCA o SVD ayudará con el proceso de agrupación mucho más rápido que la alternativa (leer cada documento indivudal) o exigir que los ingenieros completen un paquete de cada incumplimiento en el momento de informar el problema.
Heath se apresura a través de otro ejemplo de incumplimiento de dispositivos médicos de la FDA en el artículo de Text Analytics en el JMP Foreward . Él también lo cubre en el webcast y tecnología hablando manifestación . La tabla de datos es aquí .
Para el # 2, utilizando el LCA, puede guardar el clúster más probable en la tabla de datos. Y tabular desde allí. O guarde una tabla de datos de la tabla de probabilidades de mezcla de agrupamiento desde el menú contextual> convertir en tabla de datos. Puede obtener el total de documentos de la probabilidad y luego usar la experiencia de dominio para marcar cada grupo con un tema.
Nuevamente, en el caso del ejemplo de citas de inspección de la FDA, pasar de 27 mil registros de casos a temas principales en unos pocos minutos supone un gran ahorro de tiempo en comparación con la lectura manual y detallada de cada descripción larga. ¿Debería haber 5 o 7 temas? Bueno, esa será una llamada de juicio basada en la experiencia de dominio y mirando las gráficas de MDS / probabilidades de clúster / términos principales por tema, etc.
De cualquier manera, me señalará la dirección correcta para descubrir dónde debo centrar mi atención a continuación, lo que creo que es el objetivo final.
