Explorateur de texte pour l'analyse de non conformité de ParetoSalut,
Un client souhaite utiliser l'explorateur de texte pour consulter une base de données d'assurance qualité. Ils veulent voir s'ils peuvent trouver un aperçu des problèmes de non-conformité qui ont été soulevés en consultant les commentaires en texte libre associés à chaque entrée de la base de données - il s'agit des documents dans ce cas. Cela revient à rechercher des sujets dans les données de Trucks.
La principale chose qu’ils souhaitent faire est de classer les documents en catégories à l’aide d’une analyse des sujets. Cela leur permettrait de faire une analyse de Pareto pour concentrer l'activité d'amélioration sur les types de non-conformité les plus courants.
Quelques questions pour lesquelles je n'ai pas de bonnes réponses pour le moment:
1. Des conseils sur la manière dont vous pouvez choisir le nombre de sujets le plus utile? Des diagnostics qui pourraient aider avec ça? Ou s'agit-il d'utiliser la connaissance du domaine pour vous guider lorsque vous n'ajoutez pas de sujets utiles?
2 Une fois les sujets identifiés, existe-t-il un moyen simple de compter le nombre de documents associés à chaque sujet?
Attendant vos commentaires avec hâte.
Cordialement,
Phil
Objet: Explorateur de texte pour l'analyse de non conformité de ParetoMerci Peter. Bonnes idées.
Phil
Objet: Explorateur de texte pour l'analyse de non conformité de ParetoMerci Dan. Très utile.
Phil
Objet: Explorateur de texte pour l'analyse de non conformité de ParetoPhil:
Quelques réflexions:
1. Nombre de sujets? Étant donné que cela semble être axé sur la conformité, existe-t-il une liste des constatations de non-conformité issues d'audits (je pense, internes ou externes, disons ISO'ish)? Cela pourrait aider à déterminer ce nombre… combien de types de non-conformité différents ont été trouvés?
2 Souvent, avec ces types de non-conformité, une catégorisation de type FMEA est associée. Donc, une probabilité de détecter, la gravité de l'occurrence, la probabilité d'occurrence, etc. Cela aussi pourrait vous aider à identifier le nombre de non-conformités ayant un impact sur le système à l'étude. Ignorer le trivial. S'il existe un FMEA complet (j'espère? ...), je passerais à la liste des RPN AVANT que des mesures correctives ne soient prises).
3 Enfin, laissez les données parler aux catégories ... l'analyse de classe latente pourrait aider ici?
Objet: Explorateur de texte pour l'analyse de non conformité de ParetoPhil -
Pour # 1, généralement:
Vous avez besoin de suffisamment de sujets pour séparer suffisamment. Mais pas trop pour que vous ayez trop de chevauchement entre les sujets. Le LCA a un graphique utile, qui peut être utilisé pour aider à déterminer ce nombre. C'est l'intrigue MDS. Avec les camions, vous pouvez voir avec 3 sujets, il y a peut-être trop de séparation, avec 100, il y a trop de chevauchement.
Pour votre question spécifique, je pense qu’un bon flux de travail pourrait consister à utiliser l’analyse de sujets (SVD ou LCA), puis à classer les clusters en tant que causes liées aux 6M (Méthode, Mère Nature, Main-d’œuvre, Mesure, Machines, Matériaux). Ce serait une étiquette plus utile par rapport au groupe 1, au groupe 4, etc. Ensuite, vous pouvez voir les principaux termes relatifs à une catégorie spécifique. La LCA rapporte le BIC ainsi que les probabilités de terme par cluster et probabilité de mélange de cluster. Le tri des probabilités de terme par cluster est également utile. Dans le cas des camions. L’analyse des sujets LCA ou SVD facilitera le processus de tri beaucoup plus rapidement que l’alternative (lecture de chaque document individuel) ou obligera les ingénieurs à remplir un formulaire contenant chaque cas de non-conformité au moment de signaler le problème.
Heath Rushing présente un autre exemple de non-conformité de dispositifs médicaux FDA dans l'article Text Analytics du JMP en avant . Il couvre également dans le webcast et tech parlant démo . Le tableau de données est ici .
Pour le n ° 2, en utilisant l'ACL, vous pouvez enregistrer le cluster le plus probable dans le tableau de données. Et tabuler à partir de là. Vous pouvez également enregistrer une table de données de la table des probabilités de mélange de grappes à partir du menu contextuel> Transformer en table de données. Vous pouvez obtenir le nombre total de documents à partir de la probabilité, puis utiliser l'expertise du domaine pour marquer chaque cluster avec un thème.
Encore une fois, dans le cas des citations d’inspection de la FDA, passer de 27 000 enregistrements de cas à des sujets d'actualité en quelques minutes est un gain de temps considérable par rapport à la lecture manuelle de chaque longue description et du classement en cascade. Devrait-il y avoir 5 ou 7 sujets? Eh bien, cela va être un jugement qui repose sur l’expertise du domaine et qui examine les diagrammes MDS / les probabilités de cluster / les termes principaux par sujet, etc.
Quoi qu'il en soit, cela me dirigera directement vers la droite pour savoir où je dois ensuite concentrer mon attention, ce qui, à mon avis, est l'objectif ultime.
