Enquête informelle : vos clients utilisent-ils les cartes de contrôle de Levey-Jennings ?Salut les SE, bon vendredi.
J'ai récemment parlé avec plusieurs clients qui utilisent les cartes de contrôle Levey-Jennings pour leurs données de processus. J'essaie de les en dissuader - à cause du risque de manquer des signaux importants - avec un succès mitigé.
Quelle est la prévalence de l'utilisation de ces graphiques, en dehors de l'objectif prévu de suivi de la précision du système de mesure dans un laboratoire de chimie clinique ? Avez-vous des clients qui utilisent Levey-Jennings ? Si oui, dans quelles industries se trouvent-ils et quelles raisons donnent-ils pour les utiliser ?
Merci pour toute contribution.
Jordan
Objet : Enquête informelle : Vos clients utilisent-ils les cartes de contrôle de Levey-Jennings ?Les graphiques LJ sont très utiles dans les situations où il existe des raisons connues de s'attendre à des changements dans les données et où vous ne voulez pas être trop sensible.Dans l'industrie pharmaceutique, c'est souvent le cas.Par exemple, il peut y avoir des variations dans un processus en raison de la variation des matériaux d'entrée, et un seul lot d'entrée peut être utilisé pour plusieurs cycles de production.Cette variation d'entrée est incontrôlable et fait naturellement partie du processus.L'utilisation de la carte I-MR sous-estimera la variation naturelle totale des données et rendra les limites de la carte de contrôle trop étroites, provoquant trop de signaux hors contrôle qui ne sont pas vraiment importants.Chez Eli Lilly et Elanco, nous sommes passés en gros des cartes I-MR aux graphiques Levey-Jennings parce que nous perdions trop de temps à étudier les signaux des cartes de contrôle qui n'avaient pas d'importance.
En fin de compte, cela revient à la gestion des risques.Les cartes de contrôle sont des outils "économiques", pour vous permettre d'aider à gérer les risques d'un processus.Le coût et le risque de fausses alarmes doivent être pris en compte dans le risque global.
Exemple : Ce processus présente une « variation naturelle » en raison des effets de lot d'entrée et de la variation aléatoire pour chaque lot.Le graphique I-MR montre plusieurs points en dehors des limites 3-sigma, indiquant un processus qui n'est pas maîtrisé.
vs le tracé LJ, où tous les points sont dans les limites plus larges.
De plus, gardez à l'esprit l'une des raisons pour lesquelles les graphiques I-MR étaient à l'origine si populaires... vous pouvez facilement utiliser un tableau sur papier pour calculer les limites, car vous n'avez vraiment besoin que d'ajouter et de soustraire des valeurs sous forme de tableau pour calculer le moyenne globale, la plage mobile moyenne, puis enfin utiliser la valeur appropriée pour multiplier la plage mobile moyenne par pour obtenir l'estimation de sigma.À l'époque des calculatrices portables, c'était très utile.
Objet : Enquête informelle : Vos clients utilisent-ils les cartes de contrôle de Levey-Jennings ?WAOUH SAM !!!! Je suis surpris de voir que vous avez remplacé vos graphiques au lieu de corriger les graphiques pour le type de données dont vous disposez. Mais Jordan et moi avons vu ce comportement et c'est pourquoi il a posé la question. Ce qui suit ne doit pas être considéré comme une critique, je veux stimuler la discussion sur ce sujet.
Il me semble qu'en appliquant des cartes de Levey-Jennings à chaque processus, vous n'utilisez pas de cartes de contrôle pour détecter les changements dans la distribution sous-jacente du processus, mais les utilisez plutôt comme limites de réaction ou limites de disposition. L'écart type de l'échantillon n'est jamais la bonne statistique à utiliser pour estimer sigma lorsque vous souhaitez déterminer si la distribution a changé.
Comment calculeriez-vous même le risque d'une fausse alerte ?
Si vous souhaitez déterminer si la distribution du processus a changé et que vous disposez de données indépendantes avec une source de variation, utilisez une estimation à court terme de sigma. Si vous avez un traitement par lots avec deux sources de variation (dans et entre les lots) et que vous collectez toutes les données du lot en même temps, utilisez une carte Xbar-S avec des limites Xbar basées sur MRbar, JMP vous facilite la tâche avec les trois carte de chemin. Si vous avez un traitement par lots et que vous collectez des données à partir des lots au fil du temps, utilisez un graphique à court terme. JMP 18 disposera d'un moyen automatisé de créer des graphiques à petits tirages, mais en attendant, ils ne sont pas difficiles à implémenter dans CCB. Si vous disposez de données autocorrélées, il existe des moyens d'étendre les limites de contrôle tout en utilisant une estimation à court terme de sigma, ou de modéliser la corrélation pour obtenir une statistique de tracé indépendante.
La variation entre doit toujours être jugée par la variation à l'intérieur ! Rien d'autre ne devrait être appelé contrôle de processus.
Objet : Enquête informelle : Vos clients utilisent-ils les cartes de contrôle de Levey-Jennings ?Je pense que je dois expliquer comment les choses "étaient" chez mon ancien employeur, ce qui signifie que c'est probablement toujours le cas ! Nous ne sommes jamais allés aussi loin que Sam de passer strictement à LJ, mais il a été utilisé dans plusieurs domaines différents. De plus, en répondant, je pense que je peux apprendre quelque chose ici.
Voici le scénario : un processus par lots qui fabrique des produits selon une roue de produits. La roue des produits indique que nous devons fabriquer 40 lots consécutifs du produit X (un produit très populaire). Une fois qu'un lot démarre, il est difficile d'apporter des ajustements à la réaction au fur et à mesure qu'elle se produit et cela pourrait enfreindre les SOP. Par conséquent, une fois le lot terminé, les propriétés sont mesurées et placées sur une carte de contrôle. Cela peut ensuite être utilisé pour faire des ajustements pour le prochain lot. S'agit-il d'un SPC à court terme ? Le plus probable. Est-ce SQC plutôt que SPC ? Peut-être. Mais vous n'obtenez qu'un seul point de données par lot. Ainsi, une carte ImR a du sens. Cependant, l'autocorrélation est souvent une réalité, ce qui fait de la plage mobile une horrible estimation de la variabilité.Par conséquent, les cartes LJ ! Oui, je pourrais aussi utiliser EWMA ou quelque chose qui gère l'autocorrélation, mais rappelez-vous qui exécute le processus et fait les ajustements : les opérateurs d'usine qui ne sont probablement pas familiers avec les mathématiques impliquées dans EWMA. Il y a une méfiance inhérente parce que cela n'a peut-être pas de sens pour eux. Cela se prête également à LJ.
Ainsi, Di, il peut y avoir une variabilité au sein d'un lot, mais elle ne peut pas être facilement mesurée. Nous contrôlons en fonction de la variabilité d'un lot à l'autre. Je ne vois pas ce qui ne va pas avec l'utilisation de l'écart type pour estimer cette variabilité d'un lot à l'autre. Instruis-moi ! Surtout sur cette déclaration que vous avez faite : " L'écart-type de l'échantillon n'est jamais la bonne statistique à utiliser pour estimer sigma lorsque vous voulez déterminer si la distribution a changé." Si vous avez un processus stable, cela me semble être un choix logique. Cela peut être difficile au début, mais une fois que vous êtes stable, je pense que tout ira bien.
Objet : Enquête informelle : Vos clients utilisent-ils les cartes de contrôle de Levey-Jennings ?Merci @SamGardner , merci @Di_Michelson .Sam, je voulais répondre à votre dernier point, à propos de SPC utilisant des calculs manuels par rapport à un logiciel. Laissons de côté pour le moment la question de la variation d'un lot à l'autre.
S'il est vrai que les cartes I-MR sont facilement dessinées à la main, je pense qu'il existe une idée fausse commune que nous devons combattre. Lorsque je demande aux clients pourquoi ils utilisent Levey Jennings, ils me disent souvent qu'il est préférable d'utiliser s (la statistique d'écart type de l'échantillon) pour l'estimation de sigma. Généralement, ils pensent que le graphique I-MR de la vieille école est optimisé pour le calcul manuel, et si vous avez un logiciel, pourquoi n'utiliseriez-vous pas s au lieu de MR ?
Le problème avec l'utilisation de s, bien sûr, est qu'il est gonflé par toutes les causes spéciales qui peuvent être présentes. Plus que l'estimation basée sur le MR. L'utilisation d'une estimation sigma à court terme est un moyen plus efficace de séparer la variation de cause commune des causes spéciales. CPS 101, n'est-ce pas ? Mais ce point est perdu pour de nombreux praticiens.
J'utilise cet exemple (certes ridicule) pour illustrer le problème aux clients. Des données normales générées aléatoirement avec un sigma de 5, et il y a un décalage spectaculaire de 20 points (4 sigma) en plein milieu. Le graphique IMR a une estimation sigma relativement précise de 5,7 et montre correctement le processus comme étant hors de contrôle :
Alors que le graphique de Levey Jennings utilise s = 11,5 pour estimer sigma, assez gonflé par rapport à la vraie valeur de 5. Et il montre à tort le processus comme étant sous contrôle.
Et spécifions qu'il est correct d'utiliser s pour estimer sigma pour des limites externes fixes basées sur des données historiques bien comportées. Lorsque vous utilisez des limites fixes, je ne pense pas que ce soit vraiment un graphique de Levey-Jennings dans l'esprit. La situation à laquelle Di et moi nous opposons est d'utiliser s calculé sur les données du graphique pour tracer des limites.
Tout ceci dit : Je suis tout à fait d'accord qu'une carte de contrôle est un outil économique, un guide pour prendre des décisions. Les clients peuvent choisir les limites qu'ils désirent. Je ne dis pas que nous devrions être esclaves de faire les choses de la "bonne" manière. Mais je pense qu'il est important que les utilisateurs comprennent les implications de leurs choix, afin qu'ils puissent peser les risques de manière appropriée.
Objet : Enquête informelle : Vos clients utilisent-ils les cartes de contrôle de Levey-Jennings ?La question clé est de déterminer la mesure appropriée de la variance à utiliser dans le graphique.Dans l'exemple que j'ai fourni, la véritable variance du processus a plusieurs composantes, à la fois à court et à long terme, et qui caractérise la variabilité naturelle du processus.De plus, la raison de l'utilisation de LJ vs IMR était la sensibilité de la carte de contrôle et le coût associé à un signal hors contrôle.Dans le secteur pharmaceutique, un signal OOS signifie généralement une enquête formelle, impliquant des heures de travail par plus d'une personne.Si le graphique est trop sensible, vous perdrez beaucoup de temps à étudier les variations naturelles, ce qui vous évitera de vous concentrer sur d'autres questions importantes telles que l'amélioration des processus.J'ai vécu cela personnellement.
Notez que ce type de variation "par lots" provient également de tests analytiques.Souvent, plusieurs lots de matériel seront produits. puis ces lots seront testés en même temps dans le même cycle d'analyse.Si la mesure a une grande précision intermédiaire et que la variation d'une série à l'autre est importante par rapport à la variation totale, vous verrez également de nombreux changements à court terme dans les données.
Le processus où il n'y a qu'une seule source aléatoire de variation qui se produit d'un lot à l'autre n'est pas le seul type de processus, et la carte de contrôle doit être appropriée pour le processus et le processus de prise de décision avec lequel la carte de contrôle est utilisée.
Cela étant dit, j'aime bien le graphique IMR, en raison de sa sensibilité et de sa simplicité.Parfois, le graphique MR est aussi informatif que le graphique individuel.
Objet : Enquête informelle : Vos clients utilisent-ils les cartes de contrôle de Levey-Jennings ?Merci, Dan et Sam !
Dan, je pense que votre scénario pourrait être un SPC à court terme. Si vous ajustez la cible (et peut-être l'estimation du sigma) lorsque vous changez de produit, alors oui. Mon exemple de SPC à court terme est lorsque vous avez un four qui dépose à la fois 600 et 1000 angströms de nitrure sur un substrat. La ligne médiane et les limites sont différentes pour les deux processus, mais vous souhaitez contrôler le four, vous standardisez donc la statistique de traçage pour chaque processus. Lorsqu'un nouveau processus 300A est mis en ligne, vous devez établir les constantes utilisées pour normaliser ce processus.
Je n'ai pas de bonne réponse pour utiliser l'écart type de l'échantillon plutôt que la plage mobile pour estimer le sigma sous autocorrélation. Ni l'un ni l'autre n'est la meilleure méthode. Mais la meilleure méthode actuelle (modélisation de la corrélation et utilisation de graphiques EWMA sur les résidus) n'est pas possible sans systèmes de contrôle et peu interprétable même si vous avez les systèmes en place.
Cela me ramène à dire que vous n'essayez pas de détecter les changements dans la distribution des processus, vous essayez plutôt de faire du SQC. Et il n'y a rien de mal à ça ! Mais alors, inventez simplement quelques limites techniques qui ont plus de sens que d'utiliser l'écart type de l'échantillon. Je pense que l'utilisation d'une procédure statistique vous donne une fausse sécurité que vous faites du SPC.
Pour Sam, lorsque vous avez plusieurs sources de variation dans un processus, ni le graphique X-MR ni LJ ne sont appropriés. Contrôlez donc ces sources séparément au lieu d'utiliser un seul graphique. Je pense à un processus où vous voulez un point sur un graphique par lot, mais vous avez plusieurs observations dans ce lot. Dans ma vie passée. nous avons souvent tracé trois sources de variation : tracer la moyenne du lot avec des limites basées sur la MR des moyennes (contrôle la variation d'un lot à l'autre), tracer la plage des moyennes de plaquette avec des limites basées sur Rbar (contrôle la variation de plaquette à plaquette au sein d'un lot) , tracez l'écart type moyen des plaquettes avec des limites basées sur le MR des devs std intra-wafer (contrôles dans la variation de la plaquette).
Pourquoi l'écart type de l'échantillon n'est-il jamais la bonne statistique pour effectuer le contrôle de processus ? La réponse se trouve dans votre phrase suivante : bien sûr, c'est lorsque vous savez que votre processus est stable, mais le but de SPC est de vous dire si vous avez un processus stable. Comme le montre l'exemple extrême de Jordan, l'écart-type de l'échantillon ne le montrera pas.
J'ai cherché l'historique des cartes Levey-Jennings. Il est intéressant de noter que leur article original décrit simplement l'application de la carte XBar-R avec une taille de sous-groupe = 2 en chimie clinique. L'utilisation de la MR pour estimer le sigma pour les individus n'avait pas encore été réalisée. Henry et Segalove ont publié ce que JMP appelle une carte Levey-Jennings utilisant s pour estimer sigma à peu près au même moment où Tippett a publié des cartes X-MR. Westgard appelle ces graphiques des graphiques Levey-Jennings, d'où JMP l'a obtenu.
Dans notre cours SPC, nous avons une démo comme celle de Jordan, mais avec des données plus comme celles de Sam. Nous enseignons que si vous tracez le comportement d'une jauge (ou d'un essai ou d'une méthode) en utilisant des mesures d'un standard connu et que vous savez que le processus est stable, alors ok, allez-y et utilisez s pour estimer sigma. Exécutez la norme avec vos échantillons cliniques à titre de vérification. (Je suis toujours bloqué sur la façon dont vous savez que le processus est stable sans faire de SPC.)
Merci encore! C'est exactement le type de discussion que j'espérais.
Objet : Enquête informelle : Vos clients utilisent-ils les cartes de contrôle de Levey-Jennings ?Une autre carte de contrôle utilisée lorsqu'il existe une "moyenne errante" est la carte EWMA, et le niveau de lissage peut être choisi pour ajuster la sensibilité afin de détecter les changements dans le processus et de gérer les risques et les coûts associés à la carte de contrôle.
Je me souviens avoir lu il y a de nombreuses années qu'un grand fabricant de semi-conducteurs préférait les cartes EWMA aux cartes individuelles, pour les raisons que j'ai décrites plus tôt.
Objet : Enquête informelle : Vos clients utilisent-ils les cartes de contrôle de Levey-Jennings ?Dans le cas d'observations individuelles (le seul cas où je pense que LJ pourrait avoir un sens) et d'un processus non stable, je conviens que l'écart type peut ne pas être une bonne estimation de la variabilité. Mais je dirais que MR-bar ne serait pas utile non plus. Quelle mesure gère mieux les petits changements de processus ? Je ne suis pas vraiment sûr. Dans le scénario avec des observations individuelles et une autocorrélation, je préférerais "lancer les dés" pour que l'écart type ait plus de sens en tant qu'estimation que MR-bar. Comme Sam l'a dit plus tôt, c'est comment allez-vous estimer la variance et où voulez-vous placer votre risque.
Objet : Enquête informelle : Vos clients utilisent-ils les cartes de contrôle de Levey-Jennings ?Ah je ne suis pas d'accord ! Je pense que vous pouvez voir dans le graphique de Sam (supposons qu'il s'agit d'un processus non stable au lieu d'un processus par lots) que le MRbar trouve des signaux réels et s ne l'est pas.
L'autocorrélation est tout simplement difficile à gérer, dans toutes sortes de méthodes statistiques.
Je suis un grand fan du contrôle de la variation que vous souhaitez contrôler sur des graphiques séparés, et combiner des données avec plusieurs sources de variation sur le même graphique n'a pas de sens pour moi.
Encore merci pour cette discussion, c'est vraiment utile !
