Informelle Umfrage: Verwenden Ihre Kunden Regelkarten von Levey-Jennings?Hey SEs, schönen Freitag.
Ich habe kürzlich mit mehreren Kunden gesprochen, die Levey-Jennings-Regelkarten für ihre Prozessdaten verwenden. Ich versuche, es ihnen auszureden – wegen der Möglichkeit, wichtige Signale zu verpassen – mit gemischtem Erfolg.
Wie weit verbreitet ist die Verwendung dieser Diagramme außerhalb des beabsichtigten Zwecks der Nachverfolgung der Genauigkeit von Messsystemen in einem Labor für klinische Chemie? Haben Sie Kunden, die Levey-Jennings verwenden? Wenn ja, in welchen Branchen sind sie tätig und welche Gründe nennen sie für deren Einsatz?
Danke für jeden Beitrag.
Jordanien
Betreff: Informelle Umfrage: Verwenden Ihre Kunden Regelkarten von Levey-Jennings?Die LJ-Diagramme sind sehr nützlich für Situationen, in denen es bekannte Gründe gibt, Verschiebungen in den Daten zu erwarten, und Sie nicht überempfindlich sein möchten.In der Pharmazie ist dies oft der Fall.Beispielsweise kann es aufgrund von Eingangsmaterialschwankungen zu Abweichungen in einem Prozess kommen, und eine einzelne Eingangscharge kann für mehrere Produktionsläufe verwendet werden.Diese Eingabevariation ist unkontrollierbar und ein natürlicher Teil des Prozesses.Die Verwendung der I-MR-Karte unterschätzt die gesamte natürliche Schwankung in den Daten und macht die Grenzen der Regelkarte zu eng, was zu viele außer Kontrolle geratene Signale verursacht, die nicht wirklich wichtig sind.Bei Eli Lilly und Elanco haben wir im großen und ganzen von I-MR-Karten zu Levey-Jennings-Diagrammen gewechselt, weil wir zu viel Zeit mit der Untersuchung von Kontrollkartensignalen verschwenden, die keine Rolle spielen.
Letztlich kommt es auf das Risikomanagement an.Regelkarten sind ein „wirtschaftliches“ Werkzeug, mit dem Sie die Risiken mit einem Prozess steuern können.Die Kosten und das Risiko von Fehlalarmen müssen im Gesamtrisiko berücksichtigt werden.
Beispiel: Dieser Prozess hat eine „natürliche Schwankung“ aufgrund von Input-Batch-Effekten und zufälligen Schwankungen für jeden Batch.Das I-MR-Diagramm zeigt mehrere Punkte außerhalb der 3-Sigma-Grenzen, was auf einen Prozess hinweist, der nicht unter Kontrolle ist.
gegenüber dem LJ-Plot, bei dem alle Punkte innerhalb der breiteren Grenzen liegen.
Denken Sie auch an einen der Gründe, warum I-MR-Diagramme ursprünglich so beliebt waren ... Sie können eine papierbasierte Tabelle einfach verwenden, um Grenzwerte zu berechnen, da Sie nur wirklich Werte in Tabellenform addieren und subtrahieren müssen, um die zu berechnen Gesamtmittelwert, die durchschnittliche gleitende Spannweite, und verwenden Sie dann schließlich den entsprechenden Wert, um die durchschnittliche gleitende Spannweite zu multiplizieren, um die Schätzung von Sigma zu erhalten.In der Zeit vor Taschenrechnern war das sehr nützlich.
Betreff: Informelle Umfrage: Verwenden Ihre Kunden Regelkarten von Levey-Jennings?WOW SAM!!!! Ich bin überrascht zu sehen, dass Sie Ihre Diagramme ersetzt haben, anstatt die Diagramme für die Art von Daten zu reparieren, die Sie haben. Aber Jordan und ich haben dieses Verhalten gesehen und deshalb hat er die Frage gestellt. Das Folgende soll nicht als Kritik aufgefasst werden, ich möchte die Diskussion zu diesem Thema anregen.
Es scheint mir, dass Sie durch die Anwendung von Levey-Jennings-Diagrammen auf jeden Prozess Regelkarten nicht verwenden, um Änderungen in der zugrunde liegenden Verteilung des Prozesses zu erkennen, sondern sie stattdessen als Reaktionsgrenzen oder Dispositionsgrenzen verwenden. Die Stichprobenstandardabweichung ist nie die richtige Statistik zum Schätzen von Sigma, wenn Sie feststellen möchten, ob sich die Verteilung geändert hat.
Wie würden Sie überhaupt das Risiko eines Fehlalarms berechnen?
Wenn Sie feststellen möchten, ob sich die Prozessverteilung geändert hat, und Sie über unabhängige Daten mit einer Variationsquelle verfügen, verwenden Sie eine kurzfristige Schätzung von Sigma. Wenn Sie einen Chargenprozess mit zwei Variationsquellen haben (innerhalb und zwischen Chargen) und alle Daten aus der Charge gleichzeitig erfassen, verwenden Sie ein X-quer-S-Diagramm mit X-quer-Grenzwerten basierend auf MRbar, JMP macht dies einfach mit den drei Wegdiagramm. Wenn Sie einen Stapelprozess haben und im Laufe der Zeit Daten aus den Stapeln sammeln, verwenden Sie ein Kurzzeitdiagramm. JMP 18 wird eine automatische Methode zum Erstellen von Charts für kleine Auflagen haben, aber in der Zwischenzeit sind sie nicht schwer in CCB zu implementieren. Wenn Sie über autokorrelierte Daten verfügen, gibt es Möglichkeiten, die Kontrollgrenzen zu erweitern und gleichzeitig eine kurzfristige Sigma-Schätzung zu verwenden, oder die Korrelation zu modellieren, um zu einer unabhängigen Plotstatistik zu gelangen.
Zwischen Variationen sollte immer nach Innerhalb von Variationen beurteilt werden! Alles andere sollte nicht Prozesssteuerung genannt werden.
Betreff: Informelle Umfrage: Verwenden Ihre Kunden Regelkarten von Levey-Jennings?Ich denke, ich muss mich einmischen, wie die Dinge bei meinem vorherigen Arbeitgeber "früher" waren, was bedeutet, dass es wahrscheinlich immer noch so ist! Wir sind nie so weit gegangen wie Sam, ausschließlich zu LJ zu wechseln, aber es wurde in verschiedenen Bereichen verwendet. Außerdem denke ich, dass ich hier etwas lernen kann, indem ich antworte.
Hier ist das Szenario: ein Batch-Prozess, der Produkte gemäß einem Produktrad herstellt. Das Produktrad besagt, dass wir 40 aufeinanderfolgende Chargen von Produkt X (ein sehr beliebtes Produkt) herstellen müssen. Sobald eine Charge gestartet wird, ist es schwierig, Anpassungen an der Reaktion vorzunehmen, während sie auftritt, und sie könnte gegen die SOP verstoßen. Daher werden die Eigenschaften nach Fertigstellung der Charge gemessen und in eine Kontrollkarte eingetragen. Dies kann dann verwendet werden, um Anpassungen für die nächste Charge vorzunehmen. Ist das Kurzzeit-SPC? Höchstwahrscheinlich. Ist es SQC statt SPC? Womöglich. Aber Sie erhalten nur einen Datenpunkt pro Charge. Daher ist ein ImR-Diagramm sinnvoll. Autokorrelation ist jedoch oft eine Realität, was die gleitende Spannweite zu einer schrecklichen Schätzung für die Variabilität macht.Daher LJ-Charts! Ja, ich könnte auch EWMA oder etwas verwenden, das die Autokorrelation handhabt, aber denken Sie daran, wer den Prozess ausführt und die Anpassungen vornimmt: Anlagenbediener, die wahrscheinlich nicht mit der Mathematik von EWMA vertraut sind. Es gibt ein angeborenes Misstrauen, weil es für sie möglicherweise keinen Sinn ergibt. Dies bietet sich auch für LJ an.
Also, Di, es kann innerhalb der Charge Variabilität geben, aber sie kann nicht einfach gemessen werden. Wir steuern auf der Grundlage der Variabilität von Charge zu Charge. Ich verstehe nicht, was falsch daran ist, die Standardabweichung zu verwenden, um diese Variabilität von Charge zu Charge abzuschätzen. Erziehe mich! Besonders auf diese Aussage, die Sie gemacht haben: " Die Standardabweichung der Stichprobe ist nie die richtige Statistik, um Sigma zu schätzen, wenn Sie feststellen möchten, ob sich die Verteilung geändert hat." Wenn Sie einen stabilen Prozess haben, scheint es mir eine logische Wahl zu sein. Könnte beim ersten Start rau sein, aber sobald Sie stabil sind, denke ich, dass es in Ordnung wäre.
Betreff: Informelle Umfrage: Verwenden Ihre Kunden Regelkarten von Levey-Jennings?Danke @SamGardner , Danke @Di_Michelson .Sam, ich wollte auf Ihren letzten Punkt antworten, bezüglich SPC mit manuellen Berechnungen im Vergleich zu Software. Lassen Sie für den Moment die Frage der Schwankungen von Charge zu Charge beiseite.
Es stimmt zwar, dass I-MR-Diagramme leicht von Hand gezeichnet werden können, aber ich denke, es gibt ein weit verbreitetes Missverständnis, das wir bekämpfen müssen. Wenn ich Kunden frage, warum sie Levey Jennings verwenden, sagen sie mir oft, dass es besser ist, s (die Stichproben-Standardabweichungsstatistik) zur Schätzung von Sigma zu verwenden. Im Allgemeinen denken sie, dass das I-MR-Diagramm der alten Schule für die Handberechnung optimiert ist, und wenn Sie eine Software haben, warum sollten Sie nicht s anstelle von MR verwenden?
Das Problem bei der Verwendung von s ist natürlich, dass es durch besondere Ursachen, die vorhanden sein können, aufgeblasen wird. Mehr noch als die MR-basierte Schätzung. Die Verwendung einer kurzfristigen Sigma-Schätzung ist eine effektivere Methode, um Abweichungen durch gemeinsame Ursachen von besonderen Ursachen zu trennen. SPC 101, richtig? Aber dieser Punkt geht vielen Praktizierenden verloren.
Ich benutze dieses (zugegebenermaßen lächerliche) Beispiel, um Kunden das Problem zu veranschaulichen. Zufällig generierte normale Daten mit einem Sigma von 5, und es gibt eine dramatische Verschiebung um 20 Punkte (4 Sigma) genau in der Mitte. Das IMR-Diagramm hat eine relativ genaue Sigma-Schätzung von 5,7 und zeigt den Prozess korrekt als außer Kontrolle:
Während das Levey-Jennings-Diagramm s = 11,5 verwendet, um Sigma zu schätzen, ist es im Vergleich zum wahren Wert von 5 ziemlich überhöht. Und es zeigt den Prozess fälschlicherweise als unter Kontrolle.
Und nehmen wir an, dass es in Ordnung ist, s zu verwenden, um Sigma für feste externe Limits auf der Grundlage wohlerzogener historischer Daten zu schätzen. Wenn ich feste Limits verwende, denke ich nicht, dass es wirklich ein Levey-Jennings-Diagramm im Geiste ist. Die Situation, gegen die Di und ich Einwände erheben, ist die Verwendung von s, die anhand der Diagrammdaten berechnet wurden, um Grenzen zu ziehen.
All dies gesagt: Ich stimme voll und ganz zu, dass eine Kontrollkarte ein wirtschaftliches Werkzeug ist, eine Anleitung zum Treffen von Entscheidungen. Kunden können frei wählen, welche Limits sie wünschen. Ich behaupte nicht, dass wir sklavisch sein sollten, wenn es darum geht, die Dinge auf die „richtige“ Weise zu tun. Aber ich denke, es ist wichtig, dass Benutzer die Auswirkungen ihrer Entscheidungen verstehen, damit sie die Risiken angemessen abwägen können.
Betreff: Informelle Umfrage: Verwenden Ihre Kunden Regelkarten von Levey-Jennings?Das Schlüsselproblem besteht darin, das geeignete Maß für die Varianz zu bestimmen, das im Diagramm verwendet werden soll.In dem von mir bereitgestellten Beispiel hat die wahre Varianz des Prozesses mehrere Komponenten, sowohl kurz- als auch längerfristig, und das charakterisiert die natürliche Variabilität des Prozesses.Darüber hinaus war der Grund für die Verwendung von LJ vs. IMR die Empfindlichkeit der Regelkarte und die Kosten, die mit einem außer Kontrolle geratenen Signal verbunden sind.In der Pharmazie bedeutet ein OOS-Signal normalerweise eine formelle Untersuchung, die stundenlange Arbeit von mehr als einer Person erfordert.Wenn das Diagramm zu empfindlich ist, verschwenden Sie viel Zeit mit der Untersuchung natürlicher Schwankungen und nehmen sich Zeit, sich auf andere wichtige Dinge wie die Prozessverbesserung zu konzentrieren.Ich habe das persönlich erlebt.
Beachten Sie, dass diese Art von „Chargen“-Variationen auch aus analytischen Tests stammen.Oftmals werden mehrere Materialchargen produziert. und dann werden diese Chargen gleichzeitig im selben Analyselauf getestet.Wenn die Messung eine große Zwischenpräzision hat und die Variation von Lauf zu Lauf im Verhältnis zur Gesamtvariation groß ist, werden Sie auch viele kurzfristige Verschiebungen in den Daten sehen.
Der Prozess, bei dem es nur eine einzige zufällige Abweichungsquelle gibt, die von Charge zu Charge auftritt, ist nicht die einzige Art von Prozess, und die Kontrollkarte muss für den Prozess und den Entscheidungsprozess, mit dem die Kontrollkarte verwendet wird, geeignet sein.
Davon abgesehen mag ich das IMR-Diagramm wegen seiner Empfindlichkeit und Einfachheit.Manchmal ist die MR-Karte genauso informativ wie die individuelle Karte.
Betreff: Informelle Umfrage: Verwenden Ihre Kunden Regelkarten von Levey-Jennings?Danke Dan und Sam!
Dan, ich denke, Ihr Szenario könnte kurzfristig SPC sein. Wenn Sie das Ziel (und möglicherweise die Sigma-Schätzung) bei einem Produktwechsel anpassen, dann ja. Mein Beispiel für Kurzzeit-SPC ist, wenn Sie einen Ofen haben, der sowohl 600 als auch 1000 Angström Nitrid auf einem Substrat abscheidet. Die Mittellinie und die Grenzen sind für beide Prozesse unterschiedlich, aber Sie möchten den Ofen steuern, also standardisieren Sie die Plot-Statistik für jeden Prozess. Wenn ein neuer 300A-Prozess online geht, müssen Sie die Konstanten festlegen, die zur Standardisierung dieses Prozesses verwendet werden.
Ich habe keine gute Antwort für die Verwendung der Standardabweichung der Stichprobe anstelle des Bewegungsbereichs, um Sigma unter Autokorrelation zu schätzen. Beides ist nicht die beste Methode. Aber die derzeit beste Methode (Modellierung der Korrelation und Verwendung von EWMA-Diagrammen für die Residuen) ist ohne Kontrollsysteme nicht möglich und nicht sehr interpretierbar, selbst wenn Sie die Systeme vorhanden haben.
Das führt mich zurück zu der Aussage, dass Sie nicht versuchen, Änderungen in der Prozessverteilung zu erkennen, sondern stattdessen SQC durchführen. Und daran ist nichts auszusetzen! Aber denken Sie sich dann einfach ein paar technische Grenzen aus, die sinnvoller sind als die Verwendung der Stichproben-Standardabweichung. Ich habe das Gefühl, dass die Verwendung eines statistischen Verfahrens Ihnen eine falsche Sicherheit gibt, dass Sie SPC durchführen.
Um Sams Punkt zu sagen, wenn Sie mehrere Variationsquellen in einem Prozess haben, ist weder das X-MR-Diagramm noch das LJ geeignet. Steuern Sie diese Quellen also separat, anstatt ein Diagramm zu verwenden. Ich denke an einen Prozess, bei dem Sie einen Punkt auf einem Diagramm pro Stapel haben möchten, aber Sie haben mehrere Beobachtungen in diesem Stapel. In meinem vergangenen Leben. Wir haben oft drei Variationsquellen grafisch dargestellt: Plotten Sie den Chargendurchschnitt mit Grenzwerten basierend auf der MR der Durchschnitte (kontrolliert die Variation von Charge zu Charge), zeichnen Sie den Bereich der Wafer-Durchschnittswerte mit Limits basierend auf Rbar (kontrolliert die Variation von Wafer zu Wafer innerhalb einer Charge). , die durchschnittliche Standardabweichung der Wafer mit Grenzwerten basierend auf dem MR der Std-Abweichungen innerhalb des Wafers (Kontrollen innerhalb der Wafer-Variation) graphisch darstellen.
Warum ist die Stichproben-Standardabweichung nie die richtige Statistik für die Prozesskontrolle? Die Antwort finden Sie in Ihrem nächsten Satz: Sicher, wenn Sie wissen, dass Ihr Prozess stabil ist, aber der Zweck von SPC ist es, Ihnen zu sagen, ob Sie einen stabilen Prozess haben. Wie Jordans extremes Beispiel zeigt, zeigt die Standardabweichung der Stichprobe das nicht.
Ich habe die Geschichte der Levey-Jennings-Charts nachgeschlagen. Es ist interessant, dass ihr Originalpapier einfach die Anwendung von XBar-R-Diagrammen mit Untergruppengröße = 2 in der klinischen Chemie beschreibt. Die Verwendung von MR zur Schätzung von Sigma für Einzelpersonen war noch nicht realisiert worden. Henry und Segalove veröffentlichten, was JMP ein Levey-Jennings-Diagramm nennt, das s zur Schätzung von Sigma verwendet, ungefähr zur gleichen Zeit, als Tippett X-MR-Diagramme veröffentlichte. Westgard nennt diese Diagramme Levey-Jennings-Diagramme, woher JMP sie hat.
In unserem SPC-Kurs haben wir eine Demo wie die von Jordan, aber mit Daten, die eher denen von Sam ähneln. Wir lehren, dass, wenn Sie das Verhalten eines Messgeräts (oder Assays oder einer Methode) unter Verwendung von Messungen eines bekannten Standards aufzeichnen und Sie wissen, dass der Prozess stabil ist, dann machen Sie weiter und verwenden Sie s, um Sigma zu schätzen. Lassen Sie den Standard zur Kontrolle neben Ihren klinischen Proben laufen. (Ich frage mich immer noch, woher Sie wissen, dass der Prozess stabil ist, ohne SPC durchzuführen.)
Danke noch einmal! Das ist genau die Art von Diskussion, die ich mir erhofft hatte.
Betreff: Informelle Umfrage: Verwenden Ihre Kunden Regelkarten von Levey-Jennings?Eine andere Kontrollkarte, die verwendet wird, wenn es einen "wandernden Mittelwert" gibt, ist die EWMA-Karte, und die Glättungsstufe kann gewählt werden, um die Empfindlichkeit anzupassen, um Verschiebungen im Prozess zu erkennen und die mit der Kontrollkarte verbundenen Risiken und Kosten zu verwalten.
Ich erinnere mich, dass ich vor vielen Jahren von einem großen Halbleiterhersteller gelesen habe, der EWMA-Diagramme gegenüber Einzeldiagrammen aus den zuvor beschriebenen Gründen bevorzugte.
Betreff: Informelle Umfrage: Verwenden Ihre Kunden Regelkarten von Levey-Jennings?Im Fall von Einzelbeobachtungen (der einzige Fall, in dem ich denke, dass LJ sinnvoll sein könnte) und einem instabilen Prozess stimme ich zu, dass die Standardabweichung möglicherweise keine gute Schätzung der Variabilität ist. Aber ich würde argumentieren, dass MR-Bar auch nicht nützlich wäre. Welche Maßnahme kommt mit kleinen Prozessänderungen besser zurecht? Ich bin mir nicht wirklich sicher. Im Szenario mit Einzelbeobachtungen und Autokorrelation würde ich eher „würfeln“, dass die Standardabweichung als Schätzung sinnvoller ist als MR-Balken. Wie Sam bereits sagte, geht es darum, wie Sie die Varianz schätzen und wo Sie Ihr Risiko platzieren möchten.
Betreff: Informelle Umfrage: Verwenden Ihre Kunden Regelkarten von Levey-Jennings?Oh, da bin ich anderer Meinung! Ich denke, Sie können in Sams Diagramm sehen (nehmen wir an, es ist ein nicht stabiler Prozess anstelle eines Batch-Prozesses), dass der MRbar echte Signale findet und s nicht.
Die Autokorrelation ist in allen möglichen statistischen Methoden nur schwer zu handhaben.
Ich bin ein großer Fan davon, die Abweichung, die Sie steuern möchten, auf separaten Diagrammen zu steuern, und das Kombinieren von Daten mit mehreren Abweichungsquellen auf demselben Diagramm ergibt für mich keinen Sinn.
Nochmals vielen Dank für diese Diskussion, es ist wirklich hilfreich!
