Indagine informale: i tuoi clienti utilizzano le carte di controllo di Levey-Jennings?Ehi SE, buon venerdì.
Di recente ho parlato con diversi clienti che utilizzano le carte di controllo Levey-Jennings per i propri dati di processo. Cerco di dissuaderli - a causa della possibilità di perdere segnali importanti - con alterne fortune.
Quanto è diffuso l'uso di questi grafici, al di fuori dello scopo previsto di tracciare l'accuratezza del sistema di misurazione in un laboratorio di chimica clinica? Hai clienti che utilizzano Levey-Jennings? In caso affermativo, in quali settori operano e quali motivi adducono per utilizzarli?
Grazie per qualsiasi contributo.
Giordania
Ri: Sondaggio informale: i tuoi clienti utilizzano le carte di controllo Levey-Jennings?I grafici LJ sono molto utili per situazioni in cui ci sono motivi noti per aspettarsi cambiamenti nei dati e non vuoi essere ipersensibile.In farmaceutica questo è spesso il caso.Ad esempio, potrebbe esserci una variazione in un processo a causa della variazione del materiale di input e un singolo lotto di input potrebbe essere utilizzato per più cicli di produzione.Quella variazione di input è incontrollabile ed è una parte naturale del processo.L'uso del grafico I-MR sottovaluterà la variazione naturale totale dei dati e renderà i limiti del grafico di controllo troppo ristretti, causando troppi segnali fuori controllo che non sono realmente importanti.In Eli Lilly ed Elanco, siamo passati all'ingrosso dai grafici I-MR ai grafici Levey-Jennings perché perdevamo troppo tempo a indagare sui segnali dei grafici di controllo che non avevano importanza.
Alla fine si tratta di gestione del rischio.Le carte di controllo sono uno strumento "economico", per permetterti di aiutare a gestire i rischi con un processo.Il costo e il rischio di falsi allarmi devono essere considerati nel rischio complessivo.
Esempio: questo processo presenta una "variazione naturale" dovuta agli effetti del batch di input e alla variazione casuale per ogni batch.Il grafico I-MR mostra diversi punti al di fuori dei limiti 3-sigma, indicando un processo che non è sotto controllo.
rispetto al grafico LJ, dove tutti i punti rientrano nei limiti più ampi.
Inoltre, tieni presente uno dei motivi per cui i grafici I-MR erano originariamente così popolari... puoi usare facilmente una tabella cartacea per calcolare i limiti, poiché devi solo sommare e sottrarre valori in una forma tabulare per calcolare il media complessiva, l'intervallo mobile medio, e infine utilizzare il valore appropriato per moltiplicare l'intervallo mobile medio per ottenere la stima di sigma.Nell'era precedente alle calcolatrici portatili, questo era molto utile.
Ri: Sondaggio informale: i tuoi clienti utilizzano le carte di controllo Levey-Jennings?WOW SAM!!!! Sono sorpreso di vedere che hai sostituito i tuoi grafici invece di correggere i grafici per il tipo di dati che hai. Ma Jordan e io abbiamo visto questo comportamento ed è per questo che ha posto la domanda. Quanto segue non deve essere preso come una critica, voglio stimolare la discussione su questo argomento.
Mi sembra che applicando i grafici di Levey-Jennings a ogni processo, non si utilizzino i grafici di controllo per rilevare i cambiamenti nella distribuzione sottostante del processo, ma li si utilizzi invece come limiti di reazione o limiti di disposizione. La deviazione standard del campione non è mai la statistica giusta da utilizzare per stimare sigma quando si desidera determinare se la distribuzione è cambiata.
Come si calcola il rischio di un falso allarme?
Se si desidera determinare se la distribuzione del processo è cambiata e si dispone di dati indipendenti con una fonte di variazione, utilizzare una stima a breve termine di sigma. Se si dispone di un'elaborazione batch con due origini di variazione (all'interno e tra i batch) e si raccolgono tutti i dati dal batch in una sola volta, utilizzare un grafico Xbar-S con limiti Xbar basati su MRbar, JMP lo semplifica con le tre- carta stradale. Se si dispone di un'elaborazione batch e si raccolgono dati dai batch nel tempo, utilizzare un grafico a breve termine. JMP 18 avrà un modo automatizzato di creare grafici a breve termine, ma nel frattempo non sono difficili da implementare in CCB. Se disponi di dati autocorrelati, ci sono modi per espandere i limiti di controllo utilizzando ancora una stima a breve termine di sigma o modellando la correlazione per ottenere una statistica di tracciamento indipendente.
Tra la variazione dovrebbe sempre essere giudicata all'interno della variazione! Qualsiasi altra cosa non dovrebbe essere chiamata controllo di processo.
Ri: Sondaggio informale: i tuoi clienti utilizzano le carte di controllo Levey-Jennings?Penso di dover intervenire su come "erano" le cose al mio precedente datore di lavoro, il che significa che probabilmente lo è ancora! Non siamo mai arrivati al punto di Sam di passare rigorosamente a LJ, ma è stato utilizzato in diverse aree. Inoltre, rispondendo, penso di poter imparare qualcosa qui.
Ecco lo scenario: un processo batch che realizza i prodotti secondo una ruota del prodotto. La ruota del prodotto dice che dobbiamo produrre 40 lotti consecutivi del prodotto X (un prodotto molto popolare). Una volta avviato un lotto, è difficile apportare modifiche alla reazione mentre si sta verificando e potrebbe violare la SOP. Pertanto, una volta completato il lotto, le proprietà vengono misurate e inserite in una carta di controllo. Questo può quindi essere utilizzato per apportare modifiche per il batch successivo. È questo SPC a breve termine? Più probabilmente. È SQC piuttosto che SPC? Forse. Ma ottieni solo un punto dati per batch. Pertanto, un grafico ImR ha senso. Tuttavia, l'autocorrelazione è spesso una realtà, il che rende l'intervallo mobile una stima orribile per la variabilità.Pertanto, grafici LJ! Sì, potrei anche usare EWMA o qualcosa che gestisce l'autocorrelazione, ma ricorda chi esegue il processo e apporta le modifiche: operatori di impianto che probabilmente non hanno familiarità con la matematica coinvolta in EWMA. C'è una sfiducia intrinseca perché potrebbe non avere senso per loro. Questo si presta anche a LJ.
Quindi, Di, potrebbe esserci variabilità all'interno del lotto, ma non può essere facilmente misurata. Stiamo controllando in base alla variabilità da lotto a lotto. Non riesco a vedere cosa c'è di sbagliato nell'usare la deviazione standard per stimare quella variabilità da lotto a lotto. Educami! Soprattutto su questa affermazione che hai fatto: " La deviazione standard del campione non è mai la statistica giusta da utilizzare per stimare il sigma quando si desidera determinare se la distribuzione è cambiata." Se hai un processo stabile, mi sembra una scelta logica. Potrebbe essere difficile al primo avvio, ma una volta che sei stabile, penso che andrebbe bene.
Ri: Sondaggio informale: i tuoi clienti utilizzano le carte di controllo Levey-Jennings?Grazie @SamGardner , Grazie @Di_Michelson .Sam, volevo rispondere al tuo ultimo punto, sull'SPC che utilizza calcoli manuali rispetto al software. Lasciamo da parte per il momento la questione della variazione da lotto a lotto.
Mentre è vero che i grafici I-MR sono facilmente disegnati a mano, penso che ci sia un malinteso comune che dobbiamo combattere. Quando chiedo ai clienti perché usano Levey Jennings, spesso mi dicono che è meglio usare s (la statistica della deviazione standard del campione) per la stima di sigma. Di solito pensano che il grafico I-MR della vecchia scuola sia ottimizzato per il calcolo manuale e, se disponi di un software, perché non dovresti usare s invece di MR?
Il problema con l'uso di s, ovviamente, è che è gonfiato da eventuali cause speciali che possono essere presenti. Più della stima basata su MR. L'utilizzo di una stima sigma a breve termine è un modo più efficace per separare la variazione della causa comune dalle cause speciali. SPC 101, giusto? Ma questo punto è sfuggito a molti praticanti.
Uso questo esempio (certamente ridicolo) per illustrare il problema ai clienti. Dati normali generati casualmente con un sigma di 5 e c'è un drammatico spostamento di 20 punti (4 sigma) proprio nel mezzo. Il grafico IMR ha una stima sigma relativamente accurata di 5,7 e mostra correttamente il processo come fuori controllo:
Mentre il grafico di Levey Jennings usa s=11.5 per stimare sigma, piuttosto gonfiato rispetto al vero valore di 5. E mostra erroneamente il processo come sotto controllo.
E stabiliamo che va bene usare s per stimare sigma per limiti esterni fissi basati su dati storici ben educati. Quando si usano i limiti fissi, non penso che sia davvero un grafico di Levey-Jennings nello spirito. La situazione a cui Di e io ci opponiamo è l'utilizzo di s calcolato sui dati del grafico per tracciare i limiti.
Detto questo: sono completamente d'accordo che una carta di controllo è uno strumento economico, una guida per prendere decisioni. I clienti possono scegliere i limiti che desiderano. Non sto sostenendo che dovremmo essere servili nel fare le cose nel modo "corretto". Ma penso che sia importante che gli utenti comprendano le implicazioni delle loro scelte, in modo che possano valutare adeguatamente i rischi.
Ri: Sondaggio informale: i tuoi clienti utilizzano le carte di controllo Levey-Jennings?La questione chiave è determinare la misura appropriata della varianza da utilizzare nel grafico.Nell'esempio che ho fornito, la vera varianza del processo ha più componenti, sia a breve che a lungo termine, e ciò caratterizza la variabilità naturale del processo.Inoltre, il motivo per utilizzare LJ vs IMR era la sensibilità della carta di controllo e il costo associato a un segnale fuori controllo.Nel settore farmaceutico, un segnale OOS in genere indica un'indagine formale, che coinvolge ore di lavoro di più di una persona.Se il grafico è eccessivamente sensibile, perderai molto tempo a indagare sulla variazione naturale, sottraendo tempo alla concentrazione su altre questioni importanti come il miglioramento del processo.L'ho sperimentato personalmente.
Si noti che questo tipo di variazione "batch" deriva anche dai test analitici.Spesso verranno prodotti diversi lotti di materiale. e quindi quei lotti verranno testati contemporaneamente nella stessa corsa analitica.Se la misurazione ha un'elevata precisione intermedia e la variazione da un'esecuzione all'altra è ampia rispetto alla variazione totale, allora vedrai anche molti spostamenti a breve termine nei dati.
Il processo in cui esiste un'unica fonte casuale di variazione che si verifica da lotto a lotto non è l'unico tipo di processo e la carta di controllo deve essere appropriata per il processo e il processo decisionale con cui viene utilizzata la carta di controllo.
Detto questo, mi piace il grafico IMR, per la sua sensibilità e semplicità.A volte il grafico MR è informativo quanto il grafico individuale.
Ri: Sondaggio informale: i tuoi clienti utilizzano le carte di controllo Levey-Jennings?Grazie Dan e Sam!
Dan, penso che il tuo scenario potrebbe essere SPC a breve termine. Se modifichi l'obiettivo (e forse la stima di sigma) quando cambi prodotto, allora sì. Il mio esempio di SPC a breve termine è quando hai una fornace che deposita sia 600 che 1000 angstrom di nitruro su un substrato. La linea centrale e i limiti sono diversi per entrambi i processi, ma si desidera controllare il forno, quindi si standardizza la statistica di tracciamento per ciascun processo. Quando un nuovo processo 300A diventa online, devi stabilire le costanti utilizzate per standardizzare quel processo.
Non ho una buona risposta per l'utilizzo della deviazione standard del campione piuttosto che dell'intervallo mobile per stimare il sigma in autocorrelazione. Nessuno dei due è il metodo migliore. Ma l'attuale metodo migliore (modellazione della correlazione e utilizzo di grafici EWMA sui residui) non è possibile senza sistemi di controllo e non è molto interpretabile anche se si dispone dei sistemi in atto.
Questo mi riporta a dire che non stai cercando di rilevare i cambiamenti nella distribuzione del processo, stai invece provando a fare SQC. E non c'è niente di sbagliato in questo! Ma poi, crea solo alcuni limiti ingegneristici che hanno più senso rispetto all'utilizzo della deviazione standard del campione. Sento che l'utilizzo di una procedura statistica ti dà la falsa sicurezza che stai facendo SPC.
Al punto di Sam, quando si hanno più fonti di variazione in un processo, né il grafico X-MR né LJ sono appropriati. Quindi controlla queste fonti separatamente invece di utilizzare un grafico. Sto pensando a un processo in cui vuoi un punto su un grafico per batch, ma hai più osservazioni in quel batch. Nella mia vita passata. spesso abbiamo tracciato tre fonti di variazione: tracciare la media del lotto con limiti basati su MR delle medie (controlla la variazione da lotto a lotto), tracciare l'intervallo delle medie dei wafer con limiti basati su Rbar (controlla la variazione da wafer a wafer all'interno di un lotto) , tracciare la deviazione standard media dei wafer con limiti basati sul MR degli sviluppatori std all'interno del wafer (controlli all'interno della variazione del wafer).
Perché la deviazione standard del campione non è mai la statistica giusta per eseguire il controllo del processo? La risposta è nella tua frase successiva: sicuramente è quando sai che il tuo processo è stabile, ma lo scopo di SPC è dirti se hai un processo stabile. Come mostra l'esempio estremo di Jordan, la deviazione standard campionaria non lo mostrerà.
Ho cercato la storia delle classifiche di Levey-Jennings. È interessante che il loro documento originale descriva semplicemente l'applicazione del grafico XBar-R con dimensione del sottogruppo = 2 nella chimica clinica. L'uso di MR per stimare il sigma per gli individui non era ancora stato realizzato. Henry e Segalove hanno pubblicato quello che JMP chiama un grafico di Levey-Jennings usando s per stimare sigma proprio nello stesso periodo in cui Tippett ha pubblicato i grafici X-MR. Westgard chiama questi grafici grafici Levey-Jennings, da cui JMP li ha presi.
Nel nostro corso SPC, abbiamo una demo come quella di Jordan, ma con dati più simili a quelli di Sam. Insegniamo che se stai tracciando un grafico del comportamento del misuratore (o saggio o metodo) utilizzando misurazioni di uno standard noto e sai che il processo è stabile, allora ok, vai avanti e usa s per stimare sigma. Esegui lo standard insieme ai tuoi campioni clinici come controllo. (Rimango ancora bloccato su come fai a sapere che il processo è stabile senza eseguire SPC.)
Grazie ancora! Questo è esattamente il tipo di discussione che speravo.
Ri: Sondaggio informale: i tuoi clienti utilizzano le carte di controllo Levey-Jennings?Un altro grafico di controllo che viene utilizzato quando esiste una "media errante" è il grafico EWMA e il livello di livellamento può essere scelto per regolare la sensibilità per rilevare cambiamenti nel processo e gestire i rischi e i costi associati al grafico di controllo.
Ricordo di aver letto molti anni fa di un importante produttore di semiconduttori che preferiva i grafici EWMA rispetto ai singoli grafici, per i motivi che ho descritto in precedenza.
Ri: Sondaggio informale: i tuoi clienti utilizzano le carte di controllo Levey-Jennings?Nel caso di osservazioni individuali (l'unico caso in cui penso che LJ possa avere senso) e di un processo non stabile, concordo sul fatto che la deviazione standard potrebbe non essere una buona stima della variabilità. Ma direi che neanche la barra MR sarebbe utile. Quale misura gestisce meglio i piccoli cambiamenti di processo? Non sono veramente sicuro. Nello scenario con osservazioni individuali e autocorrelazione, preferirei "tirare i dadi" che la deviazione standard ha più senso come stima rispetto a MR-bar. Come ha detto Sam in precedenza, è come stimerai la varianza e dove vuoi posizionare il tuo rischio.
Ri: Sondaggio informale: i tuoi clienti utilizzano le carte di controllo Levey-Jennings?Ah, non sono d'accordo! Penso che tu possa vedere nel grafico di Sam (supponiamo che sia un processo non stabile invece di un processo batch) che MRbar sta trovando segnali reali e s no.
L'autocorrelazione è semplicemente difficile da gestire, in tutti i tipi di metodi statistici.
Sono un grande fan del controllo della variazione che vuoi controllare su grafici separati e la combinazione di dati con più fonti di variazione sullo stesso grafico non ha senso per me.
Ancora una volta, grazie per questa discussione, è davvero utile!
