Encuesta informal: ¿Sus clientes utilizan gráficos de control de Levey-Jennings?Hola SEs, feliz viernes.
Recientemente hablé con varios clientes que utilizan gráficos de control de Levey-Jennings para sus datos de proceso. Trato de disuadirlos, debido a la posibilidad de perder señales importantes, con un éxito mixto.
¿Qué tan frecuente es el uso de estos gráficos, fuera del propósito previsto de rastrear la precisión del sistema de medición en un laboratorio de química clínica? ¿Tiene clientes que usan Levey-Jennings? Si es así, ¿en qué industrias se encuentran y qué razones dan para usarlos?
Gracias por cualquier aporte.
Jordán
Re: Encuesta informal: ¿Usan sus clientes gráficos de control de Levey-Jennings?Los gráficos LJ son muy útiles para situaciones en las que existen razones conocidas para esperar cambios en los datos y no desea ser demasiado sensible.En la industria farmacéutica, este suele ser el caso.Por ejemplo, puede haber variación en un proceso debido a la variación del material de entrada, y un solo lote de entrada puede usarse para varias corridas de producción.Esa variación de entrada es incontrolable y es una parte natural del proceso.El uso del gráfico I-MR subestimará la variación natural total de los datos y hará que los límites del gráfico de control sean demasiado estrechos, provocando demasiadas señales fuera de control que no son realmente importantes.En Eli Lilly y Elanco, cambiamos al por mayor de gráficos I-MR a gráficos de Levey-Jennings porque perdíamos demasiado tiempo investigando señales de gráficos de control que no importaban.
En última instancia, todo se reduce a la gestión de riesgos.Los gráficos de control son una herramienta "económica", que le permite ayudar a administrar los riesgos con un proceso.El costo y el riesgo de falsas alarmas deben considerarse en el riesgo general.
Ejemplo: este proceso tiene una "variación natural" debido a los efectos del lote de entrada y la variación aleatoria de cada lote.El gráfico I-MR muestra varios puntos fuera de los límites de 3 sigma, lo que indica un proceso que no está bajo control.
vs la gráfica LJ, donde todos los puntos están dentro de los límites más amplios.
Además, tenga en cuenta una de las razones por las que los gráficos I-MR fueron originalmente tan populares... puede usar una tabla en papel fácilmente para calcular límites, ya que solo necesita sumar y restar valores en forma tabular para calcular el la media general, el rango móvil promedio y, finalmente, use el valor apropiado para multiplicar el rango móvil promedio para obtener la estimación de sigma.En la era anterior a las calculadoras portátiles, esto era muy útil.
Re: Encuesta informal: ¿Usan sus clientes gráficos de control de Levey-Jennings?¡¡¡GUAU SAM!!!! Me sorprende ver que reemplazó sus gráficos en lugar de arreglar los gráficos para el tipo de datos que tiene. Pero Jordan y yo hemos visto este comportamiento y por eso hizo la pregunta. Lo siguiente no debe tomarse como una crítica, quiero estimular la discusión sobre este tema.
Me parece que al aplicar gráficos de Levey-Jennings a cada proceso, no está utilizando gráficos de control para detectar cambios en la distribución subyacente del proceso, sino que los está utilizando como límites de reacción o límites de disposición. La desviación estándar de la muestra nunca es la estadística adecuada para estimar sigma cuando desea determinar si la distribución ha cambiado.
¿Cómo calcularías el riesgo de una falsa alarma?
Si desea determinar si la distribución del proceso ha cambiado y tiene datos independientes con una fuente de variación, utilice una estimación de sigma a corto plazo. Si tiene un proceso por lotes con dos fuentes de variación (dentro y entre lotes) y recopila todos los datos del lote al mismo tiempo, use un gráfico Xbarra-S con límites Xbarra basados en MRbar, JMP lo hace fácil con los tres gráfico de camino. Si tiene un proceso por lotes y recopila datos de los lotes a lo largo del tiempo, use un gráfico de ejecución corta. JMP 18 tendrá una forma automatizada de hacer gráficos de tiradas cortas, pero mientras tanto, no son difíciles de implementar en CCB. Si tiene datos autocorrelacionados, hay formas de expandir los límites de control mientras sigue usando una estimación a corto plazo de sigma, o modelando la correlación para llegar a una estadística de trazado independiente.
¡La variación entre siempre debe juzgarse por la variación dentro! Cualquier otra cosa no debería llamarse control de procesos.
Re: Encuesta informal: ¿Usan sus clientes gráficos de control de Levey-Jennings?Creo que necesito intervenir sobre cómo "solían ser" las cosas en mi empleador anterior, ¡lo que significa que probablemente todavía lo sea! Nunca llegamos tan lejos como Sam de cambiar estrictamente a LJ, pero se usó en varias áreas diferentes. Además, al responder, creo que puedo aprender algo aquí.
Este es el escenario: un proceso por lotes que fabrica productos de acuerdo con una rueda de productos. La rueda del producto dice que necesitamos hacer 40 lotes consecutivos del producto X (un producto muy popular). Una vez que comienza un lote, es difícil hacer ajustes a la reacción a medida que ocurre y podría violar el SOP. Por lo tanto, una vez que se completa el lote, las propiedades se miden y se colocan en un gráfico de control. Esto se puede usar para hacer ajustes para el próximo lote. ¿Es este SPC a corto plazo? Más probable. ¿Es SQC en lugar de SPC? Tal vez. Pero solo obtiene un punto de datos por lote. Por lo tanto, un gráfico ImR tiene sentido. Sin embargo, la autocorrelación suele ser una realidad, lo que hace que el rango móvil sea una estimación horrible de la variabilidad.Por lo tanto, las listas de LJ! Sí, también podría usar EWMA o algo que maneje la autocorrelación, pero recuerde quién está ejecutando el proceso y haciendo los ajustes: los operadores de planta que probablemente no estén familiarizados con las matemáticas involucradas en EWMA. Existe una desconfianza inherente porque puede no tener sentido para ellos. Esto también se presta a LJ.
Entonces, Di, puede haber dentro de la variabilidad del lote, pero no se puede medir fácilmente. Estamos controlando en base a la variabilidad de lote a lote. No veo qué tiene de malo usar la desviación estándar para estimar esa variabilidad de lote a lote. ¡Edúcame! Especialmente en esta declaración que hiciste: " La desviación estándar de la muestra nunca es la estadística adecuada para estimar sigma cuando desea determinar si la distribución ha cambiado". Si tiene un proceso estable, me parece una opción lógica. Puede ser difícil al principio, pero una vez que estés estable, creo que estaría bien.
Re: Encuesta informal: ¿Usan sus clientes gráficos de control de Levey-Jennings?Gracias @SamGardner , gracias @Di_Michelson .Sam, quería responder a tu último punto, sobre SPC usando cálculos manuales versus software. Dejemos de lado por el momento el tema de la variación de lote a lote.
Si bien es cierto que los gráficos I-MR se dibujan fácilmente a mano, creo que existe una idea errónea común de que debemos luchar. Cuando les pregunto a los clientes por qué usan Levey Jennings, a menudo me dicen que es mejor usar s (la estadística de desviación estándar de la muestra) para la estimación de sigma. Por lo general, piensan que el gráfico I-MR de la vieja escuela está optimizado para el cálculo manual y, si tiene un software, ¿por qué no usaría s en lugar de MR?
El problema con el uso de s, por supuesto, es que está inflado por cualquier causa especial que pueda estar presente. Más que la estimación basada en MR. El uso de una estimación sigma a corto plazo es una forma más efectiva de separar la variación de causa común de las causas especiales. SPC 101, ¿verdad? Pero este punto se pierde en muchos practicantes.
Utilizo este ejemplo (ciertamente ridículo) para ilustrar el problema a los clientes. Datos normales generados aleatoriamente con un sigma de 5, y hay un cambio dramático de 20 puntos (4 sigma) justo en el medio. El gráfico IMR tiene una estimación sigma relativamente precisa de 5,7 y muestra correctamente el proceso como fuera de control:
Mientras que el gráfico de Levey Jennings usa s=11.5 para estimar sigma, está bastante inflado en comparación con el valor real de 5. Y muestra incorrectamente el proceso como en control.
Y estipulemos que está bien usar s para estimar sigma para límites externos fijos basados en datos históricos de buen comportamiento. Cuando se usan límites fijos, no creo que sea realmente un gráfico de Levey-Jennings en espíritu. La situación a la que Di y yo nos oponemos es usar s calculados en los datos del gráfico para dibujar límites.
Dicho todo esto: Estoy completamente de acuerdo en que un gráfico de control es una herramienta económica, una guía para la toma de decisiones. Los clientes pueden elegir los límites que deseen. No estoy argumentando que debamos ser serviles acerca de hacer las cosas de la manera "adecuada". Pero sí creo que es importante que los usuarios entiendan las implicaciones de sus elecciones, para que puedan sopesar los riesgos adecuadamente.
Re: Encuesta informal: ¿Usan sus clientes gráficos de control de Levey-Jennings?La cuestión clave es determinar la medida de varianza apropiada para usar en el gráfico.En el ejemplo que proporcioné, la verdadera varianza del proceso tiene múltiples componentes, tanto a corto como a largo plazo, y eso caracteriza la variabilidad natural del proceso.Además, la razón para usar LJ frente a IMR fue la sensibilidad de la gráfica de control y el costo asociado con una señal fuera de control.En la industria farmacéutica, una señal OOS suele significar una investigación formal, que implica horas de trabajo de más de una persona.Si el gráfico es demasiado sensible, perderá mucho tiempo investigando la variación natural, lo que le quitará tiempo para concentrarse en otros asuntos importantes, como la mejora del proceso.He experimentado esto personalmente.
Tenga en cuenta que este tipo de variación de "lotes" también proviene de pruebas analíticas.A menudo, se producirán varios lotes de material. y luego esos lotes se probarán al mismo tiempo en la misma serie analítica.Si la medición tiene una gran precisión intermedia y la variación de ejecución a ejecución es grande en relación con la variación total, también verá muchos cambios a corto plazo en los datos.
El proceso en el que solo hay una única fuente aleatoria de variación que se produce de un lote a otro no es el único tipo de proceso, y el gráfico de control debe ser apropiado para el proceso y el proceso de toma de decisiones con el que se utiliza el gráfico de control.
Dicho esto, me gusta el gráfico IMR, por su sensibilidad y simplicidad.A veces, el gráfico MR es tan informativo como el gráfico individual.
Re: Encuesta informal: ¿Usan sus clientes gráficos de control de Levey-Jennings?¡Gracias, Dan y Sam!
Dan, creo que tu escenario podría ser SPC a corto plazo. Si ajusta el objetivo (y tal vez la estimación de sigma) cuando cambia de producto, entonces sí. Mi ejemplo de SPC a corto plazo es cuando tiene un horno que deposita 600 y 1000 angstroms de nitruro en un sustrato. La línea central y los límites son diferentes para ambos procesos, pero desea controlar el horno, por lo que estandariza la estadística de trazado para cada proceso. Cuando un nuevo proceso 300A entra en línea, debe establecer las constantes utilizadas para estandarizar ese proceso.
No tengo una buena respuesta para usar la desviación estándar de la muestra en lugar del rango móvil para estimar sigma bajo autocorrelación. Tampoco es el mejor método. Pero el mejor método actual (modelar la correlación y usar gráficos EWMA en los residuales) no es posible sin sistemas de control y no es muy interpretable, incluso si tiene los sistemas implementados.
Eso me lleva a decir que no está tratando de detectar cambios en la distribución del proceso, sino que está tratando de hacer SQC. ¡Y no hay nada de malo en eso! Pero luego, invente algunos límites de ingeniería que tengan más sentido que usar la desviación estándar de la muestra. Siento que usar un procedimiento estadístico te da una falsa seguridad de que estás haciendo SPC.
Al punto de Sam, cuando tiene múltiples fuentes de variación en un proceso, ni el gráfico X-MR ni LJ son apropiados. Así que controle esas fuentes por separado en lugar de usar un gráfico. Estoy pensando en un proceso en el que desea un punto en un gráfico por lote, pero tiene varias observaciones en ese lote. En mi vida pasada. a menudo representamos gráficamente tres fuentes de variación: graficar el promedio de lote con límites basados en MR de los promedios (controla la variación de lote a lote), graficar el rango de los promedios de oblea con límites basados en Rbar (controla la variación de oblea a oblea dentro de un lote) , grafique la desviación estándar promedio de las obleas con límites basados en el MR de los desv. estándar dentro de la oblea (controles dentro de la variación de la oblea).
¿Por qué la desviación estándar de la muestra nunca es la estadística correcta para controlar el proceso? La respuesta está en su próxima oración: seguro que es cuando sabe que su proceso es estable, pero el propósito de SPC es decirle si tiene un proceso estable. Como muestra el ejemplo extremo de Jordan, la desviación estándar de la muestra no mostrará eso.
He estado investigando la historia de las gráficas de Levey-Jennings. Es interesante que su artículo original simplemente describa la aplicación del gráfico XBar-R con tamaño de subgrupo = 2 en química clínica. Aún no se había realizado el uso de MR para estimar sigma para individuos. Henry y Segalove publicaron lo que JMP llama un gráfico de Levey-Jennings utilizando s para estimar sigma casi al mismo tiempo que Tippett publicó gráficos X-MR. Westgard llama a estos gráficos gráficos de Levey-Jennings, que es de donde los obtuvo JMP.
En nuestro curso de SPC, tenemos una demostración como la de Jordan, pero con datos más parecidos a los de Sam. Enseñamos que si está graficando el comportamiento de un indicador (o ensayo o método) utilizando medidas de un estándar conocido y sabe que el proceso es estable, entonces está bien, continúe y use s para estimar sigma. Ejecute el estándar junto con sus muestras clínicas como control. (Todavía me quedo atascado en cómo sabes que el proceso es estable sin hacer SPC).
¡Gracias de nuevo! Este es exactamente el tipo de discusión que esperaba.
Re: Encuesta informal: ¿Usan sus clientes gráficos de control de Levey-Jennings?Otro gráfico de control que se usa cuando hay una "media errante" es el gráfico EWMA, y el nivel de suavizado se puede elegir para ajustar la sensibilidad para detectar cambios en el proceso y administrar los riesgos y costos asociados con el gráfico de control.
Recuerdo haber leído hace muchos años acerca de un importante fabricante de semiconductores que prefería los gráficos EWMA a los gráficos individuales, por las razones que describí anteriormente.
Re: Encuesta informal: ¿Usan sus clientes gráficos de control de Levey-Jennings?En el caso de observaciones individuales (el único caso en el que creo que LJ podría tener sentido) y un proceso no estable, estoy de acuerdo en que la desviación estándar puede no ser una buena estimación de la variabilidad. Pero diría que la barra MR tampoco sería útil. ¿Qué medida maneja mejor los pequeños cambios en el proceso? No estoy realmente seguro. En el escenario con observaciones individuales y autocorrelación, preferiría "tirar los dados" para que la desviación estándar tenga más sentido como estimación que la barra MR. Como dijo Sam antes, es cómo va a estimar la varianza y dónde quiere colocar su riesgo.
Re: Encuesta informal: ¿Usan sus clientes gráficos de control de Levey-Jennings?¡Ay, no estoy de acuerdo! Creo que puede ver en el gráfico de Sam (supongamos que es un proceso no estable en lugar de un proceso por lotes) que MRbar está encontrando señales reales y s no.
La autocorrelación es difícil de manejar, en todo tipo de métodos estadísticos.
Soy un gran fanático de controlar la variación que desea controlar en gráficos separados, y combinar datos con múltiples fuentes de variación en el mismo gráfico no tiene sentido para mí.
Nuevamente, gracias por esta discusión, ¡es realmente útil!
