En esta presentación, exploramos el papel crucial de los límites de predicción, confianza y tolerancia. Dado que son fáciles de calcular y aparecen en la mayoría de los libros de texto, su uso es común; sin embargo, esto también implica que a menudo se utilizan o malinterpretan incorrectamente. Uno de los problemas actuales radica en la estimación precisa de estos límites para modelos mixtos, lo cual constituye una limitación importante en la mayoría de las industrias.
Si bien JMP utiliza la mejor opción disponible para estimar estos límites (basada en un artículo publicado en 2019 en la revista Wiley Medicine), podemos encontrarnos con problemas si no tenemos cuidado, ya que el método presenta algunas deficiencias. Como empresa consultora, nuestros métodos deben ser sólidos. Por lo tanto, decidimos profundizar en el tema y evaluar estos límites mediante simulación en JMP.
La presentación se centra en la explicación del problema, sensibilizando a personas de distintos sectores sobre estos dilemas estadísticos, junto con una demostración de cómo se utilizó JMP para simular diferentes escenarios y cómo se evaluaron los modelos. Presenta una interfaz gráfica diseñada para este fin, así como la construcción de modelos y la generación de un resultado interpretable.
Bienvenidos a mi presentación. Me llamo Thomas. Trabajo en la empresa NNE. Trabajo como consultor estadístico en la industria farmacéutica. Hoy les voy a hablar de un tema que me parece muy interesante y que considero muy relevante en diferentes industrias. Se basa en la estadística clásica. En concreto, trata sobre la confianza, la predicción y los límites de tolerancia. ¿Por qué no empezamos? Primero, quiero que se pongan en contexto. Imaginen que son ingenieros de control de calidad en una empresa que fabrica jeringas médicas. Para que una jeringa médica sea segura, debe mantener ciertas características de calidad bajo control.
Una de ellas es que debe ser del tamaño correcto. Si están diseñadas para un tamaño determinado, se debe mantener, ya que si se hace demasiado grande, se podría sobredosificar a los pacientes, y si se mantiene demasiado pequeña, se podría infradosificar. Por lo tanto, existen límites de especificación, donde se puede... Algunos expertos dirán que ciertas características deben estar dentro de estos valores para ser seguras. Por ejemplo, en este caso, supongamos que el diámetro de la jeringa debe estar entre 10 y 10,5 milímetros.
Entonces, usted es ingeniero de calidad y llega a su oficina. Descubre que le han entregado un lote. Digamos que son 100 jeringas, y necesita informar sobre su calidad. Empieza tomando una muestra, midiendo el diámetro y determinando que cumple con las especificaciones. En el primer caso, cumple con las especificaciones, pero luego se pregunta: ¿será esto suficiente para demostrar que se ha mantenido la calidad en todo el lote? Basarse en una sola muestra es difícil de defender.
Luego haces la siguiente mejor opción: tomas 10 muestras y obtienes esos valores. Todos están dentro de las especificaciones. Probablemente reportes el valor medio, y pareces estar conforme con él, pero entonces llegan las autoridades sanitarias. Te dicen que está bien, que tu promedio está bien, y observas que este gráfico se ve bien, pero ¿cómo sabes que la siguiente muestra no se verá así? O incluso, a tu favor, podría verse así.
Ese es uno de los problemas: cuando se informa, por ejemplo, solo un promedio o una cantidad, o se desea mostrar un gráfico como este, no hay forma de cuantificar la incertidumbre sobre las estimaciones o conclusiones. Esa es la motivación para usar intervalos estadísticos. Ese es el tema de hoy: podremos proporcionar un intervalo sobre algo y luego indicar nuestra seguridad al respecto.
Esa fue la motivación, pero el objetivo del resto de la presentación es profundizar un poco más en los intervalos estadísticos, de forma más teórica, para sentar las bases del resto. Después, analizaremos algunas simulaciones que he realizado en JMP. Creé una interfaz que permite experimentar con diferentes escenarios, y comprenderán su importancia. Finalmente, veremos cómo sería un flujo de trabajo típico en NNE al usar estos intervalos para trabajar con datos de clientes, por ejemplo.
Como dije, si comenzamos analizando la teoría de los intervalos estadísticos, primero voy a establecer algunas reglas básicas. Antes de empezar, necesitamos especificar cuáles son. Solo quiero mencionar que hay muchas maneras de construir intervalos de predicción e intervalos de tolerancia. Los que voy a presentar hoy se basan en la estadística clásica. También son los que se implementan en JMP, pero hay otras maneras de construirlos, solo a modo de advertencia. Estas son las más comunes, diría yo.
La primera suposición que haremos, la primera idea, es: ¿hemos obtenido un valor representativo? Porque al construir intervalos, lo primero que hacemos es recopilar datos del pasado, a partir de los cuales queremos obtener información. Lo llamaremos muestra. ¿Es una muestra representativa y aleatoria? Con esto quiero decir que, con un intervalo, se obtendrá información sobre una población. Quizás se trate de su proceso, quizás de una población objetivo específica que tenga en mente, pero ¿es representativa su muestra? Porque de ese intervalo vamos a hablar. Por ejemplo, cada vez que recibe un lote, lo recibe en una caja, y luego siempre toma muestras solo de la parte superior porque es lo más fácil.
En algunos procesos, dependiendo de su configuración, esto puede ser un problema porque nunca se toman muestras de otras partes, o quizás se tiene un horno donde se produce algo, tal vez un dispositivo médico, y siempre se toman muestras de un lugar específico dentro del horno. Si hay alguna variación de temperatura, podría haber problemas para que sea representativa.
En cualquier caso, al principio, en el caso simple, asumiremos la distribución de datos, en particular la distribución normal. Para empezar, asumiremos que nuestra respuesta, independientemente de lo que midamos, ya sea el diámetro de una jeringa o cualquier característica de calidad, se ajustará a la distribución normal. Si sus datos no se distribuyen normalmente, siempre puede intentar transformarlos. Tenga en cuenta que este es un supuesto que debemos cumplir para que los intervalos sean válidos.
Si sus datos no se distribuyen normalmente y las transformaciones no son útiles, es posible que necesite una estructura más compleja, como un modelo. Daré este ejemplo porque también es relevante para lo que veremos más adelante. Estos son datos provenientes de nuestra distribución normal que tienen variantes dentro del lote.
Se puede observar que la distribución de los grupos es prácticamente la misma, pero también existe variación entre lotes. Esto significa que, por ejemplo, podrían existir diferentes lotes con propiedades diferentes, o incluso materias primas diferentes. Es necesario considerar que esto ocurrirá en los datos, pero que seguirá una distribución normal general. Estas son las reglas principales del juego.
Comenzaré hablando de los tres tipos principales de intervalos que tenemos. El primero son los intervalos de confianza, predicción y tolerancia. El intervalo de confianza es uno de los más comunes. Se utiliza para un parámetro o una característica de una distribución. Por ejemplo, dado que asumimos que los datos siguen una distribución determinada, en teoría, se podría decir que tienen un valor teórico.
Por ejemplo, si hablamos de la media o la desviación típica, que son de las más comunes, se podría estimar la media del proceso, pero también darle cierta confianza. Se indicará un intervalo donde se cree que se encuentra la media real, una desviación típica, un cuartil u otras características. Un ejemplo sería la frase: "Tenemos un 95 % de confianza en que la vida útil media de una bombilla está entre 1000 y 1200 horas". En lugar de decir: "¿Sabes qué? La vida útil media de una bombilla que fabrico es de 1100 horas", se indica un rango en el que puede estar y se le asigna un cierto grado de confianza.
¿A qué nos referimos realmente cuando hablamos de confianza? La confianza debe entenderse como el rendimiento del método. No se trata del intervalo específico, sino del método en sí. En otras palabras, a largo plazo, el 95 % de los intervalos calculados con esta metodología contendrán el parámetro verdadero. Esto también significa que en el 5 % de los casos, no lo contendrá. Por eso, puede elegir el nivel de confianza que desee; 95 es muy común. También puede usar 90, 99 o 99,99. Todo depende del propósito de su intervalo.
Simplemente tenga cuidado porque hay muchas personas que podrían pensar que 95 se refiere a la idea de que si calcula un intervalo, entonces el 95% de sus futuras medias de muestra estarán dentro del intervalo, y eso simplemente no es cierto, así que tenga cuidado con eso.
Estas son las fórmulas que usaré. Pueden ver que hay dos, y hay dos. Les diré por qué. Esta fórmula, la primera, asume una distribución normal sin efectos aleatorios, y esta es una fórmula que asume efectos aleatorios. Estas son las clásicas, y estas son las que se desarrollaron posteriormente. No profundizaré demasiado en las fórmulas por ahora, pero cualquiera que desee profundizar puede preguntar al respecto.
Luego tenemos un intervalo de predicción. Mientras que el intervalo de confianza se usaba para un valor medio, una desviación estándar o una característica, el intervalo de predicción se usa para una observación específica. Quizás, si eres el cliente en lugar del fabricante, volviendo al ejemplo de la bombilla, quieras investigar sobre una bombilla específica en lugar del comportamiento promedio. Porque al comprarla, solo quieres ver cuánto durará para tu propósito específico.
Los intervalos de predicción se utilizan para predecir intervalos para una sola observación futura. Si se modifican las fórmulas, pueden ser para tres o cinco observaciones, pero lo típico es solo una. Tenga en cuenta que un intervalo de predicción, al calcularlo con un 95 % de confianza, se refiere a una observación adicional. No se refiere a si se consideran todas las observaciones futuras, si deberían estar dentro o si solo se trata de una.
Por ejemplo, tenemos un 95 % de confianza en que la vida útil de una bombilla nueva es de entre 700 y 1500 horas. De nuevo, la confianza reside en que, si se repite este proceso, el 95 % de las veces se acertará. Aquí están las fórmulas: la clásica y, de nuevo, la que considera efectos aleatorios: modelos mixtos.
Luego están los intervalos de tolerancia. Estos intervalos son más estrictos que los intervalos de predicción. Se utilizan típicamente en las empresas farmacéuticas o de dispositivos médicos para construir un intervalo para una proporción de las observaciones futuras de la población. Ahora bien, no solo se busca contener un valor adicional, sino, digamos, el 99 % de los valores futuros. De esta manera, se puede estar bastante seguro de que es un intervalo suficientemente bueno.
Por ejemplo, diríamos que tenemos un 95 % de confianza en que al menos el 99 % de las bombillas del futuro durarán entre 650 y 1550 horas. Ahora, en cierto modo, tenemos dos medidas de confianza: el 95 % y el 99 %. Estas son la confianza y la cobertura. Por supuesto, se pueden establecer valores distintos a 95 o 99. Estos son solo algunos ejemplos. La confianza a largo plazo es que el 95 % de los intervalos calculados de esta manera contendrían al menos el 99 % de la población futura.
Como pueden ver, la primera fórmula es típica y se complica rápidamente. De hecho, proviene de artículos y, hasta donde sé, es la mejor estimación, la mejor fórmula que tenemos para hacerlo. Esto aplica al caso de un efecto aleatorio, pero se puede generalizar.
Basta de hablar. Vayamos a JMP, donde es interesante. Como dije, primero les mostraré el script que creé. Minimícenlo. Esta sería la entrada que ven, la pantalla principal. Hay dos pestañas, y comenzaremos en la primera. Esta sirve para simular los datos y los intervalos que acabamos de ver. Tenemos dos tipos de modelos: solo la media o con un efecto aleatorio. En la media, solo tienen la distribución normal y los límites que calculan. Pueden cambiar la media, la desviación estándar y el número de puntos que desean simular. Todos estos cálculos se realizaron en segundo plano.
Puedes investigar y experimentar con su relación. Tienes los límites de confianza, las líneas verdes. Tienes los límites de predicción, las líneas rojas y los límites de tolerancia. La idea es ver qué sucede si, por ejemplo, cambio mi cobertura.
Entonces, los límites de la distribución de tolerancia se estrechan, o quizás se desee mantener una cobertura del 95% y modificar la confianza. La confianza es de uno menos la mitad. Si se desea establecer una confianza mayor, observe, por ejemplo, los intervalos de predicción entre -1,8 y 2. Si se desea tener más confianza, los límites se amplían. Esto se debe a que se aceptan menos errores en las estimaciones. Al tener una confianza del 99%, el precio a pagar es que los intervalos se amplían, y esto aplica a todos los intervalos.
Por supuesto, siempre tienes que encontrar un equilibrio entre lo que es suficientemente bueno para ti, qué tasa de fallos es la más alta que puedes manejar y qué tan precisa quieres que sea la tendencia de estimación.
Como pueden ver, podemos hacer clic en "Simular". Aquí obtendrán los números reales, y esto es solo para experimentar. No hay problema con el modelo de media. Pasaré al modelo de efectos aleatorios, que creo que es más interesante. Aquí tenemos, de nuevo, la media y la desviación típica. La desviación típica, como pueden ver, está dentro de las medias, dentro del lote, dentro de la variación del grupo.
Luego, tienes la variación entre lotes, pero esta se obtiene al especificar el índice de varianza. El índice de varianza indica cuánta variación hay entre lotes dentro de cada lote. Luego, tienes el número de lotes y el número de artículos dentro de cada lote que deseas. Por ejemplo, puedo simplemente hacer clic en Simular. Aquí puedes verlo, y permíteme cambiarlo al valor típico de 5.
Aquí se puede observar que los puntos simulados presentan variación intergrupal, por lo que la dispersión dentro de cada grupo es bastante similar, pero también existe cierta variación entre ellos. Esto se debe a que tenemos una razón de varianza. Si la razón de varianza se multiplica por 10, se puede observar que la variación dentro de un grupo es mucho menor que la que observamos entre grupos.
Algo para reflexionar. Todo esto empezó cuando trabajábamos con los datos de un cliente que no tenía muchos lotes ni muchos artículos. Permítanme reducir el número a dos lotes y dos artículos y simular algunos datos. Simularé de nuevo y les explicaré por qué en un segundo. Sigue siendo similar. Enseguida lo entenderán, ya que es normal observar este comportamiento incorrecto. Reduciré la tasa de varianza a 1.
Aquí vamos. Disculpen. Porque ahora tenemos... Es muy interesante. Tenemos límites de confianza. Los límites de confianza corresponden a la media del proceso. Debería ser más uniforme en comparación con los límites individuales, pero pueden ver que los límites de predicción están dentro de los límites de confianza. Ahora piensen en que se supone que los límites de predicción varían según la precisión con la que se estima la media, además de una variación adicional simplemente por tomar una muestra aleatoria. En cierto modo, debería ser bastante más amplio que los límites de confianza, pero se estima que son menos amplios. Esto no tiene sentido intuitivamente, pero es el precio que pagamos por tener pocos lotes y pocos artículos.
Es un problema que no se ha resuelto, ya que estas fórmulas se basan en un artículo de Wiley Medicine. Son, hasta donde sé, una de las mejores fórmulas que se pueden escribir actualmente, y los mejores métodos. Sin embargo, hay que tener en cuenta que si se sobrepasan los límites, es decir, si no se utilizan muchos lotes y elementos, o si no se tienen muchos niveles de efectos aleatorios, se tendrá un problema. Estos límites no serán muy fiables si se tiene un número reducido de grupos.
Es algo a tener en cuenta. Observen también los intervalos de tolerancia; parecen muy amplios. Estos límites de tolerancia también aparecen en ese artículo y no se ven afectados por ello. En cualquier caso, quiero mostrarles también que pueden cambiar la pestaña, ya que al simular algo aquí, lo simulan una vez. Una vez allí, hacen clic de nuevo y lo simulan.
¿Qué pasa si quieres repetirlo varias veces para tener una idea del comportamiento general? Ve a esta pestaña, donde encontrarás la misma información. Es solo para el modelo aleatorio. Puedes decir: "Quiero hacer clic en el botón 250 veces en la última pestaña, por ejemplo". Luego, hacemos clic en "Simular" y esperamos un momento. Pronto deberíamos obtener el resultado. Ya tenemos el resultado. Aquí hay algunos gráficos generales, algunos histogramas que suavizan las estimaciones de densidad kernel, pero te dan una idea de la dispersión y la forma de la distribución de los límites de predicción y los límites de tolerancia.
Se puede observar que los límites de tolerancia tienden a ser más amplios que los límites de predicción, y estos tienden a ser más amplios que los límites de confianza. Esto tiene sentido en este escenario. Aquí también he incluido información que considero muy relevante. Los límites de confianza indican qué porcentaje de veces contienen la media real. En esta simulación, debería ser el 95 % del tiempo; es el 94,4 %. Eso es bastante bueno.
Los límites de predicción, al indicar la confianza estimada, ¿cuántas veces contienen un punto adicional? El 94 % de las veces. Coloco esta línea con una pequeña estrella porque es muy importante que no se utilicen los intervalos de predicción de esta manera, pero creo que es bastante común y por eso lo mencioné.
Si cree que tiene un intervalo de predicción con un 95 % de confianza, eso significaría que el 95 % de sus futuras muestras estarán dentro de sus límites. Entonces no le alegrará mucho descubrir que, en este caso, con un 95 % de confianza, solo obtendrá el 84 % de su población futura dentro de los límites. Solo un aviso: si así es como planea usar los límites de predicción, tenga cuidado, ya que podría estar sobreestimando su protección.
Luego tenemos la confianza estimada y la cobertura estimada del límite de tolerancia. En este caso, ambas deberían ser de 95, y son bastante buenas. Tengan esto en cuenta, creo, especialmente si aumentamos la varianza y disminuimos el número de lotes. Simulemos de nuevo y veamos qué sucede. Ahora, solo tenemos tres lotes con 20 artículos y una razón de varianza muy alta. Veamos qué indica el resultado.
Por ejemplo, aquí, ahora, en el escenario donde crees cubrir el 95% con un intervalo de predicción, estás cubriendo el 57%. El intervalo es suficiente porque se supone que funciona bien en este escenario, al que se acerca, pero, por favor, no uses los intervalos de predicción de la otra manera. Esa era mi interfaz.
Para terminar, como prometí, tenemos un ejemplo de cómo analizaríamos algunos datos. Ahora, quiero volver al ejemplo de las jeringas, ya que hemos estado hablando de ellas. Imaginen este escenario con dos líneas de producción diferentes donde se producen las jeringas, la una y la dos. Hay 40 lotes. Pueden verlo aquí. Si nos desplazamos hacia abajo, pueden ver que hay 40 lotes, es decir, 20 en cada línea de producción, y han medido el diámetro de las jeringas.
Esta es su muestra. Tiene 20 mediciones por lote. ¿Por dónde empezaríamos? Empezaríamos por observar la distribución, por ejemplo, ya que obtener la predicción de confianza y los intervalos de tolerancia en JMP es bastante sencillo. Iría a la distribución y solicitaría un intervalo de confianza del 95 %. Luego, podría solicitar un intervalo de predicción. Podría solicitar de nuevo el 95 %. Y podría solicitar un intervalo de tolerancia. Listo. Tiene sus intervalos.
En este caso, estaría bien, pero diría que tengan cuidado, porque, como ya comentamos, una de las suposiciones que hicimos es que la distribución es normal. Esto parece bastante correcto. Quizás en la práctica, se podría decir que es suficientemente bueno. ¿Por qué no le pedimos a JMP que ajuste todas las distribuciones que necesite y nos diga cuál considera mejor? Le daremos un segundo. Debería estar disponible muy pronto.
Hay que intentar respetar al máximo los supuestos, pero aquí vemos que la distribución normal no es la primera opción de JMP. De hecho, te dice: "Elige una de estas". O si observas el histograma, siempre puedes crear un gráfico de cuantiles normal y ver si tus puntos se encuentran dentro de las líneas rojas; entonces, generalmente, no hay problema. Si es lo más recto posible, mejor. Quizás puedas hacerlo sin problemas, pero veamos cómo podemos mejorarlo.
Normalmente lo hacemos así: vamos a Ajustar Modelo. Empecemos simplemente indicando el diámetro de la jeringa como Y, nada más. Luego, si observamos los residuos, vemos que hay algo extraño. Parece haber dos niveles. Intentémoslo de nuevo. Vayamos a Ajustar Modelo. Crearemos el diámetro y probablemente añadiremos el lote como efecto aleatorio, ya que no nos importan en sí mismos, pero reconocemos que puede haber diferencias entre ellos. Añadimos el lote como efecto aleatorio e introducimos la línea de producción. Hacemos clic en Ejecutar.
¿Qué vemos aquí? Vemos que los residuos ahora parecen estar distribuidos de forma bastante uniforme. No tienen una forma particular. Esto nos permite asumir con bastante certeza que el modelo es correcto. La línea de producción parece ser muy significativa, lo que significa que existen diferencias entre los niveles de las líneas de producción 1 y 2. ¿Por qué? No lo sabemos. Debe haber una razón, pero esto indica que conviene mantenerlo también en el modelo.
Luego, aquí abajo, observamos los componentes de la varianza. Observamos qué porcentaje de la variación, o cuánto afecta la variación entre lotes al proceso, y cuánto afecta la varianza interna. Normalmente, preferimos sumar la raíz cuadrada para ver la estimación de la desviación estándar de cada componente de la varianza. Podemos ver que son bastante iguales; existe la misma diferencia entre lotes y dentro de cada lote.
La forma más sencilla de obtener intervalos de confianza una vez que se tiene un JMP es usar el Profiler, ya que ahora JMP indica con las líneas azules: "Mi mejor estimación, si se está en la Línea de Producción 1, es que el promedio es 10,29, pero con un 95 % de confianza, está entre 10,27 y 10,30. Para la Línea de Producción 2, se obtendría una estimación de 10,19, pero con un 95 % de certeza, entre 10,18 y 10,20".
Si desea intervalos de predicción, puede solicitarlos aquí. Como mencioné, es una fórmula compleja. Para cada línea de producción, le indicarán una jeringa individual de la Línea de Producción 1. Si toma una nueva, la mejor estimación es entre 10,21 y 10,36 con un 95 % de confianza, y tiene otros valores para la Línea de Producción 2. Siempre puede guardarlos. Si guarda columnas, por ejemplo, los intervalos de confianza individuales, tendrá estos valores guardados en su tabla de datos y listos para usar.
Por ahora, los eliminaré, ya que les mostraré cómo abordar esto con un script que creamos. Es otro script, así que lo abrimos. En realidad, es un flujo de trabajo. Una vez que estamos satisfechos con un modelo, lo primero que debemos hacer es simplemente estar satisfechos con el modelo y hacer clic en "Reproducir". Luego, el script o el flujo de trabajo debería encargarse de brindarles las conclusiones correctas. Simplemente se está ejecutando. Necesitamos darle un poco de tiempo. Al final, obtendrán una salida de tablas de control.
Puedes ver que copia la información del archivo y luego calcula muchas columnas nuevas. La forma más sencilla de ver lo que buscas es hacer clic en el script que indica los límites del gráfico de control, y te mostrará el resultado. La idea es que ahora tienes intervalos de tolerancia e intervalos de confianza calculados a partir de tu modelo. Según tu modelo, dado que tienes un efecto fijo en la línea de producción, obtendrás dos conjuntos de límites diferentes: uno para la línea de producción 1 y otro para la línea de producción 2.
Si analizamos un caso individual, la interpretación de esto, dependiendo de la confianza... Veamos qué confianza tenemos, 0.05, pero es unilateral. Si la considerara bilateral, podría simplemente hacer esto. En cualquier caso, ahora podemos decir con un 95% de confianza que al menos el 99.73% (la cobertura que establecimos), el 99.73% de la población futura de la Línea 1 estará dentro de estas dos líneas, y lo mismo ocurre con la Línea de Producción 2.
Dado que nos encontramos dentro de los límites de las especificaciones, acabamos de demostrar, en la medida de lo posible, que mantenemos un nivel de calidad adecuado. Es posible que deba preocuparse si se encuentra fuera de las especificaciones, lo que podría significar que su proceso no es lo suficientemente bueno, o que simplemente necesita recopilar más datos, ya que cuantos más datos tenga, más estrechos serán estos límites. Esa fue mi presentación. Espero que le haya sido útil. Gracias por escuchar.
