En Francis Medical, la cánula de nuestro dispositivo de administración desechable se inserta en la uretra y luego un pequeño catéter redondo sale de la cánula hacia la próstata, donde el vapor que sale del catéter se utiliza para extirpar el tejido. Debido a la presión hidrostática de la vejiga, el sello dinámico entre la cánula y el catéter es la única barrera para la posible entrada de fluidos al dispositivo de administración, lo cual es indeseable.
La prueba del sello dinámico en el banco se realiza presurizando la cánula con un comprobador neumático de caída de presión. Si bien la salida de este comprobador es continua, la distribución es bimodal y se modela mejor como una salida binaria: el sello presenta fugas o no. En JMP, no existe un método sencillo para calcular la potencia y el tamaño de la muestra que permita la comparación de diferentes estudios de diseño de experimento (DOE) para la salida de un atributo.
En este artículo, describimos la metodología de proceso que utilizamos para determinar el número de factores a probar y el número de ejecuciones a completar, incluyendo un análisis de potencia simulado. Además, descubrimos una forma única de acondicionar las muestras antes de las pruebas de caída de presión para generar más fallas dinámicas del sello que las obtenidas con las pruebas históricas. Finalmente, los resultados del experimento nos permitieron tomar decisiones de diseño definitivas con confianza y mejorar el rendimiento dinámico del sello en un factor de 25 con respecto al diseño actual.
Hola a todos. Soy Rebecca Breuer y me acompaña hoy Chad Naegeli. Hoy presentaremos el uso de DOE para mejorar el rendimiento de un sello dinámico de alta velocidad.
Un poco sobre este sello dinámico. El sello dinámico de alta velocidad forma parte de nuestro dispositivo médico, que utiliza tecnología de ablación por vapor de agua para tratar el cáncer de próstata. Los componentes del dispositivo que nos interesa en este DOE se muestran en la pantalla. Nuestro dispositivo funciona de la siguiente manera: la cánula se inserta en la uretra y, a continuación, el catéter se introduce en la próstata. Pequeños orificios en el catéter permiten la salida del vapor y la ablación del tejido circundante.
Es importante saber que la vejiga ejerce presión hidrostática sobre nuestro dispositivo, lo que podría provocar la entrada de líquido. Para evitarlo, necesitamos un sello que llene el espacio entre el catéter y la cánula e impida la entrada de líquido.
Podemos comprobar la eficacia de ese sello mediante una prueba de caída de presión. Para ello, sellamos el dispositivo con un dispositivo de prueba y luego lo presurizamos con un comprobador neumático de caída de presión. De esta manera, medimos la caída de presión, que equivale a la tasa de fuga del sello. El problema que observábamos era que la tasa de fuga del sello era mayor de lo esperado, por lo que el objetivo de esta prueba de caída de presión era identificar los factores que podrían reducir dicha tasa.
Ahora veamos cómo se ve el resultado de la prueba de caída de presión. En la pantalla, se ven dos distribuciones, ambas con los mismos datos, pero de forma diferente. La distribución superior muestra los resultados de la prueba de caída de presión en PSI, que es una salida continua. La distribución inferior muestra los mismos datos modelados como una salida binaria de aprobado o reprobado. En la distribución superior, se puede ver que los puntos de aprobación están coloreados en verde. Este intervalo grande corresponde a aprobado, y los puntos de reprobado están resaltados en rojo. Hay una pequeña porción de las pruebas que fallan.
Un aspecto importante es que el resultado continuo que obtenemos de la prueba de caída de presión no es necesariamente relevante ni útil. Lo que realmente nos importa es si la prueba es correcta (es decir, si el sello no presenta fugas) o si es incorrecta (es decir, si presenta fugas). Para este DOE, modelaremos el resultado como una respuesta binaria.
Antes de ejecutar este DOE, hicimos una lluvia de ideas sobre todos los posibles factores que podrían afectar la tasa de fugas del sello y los organizamos en un diagrama de espina de pescado creado con JMP. Redujimos la lista a los seis factores que consideramos más relevantes para este caso. Pueden ver estos factores, del X1 al X6, enumerados aquí en sus respectivos niveles. Los factores del 1 al 5 tienen dos niveles cada uno, y el factor 6 tiene tres. Ahora le cedo la palabra a Chad.
Hola. Soy Chad Naegeli y les voy a explicar cómo usamos el proceso de acondicionamiento para reducir el número de fallos que tuvimos al detectar fugas en el sello. Analizamos cinco parámetros diferentes. Analizamos la esterilización. Anteriormente, sin el proceso de acondicionamiento, no había esterilización, y añadimos un proceso de esterilización. Antes del acondicionamiento, teníamos un solo ciclo de prueba y realizamos varios. Para el estado del sello, antes lo probábamos en estado estático, donde el catéter no se movía, pero en el proceso de acondicionamiento, lo mostramos o probamos en estado dinámico.
Finalmente, para la temperatura del sello, en lugar de la temperatura ambiente, realizamos las pruebas a una temperatura elevada. Este proceso de acondicionamiento sometió al sello a una tensión excesiva, lo que generó una tasa de fallos del 95 %, mucho mayor que la obtenida sin dicho proceso. Esto se debe a la necesidad de aumentar la potencia estadística y minimizar el tamaño de la muestra.
Como mencionó Rebecca, para una salida binaria, usamos la ecuación logística para modelarla. En nuestro caso, obtuvimos una tasa del 95 % después del proceso de acondicionamiento. Utilizando la ecuación logística, calculamos la intersección con el eje Y, como se muestra en la esquina inferior izquierda. Luego, creamos la tabla de la derecha introduciendo diferentes entradas para la tasa base.
En el caso que acabamos de mencionar, para 95, la intersección con el eje Y sería 2,944. Luego, analizamos cuatro escenarios diferentes, como el correspondiente a las diferentes tasas base del 75 %, 50 %, 25 % o 1 %, y los puntos de corte con el eje Y correspondientes. Usaremos estos números brevemente en una demostración de presentación de JMP para mostrarles cómo los usamos para crear una simulación de potencia.
En la siguiente diapositiva, haremos una simulación de potencia de JMP. Les comparto mi pantalla y he creado un diario de JMP. Intentaremos determinar el tamaño de muestra para este DOE. Uno de los aspectos que analizamos es la potencia, que se define como la capacidad de detectar y afectar la presencia de un efecto. Si tuviéramos un tamaño de muestra demasiado pequeño, realizáramos un DOE sin un efecto fuerte y no pudiéramos detectarlo por no haber analizado suficientes muestras, sería un escenario desfavorable.
El otro escenario sería si simplemente analizáramos demasiadas muestras y pudiéramos detectar el efecto, pero entonces habríamos desperdiciado recursos. Lo que queremos es crear el tamaño de muestra adecuado. Para lograrlo con el pie binario*, usaremos la simulación.
A modo de precalentamiento, vamos a crear un DOE de un factor. Voy a abrir esto aquí. Fuimos al diseñador personalizado y creamos un DOE con un factor, un factor categórico de dos niveles. Realizamos 10 000 ejecuciones. Luego, hice esto solo para ilustrar si esta fórmula funciona. Voy a hacer clic en este archivo y se abrirá esta tabla JMP. Pueden ver 10 000 filas, y voy a escribirla en esta fórmula.
Esta es la misma fórmula que les mostré en la diapositiva anterior, y usamos nuestro 2.944, que proviene de la tabla que mostré para la tasa de fallos del 95%. Lo que hace es simplemente aplicar una distribución binomial aleatoria con un ensayo y luego usar esta fórmula. Vamos a ejecutar una distribución aquí y veremos si obtenemos un 95% de fallos. Si hago clic aquí, pueden ver que, para 10,000 ejecuciones, obtuvimos aproximadamente un 95%. Esto verifica que nuestra fórmula funciona correctamente y es una forma de generar confianza en lo que haremos a continuación.
Lo siguiente que haremos es crear... Rebecca acaba de hablar de un DOE de seis factores. Lo crearemos en JMP con seis factores categóricos de dos niveles. Usaremos un modelo de efectos principales y, si es posible, interacciones de segundo orden y 16 ejecuciones. Después, simularemos. La mayoría de las veces, la tasa de fallos será del 95 %. Si X1 está activo, nos preguntaremos: ¿qué ocurre si la tasa de fugas para X1 es del 75 % si está activo?
Voy a hacer clic ahí. Es un script que creé con el diseño personalizado de DOE y que creó este DOE. Ingresemos esta fórmula. Esto es lo que creamos basándonos en... Es un poco más complicado. Esto es lo que ya les mostré en la simulación anterior, pero lo que hicimos fue crear una sentencia if-then, y dijimos que si X1, que es el primer factor, es igual a L1, tendremos una tasa de fallo del 95%. De lo contrario, tendremos una tasa de fallo del 75%.
Veamos eso ahora mismo. Básicamente, esto creó un 1 o un 0 en esta columna, y luego hubo un ensayo. Ejecutemos este modelo. Les mostraré lo que hicimos. Colocamos Y simulado e Y en ensayos en la fila Y. Para los efectos del modelo, colocamos de X1 a X6; luego, para la personalidad, creamos un modelo lineal generalizado con la distribución binomial y la función de enlace logit. Vamos a ejecutarlo.
Al ejecutar el modelo, queremos introducirlo en esta plataforma, justo donde dice "Prueba de Efecto". Haremos clic derecho y seleccionaremos "Simular". Al hacerlo, obtendremos "Y simulado" y "Y simulado", coincidiendo, y se ejecutarán 2500 veces. Si lo hiciera ahora mismo, básicamente volvería a ejecutar esta distribución o este ajuste de modelo 2500 veces, pero eso llevaría demasiado tiempo. Voy a cerrarlo. Ya lo hemos hecho. Es lo que tenemos aquí abajo. Simplemente haré clic allí. Si presionara "Ejecutar", obtendría esta tabla: 2500 filas, con seis factores diferentes.
Lo que haremos es ejecutar una distribución con esos seis factores y luego moverla para que todos puedan verla. La asignaremos a X1. Iremos a la última tabla, donde dice potencia simulada, y buscaremos un alfa de 0,05. Observaremos la columna de tasa de rechazo, y obtenemos un 23 %. El 23 % es nuestra potencia simulada para esta simulación. Si observamos los demás efectos, pueden ver que las tasas de rechazo son muy bajas. Se encuentran alrededor de 0,1.
Si repito la misma simulación con una intersección con el eje Y del 95 % y luego una del 50 %, si lo hago rápidamente y ejecuto este análisis de potencia, pueden ver aquí mismo que para X1 obtenemos un 84 %. Nuestra potencia pasó del 23 % al 84 %. Fue un gran aumento. Las otras simulaciones, que no deberían estar activas, de X2 a X6, tienen una tasa de rechazo muy baja. Haré una más, y creo que así todos tendrán una idea de lo que vamos a hacer. Hagamos una que sea realmente... Así que 95 % para la intersección con el eje Y en 1 % para X1. Ejecutémosla rápidamente. Pueden ver aquí que la potencia simulada para X1 es del 100 %. Tenemos una potencia realmente buena.
Lo que hicimos fue crear un par de variables adicionales. Analizamos la posibilidad de cambiar el número de ensayos de 1 a 5. En todos los casos que mostré aquí, todos tenían un ensayo, pero, como pueden imaginar, para cada ejecución experimental, podíamos procesar varias muestras. Lo que hicimos fue cambiar eso en el DOE y pudimos ejecutarlo. Lo resumimos aquí.
Las dos o tres simulaciones que les mostré fueron del 23 %, 84 % y 100 % de potencia. También probamos con diferentes cantidades de ensayos para cada condición experimental; este es el tamaño total de la muestra. El diseño que finalmente elegimos fue este, que seguía siendo de seis factores, pero con 48 ejecuciones y un solo ensayo. Hicimos esto porque resolvió algunas de las correlaciones que teníamos en las interacciones de dos factores, y consideramos que este modelo era mejor para nosotros.
Así es como creamos nuestra simulación de potencia para un factor activo. Como pueden ver aquí, podemos detectar una diferencia del 95 % hasta entre el 50 % y el 75 % en la tasa de fuga del sello, con una potencia de aproximadamente el 90 %, lo que consideramos un buen nivel de confianza para este diseño. Le cedo la palabra a Rebecca, quien nos explicará cómo analizamos el DOE.
Utilizamos un par de métodos diferentes para visualizar nuestros datos y analizar los resultados de este DOE. Estos se listan en la pantalla. Los tres primeros (visualización univariante, modelo de partición y promediado por pasos) nos ayudan a visualizar los datos, identificar las mayores rupturas y ver qué términos del modelo parecen tener la mayor relación señal-ruido. A continuación, utilizamos el modelo lineal generalizado para predecir qué combinación de factores y sus niveles minimizaría la probabilidad de fugas en los sellos.
Ahora voy a ir a JMP y mostrarles cómo realizamos algunos de esos análisis. Lo primero que hicimos fue usar una plataforma de distribución y JMP para explorar nuestros factores. Seleccioné el resultado de una fuga de sello, y parece que el factor X6, nivel 9, el factor X3 original y el factor X4 tienen muchas muestras que caen en esta categoría de fuga de sello.
A continuación, creamos un JMP de modelado de particiones. Ya creé el modelo aquí usando el modelo de particiones. Usamos un tamaño de división de cuatro, porque ese tamaño de división era bueno... Se correlacionaba con los diferentes factores en nuestros niveles que eran... Los diferentes tratamientos en nuestro DOE. Luego dividimos este modelo cinco veces, y pueden ver aquí a la izquierda que tenemos un grupo donde ninguno de los sellos tuvo fugas. Parece que el factor X6, parcial en niveles completos, y el factor X3 mejorado como bueno con no tendrá fugas. Luego, si nos desplazamos hacia abajo hasta la columna de contribuciones, pueden ver que el factor X6 fue el más significativo, seguido de X3, X1 y X4.
A continuación, utilizamos la función de promediado de modelos y JMP. Utilizando la plataforma de modelos de ajuste, seleccionamos un modelo escalonado y utilizamos la función de promediado de modelos. JMP creó una gran cantidad de modelos. Analizó el 5% superior de los modelos con el AICC más bajo y promedió los términos y los coeficientes correspondientes. Estos se resumen en esta tabla. Nuestro modelo tiene 27 términos y proporciona una estimación y un error estándar para cada uno de ellos.
Nos interesa la relación señal-ruido. Tengo una fórmula: dividimos las estimaciones entre el error estándar y calculamos la desviación estándar. Esto nos da la relación señal-ruido. Luego, con el generador de gráficos, podemos graficarla y ver qué hecho o qué término del modelo tuvo la relación señal-ruido más alta.
Aquí solo analizamos un subconjunto de los términos. Los que presentaron la relación señal-ruido más alta, pero parece que los factores X6, X3 y X4 presentaron relaciones señal-ruido superiores a dos, que es el valor de corte que determinamos. Además, parece que la interacción entre los factores X4 y X6 es cercana a… Son ligeramente inferiores a dos.
Una desventaja de este modelo es que no podemos usarlo para predicciones porque tiene una salida continua y podríamos terminar con resultados menores que 0 o mayores que 1, cuya probabilidad no funciona de esa manera, por lo que no podemos usar este modelo para predicciones.
Finalmente, creamos un modelo lineal generalizado, que solo incluye los efectos principales, utilizando la distribución binomial y el enlace logit para predecir qué factores y combinaciones minimizarían la ocurrencia de fugas en el sello. Reduciré los factores en mi modelo. Comenzaré desde abajo con el factor con el valor p más alto y eliminaré términos hasta que todos los términos restantes tengan un valor p menor que 0,05. Al hacerlo, quedan tres vueltas en el modelo. X6 es el más significativo, seguido de X3 y X4.
Luego, si bajamos al perfilador de predicción, he establecido las probabilidades deseables para minimizar la ocurrencia de fugas de sellos. Esto es lo que estamos viendo aquí. La probabilidad de que el resultado sea una fuga de sello, por lo que he maximizado mi probabilidad deseable. Con este modelo, incluyendo los factores X4, X3 y X6, y sus niveles de pequeño, mejorado y completo, este modelo predice menos del 0,1 % de probabilidad de fuga de sellos, lo cual es bastante bueno. Además, cabe destacar que el AICC de este modelo es de 39,8.
Luego, crearemos otro modelo lineal generalizado. Pero esta vez, incluiremos interacciones factor a factor en el modelo. Seguiremos usando el enlace logit de distribución binomial, pero activaremos el ajuste de sesgo. Ya he reducido este modelo a términos significativos, solo para ahorrar tiempo. Parece que X6, X3 y X4 son los más significativos, lo que coincide con nuestro otro modelo. También tenemos algunas interacciones factor a factor.
Al observar este generador de perfiles, en el que he establecido las deseabilidades y maximizado la deseabilidad, tal como lo hice con el otro modelo, al observar nuestros factores significativos y los niveles de diseño uno, pequeño, mejorado, no y completo, estamos viendo una probabilidad prevista muy, muy pequeña de que la fuga del sello llegue a casi el 0 %.
Ahora, volveré a la presentación de PowerPoint. Esta tabla resume los cuatro modelos que acabo de analizar y todos los niveles de factor que resultaron ser los más deseables. Pueden ver el resumen para cada modelo. Basándonos en el nivel de factor más frecuente en los cuatro modelos, pudimos determinar un conjunto óptimo de ajustes para cada factor.
X1, los factores X3, X4 y X6 fueron significativos en todos los modelos. Elegimos el diseño 1, mejorado, pequeño y completo como niveles de esos factores, y luego no elegimos nada para los factores X2 y X5 porque nuestro modelo mostró que esos niveles no eran significativos, o que esos factores no lo eran. Ahora le devuelvo la palabra a Chad.
Hola. Básicamente, Rebecca acaba de mostrar el análisis del DOE y luego resumiremos el diseño original para los factores X1-X6. En qué se diferencian los niveles óptimos del original, y pueden ver que hay muchos cambios en el óptimo. Finalmente, no elegimos el diseño óptimo. Elegimos la última columna a la derecha, que es un diseño seleccionado.
Los principales cambios para esa obra, si recuerdan, en X3 tuvieron un efecto muy grande. Pasamos de original a mejorado. En X6, pasamos de ninguno a parcial. Mantuvimos prácticamente iguales los otros cuatro factores, excepto X5, que no tenía una opinión definida, pero la queríamos por otras razones. Eso es lo que elegimos para el diseño, y ahora vamos a hablar de las conclusiones.
Al someterlas a este exhaustivo proceso de acondicionamiento, donde pudimos generar aproximadamente un 95 % de fallos en nuestras muestras, el diseño original predijo un 94 %, lo cual se acerca mucho al estudio inicial que realizamos. Con un intervalo de confianza del 95 % bastante amplio. El diseño óptimo fue el que mostramos en la columna central, y predijo una tasa de fugas muy baja. Además, tiene un intervalo de confianza del 95 % muy ajustado.
El diseño selectivo, aunque no tan bueno como el óptimo, predice una tasa de sellado muy baja. Cabe recordar que esto aplica al extenso proceso de acondicionamiento. Nuestra tasa de sellado real será incluso mucho menor. Si comparamos el diseño seleccionado con el original, la tasa de sellado es más de 25 veces menor con este extenso proceso de acondicionamiento. Consideramos que este fue un experimento excelente y realmente coincidió. Los resultados coincidieron con los del experto en la materia, es decir, el fabricante del sello, quien presentó muchos de estos factores para que los probáramos, y los resultados coincidieron con sus predicciones.
Rebecca pasará a la siguiente diapositiva. Tenemos referencias. Recibimos mucha ayuda de JMP con esto. Don McCormack de JMP y nuestro representante local nos ayudaron bastante a determinar el tamaño de la muestra y esta metodología. Don dio una charla muy interesante en marzo para Discovery Summit Europe, donde explica con mucho más detalle cómo determinar el tamaño de la muestra para las respuestas de aprobado/reprobado. También tenemos un par de referencias más.
Finalmente, en las últimas páginas, tenemos un apéndice con la simulación de potencia y un resumen del análisis de Rebecca. En el último apéndice C, incluimos algunos consejos y trucos que aprendimos al ejecutar grandes DOE como este, para mantenernos organizados y asegurarnos de obtener buenos resultados. Agradezco a todos por escuchar nuestra charla, que fue muy exitosa por nuestra parte. Nos complace enormemente compartir estos excelentes resultados y cómo usamos JMP para resolver nuestro problema. Gracias de nuevo.
