Estamos aquí para hablar de mi presentación para la Cumbre JMP en Berlín, titulada "Un año implementando aprendizajes: Cómo diseñar y analizar experimentos con respuestas pasadas/fallidas". Se llama así porque, en realidad, es una especie de respuesta a tu presentación, Don, del año pasado en Manchester, titulada "Cómo diseñar y analizar experimentos con respuestas pasadas fallidas". He visto esa grabación una y otra vez, y espero sinceramente que a alguien le resulte tan familiar como a mí.
Para contextualizar, este diseño está hecho de sellador de tubos. Me di cuenta de que la mayoría de la gente no sabe qué es un sellador de tubos. En realidad, es una plancha de pelo científica. Usamos un tubo de silicona por el que se ha pasado la vacuna y lo sellamos con una plancha. Como se trata de producción farmacéutica, somos un poco más científicos. Pero, en principio, son solo dos cuerpos calefactores que presionan un tubo y lo sellan.
El problema es que estamos considerando comprar o [inaudible 00:01:21] estamos considerando comprar nuevos selladores térmicos para nuestros tubos de polímero. Es fundamental que, al sellar un tubo, este permanezca sellado, ya que será nuestro producto activo el que se transfiera, y si se rompe, lo tiraremos al suelo. Esto conlleva varios problemas. No hay ningún riesgo para el paciente, pero sí corremos el riesgo de perder un lote de vacunas, lo cual, por supuesto, no queremos.
Antes de comenzar la producción de estos nuevos selladores, se nos ocurrió la idea de realizar este experimento de diseño. Primero, ¿cuál es la definición de éxito? ¿Cuándo hemos sellado realmente el tubo? Hoy se realiza una inspección visual, en la que se revisan las herramientas. Pueden ver en mi diapositiva anterior que tengo algunas fotos de sellos. Evaluarán visualmente estos tubos y les darán un aprobado/reprobado. Eso es todo.
Me pregunté si podíamos hacer algo más. ¿Podríamos hacer una prueba continua? No, pero podríamos tener otra respuesta de aprobado/reprobado, que era la presión. Pudimos aplicar presión a la cámara y sumergirla. Si salen burbujas, entonces no está bien sellada, como se haría con una llanta de bicicleta.
Intenté encontrar una respuesta continua porque es mucho más fácil, pero entonces recordé la presentación a la que asistí en Manchester, que trataba precisamente sobre este tema. Después, nos dispusimos a configurar el diseño. Hice este DOE porque sabía que era relativamente fácil usar nuevos tubos y realizar nuevas pruebas. Tenía muchas ganas de intentar... Bueno, primero, hay que tener en cuenta el tiempo del operador y no hacer más diseños ni más experimentos de los necesarios.
Realmente tenía en mente el tipo de DOE secuencial. Se trataba de empezar lo más pequeño posible y, si era necesario, añadir más experimentos, haciéndolo cada vez más grande, con la esperanza de llegar a tener un DOE que explicara o diera una solución a mi problema: definir un rango de proceso para muchos factores donde se obtengan sellos exitosos siempre, o al menos, el éxito en caso de fallo sea muy, muy bajo. No... De hecho, los estadísticos lo saben, nunca será cero, pero queríamos que se acercara a cero.
Al configurar el diseño, quise inculcarle a este DOE todo el conocimiento sobre este sellador, porque me di cuenta de que hay personas, operadores y expertos en la materia, que saben mucho más que yo. Para que quede claro, nunca he tocado un sellador, y aún no lo he hecho.
Necesito a alguien en la sala que me diga si lo que digo tiene sentido, porque podría no serlo. Quería intentar transmitir ese conocimiento al Departamento de Energía, y volveremos a esto más adelante, cómo lo logré y qué significa realmente infundir ese conocimiento en mi diseño.
Al configurar el diseño, tuvimos el problema de que no era posible combinar algunos de nuestros factores. En JMP, es relativamente fácil tomar partes del espacio de diseño y eliminarlas. Aquí pueden ver que tengo la temperatura y el tipo de enfriamiento: uno es continuo y el otro es categórico de dos niveles.
Cuando tenemos este tipo de plancha de pelo científica o sellador de tubos, es posible conectar un sistema de refrigeración externo. Tiene un sistema de refrigeración interno, pero como es de esperar, un compresor externo es mucho más eficaz que uno interno, ya que es relativamente pequeño. Con un compresor externo, podemos reducir la temperatura de refrigeración. Una vez sellado el tubo, para que este permanezca cerrado, es necesario enfriarlo para iniciar el proceso de refrigeración.
Como beneficio adicional, finalmente descubrimos que este sistema de refrigeración externa reduce significativamente el tiempo límite. Algo que no habíamos considerado en absoluto, pero al hacer esto, nos dimos cuenta de que siempre deberíamos usar refrigeración externa porque es realmente genial. Pero con la refrigeración interna, no podemos tener temperaturas inferiores a 65 °F.
Configurarlo es más fácil de lo que crees, y de hecho, he creado un video de YouTube que explica cómo hacerlo. Si estás viendo la grabación, hay un código QR que puedes escanear para ver cómo crear este tipo de espacio de diseño.
Diseño final: 24 combinaciones, 3 repeticiones por combinación, lo que me da un total de 72 soldaduras. Les daré las gracias más adelante, así que vamos a intentar analizarlo. En realidad, se realizó en tres pasos. Tenía un DOE original. Luego hicimos la primera ampliación, añadiendo 12 pasadas más, y luego hicimos una tercera ampliación, añadiendo ocho o seis pasadas más. Repasaremos los pasos, por qué lo hicimos y las lecciones aprendidas a medida que avanzamos.
Aquí está el diseño original, solo para mostrarles 24 ejecuciones. Pueden ver que tengo tres que fallaron. Tengo un total de 3, y luego cuántas fallaron visualmente y cuántas fallaron bajo presión. Para esta ejecución, pueden ver la configuración. Tuvo tres ejecuciones sin fallas visuales ni de presión. ¿Por qué terminé con 24? Olvidé mencionar que este DOE tiene cinco, seis factores categóricos de dos niveles, cuatro factores de variables continuas y un factor categórico de tres niveles, así que hay muchos factores involucrados, y terminé haciéndolo solo para 24 ejecuciones. ¿Cómo llegué a esto?
Permítanme mostrarles cómo surgió. Aquí volvemos a la idea de integrar mi DOE, ya que lo hice y puedo cancelarlo. Veamos si aún lo tengo. Aquí pueden ver que tengo todos mis factores. Es una lista de factores bastante buena. Esto se hace en el DOE personalizado. Si presiono el modelo de superficie de respuesta, obtendré todos sus efectos por separado, como los efectos principales. Obtendré todos los factores continuos y sus efectos de curvatura; si es posible, los convertiré en una curva. Luego, obtendré todas sus interacciones.
Como mínimo, necesitaría 82 pasadas para crear este diseño. No iba a hacer 82 pasadas con 3 repeticiones, lo que me haría quedar mal, como 200, ¿y qué?, 246. Lo dejo ahí con los cálculos. Pero luego repasamos esta lista, lo cual llevó tiempo, y cada vez que decían: "¿Sabes qué? El producto y el tiempo de sellado, no, no lo necesitamos". Seguimos haciéndolo hasta que llegamos a este modelo, que fue nuestro modelo final, donde... Necesito volver atrás.
Como pueden ver, lo redujimos significativamente porque pudieron decir, ¿saben qué?, que todas esas interacciones [inaudible 00:09:59] eran realmente improbables. Aun así, preparé el diseño para que pudiéramos identificarlas si, por ejemplo, se agregaban secuencias para identificarlas más adelante. En resumen, solo queríamos los efectos principales y luego estos otros efectos, y eso nos dio ese mínimo de 24.
Fui valiente y pensé que íbamos a usar solo ese mínimo de nuevo porque sabía que podría agregar más ejecuciones más adelante. Por eso llegué al número 24. El siguiente paso fue obtener estos datos y, para ser completamente científico, creé un modelo en la plataforma Generate. Estaba muy orgulloso de ese modelo y les mostraré lo genial que es.
Esto se hizo siguiendo el video de Tom y haciendo lo que él hacía mientras yo... Haciendo lo que él hacía mientras veía el video. Lo que vemos aquí es un cabezal de sellador, es decir, tenía un cabezal viejo o uno nuevo. Gammel es viejo y nuevo es nuevo. Nuevo es nuevo. Luego hay dos medios diferentes que podemos agregar. Hay dos materiales de tubo diferentes: Avantaflex es uno y C-Flex es el otro.
Luego, tenemos una temperatura de corte similar a la dimensión. Lo que realmente quería que se centraran en este material del tubo, la diferencia entre C-Flex y Avantaflex. Porque ya con esta configuración, que pueden ver con una temperatura de 165 y un tiempo límite de 100, que es un total, esta sería una configuración normal y, para C-Flex, tenemos una probabilidad de falla de 0,00, y podría... llegar a 0,04.
Pero con Avantaflex, se puede observar que esa incertidumbre es mucho mayor. También se puede observar lo que sucedió con las otras bandas de incertidumbre al cambiar a Avantaflex: prácticamente se disparan. Si tengo Avantaflex y uso un cabezal de sellado antiguo, la incertidumbre puede ser prácticamente nula.
Lo primero que noté fue que hay combinaciones personalizadas donde no estamos seguros de qué está pasando. Es decir, no estamos seguros de comprender completamente qué está pasando aquí. Pero lo que sí vi fue: mira qué hermosa es esa incertidumbre en grados más altos, así que ¿por qué no la aumentamos a 180 y todo está bien?
Pueden ver que ahora todo esto está completamente plano, y esa fue mi primera conclusión. Alerta de spoiler: me equivoqué, pero esa fue mi conclusión inicial con solo mirar el generador de perfiles. Creo que tal vez cometí el primer error de análisis de datos: no visualicé los datos lo suficiente. Ahora déjenme mostrarles lo que eso significa.
Volví y les dije: "¿Saben qué? Si suben esto a 180, todo bien". Dijeron: "Sí, Christian, eso suena bien. Queremos probarlo". Ese fue el resultado del primer DOE. Me engreí y dije: "180, todo bien". Veamos qué pasó. Veamos qué pasó realmente. Este es el gráfico que les mostré. Lo que tenemos aquí es una temperatura y un tiempo límite.
Como dije, lo que realmente queremos obtener de esto es un rango con un buen sello. Un punto azul indica que las tres repeticiones han sido exitosas. Si solo una de las repeticiones ha fallado, se volverá rojo. Realmente queremos estar en un espacio donde solo haya azul. Llevé este gráfico a una reunión y me lancé, y dije: "¿Saben qué? Definamos juntos ese nuevo rango de proceso".
Realmente no queremos estar en 140 grados Celsius. Eliminémoslo. Se ve mejor. Y 200 grados es demasiado cálido. En algunos casos está bien, pero tenemos casos que están en rojo, así que simplemente bajemos esa temperatura. Entonces solo queda un punto rojo, y ese tiene un tiempo límite ridículamente bajo, así que si simplemente no lo hacemos, pero luego decimos, bueno, en realidad no tenemos muchos datos para demostrar que ese rango es bueno. Confiamos en la predicción del modelo, pero lo que hicimos entonces es, bien, dentro de este espacio, como si estuviéramos haciendo zoom, se ve bien. No tenemos ningún dato en ese espacio, pero parece prometedor. Ese fue el siguiente diseño.
Veamos eso. Ahora pueden ver que tengo el Dewey original y 12 más. Si observamos el mismo gráfico que vimos antes, no, ese no. En este, podemos ver que tengo estos 12 puntos, y uno de ellos salió rojo. Esperaba que todo fuera azul. No habría problema si fueran rojos porque era un espacio de diseño optimista, pero queríamos que, si pudiéramos hacerlo, sería genial. Pero uno salió rojo.
Durante esa reunión, experimentamos con un generador de gráficos y creamos este gráfico. Lo que este gráfico nos mostró es que, en realidad, la mayoría de... Lo que estamos viendo es la temperatura y el tiempo, como antes, pero lo he dividido en material y dimensiones. Pueden ver C-Flex y Avantaflex, y luego las dimensiones del tubo: media pulgada, 3 a 3 por 5 pulgadas, y 3 por 9 por 16 pulgadas.
Lo que vimos es... un momento. ¿Nunca habíamos tenido éxito con esta combinación? Pero, Christian, dijiste que todo estaba bien por encima de 180. Yo digo: sí, lo vi. Pero en realidad, vimos... bueno, no puedo decir que, aunque mi predicción te diga que esto esté bien. Nunca lo habíamos visto. Eso fue lo que pasó.
Algo que me enorgulleció un poco fue que, si analizamos la predicción de fallos, si observamos todos los nuevos aquí y no vemos lo claro que es, tenemos 0,00, casi todo excepto dos. Si tuviera que señalar solo uno, sería este. Sé que solo indica un 13 % de probabilidad de fallo, pero sigue siendo un conjunto de datos relativamente pequeño.
Pude identificarlo con precisión, y lo hice. Dije: «Si va a haber un campo, será ese». Ese fue el que falló. Me indicó que no me equivoqué del todo en mi predicción.
Tercer aumento. El tercer aumento, o la tercera ejecución, pero el segundo aumento, agregó este nuevo conjunto de datos. Ahora tengo el original, el Aumento 1 y el Aumento 2. Si volvemos a observar ese mismo espacio, ocurre algo curioso, no sé si se dieron cuenta. Dejé de crear modelos y me limité a observar este gráfico, y si vemos polvo azul, vemos que se ve bien.
Realmente debería volver atrás y crear un modelo, pero era tan visual que, al observar los 24 puntos de datos originales, hay 24 puntos. Si hubiera hecho este gráfico primero, habría visto que, bueno, no puedo decir que todo esté bien por encima de 180. No lo había visto. Por ejemplo, ambos puntos están por encima de 180, pero ambos son un fracaso. Pero luego añadimos este, y ahí fue cuando nos dimos cuenta. Verán, todos son azules excepto uno que es rojo.
Luego añadimos el tercero, que está exactamente en el rango que el fabricante de este producto, quien lo ventiló, ha dicho: "Creo que este punto es justo donde dicen que debería estar". Y luego solo tenemos los azules. Estamos hablando de enlatado. Estos cinco son relativamente fáciles de sellar. Si simplemente no usamos temperaturas extremadamente bajas, en realidad solo tenemos dos puntos, excepto por tiempos extremadamente bajos. Si simplemente hacemos eso, todo esto implica muchas combinaciones, muchas repeticiones que solo dan buenos resultados.
La única combinación extraña es esta. La conclusión es: ¿podemos simplemente no usarla? Porque todos me decían que es muy difícil de usar. Si se pudiera usar esta, sería lo mejor, y aún no hemos llegado a ese punto, pero esa era mi... Te cedo la palabra, Don, pero ahí estábamos con este diseño. Tomamos algo que era puramente inspección visual y lo convertimos en datos, y podemos visualizar esos datos para tomar decisiones en la base de datos. Bueno, dejo de compartir. Te cedo la palabra.
Gracias, Christian. Voy a cambiar de tema. Voy a hablar de cómo... Solo para asegurarme. Solo para revisar. Supongo que estamos viendo mi pantalla, mi diario. ¡Genial! Cambia de tema. Vamos a hablar de cómo podría configurar algo así desde el principio para asegurarme de tener suficientes ejecuciones, experimentos y pruebas para poder determinar si lo que considero importante o significativo en la práctica, si es significativamente significativo.
Nuestro objetivo es diseñar un experimento. Quiero que sea lo suficientemente grande, con suficientes ejecuciones y ensayos para poder determinar si algo es significativamente significativo en la práctica.
Bien, antes de empezar, definiré un par de cosas. Permítanme explicarles mis dos definiciones, que quiero separar. Hablo de ensayos y de series. Cuando hablo de una condición de tratamiento o de una serie, me refiero a una fila en mi tabla de datos de diseño experimental, es decir, un conjunto único de combinaciones de tratamientos o configuraciones de factores que voy a ejecutar.
Un ensayo es, imagínenselo, una réplica. No lo llamo réplica porque su procesamiento matemático es un poco diferente. Solo aparece en una fila al comenzar el análisis. Normalmente, cuando trabajo con réplicas, están en filas separadas en mi tabla de datos. Quiero saber no solo el número de réplicas y ensayos, sino también el número de combinaciones de tratamientos y el número de ejecuciones experimentales. Necesitamos separar ambos.
¿Cómo diseñamos algo que cumpla mis objetivos? Bueno, ya deberías estar familiarizado con la primera parte. Se empieza con un buen diseño, como vimos en el ejemplo de Christian. Se reunió con expertos en la materia. Hablaron sobre cuántos factores, cuáles consideraban importantes, cuántas interacciones entre dos factores debían incluirse, efectos cuadráticos, etc. Ese siempre es el principio, así que no es diferente de cómo se manejaría esto si la respuesta fuera continua.
Bien, ahora es cuando las cosas cambian un poco. Quieres saber, dado tu diseño, dado lo que JMP crea, digamos en el diseñador personalizado, si tienes suficientes ensayos para determinar si las condiciones de tu tratamiento te permiten distinguirte de tu valor de referencia. Quieres preguntar: "¿Puedo determinar si mi valor de referencia es estadísticamente diferente de mi valor objetivo?"
Para ello, necesito calcular una línea base. Necesito saber cuál es mi tasa de fallos o de eventos en mi línea base, y también quiero poder calcular o determinar qué es un cambio importante. Por ejemplo, mi línea base podría ser algo como que estoy teniendo fallos el 75 % del tiempo, pero realmente solo tiene sentido distinguir si tengo un cambio que me lleva al 50 % o al 20 %, así que quiero decidir esto a priori.
Una vez que tenga estos dos datos, y si ha diseñado su experimento en JMP, dispondrá de todas las herramientas necesarias para dimensionarlo correctamente. Lo que hará es usar la simulación para preguntarse: "¿Puedo llegar desde mi punto de referencia actual hasta mi objetivo?".
Bien, ahora veamos cómo lo haría. De nuevo, empiezas con el DOE, y tengo uno en cola, similar al que creó Christian. En este caso, tengo 10 factores, 6 de los cuales son categóricos. Todos empiezan por CA. Cinco de esos 6 factores categóricos son de dos niveles. Uno es un factor categórico de 3 niveles. Tengo 4 factores continuos.
Al analizar el modelo, se incluyen todos los efectos principales, un subconjunto de mis interacciones de dos factores y un subconjunto de mis efectos cuadráticos. Similar al diseño de Christian, se empieza hablando con expertos en la materia y se decide qué se busca para el diseño. Se utilizan muchas de las mismas herramientas para la evaluación del diseño. Al diseñar el experimento, se puede consultar el mapa de colores para decir: "Bueno, quiero algo con la mínima correlación posible entre mis efectos".
Sin embargo, lo que no debes hacer es no ir aquí. Este no es el análisis de potencia correcto. Vamos a hablar de... Te mostraré cómo configurar el análisis de potencia correcto, y realmente la única manera de lograrlo con un experimento de aprobado/reprobado es mediante simulación.
Ahora que tengo mi diseño configurado y, digamos que estoy satisfecho con lo que he creado, haré algo más antes de generar la tabla. Voy a ir a mi punto de acceso y activar la simulación de respuestas. Esta es una de esas herramientas internas que quizás no conozcas y que puede ayudarte con la simulación.
Esto ya está activado. Voy a generar mi tabla de diseño. Verán lo que pasa: obtengo dos cosas: un cuadro que me permite especificar el tamaño de mis efectos o el tamaño que quiero para ellos, y mi tabla de diseño.
Antes de empezar, voy a hacer un par de cosas. Voy a desplazarme hacia la derecha para mostrarles lo que sucede aquí. Voy a restablecer mis coeficientes a cero. Voy a ir abajo, en distribuciones, y voy a hacer clic donde dice binomial.
Voy a decidir, primero, hacer una simulación. De nuevo, seré coherente con lo que hizo Christian. Supongamos que hacemos tres pruebas. Haré clic en "Aplicar" y, como verán, al hacer clic en "Aplicar", se generan dos columnas diferentes. Una de estas columnas es de fórmula, y la analizaremos con más detalle más adelante para ver cómo la configuro para la simulación. La otra es una columna fija que solo indica el número de pruebas.
Por cierto, si alguna vez, por cualquier motivo, cierras esto u olvidas abrirlo, al generar tu DOE, ese botón siempre estará aquí, debajo de "Simular DOE". Siempre tendrás acceso a él, siempre y cuando no elimines el script de la tabla.
Bien, ahora la pregunta es: tengo mi diseño, lo configuré, tengo mis columnas en cada una, mi variable binaria, ¿cómo obtengo mis estimaciones? Ahora, sin entrar en muchos detalles matemáticos, que dejaré para un documento que planeo adjuntar con el resto de estos materiales, para la charla de descubrimiento, he creado una tabla para simplificar esto.
Lo que haremos es especificar cuál consideramos que es la tasa de error de referencia, la tasa de eventos de referencia. En este caso, no la estableceremos en 0,9, sino en 0,75. Mi tasa de error de referencia es de 0,75, y supongamos que el objetivo que me interesa alcanzar es de 0,2. Esto me dará una estimación de mi punto de referencia y de mi objetivo.
Lo que voy a hacer es copiar esta línea base y pegarla. Voy a restablecerla a 0. La pegaré como intersección, así que mi línea base será mi intersección. Copiaré mi objetivo.
Don, ¿puedo hacerte una pregunta rápida?
¡Claro que sí!
Súper rápido. Según tengo entendido, actualmente tienes 75 y notarás un cambio significativo si bajas a 0,2.
Así es. Ese es el cambio tan grande que quiero ver.
Algo menos que eso, no te importa. Pero yendo-
Eso es correcto. Absolutamente correcto.
Gracias.
He copiado mi estimación objetivo. Voy a empezar. Empezaré con las respuestas continuas. Las pegaré para sus respuestas continuas. Voy a esperar con las respuestas categóricas porque quiero un poco más de control. Antes de hacer todo eso, permítanme especificar la suposición que hago. Supongo que al ejecutar mi DOE, cuando tengo una condición de referencia, mis factores continuos estarán en el centro del diseño, y mi factor categórico estará en un nivel específico.
Puedo obtener eso para mis factores continuos simplemente pegándolos aquí. Ahora, peguemos estos. Son mis cuatro factores continuos, mis efectos cuadráticos asociados a ellos y mi interacción de dos factores asociada a mis dos factores continuos. Voy a hacer clic en "Asegurarme de que tengo el binomio", estableceré mi binomio en 3 de nuevo y haré clic en "Aplicar". Me aseguro de que la columna "Simular Y" cambie, y de hecho cambia.
Ahora quiero entrar y hacer algunos cambios en esos factores categóricos. Quiero identificar cuáles de mis niveles considero mis niveles de referencia para los factores categóricos. Abriré la fórmula que JMP creó. Observe que genera una variable binomial aleatoria, de modo que cada vez que la ejecute, obtengo un conjunto de valores diferente.
No se desespere con los detalles. Lo importante es que aquí están los efectos de mis factores. En este caso, estos son mis factores categóricos del 1 al 6. Necesito especificar, por ejemplo, en el factor categórico 1, ¿dónde está mi línea base? Quiero asegurarme de que mi valor de línea base sea 0. Supongamos que mi línea base está dentro.
Lo que haré es pegar el tamaño del efecto y luego hacia afuera. Supongamos que "arriba" es mi línea base, así que la pegaremos hacia abajo. En este caso, CA3 tiene tres niveles, así que dejaré 1 como línea base, los otros dos representarán mi efecto, digamos pequeño y grande, y así sucesivamente. Hago lo mismo con todos mis factores categóricos, donde selecciono mi nivel de línea base, así como cualquier interacción de 2 factores que involucre un efecto categórico.
De nuevo, son 3 niveles, así que seleccionaré dos y dejaré este tercero como base. Antes de terminar, pulsaré el botón "Aplicar" para asegurarme de que la función, la fórmula, se evalúe. Listo. He configurado mi aplicación de diseño para ejecutar la simulación. La idea es ejecutar el análisis una vez y luego usaré la herramienta de simulación de un solo clic de JMP Pro para realizar la simulación.
En la sección "Analizar" y "Ajustar modelo", en la charla "Descubrimiento" del año pasado, que Christian mencionó un par de veces, explico con más detalle cómo configurar el análisis y las opciones disponibles. Explicaré más detalles en la documentación que voy a proporcionar, pero lo omitiré por ahora. Solo configuraré mi diseño. En este caso, debe eliminar lo que JMP incluye. Debe ingresar las dos columnas: la columna simulada y el número de ensayos.
Voy a elegir la regresión generalizada y usaré la distribución binomial. Me gusta mantener el cuadro de diálogo abierto por si necesito volver a él. Luego, haré clic en "Ejecutar". En este punto, debo decidir que, por defecto, JMP incluirá todos mis efectos. Hagamos algún tipo de reducción del modelo. Siguiendo con lo que hizo Christian, elegiremos el Lazo. Ocasionalmente, el Lazo termina un poco antes si se fuerza la herencia, así que lo desactivaré y haré clic en "Ir".
Lo que se observa es que se ejecuta una iteración. ¿Qué pasa si quiero repetir esto mil o diez mil veces, registrar cuántas veces fue significativo cada efecto y determinar con qué frecuencia identificó correctamente algo como significativo? Con JMP Pro, se puede hacer esto colocando el cursor sobre la columna de probabilidad, la columna de valor p. Se hace clic derecho y, hacia la parte inferior, aparece la opción Simular.
Lo que verá resaltado es la columna de fórmula. No voy a realizar 2500 ejecuciones porque tardaría un par de minutos, así que lo reduciré a 250. Seleccioné el número de ejecuciones que quiero realizar, 2500 o 10 000, según el tiempo disponible, y hago clic en Aceptar. Ahora, JMP volverá a ejecutar la fórmula y rehacer el análisis con la herencia de efectos de lazo desactivada y con todos los ajustes que seleccioné.
Lo mejor es que todo esto se recopila en una sola tabla de datos. El análisis de potencia está disponible en el script integrado en la tabla, y mi análisis de potencia se encuentra aquí abajo. Realiza un análisis de potencia que indica: "Bueno, si elijo un alfa de 0,01, un alfa de 0,05 y un alfa de 0,1, ¿cuál sería mi potencia simulada?".
Si observamos el alfa 0.05, veremos que mi potencia simulada está entre el 33% y el 45%, un poco baja. Si quiero recopilarlos en una sola tabla, es muy fácil. Hago clic derecho y elijo "Crear tabla de datos combinados". Esto recopila todas mis configuraciones de potencia y todos los valores de potencia simulados para todos los efectos en una sola tabla.
He creado un pequeño flujo de trabajo. Si actualmente no usas la versión 16 o 17 de JMP, puedes crear flujos de trabajo. Yo tengo este flujo de trabajo, que también te proporcionaré. Lo uso para limpiar mi tabla, así que solo tenemos que revisar la versión Alpha 0.05. Notarás que se parece a mis poderes y, en general, tengo un par de casos con poderes regulares, de 0.5 o más, pero nada realmente excepcional. Nada de 0.8 o superior.
De nuevo, esto se realizó con 2500 ejecuciones. De hecho, lo repetí con un par de condiciones diferentes para mostrarles lo que quiero explicar a continuación: qué factores afectan la potencia que puedo obtener. Obviamente, a mayor potencia, mejor. La potencia es mi capacidad para discernir un efecto cuando es real.
Permítanme terminar esto. Ordenaré un poco mi escritorio y luego iré a... He recopilado los resultados. En este caso, creo que tengo 2500 ejecuciones de la simulación, solo para que se hagan una idea. Aquí está nuestra línea base. Esto es lo que analizamos. Esta es una ejecución de simulación. Serían ligeramente diferentes si lo hiciera de nuevo. 24 ejecuciones en mi diseño experimental, 3 ensayos, igual que Christian, todos mis efectos significativos. Voy a asumir que todo es significativo, y mi comparación aquí fue... Mi línea base fue 0,75 y mi objetivo, 0,2.
Observarás que la intersección, que a menudo no te importa, es significativa. Tengo un efecto que sube hacia el punto A, pero todo lo demás es menor. ¿Qué pasaría si hubiera cambiado esos 3 ensayos a 5? ¿Cómo afecta eso a mi...? Observarás que al pasar de 3 a 5 ensayos, mi significancia mejora.
¿Qué pasa si paso de mi modelo completo (y deduzco que todos mis efectos serán significativos) a un subconjunto? Sí, voy a incluir todos estos factores en mi diseño. Quiero poder estimarlos, pero digamos solo un subconjunto. En este caso, elegí el subconjunto de dos factores continuos y uno categórico, y, de nuevo, la situación mejora un poco.
Estos son los escenarios hipotéticos que se pueden crear ejecutando estas simulaciones. Intentemos otra cosa. Supongamos que mi diseño inicial, en lugar de realizar 24 ejecuciones, pasamos a 36 y mejora aún más. ¿Qué pasaría si quisiera observar una diferencia? Digamos que mi valor de referencia no fuese 0,75, sino 0,90. De nuevo, y por cierto, estos asteriscos representan los efectos que especifiqué en el modelo como significativos.
De nuevo, estos son escenarios hipotéticos que puedes simular con JMP para decir: "Bueno, esto se ve bien. Es suficiente para este número de ejecuciones y ensayos". O quizás necesite añadir más ejecuciones. Quizás necesite añadir más ensayos, etc., porque mi potencia es demasiado baja, o estoy listo para continuar donde estoy.
Recapitulemos. ¿Qué factores afectan la potencia? Obviamente, cuantas más pruebas hago, mi potencia aumenta. Cuanto más pruebas hago, mayor es mi potencia. La diferencia entre mi punto de partida y el punto de partida afectará mi potencia. Obviamente, cuanto más separados estén, más fáciles serán de distinguir, y cuanto más cerca estén de los extremos, más fáciles serán de distinguir. A medida que mis efectos significativos disminuyen, mi potencia aumenta. Bien, entonces, estos son los factores que afectan la potencia.
De nuevo, permítanme recapitular, para concluir. Ya cuentan con sus expertos en la materia y ya están pensando en un diseño. La forma correcta de dimensionar estos diseños es empezar con un buen diseño. Empiecen con un buen diseño, decidan qué quieren observar e intenten minimizar aspectos como la correlación entre sus efectos, ya que eso les ayudará con la potencia.
El segundo paso es decidir cuál es tu valor de referencia. Determina cuál es ese valor de referencia, adónde quieres llegar y qué tan significativo es el cambio en la práctica. Introduce esos valores, simula tus respuestas, asegúrate de configurar la distribución como binomial y configura tu fórmula para especificar la magnitud de los efectos importantes. Luego, ejecuta JMP y la simulación con un solo clic para estimar las potencias.
Si las cosas no salen tan bien como quieres, si esos poderes son bajos, cambia algo como el número de ejecuciones, el número de ensayos, los efectos que consideres significativos, etc. Haz hipótesis. Lo bueno es que siempre se oye que no se puede conseguir algo a cambio de nada. En esencia, esto es algo a cambio de nada. Son ejecuciones experimentales que no cuestan tanto tiempo, ni mucho menos dinero, y son gratuitas porque las herramientas ya están en JMP.
Bien. Eso es lo que quería decir. Quiero agradecer a Christian por haber llevado a cabo uno de estos diseños. Siempre es agradable ver un experimento exitoso y fallido en acción. Si alguien tiene alguna pregunta, le agradezco su atención. Espero que le haya sido útil. Si tiene alguna pregunta, por favor, publíquela en el sitio correspondiente de Discovery Talk o en la comunidad de JMP. Estaremos encantados de conversar con usted y responder a sus preguntas. Muchas gracias.
Gracias, Don.
