Gracias a todos por acompañarme. Hablo sobre "Muchos diseños, poco tiempo". Soy Ryan Lekivetz, Director de Análisis Avanzado, I+D en JMP. De hecho, dirijo el equipo de DOE y Confiabilidad en JMP. Pensé que este tema sería interesante porque en la versión más reciente de JMP, hemos mejorado el explorador de diseño; si aún no lo han visto, lo verán al final de esta charla.
Pero pensé que antes de hacer eso, pueden ver un poco del esquema aquí. Vamos a desviarnos un poco para hablar un poco sobre la idea detrás del diseño de experimentos. Parte de esto fue... Estaba revisando algunas de las charlas de descubrimiento anteriores y me di cuenta de que no hemos discutido mucho sobre esto desde que se introdujo la comparación de diseños en JMP 13. Creo que eso fue hace casi 10 años. Siento que no sería una conferencia de descubrimiento si no vieran esta cita, ¿verdad? "Todos los modelos son erróneos, pero algunos son útiles".
Es cierto que, al diseñar un experimento, una de las críticas que escucho es que estos modelos son demasiado simples y nunca explicarán realmente mi proceso. ¿Por qué ha funcionado el diseño de experimentos durante tanto tiempo? Al final, podrán construir modelos útiles para comprender y mejorar nuestros sistemas. Admitimos que no serán perfectos, pero al menos podemos tener una mejor idea de qué factores o efectos impulsarán ese sistema.
La forma en que suelo considerar el diseño de un experimento es la idea de un equilibrio entre la varianza y el sesgo. Lo veremos en los resultados de estos diferentes experimentos diseñados. Creo que es a menudo lo que considero al elegir un diseño. Es esta idea la que subyace a los efectos del modelo: los términos del modelo que le indico a JMP que quiero, frente a los términos que quizás no incluí, pero que podrían formar parte de ese modelo útil. Si realizo más experimentos, si recopilo más datos, podría resultar que algunos de estos efectos o términos resultaran importantes.
Veamos un ejemplo sencillo. Tengo un experimento simple con tres factores: X1, X2 y X3, y lo he revisado y recopilado algunas respuestas. Al considerar el equilibrio entre el sesgo de varianza y la eficiencia de la estimación, esto me indica cuál es el error estándar de la estimación del efecto (en este caso, X1, X2, X3) en relación con dicho error estándar.
Si hay mucho ruido en esta Y, quizá no pueda obtener mucha información al respecto. Pero si analizamos, acabo de generar algunos datos. Ejecutémoslos. Como pueden ver, el RMSE estaba cerca de 1. Si observamos las estimaciones de los parámetros, ese error estándar está directamente relacionado con el error estándar relativo, 0,2.
Lo que esto realmente me indica es que, si tengo estimaciones de efectos grandes, si tengo estimaciones de efectos principales grandes, idealmente, este diseño debería ser capaz de detectarlo. Eso es lo que vemos aquí: la eficiencia de la estimación, ese aumento fraccional, ya que ni siquiera pude mejorarlo. Si este es el diseño que estoy usando, no podría mejorarlo.
Pero ahora la verdadera pregunta es: "¿Y si me equivoqué?". Este diseño lo diseñé yo. Si observamos el cuadro de diálogo DOE, simplemente asumí que tenía efectos principales. Tenía mis X1, X2 y X3, y simplemente dije que solo tenía efectos principales. Bueno, ¿y si resulta que realmente tenía una interacción entre X1 y X2? Quizás sea demasiado tarde, ya revisé, ya recopilé los datos, pero ¿qué pasaría? Aquí, con el mismo diseño, si observo ese diseño de evaluación, ¿qué pasaría si simplemente añadiera esa interacción en particular? X1 y X2.
Vemos aquí, creo que utilizo mi diseño diferente, pero lo que obtenemos es un aumento en la interacción entre X2 y X3. Todo esto me indica que mi variante de X2 y X3 ha aumentado ligeramente gracias a la adición de esta interacción entre X1 y X2, ya que no la diseñé para ello. Diré que esto también se refleja a menudo en la matriz de alias, donde, si alguna vez la han analizado, es donde se obtienen esos tercios negativos.
¿Qué importancia tiene eso realmente? Si pensamos en este diseño de evaluación, este es el mismo. Lo que hice fue añadir explícitamente la interacción X1, X2. Todo esto significa que voy a multiplicar X1 por X2. Pensemos en eso. Aquí es donde tengo esa estimación.
Si observamos el mapa de colores de las correlaciones, vemos que lo hacemos a menudo. Aquí es donde se obtienen las piezas más grandes. Pero ¿qué importancia tiene ahora? Digamos que si tuviera X1 y X2, aún podría modelar mis efectos principales. ¿Qué importancia tendrá si modelo algo así?
Veamos nuestras estimaciones de parámetros. Como ven, no fueron necesariamente significativas, pero ¿qué importancia tiene eso? Es decir, todo estaba bien, así que ¿dónde entra en juego algo así? Supongamos que repito esto una y otra vez. Si ven aquí, tengo esta simulación Y. Analicemos la fórmula. Supongamos que este es mi modelo real. Tengo estos efectos principales: X1, X2, X3, todos con una función, además de la interacción de X1 y X2.
Pero ¿qué pasa si no lo veo en mi modelo al modelarlo? Una cosa que podemos hacer en JMP es ejecutar una simulación para repetirlo una y otra vez. Si lo hago, veamos qué sucede aquí. Simplemente seguiré extrayendo datos de esa distribución una y otra vez. Lo único que hago es añadir un poco de ruido aleatorio. Si vemos aquí X1, la media estaba justo en 2, que es lo que habría deseado. X2 era 3, que es lo que habríamos esperado. Pero X3 está en 1.
¿Por qué? Tiene que ver con la matriz de alias. Resulta que, como no consideré X1 ni X2, X3 estará sesgado por un tercio de la estimación del parámetro. Al no tener ese término en el modelo, cometeremos un error si lo hacemos. Esto es algo que siempre debemos tener en cuenta al diseñar un experimento: hacer todo lo posible para darle el modelo que creemos correcto. Pero a menudo, al analizar los diagnósticos, por eso vemos que usamos el mapa de colores de la correlación con tanta frecuencia: comparamos los términos del modelo con los que quizás estaban en el conjunto de términos de alias, pero ¿qué podría pasar si resultaran ser importantes?
Aquí es donde entra en juego el diseño personalizado. Si no ha realizado muchos experimentos de diseño en JMP, el diseño personalizado es la primera opción disponible. Crea un diseño óptimo para su configuración experimental específica. Aquí, abordaremos el diseño personalizado. Supondremos que contamos con un modelo útil. De nuevo, no todos los modelos son incorrectos. Supondremos que comprendemos el sistema lo suficiente como para decir: "Bien, si observo estos efectos principales o quizás algunas interacciones, ¿puedo crear un diseño según este modelo útil?".
Ahora bien, uno de los aspectos del diseño personalizado, incluso al observar el cursor, hablaba de la idea de un diseño óptimo. Esta idea de eficiencia en el diseño óptimo depende de lo que realmente buscamos obtener de ese experimento. En particular, si implementamos el diseño personalizado aquí, nuestros diferentes criterios de optimalidad, como pueden ver, incluyen todas estas letras: D, I y A, y se recomiendan. ¿A qué se reduce esto?
Bueno, el primer conjunto básico es solo si quiero estimar los términos del modelo. Si asumimos que tenemos este modelo útil, quizá me interese asegurarme de poder estimarlos correctamente.
Ya sean mis efectos principales o mis interacciones, y no quiero entrar en detalles matemáticos. Algo como la D-optimalidad, donde se minimiza el elipsoide de confianza general para las estimaciones de los parámetros. Indica que se considerarán todos a la vez. Mientras que A es más bien un promedio, simplemente se minimiza la varianza promedio de las estimaciones de los parámetros.
Son geniales si simplemente digo: "Quiero asegurarme de que estoy usando los términos correctos". Pero ¿es este modelo útil? ¿Puedo determinar cuáles son los aspectos más importantes de ese modelo útil?
¿De dónde viene eso? Bueno, si vemos aquí, en el diseño personalizado, esto es lo que se basará en el modelo que le indiqué a JMP que estoy asumiendo. Por defecto, aquí, quizás solo tenga esos efectos principales. Esos términos alias son los que quizás sean importantes, pero no los he incluido en el modelo. Mientras que si le indiqué a JMP que quiero estas interacciones de dos factores, entonces esto es en lo que se basarán esas diferentes eficiencias, el modelo que le indiqué. Esa es la idea del diseño personalizado.
Ahora bien, supongamos que creo que ya tengo un modelo útil. Quizás me interesa más predecir, predecir mejor la respuesta. Aquí es donde se obtiene la otra I-optimalidad. Aquí es donde simplemente intento minimizar el promedio. Si pienso en toda la región de diseño, solo quiero asegurarme de que, en general, estoy haciendo un buen trabajo. Yo usaría la I-optimalidad.
Lo que se refleja en algunas de esas diferentes eficiencias, G-óptimo, simplemente dice: "Minimizar el peor de los casos. Asegurarse de que nunca me vaya demasiado mal". También se ven cosas ahí. La optimalidad de alias es más bien un compromiso. Dice: "Protégeme del sesgo de esos términos de alias. Intenta protegerme de aquellos términos que quizás no tenía en el modelo, pero que podrían ser importantes, a la vez que me ofrecen un diseño general razonable".
También se ven los términos "Si es posible". Si vuelvo a ese DOE, ¿qué son los términos "Si es posible"? Veamos esto. Aquí es donde ahora puedo decirle a JMP: "Quizás estas interacciones sean importantes, quizás no. Ahora puedo configurarlas como "Si es posible". Lo único que le dice a JMP es: "Dame los términos necesarios. Debes asegurarte de estimarlos. Si no tienes la oportunidad de estimar los términos "Si es posible", hazlo, pero no serán tan cruciales como los términos necesarios".
¿Cómo se integra todo esto? Puedo decirle a JMP: "Esto es lo que quiero. Tengo mi modelo, mis términos alias, mis diferentes criterios de optimalidad". Ahora bien, uno de los mayores problemas surge al analizar la evaluación del diseño. He creado mi diseño y le he dicho a JMP: "Esto es lo que quiero hacer". Resulta que algunos de esos diagnósticos son relativos al tamaño de la muestra, y otros no.
Si consideramos aspectos como el análisis de potencia, bueno, a la potencia no le importa realmente el tamaño de la muestra. Claro que, cuanto mayor sea el tamaño de la muestra, mayor será la potencia para las estimaciones del efecto, pero no es relativa al tamaño de la muestra.
Lo mismo ocurre con cosas como que el error estándar de estimación es solo un cálculo, pero el aumento fraccional en el intervalo de confianza es relativo al tamaño de la muestra.
Del mismo modo, el mapa de colores de las correlaciones es solo un cálculo, pero las diferentes métricas de eficiencia que obtenemos al final son relativas al tamaño de la muestra. Este es solo el diseño de 12 corridas que he creado. Mencioné solo los efectos principales. Como ya mencioné, algunos de estos, como la potencia, son un cálculo muy sencillo. Cosas como el Diagnóstico de Diseño indican: "Bueno, esto es 100% eficiente en D". Esto se debe a que es un diseño de 12 corridas y alcanza la máxima eficiencia posible para un diseño de 12 corridas.
Pero al mismo tiempo, podría hacer lo mismo para un diseño de 16 corridas. Si observamos el análisis de potencia, como era de esperar, tenemos un tamaño de muestra mayor. Aquí, el Diagnóstico de Diseño. De igual manera, las eficiencias D, G y A indican el 100% porque estas eficiencias son relativas a ese tamaño de muestra.
Esto me dice que para un diseño de 16 carreras, no puedo mejorarlo. De igual manera, para el caso de 12 carreras, dice que para 12 carreras, no puedo mejorarlo. ¿Significa eso que debería usar el diseño de 12 carreras en lugar del de 16? Bueno, depende. Si pudiera permitirme 16 carreras, quizás habría otras cosas que preferiría revisar para asegurarme de que eso es lo que quiero hacer.
Aquí es donde a veces puede resultar problemático pensar cuáles de estos métodos debo comparar y cuáles no. Ahí es donde entramos en la comparación de diseños. Antes de desviarme a este tema, quiero hablar sobre los diseños de cribado definitivo. Si han asistido a algunas conferencias de JMP Discovery, a menudo escucharán esta idea. De hecho, es una de las principales opciones para diseños de cribado definitivo.
De nuevo, no quiero ahondar demasiado en los detalles matemáticos. Los diseños de cribado definitivo son especiales debido a la idea de un pliegue de una matriz de conferencia. Ahora bien, me gusta mucho considerar los diseños de cribado definitivo como planes de compromiso. De hecho, se descubrieron como un alias de diseño óptimo, si recuerdan esos diferentes criterios de optimalidad. Pero eran diseños realmente eficientes donde manteníamos ceros en la diagonal y añadíamos un punto central. Una de las razones por las que los diseños de cribado definitivo se han vuelto tan populares es que, al considerar la compensación del sesgo de varianza, resulta que estos diseños son ortogonales.
Esos efectos principales, volviendo a la estimación, se estiman muy bien. Pero si resulta que tenemos interacciones o efectos cuadráticos, estos efectos principales estarán protegidos. Contamos con la protección contra sesgos: si el modelo útil presenta efectos cuadráticos o interacciones, al construir el diseño de esta manera, obtendremos esa protección integrada. Esa protección contra sesgos de los efectos principales.
Ahora, si piensas en esos otros dos diseños que tenía, ¿por qué querríamos usar esto? Diría que una de las ventajas es que, al tener esos ceros, podemos asegurarnos de que, si hay un efecto no lineal, si algo ocurre en medio de nuestro espacio de diseño, con el tradicional uso de más y menos uno, lo pasemos por alto. Me gusta pensar que, si estoy horneando un pastel, quizás debería usar 350 grados. Bueno, si uso 325 o 375, quizás no sea del todo correcto.
Si le estuviera diciendo a JMP que quiero que mi rango esté entre 325 y 375, en realidad nunca he visto nada en el rango de 350, mientras que tal vez quiero asegurarme de que estoy haciendo eso.
Otra cosa que quiero mencionar aquí, algo que quizás no hayan notado: si han tomado una clase de diseño de experimentos, a menudo se habla de los diseños factoriales fraccionales clásicos que aparecen en nuestra plataforma de diseño de cribado. Sin embargo, también se encuentran ocultos los diseños casi ortogonales y los diseños ortogonales de niveles mixtos, que son un caso especializado de cribado definitivo. De hecho, están ocultos bajo el clásico. Una de las características que verán en la versión más reciente de JMP es que los hemos simplificado mucho para encontrarlos.
El otro problema con ese diseño de cribado definitivo es que resulta que no puedo obtenerlo con un diseño personalizado. Dije que era un plan comprometido con el alias "óptimo", pero resulta que fuerza esos ceros de la forma correcta. Si alguna vez has intentado crear un diseño de cribado definitivo y un diseño personalizado, es posible hacerlo, pero requiere mucho trabajo. Mientras que yo solo necesito ir a esta plataforma y es automático. Se construye para mí sin problemas.
Pero digamos que estoy hablando con colegas y estamos debatiendo entre tres diseños diferentes. Alguien ya lo ha hecho. Tengo un diseño de 12 pasadas, recién salido de un diseño personalizado para cinco factores. Tengo este diseño de cribado definitivo con cinco factores y también este diseño de 16 pasadas. Ahora bien, el diseño de 16 pasadas va a ser más caro. Pero ¿qué quiero hacer? Bueno, aquí es donde entra en juego la comparación de diseños.
Ahora podré comparar varios diseños desde una sola plataforma. No tengo que pensar en lanzar cada diseño de evaluación individual ni en intentar determinar cuáles son convenientes para comparar. Como acabo de mencionar, se pueden hacer coincidir los nombres de las columnas o dejar que JMP lo haga, lo que nos permite considerar varios modelos.
Encontrarás la opción de comparar diseños. En el DOE, Diagnóstico de Diseño, tenemos la opción de comparar diseños. Puedes ver que mi tabla de datos activa es la de 16 ejecuciones. Quizás podamos compararla con la de 12 y la de 13 ejecuciones. En la parte inferior, puedo indicarle a JMP cómo quiero que coincidan las columnas, pero vamos a probar la coincidencia automática.
JMP intentará averiguar cómo lograrlo. Aquí vemos que sí encontró el correcto. Incluso si tienen diferentes nombres de factor, JMP intentará realizar la comparación. ¿Qué tiene de bueno comparar diseños? Ahora puedo empezar a analizar aspectos como el análisis de potencia. Ahora puedo consultar con mis colegas y decidir cuál de estos tres diseños es el más adecuado. Claro que la prueba de 16 me costará más, pero, por supuesto, obtengo mayor potencia.
Puedo analizar las cosas. Esta fracción del gráfico del espacio de diseño se relaciona con la varianza de la predicción. ¿Qué tan bien funciona en todo el rango? Lo bueno es que, como estamos en la fase de comparación de diseños, podemos usar la idea de eficiencias relativas. No tengo que preocuparme por compararlo con un tamaño de ejecución específico; puedo hacer estas comparaciones directamente.
Ahora dirías: "Bueno, según esto, quizás solo querría usar ese 16 o el 12. ¿Por qué usaría el DSD?". Volvemos a lo mismo. Se trata de estas diferentes correlaciones. Esos términos de modelo versus alias. Si resulta que tengo algo así como una interacción de dos factores, esto es lo bueno de comparar diseños. Puedo jugar al juego de hipótesis. De hecho, vemos que, en este caso, uno de esos diseños ni siquiera pudo encajar en esa interacción en particular debido a su configuración.
Ahora podría decir: "Bueno, eso es problemático. Permítanme intentar agregar algo más". Como pueden ver, parece que este diseño en particular no me está ayudando mucho. Ahora pueden empezar a pensar: si intento agregar interacciones, parece que el diseño de 16 ejecuciones tenía problemas. Permítanme intentar agregarlas todas. Vemos que JMP me dice: "Bueno, ese diseño tiene dificultades para integrar las interacciones. Por cierto, lo construí porque no lo había considerado al crearlo; ahora ni siquiera puedo hacerlo bien si intento agregarlo".
Esto nos lleva de nuevo a la idea de que, si me preocupan esos términos alias, y aquí están los términos alias donde se dan esas interacciones de dos factores, quizás prefiera optar por algo como ese diseño de cribado definitivo. Ahí es donde la comparación de diseños me ayudará a determinarlo.
Bueno, diría que comparar diseños ha sido una herramienta fantástica. Desde que la incorporamos, incluso en JMP, la usamos con frecuencia. Sin embargo, el problema con comparar diseños es que, si se dieron cuenta, necesitaba crear cada una de esas tablas de datos individuales y tenía que tener claro qué diseños quería comparar.
Pero antes, preferiría pensar en más diseños antes de hacer una comparación exhaustiva. Ahí es donde entra en juego el explorador de diseño. Si nunca has visto el explorador de diseño, voy a volver a abrir el diseño personalizado y haremos lo mismo. Simplemente añadiremos cinco factores diferentes. Voy a "Continuar".
Digamos que vamos a probar este modelo de efectos principales. Si te fijas, justo debajo de "Crear diseño", cuando esté disponible, verás este explorador de diseño. "Usando los factores y el modelo actuales, explora diferentes opciones de diseño para ayudarte a elegir uno". Hagamos clic en el explorador de diseño y veamos qué obtenemos. Aquí me dice que tengo ese modelo de efectos principales. Tengo ese modelo aquí.
Lo que vemos es seleccionar opciones para un solo diseño o una combinación de opciones específicas. Quizás ahora quiera hablar con alguien y le digamos: "Bueno, probemos un diseño D y uno A óptimos, y quizás dejemos de 12 a 20 ejecuciones". Si dejo que el explorador de diseño lo haga, verá que lo que realmente ha hecho es crear los diseños D óptimos de 12, 16 y 20 ejecuciones y los diseños A óptimos de 12, 16 y 20 ejecuciones.
En versiones anteriores del explorador de diseño, solo podía crear diseños personalizados. En la versión más reciente de JMP, ahora puedo generar un diseño de cribado definitivo. Quizás ahora quisiera comparar qué sucedería si creara un diseño de cribado definitivo.
Ahora puedo empezar a comparar algunas de estas diferentes eficiencias y ver qué sucede. Observen que me indicará que los efectos principales son ortogonales a los efectos cuadráticos y a las interacciones de dos factores. Esto me da una pista de que la posibilidad de seleccionarlo puede ser un poco más eficaz. Ahora puedo comparar el rendimiento de estos diferentes diseños con otras opciones disponibles.
Asimismo, este es un diseño que quizás no hayas visto antes, casi como matrices ortogonales, que en realidad solo busca el equilibrio. Este diseño de cribado de efectos principales busca equilibrar cada par de columnas. De igual manera, este diseño ortogonal de nivel mixto, otro tipo de diseño que antes estaba oculto bajo esa plataforma de cribado.
Ahora puedo generar rápidamente todos estos diseños diferentes y empezar a ver cuál usar. Al mismo tiempo, puede que me esté empezando a sentir abrumado. Diré: "Bueno, ni siquiera sé por dónde empezar. ¿Por qué no le envío esto a un compañero?". Como ven, tenemos esta tabla de datos mejorada. Tengo eficiencias frente a ejecuciones, un diagrama de dispersión de eficiencias. Pero lo bueno es que ahora puedo enviar esto a un compañero. Tengo scripts listos para que los ejecute y pueda crear estos diseños.
Del mismo modo, si lo hago por mi cuenta, puedo decir: "Bueno, este DSD de 17 ejecuciones parece ser bueno. Déjame evaluarlo y ver qué tal". Puedo ejecutar la evaluación del diseño directamente desde aquí. Quizás, cuando esté listo, crearé ese diseño seleccionado. Ahí está mi diseño de cribado definitivo de 17 ejecuciones, listo para usar.
Ese es el explorador de diseño. Estaré por aquí. Si estás en Discovery, con gusto hablaré de eso. Si no, puedes dejar tus comentarios abajo. Este en línea.
Algunas reflexiones finales. Diré que, incluso con ese explorador de diseño, puede parecer que tienes demasiados diseños. Me gusta esta cita: «Los descubrimientos accidentales suelen celebrarse, pero los intencionales son más fiables».
Bueno, con eso, todos los modelos están equivocados. Otra cita que me gusta es: «El mejor momento para planificar un experimento es después de haberlo hecho». Creo que en cada experimento que he realizado, siempre pienso: «Ojalá lo hubiera hecho yo». O después, pienso: «Bueno, esto era obvio si lo hubiera pensado con antelación». Pero en realidad, si estás pensando en hacer un experimento de diseño, ya llevas ventaja.
Incluso en esos experimentos fallidos, o lo que yo llamo un experimento fallido, siempre se aprende algo sobre lo que se haría la próxima vez. Deberías considerar el diseño de experimentos como un proceso secuencial. En realidad, te ayuda a determinar qué hacer en el siguiente.
La otra cosa que quiero mencionar es que la forma en que se modela sí importa. En general, mientras se piensa en la idea de diseñar un experimento, en JMP nos dedicamos a pensar en la mejor manera de poner al usuario en la mejor posición para cuando ejecute ese experimento, para intentar protegerlo con medidas como diseños de cribado definitivos, protegerlo de ese sesgo y similares.
Pero, al final, la forma en que se modela sí importa. Si se piensa en aspectos como los diseños de cribado definitivos y los términos "si es posible" de todas estas interacciones, al diseñar un experimento, suelo probar diferentes técnicas de modelado para asegurarme de no haber pasado por alto algunos términos que tal vez no había considerado en el modelo original, o para asegurarme de que el modelo que considero útil sea el más útil que pude haber encontrado.
Diré que esto también es muy cierto al analizar aspectos como el análisis de potencia. Si considero que, si tengo estos cuatro factores con interacciones, si analizo el análisis de potencia para estos efectos principales y las interacciones de dos factores, es muy raro que espere que todos estos términos estén en mi modelo final.
A menudo, cuando pienso en cosas como el análisis de potencia, realizo simulaciones para plantear hipótesis. ¿Qué pasaría si dos de estas fueran significativas? ¿O si tres lo fueran? Porque es muy raro que mi modelo final las incluya todas. Creo que también hay que tener presente al diseñar estos experimentos: ¿cuánto voy a profundizar en la selección del modelo y en el análisis de hipótesis?
Con esto, muchas gracias por su tiempo. Espero que esta charla les haya resultado útil. Si tienen alguna pregunta o comentario, pueden dejarla abajo. Gracias.
