Quiero desmitificar el diseño de experimentos (DoE) con un serie de posts con explicaciones sencillas de algunos de los términos y conceptos que pueden resultar confusos para las personas cuando están empezando. En el primer post de esta serie , analizamos el desafío del vasto espacio de posibilidades en los sistemas multifactoriales e introdujimos los conceptos de factores, respuestas y diseños factoriales completos. En la segunda publicación , analizamos cómo podemos comprender los comportamientos en los procesos, incluidas las interacciones de los factores, con modelos visuales y estadísticos. En la tercera publicación , mostramos cómo construimos modelos del proceso utilizando datos de experimentos eficientes y explicamos qué entendemos por regresión lineal múltiple, efectos principales y efectos cuadráticos.
Hemos ilustrado todo esto con un estudio de caso de la vida real en el que necesitamos entender cómo configurar el inyector de gran volumen (LVI) en un sistema de análisis GC-MS. El objetivo es optimizar la detección de bajos niveles de contaminantes en muestras de agua. Parece apropiado que en este post hablemos de claridad.
Aquí, cuando hablamos de claridad, nos referimos a claridad sobre los efectos que nuestros diferentes factores (volumen de inyección, velocidad de inyección, etc.) tienen en nuestra respuesta (la suma de todas las alturas máximas). Veremos cómo el experimento de 26 ejecuciones que presentamos es casi el único capaz de proporcionar esta claridad.
Como contraste, también veremos un ejemplo de datos que no aportan claridad a nuestra comprensión. A lo largo del camino, explicaremos la ortogonalidad, la confusión y el alias. Quiero aportar claridad a su comprensión de estos conceptos. Por lo tanto, tendremos que empezar de forma sencilla.
Un ejemplo simple de efectos correlacionados, ortogonalidad, alias y confusión
Comencemos pensando solo en los dos primeros factores de nuestra configuración LVI y estos tres diseños experimentales diferentes:
Cada punto del gráfico representa una ejecución en uno de los tres experimentos.
- El diseño n.° 1 es el factorial completo para tres niveles (bajo, medio y alto o L, M y H) de los dos factores.
- El diseño n.° 2 es el mismo pero con dos combinaciones eliminadas: LH y HL.
- El diseño n.° 3 tiene solo las combinaciones LL, MM y HH.
La cobertura del espacio de posibilidades se reduce claramente del n.° 1 al n.° 2 y al n.° 3. Otra cosa que está cambiando es la correlación de nuestros factores.
El factorial completo tiene correlación 0 entre los factores. Decimos que el diseño es ortogonal para el principal efecto lineal de estos factores. La elipse de confianza para el punto 2 es más estrecha porque tiene una correlación moderada, r , de 0,5. Decimos que hay alias parcial entre estos efectos en este diseño. La elipse de densidad para el número 3 se ha reducido a nada porque existe una correlación perfecta (r = 1). Decimos que los efectos principales son completamente alias o aturdido en este diseño.
¿Cuáles son las consecuencias de este alias? Para demostrar esto, hemos simulado algunos datos de respuesta para cada ejecución de cada diseño. Los puntos en los gráficos ahora están etiquetados con el valor de la respuesta, SimResp, para las ejecuciones.
Con solo mirar los números del Diseño n.° 1, puede tener una idea del efecto de cambiar Vol(Inj) y Speed(Inj) en la respuesta. Es posible que también puedas tener una idea de esto en el Diseño n.° 2, pero no es tan claro.
Hay un problema obvio al intentar comprender el efecto de los dos factores a partir de los datos del Diseño 3: no es posible separar los efectos de los factores. Cada cambio que hemos realizado en un factor ha coincidido precisamente con un cambio en el otro factor. ¡Puedes ver por qué llamamos a esto confusión! Tenemos una total falta de claridad sobre el efecto de nuestros factores y, por lo tanto, una mala comprensión de nuestro proceso.
Como se analizó en publicaciones anteriores de esta serie, la mejor manera de comprender los efectos de los factores es ajustando un modelo. Ajustaremos los modelos de efectos principales a los datos de cada diseño. – o al menos lo intentaremos.
En el caso del Diseño #3, no es posible ajustar un modelo con el efecto principal de ambos factores, y obtenemos una singularidad Advertencia cuando intentamos encajar este modelo en JMP :
Esto nos está diciendo que podemos ajustarnos a un efecto u otro, pero no a ambos.
Podemos ajustar el modelo de efectos principales a partir de los datos de los Diseños 1 y 2. Aquí están los gráficos de Profiler:
Profiler plot of main effects model from Design #1.Profiler plot of main effects model from Design #1.Profiler plot of main effects model from Design #1.Profiler plot of main effects model from Design #1.Gráfico de perfilador del modelo de efectos principales del Diseño n.° 1.
Profiler plot of main effects model from Design #2.Profiler plot of main effects model from Design #2.Profiler plot of main effects model from Design #2.Profiler plot of main effects model from Design #2. Gráfico de perfilador del modelo de efectos principales del Diseño n.º 2.
Estos gráficos incluyen los intervalos de confianza que representan nuestra incertidumbre sobre el verdadero efecto de los factores. Después de todo, nuestro modelo es sólo una estimación. Esperamos que la línea que representa el efecto esté dentro de las bandas sombreadas de los intervalos de confianza. Puedes ver que nuestra incertidumbre sobre los efectos es mayor en el caso del modelo del Diseño #2. Esto se debe en parte a que teníamos menos datos (siete ejecuciones versus nueve ejecuciones), pero también al alias parcial de los efectos. Esto a veces se llama inflación de varianza .
Los mensajes para llevar a casa:
- Obtenemos la mayor claridad sobre los efectos de los factores con diseños experimentales ortogonales.
- Podemos hacer frente a algunos alias: podemos aprender sobre los efectos pero con menos precisión.
- No podemos aprender sobre los efectos de los factores que están confundidos.
Diseños experimentales para mayor claridad
Ahora consideremos nuestro diseño de 26 corridas.
El siguiente gráfico es una matriz de diagrama de dispersión de nuestros primeros tres factores.
Una matriz de diagrama de dispersión muestra diagramas de dispersión para cada par de variables. Éste muestra 0 correlación entre todos los pares de estos factores; el diseño es ortogonal para estos efectos principales. Nuestra comprensión de cada uno de estos efectos está libre de confusión respecto de los demás efectos. Hasta ahora parece un buen diseño.
Podemos representar la correlación de los efectos de manera más eficiente con un mapa de colores de correlación:
Este mapa tiene los mismos nueve cuadrados que la Matriz de diagrama de dispersión. Ahora la correlación de un par de efectos está representada por el color del cuadrado. La falta de correlación entre nuestros efectos principales se ve aquí en los cuadrados de color azul pálido. La diagonal azul oscuro desde arriba a la izquierda hasta abajo a la derecha es la correlación de cada efecto consigo mismo (¡1 por supuesto!) y está ahí para que esté completo.
Con esta representación más eficiente de las correlaciones, podemos observar todos los efectos principales.
Los efectos principales continuos son todos ortogonales entre sí. La claridad que esto aporta es una de las principales razones por las que estas 26 ejecuciones crean un diseño tan útil. Los cuadrados de color azul ligeramente más oscuro debajo de Liner nos indican que existe un alias parcial del efecto categorial Liner con los otros efectos principales (r = 0,0836). Esto no debería ser una preocupación. De hecho, es posible calcular cuánto mayores serían esto los intervalos de confianza versus un diseño ortogonal (no más del 2,5%).
También podemos observar un mapa de colores de correlación para todos los efectos principales y cuadráticos[1]. Los mapas de colores a continuación son los mismos excepto que he etiquetado dos de los cuadrados en el gráfico de la derecha para ayudar con la interpretación.
La región azul pálido en el cuadrante superior derecho representa las correlaciones entre los efectos principales y los efectos cuadráticos. Por ejemplo, podemos ver que existe 0 correlación entre los efectos principal y cuadrático del volumen de inyección, Vol(Inj) y Vol(Inj)*Vol(Inj). El mapa muestra que existe una correlación de 0 entre cada efecto cuadrático y cada efecto principal: los efectos cuadráticos y principales son ortogonales entre sí. Esto no es un accidente. Nuevamente, ésta fue una de las razones de esta elección del diseño experimental.
El azul más intenso en la parte inferior derecha representa las correlaciones más altas dentro de los efectos cuadráticos. Por ejemplo, podemos ver que existe una correlación de 0,4091 entre los efectos cuadráticos del volumen de inyección y la velocidad de inyección, Vol(Inj)*Vol(Inj) y Speed(Inj)*Speed(Inj). El mapa muestra que existe la misma correlación de 0,4091 entre todos los efectos cuadráticos: los efectos cuadráticos tienen alias parcialmente entre sí. Este es un compromiso con el que podemos vivir en esta situación. Significa que deberíamos poder comprender los comportamientos curvilíneos importantes de cualquiera de los factores con un poco menos de precisión. Lo importante es que no hay confusión en los efectos que estamos observando.
Hemos visto cómo los datos del diseño experimental de 26 ejecuciones pueden aportar claridad a nuestra comprensión de los comportamientos importantes en nuestro proceso debido a las correlaciones mínimas de efectos. Sin los métodos en software como JMP , sería un desafío encontrar un plan experimental que tenga relativamente pocas ejecuciones y estas útiles propiedades de correlación.
Tan claro como el barro
Cuando los datos se recopilan sin un plan, inevitablemente hay más correlación, lo que hace más difícil comprender qué impulsa los comportamientos en un sistema. Un ejemplo clásico son estos datos econométricos (el conjunto de datos de Longley disponible en el directorio de datos de muestra de JMP 
y es una medida de empleo y x1 a x6 son predictores potenciales (x6 parece ser el año calendario). El mapa de colores de correlación para los efectos principales muestra correlaciones entre x1, x2, x5 y x6 que son muy cercanas a 1:
El efecto sobre nuestra comprensión de los efectos de los factores se puede ver en un gráfico Profiler del modelo completo de efectos principales:
Los intervalos de confianza más amplios son aquellos para los efectos más correlacionados y demuestran la dificultad de intentar comprender un sistema a partir de datos con factores altamente correlacionados. Por ejemplo, el modelo estima que y disminuye a medida que x2 aumenta, pero los intervalos de confianza indican que el efecto de ese factor también podría ser fuertemente positivo. No sabemos casi nada sobre el efecto de x2.
Hemos visto que si queremos comprender nuestros procesos y sistemas con claridad, necesitamos generar datos a partir de experimentos que tengan una correlación mínima entre los efectos que nos interesan. Hemos visto que el mapa de colores de correlación es una poderosa herramienta visual para comprender qué tan bueno es un diseño a este respecto. Hasta ahora sólo hemos analizado los efectos principales y cuadráticos. ¿Qué pasa con comportamientos más complejos como las interacciones que mencionamos antes? En la próxima publicación de esta serie, analizaremos estos efectos y veremos por qué las 26 ejecuciones de nuestro experimento son una buena opción si queremos asegurarnos de que estos comportamientos complejos no nublen nuestra comprensión del sistema.
Notas
[1] Hay un par de pasos si desea determinar manualmente la correlación de efectos cuadráticos. Por ejemplo, digamos que desea observar la correlación de los efectos cuadráticos de dos factores, X1 y X2. Primero necesitas recodificar los factores para que estén en la misma escala. Es común codificar los factores en la escala de -1 a +1, siendo -1 el valor más bajo del rango, 0 el punto medio y +1 el valor más alto. A menudo verá esta codificación en libros sobre DoE. Con los factores codificados de esta manera, puedes calcular los efectos cuadráticos, X1*X1 y X2*X2, y observar las correlaciones. Lo mismo se aplica al observar otros efectos de orden superior, incluidas las interacciones. Herramientas de software DoE, como Evaluación de diseño en JMP , le permitirá evaluar la correlación de efectos sin tener que seguir estos pasos.
¿Te perdiste alguna publicación de esta serie sobre Por qué DoE? Ningún problema. Ver toda la serie aqui .
Hola @Asier ,
Sí, puedo ver que esto parece una contradicción: la correlación entre los predictores (factores) es mala pero el modelo es capaz de hacer una buena predicción. De hecho, no hay ninguna contradicción. No hay ninguna razón por la que un modelo no pueda ajustarse bien y además tener predictores terriblemente correlacionados.
El problema con los factores correlacionados no es que impliquen que no podamos hacer buenas predicciones. El problema con los factores correlacionados es que no podemos comprender bien el efecto de cada factor.
En este caso, si conocemos las X podemos hacer una buena predicción de Y (empleo). Pero lo que no podemos hacer es entender cuál es el efecto de cada una de las X.
Por tanto, la estructura de correlación de los factores no nos dice nada sobre la capacidad de construir un modelo que se ajuste bien y hacer predicciones precisas. Nos dice con qué precisión podremos medir los efectos individuales de cada factor.
Espero que eso ayude.
filo
Hola Phil,
Estaba releyendo estas grandes series sobre DoE nuevamente y me vino a la mente otra pregunta.
Utilicé los datos de Longley para recrear su análisis. Obtengo las mismas correlaciones entre los factores que usted menciona aquí, pero me sorprendió ver el gráfico (real versus previsto) para la adaptación. Si veo el siguiente ajuste con un ajuste tan bueno y con intervalos de confianza tan estrechos, creo que asumiría sin dudarlo que el modelo es muy bueno. Sin embargo, a partir de su análisis y del perfilador también vemos que sabemos muy poco sobre el impacto de los efectos x1, x2 y x5...
¿A qué se debe esta "contradicción"? Apuesto a que hay una buena razón matemática para esta "aparente contradicción".
Gracias
asier
Gracias por tus comentarios y valoraciones positivas, Asier.
Sí, observar la correlación de efectos es algo que puede hacer antes de realizar el experimento y recopilar los datos de respuesta. No estamos cuestionando la respuesta en absoluto cuando observamos la correlación de efectos.
Si tiene efectos fuertemente correlacionados, puede aumentar los datos con ejecuciones adicionales para reducir la correlación. La plataforma Augment Design en el menú DOE de JMP proporciona herramientas para esto.
Si no puede recopilar ejecuciones adicionales, existen algunos enfoques útiles para el modelado. El Análisis de Componentes Principales (PCA) se puede utilizar para determinar un número reducido de variables ortogonales (correlación cero). Estos componentes principales son una combinación de las variables originales. Por ejemplo, x1, x2, x5 y x6 de los datos econométricos anteriores se combinarían efectivamente en un único componente principal porque todos están fuertemente correlacionados entre sí. Luego podría utilizar los componentes principales como variables en su modelo. A menudo, los componentes principales pueden interpretarse como variables "latentes" que describen algún factor causal subyacente en su sistema.
Sin embargo, no existe la magia. Cuanto más correlacionados estén tus efectos, menos podrás entenderlos.
Espero que esto ayude.
Saludos,
filo
Hola Phil,
Mis felicitaciones por esta serie de publicaciones sobre DOE. Creo que son realmente buenos, claros y explicativos sobre el DOE. Personalmente encuentro que aunque el concepto de DOE no es complicado, las matemáticas detrás y la comprensión REAL del concepto no son tan fáciles y especialmente la transición de los estudios de casos de libros a los problemas de la vida real...
Tengo una pregunta sobre el tema de correlación de factores o confusión. Entiendo el concepto y lo entiendo correctamente, esta correlación o confusión se puede calcular ANTES de que se realicen las ejecuciones (mediciones), lo que le permite saber si el experimento que tiene frente a usted (conjunto de ejecuciones) es bueno para entiende bien tu problema.
Un buen ejemplo es el de datos econométricos donde se puede ver en el mapa de colores que existe una correlación importante entre algunos de los factores (X1-X2 y X5-X6).
¿Podría confirmar si este mapa de colores se puede determinar antes de tener los datos medidos (respuesta Y)? Entonces, ¿el mapa de colores se genera solo a partir de la información de los factores (y por lo tanto, la respuesta no es necesaria para esto)?
Y luego, una vez que sabes esto, ¿qué puedes hacer realmente?
Supongo que si realmente estás diseñando los experimentos, JMP puede ayudarte a configurar los factores que minimizarán las correlaciones (¿es así?)
pero si utilizamos datos existentes (como los datos econométricos) para hacer nuestro propio estudio, ¿hay algo más que podamos hacer (más que saber, como usted observa, que el modelo es "tan claro como el barro" con muy poca información real? ¿Sobre el impacto de los factores X1, X2 y X5 (con posible impacto negativo o positivo en Y1)?
Gracias de nuevo por estas series, creo que son geniales y se las recomendaría a cualquiera que intente hacer algo en el DOE.
asier
