quiero desmitificar diseño de experimentos (DoE) con explicaciones simples de algunos de los términos y conceptos que pueden resultar confusos para las personas cuando están comenzando. A lo largo de este serie de entradas de blog , hemos estado utilizando un estudio de caso donde el objetivo es comprender cómo configurar el inyector de gran volumen (LVI) en un análisis GC-MS para trazas de impurezas en muestras de agua. Presentamos un plan experimental que consiste en probar 26 combinaciones de configuraciones de los ocho factores LVI como ejemplo para ilustrar algunas de las propiedades más importantes que buscamos en un experimento diseñado.
En publicaciones anteriores de esta serie, introdujo la regresión lineal múltiple , y vimos que nuestro experimento de 26 ejecuciones tiene propiedades de correlación útiles para comprender comportamientos importantes, incluidos efectos principales, efectos cuadráticos y interacciones de dos factores . Sin embargo, también revelamos que no será posible construir un modelo de regresión lineal múltiple con todos los efectos potencialmente importantes. Necesitamos un mínimo de una corrida por efecto en nuestro modelo, y sumando todos los efectos principales, interacciones cuadráticas y de dos factores, así como el intercepto, contamos un total de 44 parámetros para estimar. Comparamos esto con invitar a 20 personas a una reunión en una sala con solo 12 asientos.
En este post veremos cómo podemos entender cuáles de todos los posibles efectos son importantes para que incluyamos nuestro modelo. A Einstein se le atribuye haber dicho que "todo debe hacerse lo más simple posible, pero no más simple". [1] Este es el equilibrio que buscamos aquí. Queremos un modelo del sistema que capture los comportamientos que necesitamos conocer para que podamos configurar el LVI para maximizar nuestra señal de detección. No queremos perdernos efectos importantes, pero tampoco queremos un modelo innecesariamente complejo. Necesitamos una parsimonioso modelo.
Veremos cómo podemos usar los datos de nuestro experimento de 26 ejecuciones para construir un modelo de regresión lineal múltiple con solo los efectos más importantes. Primero, volvamos a la analogía de la reunión y esperemos que no la extienda más allá del punto de quiebre.
Construyendo la mejor reunión en pasos
What if 20 people wanted to attend a meeting in a room that holds only 12? (Photo from https://unsplash.com/search/photos/meeting)What if 20 people wanted to attend a meeting in a room that holds only 12? (Photo from https://unsplash.com/search/photos/meeting)What if 20 people wanted to attend a meeting in a room that holds only 12? (Photo from https://unsplash.com/search/photos/meeting)What if 20 people wanted to attend a meeting in a room that holds only 12? (Photo from https://unsplash.com/search/photos/meeting)¿Qué pasaría si 20 personas quisieran asistir a una reunión en una sala que solo tiene capacidad para 12? (Foto de https://unsplash.com/search/photos/meeting) Solo tenemos espacio para 12 personas en nuestra reunión, y hay 20 personas a las que podríamos querer asistir. ¿A quién de estas 20 personas necesitamos en la sala para darnos la mejor reunión?
Responderemos esto usando la selección paso a paso de los asistentes, comenzando en el paso 0.
Paso 0. Empezamos sin nadie en la sala de reuniones.
Paso 1. Probamos a cada una de las 20 personas en la reunión por su cuenta y mantenemos a la persona que resulta en la mejor calidad de reunión: Katie, ella es LA mejor persona para esta reunión. Todos los demás están fuera de la habitación por ahora.
Paso 2. Ahora repasamos los 19 posibles asistentes restantes y colocamos a cada uno de ellos en la sala para averiguar qué pareja de Katie + 1 nos da la mejor reunión. Encontramos que Katie + Robert es la mejor. Los otros 18 están fuera de la habitación.
Paso 3. Revisamos a los 18 asistentes restantes y descubrimos qué combinación de Katie + Robert + 1 es la mejor. Añadimos a Judy a la habitación.
Etapa 4. Etcétera…
Paso 12. …hasta que tengamos una sala llena.
¿Es esta la mejor reunión que podemos tener? Descubrimos que Michael era la mejor persona para agregar como el asistente número 12 (los otros ocho fueron horribles, especialmente Phillip). ¿Michael contribuirá lo suficiente a la reunión para justificar su inclusión? ¿Pasará la mayor parte del tiempo interrumpiendo la reunión tocando su teléfono? ¿Realmente necesitamos a las 12 personas en la reunión?
Ahora observamos cómo cambió la calidad de la reunión de los pasos 0 a 12. Buscamos dónde la calidad de la reunión fue más alta y encontramos que fue en el Paso 4.
Meeting Quality versus Step.Meeting Quality versus Step.Meeting Quality versus Step.Meeting Quality versus Step.Reunión Calidad versus Paso.
Concluimos que la mejor reunión es con Katie, Robert, Judy y Louise. Hemos encontrado el mejor equilibrio que cubre el entendimiento que necesitamos para la reunión. Cada uno de los otros posibles asistentes podría hacer una contribución útil, pero no es lo suficientemente significativa como para compensar el aspecto negativo de tener tantas personas en la sala hablando entre sí.
¿Es esta una buena manera de diseñar una reunión? No estoy seguro. Tal vez puedas probarlo y me avisas. Sin embargo, es una buena analogía de cómo podemos construir modelos utilizando datos de experimentos diseñados .
Construyendo el mejor modelo en pasos
Para el modelo PkHt(SUM), tenemos los 44 efectos posibles. Decidimos sobre nuestro modelo de la misma manera que decidimos a quién deberíamos tener en nuestra reunión.
Paso 0. Comenzamos ajustando un modelo de solo intercepción a los datos de nuestro experimento de 26 ejecuciones.A menos que ninguno de nuestros factores tenga un efecto importante en la respuesta, este modelo es demasiado simple para ser útil. El Prediction Profiler no tiene ejes X porque no tenemos efectos de factores en el modelo:
Un gráfico de los resultados de la respuesta real frente a la predicción del modelo nos muestra que el modelo no es muy útil.
Hay poca concordancia entre los resultados reales de cada ejecución y las predicciones del modelo para la configuración de esos factores. Los puntos se alinearían con la línea de 45 grados para un modelo que predice perfectamente. El modelo actual solo predice un valor. Nos dice el PkHt(SUM) promedio en todas las ejecuciones (4862070), que es la mejor estimación de cuál será el PkHt(SUM) si no sabemos nada sobre los efectos de los factores.
Paso 1.Buscamos el mejor modelo que tenga el intercepto y uno de los otros 43 parámetros. Ajustamos los 43 modelos posibles diferentes y encontramos que el modelo con la intersección y el efecto cuadrático de Speed(Inj) es el mejor. Los otros 42 efectos no están en el modelo en esta etapa.
Aquí está el gráfico de Profiler que muestra el cambio curvilíneo en PkHt(SUM) con respecto a Speed(Inj):
El real versus el predicho ha mejorado pero aún no es excelente:
Paso 2.Encontramos que la interacción de Vol(Inj) y T(Inj) es el mejor efecto para agregar en este paso. Podemos ver este efecto en el gráfico de Profiler con Vol(Inj) establecido en la configuración más baja...
…y en el ajuste más alto.
Observe cómo cambió la pendiente de PkHt(SUM) frente a T(Inj). De nuevo, se mejora la concordancia entre lo real y lo previsto.
Pasos 3 a 19. Continuamos de esta manera, agregando el efecto más importante en cada paso.
Paso 20. Avance rápido al Paso 20, y los efectos de todos los factores se incluyen en un modelo complejo con 20 efectos más el intercepto.
El real versus el predicho se ve mucho mejor ahora.
Podríamos ir más lejos hasta que hayamos ajustado tantos parámetros como ejecuciones tengamos en el experimento, pero probablemente ya hayamos sobreajustado en esta etapa. Ahora repasamos cómo cambió la calidad del modelo de los pasos 0 a 20. Podemos ver cómo ha cambiado lo real versus lo predicho.
Podemos ver que el modelo ha mejorado a medida que avanzamos en los pasos, aunque quizás a costa de la complejidad. En cada paso, agregamos el efecto que resultó en el mejor modelo, pero no dijimos qué significa "mejor". Para tener un proceso para decidir cuál es el mejor modelo en cada paso y el mejor modelo en todos los pasos, necesitamos poder poner un número a la calidad de un modelo. De hecho, los estadísticos han ideado muchas formas de hacerlo. En este ejemplo, hemos utilizado el corregido Criterio de información de Akaike o AICc . En cada paso, añadimos el efecto que daba el modelo con el AICc más bajo. Aquí, tenemos un gráfico de AICc versus número de paso:
Un AICc más bajo representa un mejor modelo: AICc se reduce a medida que mejora el ajuste a los datos; agregar parámetros al modelo aumenta AICc. Podemos usarlo para encontrar el punto óptimo que equilibre la bondad de ajuste y la complejidad. En este caso, vemos que AICc se reduce del Paso 0 al Paso 7 y luego aumenta fuera de la escala hacia el Paso 20. (Las bandas amarillas y verdes son una guía; los modelos con un AICc en esos rangos son algo equivalentes al mejor modelo). Por lo tanto, podríamos elegir el modelo en el Paso 7:
Pasos adelante y atrás
El proceso que hemos descrito se llama regresión paso a paso o selección paso a paso . Más específicamente, utilizamos adelante selección paso a paso. podrías usar hacia atrás selección cuando tenga más ejecuciones que parámetros para ajustar, por lo que puede comenzar con todos los efectos en el modelo y trabajar hacia atrás eliminando el efecto menos importante en cada paso. También puede utilizar una combinación de avance y retroceso. Otra opción que tiene es si desea especificar efecto herencia , por lo que los efectos de segundo orden solo pueden incluirse si sus efectos principales también están en el modelo. Por lo general, se prefieren los modelos que obedecen a la herencia del efecto.
Estas diversas opciones y otras están disponibles en un proceso paso a paso automatizado en software como JMP . La plataforma de Regresión Generalizada en Pro JMP ofrece una interfaz interactiva y visual para explorar las posibilidades del modelo. Esto es útil porque la elección final del modelo no dependerá solo del AICc o de cualquier medida estadística.
“Todos los modelos están equivocados…
…Pero algunos son útiles.”[2] Esta famosa cita captura una verdad que es preocupante si eres nuevo en DoE: ¡No hay una respuesta correcta al final de todo! El modelo se aproximará al comportamiento real, por lo que siempre será "incorrecto" en algún sentido. No deberías pensar que esto es un problema. Los modelos que son "erróneos" de esta manera nos permiten enfocarnos en comprender los comportamientos importantes para cumplir con nuestros objetivos científicos y de ingeniería. Como dijimos antes, estamos apuntando a un modelo parsimonioso.
Con este ejemplo, hemos visto cómo podemos construir modelos útiles clasificando una cantidad relativamente grande de efectos posibles para encontrar los pocos importantes. También hemos visto cómo podemos utilizar métodos estadísticos, junto con nuestra experiencia y conocimiento del sistema, para elegir el modelo más útil. Nuestro experimento diseñado nos dio los datos que necesitábamos para lograrlo, y con el mínimo esfuerzo experimental. En cada paso, el método puede seleccionar el mejor efecto debido a la claridad que viene con las propiedades de correlación del diseño. Nuevamente, el mensaje para llevar a casa es que si desea estar seguro de obtener de manera eficiente la solución más útil, debe usar DoE.
En la publicación final de esta serie, intentaremos resumir todo lo que hemos aprendido y también hablar sobre lo que nos hemos perdido.
notas
[1] De hecho, parece que einstein no dijo esto . Irónicamente, su versión no fue tan simple como podría haber sido.
[2] Caja de Jorge. Ver esta entrada de wikipedia para más.
