| Vocero |
Transcripción |
| Phil Kay |
Bien, vamos a hablar sobre cómo replantear el diseño y el análisis de experimentos. Soy Phil Kay, gerente de aprendizaje del equipo global de capacitación técnica, y me acompaña Pete Hersh. |
| Peter Hersh |
Sí, también soy miembro del equipo de habilitación técnica global y estoy emocionado de hablar sobre DOE y algunas de las nuevas técnicas que estamos explorando hoy. |
| Phil Kay |
Lo primero que quiero decir es que somos grandes admiradores del DOE. Es fantástico. Ha sido de gran valor para la ciencia y la ingeniería durante mucho tiempo. |
| |
Dicho esto, hay algunas suposiciones que debemos aceptar para poder utilizar el DOE durante mucho tiempo. |
| |
Y no siempre se sienten muy cómodos, como científicos o ingenieros. Por eso, cuestiones como la escasez de efectos, la idea de que no todo lo que se observa resulta ser importante. |
| |
Y, en realidad, solo algunas de las cosas con las que se experimenta resultan importantes. O bien, la herencia del efecto es otra suposición. |
| |
Esto significa que sólo esperamos ver comportamientos complejos o efectos de orden superior para los factores que están activos en sus formas más simples. |
| |
Y, y sólo esta idea de efectos activos e inactivos, tan comúnmente, el proceso secuencial de diseño de experimentos es filtrar los efectos activos de los efectos inactivos. |
| |
Y a veces parece una decisión demasiado binaria. Me parece un poco descabellado, creo, muchas veces, esta idea de que algunas de las cosas que estamos experimentando son completamente inactivas, |
| |
Cuando en realidad, creo que sabemos que todo tendrá algún efecto. Puede que sea menos importante, pero... |
| |
Todavía tendrá algún efecto. Y estas son, en gran medida, suposiciones que usamos para... |
| |
Superar algunos de los desafíos de diseñar experimentos cuando no se puede permitir hacer un gran número de ejecuciones. Sí, Pete, no sé si quieres comentar eso desde tu perspectiva. |
| Peter Hersh |
Sí, estoy totalmente de acuerdo. Creo que pensar en algo como que la temperatura esté inactiva es... Me cuesta imaginar que la temperatura no tenga efecto en un experimento. |
| Phil Kay |
Sí, es un poco absurdo, ¿no? Entonces, |
| |
Sí, si eso está en tu experimento, entonces siempre estará activo de alguna manera, pero tal vez no tan importante como otras cosas. |
| |
Así que voy a pasar directamente a los resultados de |
| |
De lo que hemos visto. Hemos estado analizando esta técnica de autovalidación que Chris Gotwalt y Phil Ramsey básicamente inventaron. |
| |
Y al usarlo en el análisis de experimentos diseñados, se han obtenido resultados realmente increíbles. Simplemente no creíamos que fueran posibles. |
| |
Primero, analicé un sistema con 13 efectos activos y un diseño de cribado definitivo de 13 ejecuciones. A partir de ahí, identifiqué que 13 efectos estaban activos, lo que se conoce como una situación saturada. No... |
| |
Comúnmente, hemos hablado de la eficacia de los diseños de cribado definitivos para identificar los efectos activos cuando hay escasez de efectos, es decir, cuando solo hay un pequeño número de efectos realmente importantes o activos. Pero en este caso, logré identificar los 13 efectos activos. |
| |
Y no sólo eso, realmente fue capaz de construir un modelo con todos esos 13 efectos activos a partir de este diseño de detección definitivo de 13 ejecuciones. |
| |
Entonces, nuevamente, eso es algo increíble; no esperamos poder tener un modelo con tantos efectos activos como filas de datos con los que lo construimos. |
| |
Y Pete, analizaste otras cosas y obtuviste otros resultados realmente interesantes. |
| Peter Hersh |
Sí, absolutamente, y los resultados de Phil son muy, muy impresionantes. Creo... |
| |
El siguiente paso que intentamos fue hacer un diseño súper saturado, que tiene más efectos activos que carreras, y lo probamos con |
| |
DOE muy pequeños. Por lo tanto, un DOE de seis ejecuciones con siete efectos activos, que si lo hiciéramos con técnicas de DOE estándar, no habría forma de analizarlo. |
| |
Eso correctamente. Y analizamos la comparación con los DOE de ocho y diez ejecuciones y cuánto nos reportaron. Así que obtuvimos modelos bastante útiles, incluso con un DOE de seis ejecuciones, que era... |
| |
Mejor de lo que esperaba. |
| Phil Kay |
Sí, es mejor de lo que puedes esperar realmente, ¿no? |
| |
Y así obtuvimos estos resultados realmente impresionantes y la capacidad de identificar una gran cantidad de efectos activos a partir de un pequeño... |
| |
Diseño de pantalla definitivo y construir ese modelo con todos esos efectos activos. En el caso de Pete, he podido construir un modelo con siete efectos activos desde una escala muy pequeña. |
| |
Experimentos diseñados. |
| |
Entonces, ¿cómo lo hicimos? ¿Cómo funciona la metodología de autovalidación? Bueno, se basa en ideas del aprendizaje automático, y una de sus herramientas más útiles es la validación. La validación de reserva es una excelente manera de garantizar que... |
| |
El modelo más útil. Es un modelo robusto. Conservamos una parte de los datos y la usamos para probar los diferentes modelos que construimos. |
| |
Básicamente, el modelo que hace la mejor predicción de estos datos que hemos mantenido es el modelo que usamos, y es realmente probado y comprobado. |
| |
De hecho, es prácticamente el estándar de oro para construir los modelos más útiles, pero con DOE eso es un desafío mayor, ¿verdad, Pete? Obviamente, no se presta a eso. |
| Peter Hersh |
Sí, sí, la idea detrás de DOE es explorar el espacio de diseño de la manera más eficiente posible. Y si empezamos a retrasar las carreras o... |
| |
análisis de ejecuciones, entonces vamos a perder parte de ese espacio de diseño y |
| |
Realmente no podemos hacer eso con muchas de estas técnicas DOE como los diseños de detección definitivos. |
| Phil Kay |
Bien, bien, sería bueno que existiera algún truco para aprovechar esta validación de reserva y evitar el problema de retener datos críticos. Esto nos lleva a la validación automática. |
| |
idea, y, Pete, ¿quieres describir un poco cómo funciona esto? |
| Peter Hersh |
Por supuesto, esta fue una idea realmente inteligente desarrollada por Chris y Phil Ramsey, y básicamente toman nuestros datos originales de un DOE y los vuelven a muestrear, por lo que... |
| |
Repita los resultados. Si observa la tabla al final de la diapositiva, las series en gris son los mismos resultados que las series en blanco. Simplemente están repetidas. |
| |
Y la forma en que se salen con la suya es creando esta columna de ponderación que está emparejada. Así que, básicamente, si uno tiene un peso alto, el... |
| |
La ejecución repetida de esto tiene una tasa baja... ponderación, etc. Y esto nos permite usar los datos con esta validación y ponderación, y explicaremos con más detalle cómo se hace. |
| Phil Kay |
Sí, verán cómo sucede cuando veamos las demostraciones. Básicamente, tenemos dos casos prácticos con ejemplos simulados que usamos para ilustrar esta metodología. En este primer caso práctico, voy a hablar... |
| |
Insisto en que es un ejemplo simulado. Y, en cierto modo, es un ejemplo poco realista, pero creo que demuestra muy bien el poder de esta metodología. |
| |
Tenemos seis factores y para hacerlo parecer un poco más real, hemos elegido algunos factores reales de un estudio de caso aquí en el que estaban tratando de cultivar algún organismo biológico y optimizar los nutrientes que introducen en el sistema para optimizar la tasa de crecimiento. |
| |
Tenemos estos seis nutrientes diferentes, que son nuestros factores. Podemos añadir diferentes cantidades de ellos, así que diseñé un diseño de cribado definitivo de 13 series para explorar estos factores con esta respuesta a la tasa de crecimiento. |
| |
Y los datos de respuesta fueron completamente simulados por mí, y se simularon de tal manera que hubo 13 efectos fuertemente activos. Entonces |
| |
Lo simulé para que todos los efectos principales, los seis efectos principales, estuvieran activos. |
| |
Y luego, para cada uno de esos factores, los efectos cuadráticos también están activos, así que tenemos seis efectos cuadráticos. |
| |
Además, tenemos una intersección que siempre debemos estimar, por lo que hay 13 efectos en total que están activos y que son importantes para comprender el sistema. |
| |
1 señal a ruido, pero eso sigue siendo un verdadero desafío con la metodología estándar para modelarlo, y llegaremos a eso en la demostración. |
| |
Entonces, la pregunta es: ¿podemos identificar todos esos efectos importantes? Y, si lo logramos, ¿podemos construir un modelo que también los incluya? Porque, como dije, eso sería realmente extraordinario. |
| |
versus lo que podemos hacer con la metodología estándar. |
| |
¿Y luego el caso de estudio n°2, Pete? |
| Peter Hersh |
Sí, absolutamente. Muy similar al caso práctico de Phil. La misma idea: alimentamos a un organismo con diferentes nutrientes en diferentes niveles y comprobamos su tasa de crecimiento. En este caso, simplifiqué lo que Phil había hecho y lo desglosé en solo tres factores nutricionales. Y esto es... |
| |
Construyendo un tipo diferente de diseño, por lo que un diseño supersaturado I-óptimo donde buscamos una superficie de respuesta completa |
| |
De manera sobresaturada y miramos seis, ocho y diez carreras. |
| |
diseños. Y la misma misma idea. |
| |
El el |
| |
Los efectos fueron muy, muy |
| |
La relación señal-ruido es alta, así que quería poder identificar esos efectos si estaban activos. Al igual que Phil, mantuve activos los efectos principales de las cuadráticas, así como la intersección, y estamos intentando identificarlos. |
| |
Y la misma idea, entonces ¿cuántas ejecuciones necesitaríamos para ver estos efectos activos y qué tan preciso es el modelo que podemos crear a partir de estos diseños tan pequeños? |
| Phil Kay |
Sí, porque sabes, como dije, realmente no tienes derecho a esperar poder construir un buen modelo a partir de un diseño tan pequeño. |
| Peter Hersh |
Sí, exactamente. Está bien. |
| Phil Kay |
Ahora voy a hacer una demostración del caso de estudio n.º 1. |
| |
Y lo presento a través de un proyecto JMP, así que es una forma muy práctica de presentar los resultados. Les recomiendo que lo prueben. |
| |
Y ese es nuestro |
| |
Este es nuestro diseño de cribado definitivo de 13 ejecuciones, donde variamos estos factores nutricionales y obtenemos la respuesta simulada de la tasa de crecimiento. Como mencioné, se ha simulado de tal manera que... |
| |
Los efectos principales, las cuadráticas de todos estos factores son fuertemente activas, además tenemos que estimar esta intersección. |
| |
Ahora bien, con un diseño de detección definitiva, generalmente recomiendo utilizar la detección definitiva como una forma de observar los resultados como uno de los análisis que puede realizar. |
| |
Funciona muy bien cuando se cumple este principio de escasez de efectos. Así, mientras solo unos pocos efectos sean muy activos... y el resto sean irrelevantes, |
| |
Luego encontrará esos... los pocos efectos importantes y los separará de los que no son importantes. |
| |
Pero en este caso no esperaba que funcionara bien, y no funciona bien. No identifica que los seis factores estén activos. De hecho, solo identifica uno de ellos como activo. |
| |
Así que no es una gran sorpresa: es una situación demasiado difícil y demasiado desafiante para este tipo de análisis. |
| |
Si de alguna manera supiéramos que todos estos efectos activos son activos e intentáramos ajustar un modelo con los seis efectos principales, los seis cuadráticos y la intersección, |
| |
Entonces, ese es un modelo saturado. Tenemos tantos parámetros para estimar como filas de datos, así que podemos ajustarlo, pero no obtenemos ninguna estadística. |
| |
Y en cualquier caso, ya sabes, aparte del hecho de que he simulado estos datos, en una situación de la vida real, no sabríamos cuáles están activos, por lo que ni siquiera sabríamos qué modelo ajustar. |
| |
Ahora, utilizando el método de validación automática, pude identificar de manera muy convincente los efectos activos y explicaré cómo lo hicimos. |
| |
Y esto es solo una visualización de mis resultados. No es necesario visualizarlo así. Es solo para fines de presentación. |
| |
Pude identificar que, en primer lugar, la intercepción estaba activa. Tengo mis seis efectos principales. |
| |
y mis efectos cuadráticos, y luego mis interacciones de dos factores, que simulé con cero efecto. Pueden ver que están muy por debajo. |
| |
En comparación con los demás. Y, de hecho, aquí usamos un factor nulo, es decir, un factor ficticio. Cualquier valor menor que el factor nulo se puede declarar como poco importante o inactivo, si se prefiere. |
| |
Y lo que realmente estamos... la métrica que estamos viendo aquí es algo llamado proporción distinta de cero, y explicaré lo que significa a medida que avancemos. Esa es la métrica que usamos para identificar la fuerza de un efecto, su importancia. |
| |
Les contaré brevemente cómo lo hice. Tomé mi diseño original de cribado definitivo de 13 ejecuciones y lo configuré para la validación automática, así que ahora tenemos 26 filas duplicadas. |
| |
Y hay un complemento para hacer esto. Uno de nuestros colegas, Mike Anderson, creó un complemento que puedes usar para hacer esto en JMP 15. |
| |
En JMP 16, de hecho, están agregando la capacidad de las herramientas de modelado predictivo en la plataforma de columna de validación. |
| |
Y lo que eso hace es que obtenemos este conjunto duplicado de nuestros datos y luego obtenemos esta ponderación y, como dijo Pete, tenemos... cada fila está en el conjunto de entrenamiento y en el conjunto de validación. |
| |
En el conjunto de entrenamiento, si tiene una ponderación baja, tendrá una ponderación alta en la validación. Por lo tanto, si tiene una ponderación alta en el conjunto de entrenamiento, tendrá una ponderación baja en el conjunto de validación. |
| |
Y lo que hacemos en realidad es leer... estos han sido asignados básicamente al azar. |
| |
Los reasignamos y pudimos iterarlos cientos de veces, ajustando los modelos cada vez y luego analizando los resultados agregados de varias simulaciones. Entonces, ¿qué harías? |
| |
es para ajustar el modelo y estoy usando GenReg aquí en JMP Pro. |
| |
De todos modos, necesitarás JMP Pro porque necesitas poder especificar este rol de validación, así que ponemos...la columna de validación del tren entra en validación. |
| |
La ponderación se aplica a la frecuencia y luego configuramos todo lo demás como lo haríamos normalmente con nuestra respuesta. Luego tengo un modelo, que es el modelo de superficie de respuesta, con todos estos efectos, y luego hago clic en "Ejecutar". |
| |
Se ajustará a un modelo y podremos usar la selección hacia adelante o el lazo. Aquí he usado el lazo. |
| |
En este caso no es muy importante. |
| |
Y lo que realmente ocurrió es que identificamos solo la intersección como importante en este caso, por lo que en realidad solo tenemos la intersección en el modelo. |
| |
Pero si cambiamos la ponderación, si volvemos a nuestra tabla de datos y re-simulamos estas ponderaciones, probablemente obtendremos un resultado diferente del modelo. |
| |
Ponderamos diferentes filas de datos y diferentes ejecuciones del experimento, lo que cambia el ajuste del modelo. Lo haremos cientos de veces, y lo que haré será usar la función de simulación de JMP Pro. |
| |
Lo que hacemos es cambiar la columna de ponderación por una versión recalculada. Puedes repetirlo cientos de veces. De hecho, lo hice 250 veces en este caso. No voy a dejar que se ejecute, porque tardará uno o dos minutos. |
| |
Una vez que hayas hecho eso, lo que obtendrás es una tabla que se parece a esta. |
| |
Así que ahora tengo la estimación de parámetros para cada uno de esos 250 modelos para cada uno de estos efectos. |
| |
En mi primer modelo de esta ejecución, esta fue la estimación del parámetro para el efecto principal del ácido cítrico. En el siguiente modelo, al remuestrear la ponderación, |
| |
El efecto principal del ácido cítrico no entró en el modelo, por lo que en ese caso fue cero. |
| |
De hecho, puedes ejecutar distribuciones en todas estas estimaciones de parámetros. Y una de las cosas que puedes hacer es... |
| |
Personaliza estas estadísticas, las estadísticas de resumen, para ver la proporción distinta de cero. Así puedes ver la intersección aquí. |
| |
Las estimaciones que teníamos de la intersección. Como se puede ver con el ácido cítrico, muchas veces se ha estimado como cero, así que esos eran los modelos. |
| |
El efecto principal del ácido cítrico no estaba en el modelo, y muchas veces se ha estimado en alrededor de 3, que es lo que había simulado. |
| |
Entonces, lo que observamos es la proporción de veces que es distinto de cero y podemos crear una tabla de datos combinados a partir de ellos. Ya lo hice, y acabo de hacer un poco... |
| |
Un poco de aumento adicional aquí. Acabo de agregar una columna para indicar si es un efecto principal o algo similar, y así fue como creé |
| |
Esta visualización aquí. Entonces, lo que están viendo es la proporción de veces que cada uno de esos efectos es distinto de cero, es decir, la proporción de veces que cada uno de los efectos está en nuestro modelo sobre todos esos... |
| |
Hemos realizado 250 simulaciones, donde resimulamos la ponderación fraccionaria. Y eso es lo que usamos para identificar... |
| |
Los efectos activos, y eso es... y ha hecho un trabajo extraordinario. Ha logrado lo que nuestros métodos estándar no podrían. Ha identificado 13 efectos activos en 13 ejecuciones. |
| |
Diseño de cribado definitivo. |
| |
Ahora, ¿qué quieres hacer a continuación? Quizás queramos ajustar ese modelo con todos esos efectos, y lo he logrado. Estoy comparando el modelo que he ajustado aquí. |
| |
versus la respuesta simulada real, y se puede ver cuán estrechamente coinciden. Así que he podido construir un modelo con todos estos efectos principales, todas estas ecuaciones cuadráticas y la intersección. |
| |
Así que tengo un modelo de 13 parámetros aquí que he podido adaptar a este diseño de pantalla definitivo de 13 ejecuciones, lo que nuevamente es simplemente notable. |
| |
Y no voy a explicar exactamente cómo llegué a esa parte. Le cedo la palabra a Pete. Él hablará un poco más sobre la idea de los modelos de conjunto autovalidados. |
| Peter Hersh |
Por supuesto. Gracias, Phil. Veamos. Voy a compartir mi pantalla y echaremos un vistazo a este proyecto. |
| |
Puedes verlo aquí |
| |
en el mismo |
| |
Fluye como Phil, estamos viendo un proyecto aquí y tengo |
| |
Comencé con esas seis carreras sobresaturadas DOE, y aquí puedes ver que tengo tres factores, |
| |
¿Cuál es mi tasa de crecimiento real del modelo subyacente y cuál fue la tasa de crecimiento... la tasa de crecimiento simulada y luego, como mencionó Phil, |
| |
Creo esta columna de validación automática, que se puede realizar con un complemento en JMP 15 desarrollado por Mike Anderson. O bien, en JMP 16, está integrada en el software y se puede acceder a ella en la columna de validación de la plataforma de modelado predictivo de análisis. |
| |
Tal como lo mostró Phil, mostró un excelente ejemplo de cómo podemos identificar los factores activos, mediante un análisis de factores. Y ese suele ser nuestro objetivo principal con el DOE, pero si queremos ir un paso más allá y construir un modelo a partir de eso, |
| |
Seguiríamos el mismo proceso, ¿verdad? Así que construimos nuestro DOE, le añadimos una autovalidación y construimos nuestro modelo, tal como mostró Phil, usando regresión generalizada y uno de los... |
| |
Técnicas de selección de variables. Phil Ramsey y Chris Gotwalt han analizado muchas de estas técnicas y todas parecen funcionar bastante bien. Así que, ya sea que se use un lazo o incluso una selección de dos etapas hacia adelante, todas parecen tener resultados similares. |
| |
Funciona bastante bien. Una vez que lo configuras y lo inicias, obtienes un modelo, como el que Phil mostró, y sabes que algunos de estos modelos tendrán |
