349240_es-ES

liliconcom

¿Repensar el diseño y análisis de experimentos? (2021-EU-30MP-776)

Nivel: Intermedio

 

Phil Kay, ingeniero sénior de sistemas de JMP, SAS
Peter Hersh, ingeniero de habilitación técnica de JMP, SAS

 

Los científicos e ingenieros diseñan experimentos para comprender sus procesos y sistemas: encontrar los factores críticos y optimizar y controlar con modelos útiles. El diseño estadístico de experimentos garantiza que pueda hacer más con su esfuerzo experimental y resolver problemas más rápido. Pero la implementación práctica de estos métodos generalmente requiere la aceptación de ciertas suposiciones (incluida la escasez de efectos, la herencia de los efectos y los efectos activos o inactivos) que no siempre encajan cómodamente con el conocimiento y la experiencia del dominio. ¿Pueden los enfoques de aprendizaje automático superar algunos de estos desafíos y proporcionar una comprensión más rica a partir de experimentos sin costo adicional? ¿Podría ser esto una revolución en el diseño y análisis de experimentos?

Esta charla explorará los beneficios potenciales de usar la técnica de autovalidación desarrollada por Chris Gotwalt y Phil Ramsey para analizar experimentos industriales. Se presentarán ejemplos de estudios de casos para comparar herramientas tradicionales con técnicas de autovalidación en la detección de efectos importantes y en la construcción de modelos para predicción y optimización.

 

 

No pudimos responder todas las preguntas en las preguntas y respuestas, así que aquí va...

 

Veo que los pesos no estan entre 0-1, como se generan?

Son "ponderados fraccionariamente". Este es el truco clave que habilita el método. En Gen Reg en JMP Pro usamos esto en el rol Freq. Puedes usar este complemento para JMP Pro 15 para generar la tabla duplicada con ponderación.Podemos recomendar una charla de Chris Gotwalt y Phil Ramsey para explicar los detalles estadísticos profundos de la ponderación.

 

Cuando duplica filas, ¿se duplican con el mismo resultado de salida? ¿Cuál es el propósito de esta duplicación?

Sí, están duplicados con la misma respuesta. Sería una mala idea hacer eso y avanzar con el análisis. La innovación clave aquí es que se ponderan fraccionadamente, de modo que tienen una ponderación baja en una parte del conjunto de validación y una ponderación más alta en el otro conjunto de validación. Por ejemplo, una ejecución con una ponderación baja en "entrenamiento" tendrá un par duplicado con una ponderación alta en "validación". Algunos pares duplicados tendrán una ponderación más equitativa en el entrenamiento y la validación.

 

Ajustamos un modelo utilizando estas ponderaciones para determinar cuánto de cada ejecución se destina al entrenamiento y cuánto se destina a la validación. Luego volvemos a dibujar los pesos y ajustamos otro modelo. Repetimos este proceso cientos de veces. Luego usamos los resultados de todos estos modelos, ya sea para filtrar los efectos importantes de su proporción distinta de cero, o para construir un modelo útil promediando todos los modelos individuales.

¿Es posible ejecutar el complemento en la versión JMP 15 normal, no profesional?

Muy posiblemente. Puede ejecutar el complemento, pero necesitará JMP Pro para utilizar la columna de validación en el análisis; esto es fundamental.

¿Cómo funciona con variables categóricas?

Presentamos ejemplos con solo variables continuas. Una buena característica es que funcionaría para cualquier modelo y con cualquier tipo de variable.

¿Es este un método reconocido ahora?

En una palabra, no. Aún no. Nuestra motivación es hacer que las personas conozcan este método para estimular a las personas interesadas en explorar el método y brindar comentarios críticos. Como aclaramos en la presentación, no le recomendamos que utilice esto como su único análisis de un experimento. Si le gusta la idea, pruébela y vea cómo se compara con otros métodos.

 

Habiendo dicho eso, las ideas del promedio del modelo y la validación de retención se reconocen en situaciones de datos más grandes. Parece que esto debería ser beneficioso en el mundo de los datos más pequeños en el que se diseñan experimentos.

¿Haces el paso de duplicado manualmente?

No, esto se hace como parte de la configuración de validación automática por parte del complemento o de la plataforma en JMP Pro 16. Puede crear fácilmente las filas duplicadas usted mismo. La parte más difícil es configurar la ponderación fraccionaria, sin la cual el análisis no funcionará.

 

Bayesian también usa mucha simulación (MCMC), ¿sería también aplicable? ¿Integrando distribuciones anteriores y posteriores?
Muy posiblemente. La idea general de la validación ponderada fraccionalmente con un promedio de modelo de arranque bien podría ser aplicable en muchas otras áreas.

 

 

Transcripción generada automáticamente...

 

Vocero	Transcripción
phil kay	Bien, entonces vamos a hablar sobre repensar el diseño y análisis de experimentos. Soy Phil Kay. Soy el gerente de aprendizaje en el equipo global de habilitación técnica y me acompaña Pete Hersh.
Pedro Hersh	Sí, también soy miembro del equipo global de habilitación técnica y me emociona hablar sobre el DOE y algunas de las nuevas técnicas que estamos explorando hoy.
phil kay	Entonces, lo primero que hay que decir es que somos grandes fanáticos del DOE. Es impresionante. Ha tenido un gran valor en la ciencia y la ingeniería durante mucho tiempo.
	Y habiendo dicho eso, hay algunas suposiciones con las que tenemos que estar de acuerdo para usar DOE mucho tiempo.
	Y no siempre se sienten muy cómodos, como científicos o ingenieros. Entonces, cosas como la escasez de efectos, por lo que la idea de que no todo lo que estás viendo resultó ser importante
	y, de hecho, solo algunas de las cosas con las que estás experimentando resultan ser importantes. O el efecto de la herencia es otra suposición.
	Eso significa que solo esperamos ver comportamientos complejos o efectos de orden superior para factores que están activos en sus formas más simples.
	Y, y precisamente esta idea de efectos activos e inactivos, por lo general, el proceso secuencial de diseño de experimentos consiste en filtrar los efectos activos de los efectos inactivos.
	Y eso a veces se siente como una decisión demasiado binaria. Parece un poco loco, creo, mucho tiempo, esta idea de que algunas de las cosas que estamos experimentando en un completamente inactivo,
	cuando realmente, creo que nosotros, sabemos que realmente todo va a tener algún efecto. Puede que sea menos importante, pero
	todavía va a tener algún efecto. Y estas son en gran parte suposiciones que usamos para
	superar algunos de los desafíos de diseñar experimentos cuando no puede permitirse el lujo de hacer un gran número de ejecuciones y sí. Pete, no sé si también quieres comentar eso desde tu perspectiva.
Pedro Hersh	Sí, estoy completamente de acuerdo. Creo que pensar en algo como que la temperatura esté inactiva es... Creo que es difícil imaginar que la temperatura no tenga ningún efecto en un experimento.
phil kay	Sí, es un poco absurdo, ¿no? Entonces,
	sí, si eso está en su experimento, entonces siempre estará activo de alguna manera, pero tal vez no sea tan importante como otras cosas.
	Así que voy a saltar directamente a los resultados de
	de lo que hemos mirado. Así que hemos estado analizando esta técnica de validación automática que Chris Gotwalt y Phil Ramsey esencialmente inventaron
	y usar eso en el análisis de experimentos diseñados, y realmente proporciona resultados que son simplemente locos. Simplemente no creíamos que fueran posibles.
	Entonces, en primer lugar, observé un sistema con 13 efectos activos y analicé un diseño de cribado definitivo de 13 ejecuciones y a partir de eso pude identificar que 13 efectos estaban activos, que es... eso es lo que llamamos una situación saturada. nosotros no...
	Por lo general, hemos hablado de diseños de detección definitivos como efectivos para identificar los efectos activos cuando tenemos escasez de efectos, cuando solo hay una pequeña cantidad de efectos que son realmente importantes o activos. Pero en este caso logré identificar los 13 efectos activos.
	Y no solo eso, en realidad fue capaz de construir un modelo con todos esos 13 efectos activos de este diseño de proyección definitivo de 13 ejecuciones.
	Entonces, de nuevo eso es algo increíble; no esperamos poder tener un modelo con tantos efectos activos como filas de datos a partir de las cuales lo estamos construyendo.
	Y Pete, observaste otras cosas y obtuviste otros resultados realmente interesantes.
Pedro Hersh	Sí, absolutamente, y los resultados de Phil son muy, muy impresionantes. Creo
	el siguiente paso que intentamos fue hacer un diseño súper saturado, que tiene más efectos activos que ejecuciones y lo intentamos con
	DOEs muy pequeños. Entonces, un DOE de seis ejecuciones con siete efectos activos, que si lo hiciéramos en las técnicas DOE estándar, no habría forma de analizar
	eso correctamente. Y comparamos eso con ocho y 10 DOE ejecutados y cuánto nos compró eso. Entonces obtuvimos modelos bastante útiles, incluso de un DOE de seis ejecuciones, que fue
	mejor de lo que esperaba
phil kay	Sí, es mejor de lo que tienes derecho a esperar realmente, ¿no es así?
	Y así tenemos estos resultados realmente impresionantes y la capacidad de identificar una gran cantidad de efectos activos de una pequeña
	diseño de pantalla definitivo y construir ese modelo con todos esos efectos activos. Y en el caso de Pete, he podido construir un modelo con siete efectos activos desde muy pequeños
	Experimentos diseñados.
	Entonces, ¿cómo hicimos esto? ¿Cómo funciona la metodología de autovalidación? Bueno, está tomando ideas del aprendizaje automático, y una de las herramientas realmente útiles del aprendizaje automático es la validación. Por lo tanto, la validación de exclusión es una muy buena forma de asegurarse de que usted construye
	el modelo más útil. Así que es un modelo que es robusto. Así que sacamos una parte de los datos, los usamos para probar diferentes modelos que construimos, y
	básicamente, el modelo que hace la mejor predicción de estos datos que hemos presentado es el modelo con el que vamos, y eso es realmente probado y comprobado.
	En realidad, es más o menos el estándar de oro para construir los modelos más útiles, pero con DOE eso es un desafío mayor, ¿no es así, Pete? Obviamente, no se presta a eso.
Pedro Hersh	Sí, sí, toda la idea detrás del DOE es explorar el espacio de diseño de la manera más eficiente posible. Y si empezamos a aguantar carreras o aguantar
	análisis de corridas, entonces vamos a perder parte de ese espacio de diseño y
	realmente no podemos hacer eso con muchas de estas técnicas del DOE, como los diseños de detección definitivos.
phil kay	Correcto, correcto, entonces sería bueno si hubiera algún truco para que pudiéramos obtener los beneficios de esta validación de retención y no sufrir por retener datos críticos. Eso nos lleva a esta validación automática.
	idea, y, Pete, ¿quieres describir un poco cómo funciona esto?
Pedro Hersh	Absolutamente, así que esta fue una idea realmente inteligente desarrollada por Chris y Phil Ramsey, y ellos esencialmente toman nuestros datos originales de un DOE y los vuelven a muestrear, por lo que
	repetir los resultados. Entonces, si observa que la tabla aquí en la parte inferior de la diapositiva, las secuencias en gris son los mismos resultados de las secuencias en blanco. Solo se repiten.
	Y la forma en que se salen con la suya es haciendo esta columna de ponderación que se empareja. Así que básicamente, si uno tiene un peso alto, el
	la ejecución repetida de eso tiene una tasa baja... peso y así sucesivamente. Y esto es... esto es... nos permite usar los datos con esta validación y la ponderación y entraremos en un poco más de detalle sobre cómo se hace eso.
phil kay	Sí, verás cómo sucede cuando veamos las demostraciones. Así que básicamente tenemos dos estudios de casos de ejemplos simulados que usamos para ilustrar esta metodología. Entonces, este primer estudio de caso del que voy a hablar,
	Recalco que es un ejemplo simulado. Y de alguna manera, es un ejemplo poco realista, pero creo que hace un muy buen trabajo al demostrar el poder de esta metodología.
	Tenemos seis factores y para que parezca un poco más real, hemos elegido algunos factores reales de un estudio de caso aquí donde estaban tratando de hacer crecer un organismo biológico y optimizar los nutrientes que alimentan al sistema para optimizar la tasa de crecimiento
	Así que tenemos estos seis nutrientes diferentes y esos son nuestros factores. Podemos agregar diferentes cantidades de estos, así que diseñé un diseño de detección definitivo de 13 ejecuciones para explorar esos factores con esta respuesta de tasa de crecimiento.
	Y los datos de respuesta fueron completamente simulados por mí, y fueron simulados de tal manera que hubo 13 efectos fuertemente activos. Entonces
	Lo simulé para que todos los efectos principales, los seis efectos principales, estén activos.
	Y luego, para cada uno de esos factores, los efectos cuadráticos también están activos, así que tenemos seis efectos cuadráticos.
	Además, tenemos una intersección que siempre necesitamos estimar, por lo que hay 13 efectos en total que están activos, que son importantes para comprender el sistema.
	1 señal a ruido, pero eso sigue siendo un verdadero desafío con la metodología estándar para modelar eso, y llegaremos a eso en la demostración.
	Entonces, realmente, la pregunta es, ¿podemos identificar todos esos efectos importantes y, si podemos, entonces podemos construir un modelo con todos esos efectos importantes también? Porque como dije, eso sería realmente bastante notable.
	frente a lo que podemos hacer con la metodología estándar.
	¿Y luego el estudio de caso #2, Pete?
Pedro Hersh	Si absolutamente. Muy, muy similar al estudio de caso de Phil. La misma idea es que estamos alimentando diferentes nutrientes en diferentes niveles a un organismo y controlando su tasa de crecimiento. En este caso, simplifiqué lo que Phil había hecho y lo dividí en solo tres factores de nutrientes. Y esto es
	construyendo un tipo diferente de diseño, por lo que un diseño supersaturado I-óptimo donde estamos viendo una superficie de respuesta completa
	de manera sobresaturada y miramos seis, ocho y 10 corridas
	diseños Y así mismo la misma idea.
	La la
	los efectos fueron muy, muy
	alta relación señal/ruido, por lo que realmente quería poder seleccionar esos efectos si estaban activos. Y al igual que Phil, mantuve activos los efectos principales en las cuadráticas, así como la intercepción y estamos tratando de seleccionarlos.
	Y la misma idea, entonces, ¿cuántas ejecuciones necesitaríamos para ver estos efectos activos y qué tan preciso de un modelo podemos hacer a partir de estos diseños tan pequeños?
phil kay	Sí, porque sabes, como dije, realmente no tienes derecho a esperar poder construir un buen modelo a partir de un diseño tan pequeño.
Pedro Hersh	Si, exacto. Bueno.
phil kay	Así que voy a ir a una demostración ahora del estudio de caso #1.
	Y estoy presentando esto a través de un proyecto JMP, por lo que es una muy buena manera de presentar sus resultados. Recomiendo probar esto.
	Y ese es nuestro
	este es nuestro diseño de selección definitivo de 13 ejecuciones, donde variamos estos factores de nutrientes y tenemos la respuesta de la tasa de crecimiento simulada. Como dije, eso ha sido simulado de tal manera que
	los efectos principales, las cuadráticas de todos estos factores son fuertemente activas, además tenemos que estimar este intercepto.
	Ahora, con un diseño de selección definitivo, generalmente recomiendo que use la selección definitiva de ajuste como una forma de ver los resultados como uno de los análisis que puede hacer.
	Funciona muy bien cuando tenemos este principio de escasez de efectos siendo cierto. Entonces, mientras solo algunos de los efectos estén fuertemente activos... estén activos y el resto no sea importante,
	luego encontrará esos... los pocos efectos importantes y los separará de los no importantes.
	Pero en este caso no esperaba que funcionara bien y no funciona bien. No identifica que los seis factores estén activos. De hecho, solo identifica uno de los factores como activo aquí.
	Así que no es una gran sorpresa, esta es una situación demasiado difícil, demasiado desafiante para este tipo de análisis.
	Si de alguna manera supiéramos que todos estos efectos activos están activos y tratamos de ajustar un modelo con los seis efectos principales, los seis cuadráticos y la intersección,
	entonces ese es un modelo saturado. Tenemos tantos parámetros para estimar como filas de datos, por lo que podemos ajustar ese modelo, pero no obtenemos ninguna estadística.
	Y en cualquier caso, aparte del hecho de que he simulado estos datos, en una situación de la vida real, no sabríamos cuáles están activos, por lo que ni siquiera sabríamos qué modelo encajar.
	Ahora, usando el método de validación automática, pude identificar de manera muy convincente los efectos activos, y explicaré cómo lo hicimos.
	Y esto es solo una visualización de mis resultados aquí. No necesariamente necesitas visualizarlo de esta manera. Esto es para fines de presentación.
	Pude identificar que, en primer lugar, la intercepción estaba activa. Tengo todos mis seis efectos principales,
	y mis efectos cuadráticos, y luego mis interacciones de dos factores, que simulé para tener un efecto cero. Puedes ver que están bien abajo
	frente a los otros. Y en realidad hay un factor nulo aquí que usamos... así que es un factor ficticio. Entonces, cualquier cosa menos que el factor nulo podemos declarar como sin importancia o inactiva, si lo desea.
	Y lo que en realidad somos... la métrica que estamos viendo aquí es algo llamado proporción distinta de cero y explicaré lo que eso significa, a medida que avanzamos en esto. Esa es una especie de métrica que estamos usando aquí para identificar la fuerza de un efecto, de la importancia de un efecto.
	Entonces, un poco sobre cómo pasé por esto. Así que tomé mi diseño original de detección definitiva de 13 ejecuciones y luego lo configuré para la validación automática, por lo que ahora tenemos 26 filas que hemos duplicado.
	Y hay un complemento para hacer esto, uno de nuestros colegas, Mike Anderson. creó un complemento que puede usar para hacer esto en JMP 15.
	En JMP 16, en realidad están agregando la capacidad en las herramientas de modelado predictivo en la plataforma de la columna de validación.
	Y lo que eso hace, obtenemos este conjunto duplicado de nuestros datos, y luego obtenemos esta ponderación y, como dijo Pete, tenemos... cada fila está en el conjunto de entrenamiento y en el conjunto de validación.
	En el conjunto de entrenamiento, si tiene una ponderación baja, tendrá una ponderación alta en la validación. Entonces, si tiene una ponderación alta en el conjunto de entrenamiento, tendrá una ponderación baja en el conjunto de validación.
	Y lo que hacemos en realidad es, leemos... estos básicamente han sido asignados al azar.
	Los reasignamos y pudimos iterar sobre esto cientos de veces, ajustando los modelos cada vez y luego observando el agregado... los resultados agregados en muchas ejecuciones de simulación. Entonces, ¿qué harías?
	es para ajustarse al modelo y estoy usando GenReg aquí en JMP Pro.
	Y necesitará JMP Pro de todos modos, porque necesita poder especificar este rol de validación, así que ponemos... la columna de validación del tren entra en validación.
	Y la ponderación entra en frecuencia y luego configuramos todo lo demás como lo haríamos normalmente con nuestra respuesta. Y luego tengo un modelo, que es el modelo de superficie de respuesta aquí con todos estos efectos, y luego haría clic en ejecutar.
	Y se ajustará a un modelo, y podemos usar la selección hacia adelante o el Lazo. Aquí, he usado el Lasso.
	No es muy importante en este caso.
	Y lo que realmente sucedió es que identificamos solo la intersección como importante en este caso, por lo que en realidad solo tenemos la intersección en el modelo.
	Pero si cambiamos la ponderación, si volvemos a nuestra tabla de datos para volver a simular estas ponderaciones, es probable que obtengamos un resultado diferente del modelo.
	Ponderamos diferentes filas de datos, diferentes ejecuciones en el experimento, eso cambia el modelo que se ajusta. Vamos a hacer eso cientos de veces, y lo que voy a hacer es usar la función de simulación en JMP Pro.
	Y lo que hacemos es cambiar la columna de ponderación y cambiar en una versión recalculada de la columna de ponderación. Y puedes hacer eso unos cientos de veces. De hecho, lo hice 250 veces en este caso. En realidad, no voy a dejar que se ejecute, porque tomará uno o dos minutos.
	Una vez que haya hecho eso, lo que obtendrá es una tabla que se ve así.
	Así que ahora tengo la estimación de parámetros para cada uno de esos 250 modelos para cada uno de estos efectos. Entonces
	en mi primer modelo en esta ejecución que hice, esta fue la estimación del parámetro para este efecto principal del ácido cítrico. En el siguiente modelo, cuando volvimos a muestrear la ponderación,
	El efecto principal del ácido cítrico no entró en el modelo, por lo que fue cero en ese caso.
	Y en realidad puede ejecutar distribuciones en todas estas estimaciones de parámetros. Y una de las cosas que puedes hacer es
	personalice estas estadísticas, las estadísticas de resumen, para ver la proporción distinta de cero. Entonces puedes ver la intercepción aquí,
	las estimaciones que hemos tenido de la intercepción. Puede ver con ácido cítrico, muchas veces se ha estimado que es cero, así que esos eran los modelos,
	El efecto principal del ácido cítrico no estaba en el modelo, y muchas veces se estimó en alrededor de 3, que es lo que simulé.
	Entonces, lo que observamos es la proporción de veces que es distinto de cero y podemos hacer una tabla de datos combinados a partir de eso. Y ya lo hice, y solo hice un poco de...
	un poco de aumento adicional aquí. Acabo de agregar una columna para si es un efecto principal o lo que sea, y así fue como creé
	esta visualización aquí. Entonces, lo que está viendo es la proporción de veces que cada uno de esos efectos es distinto de cero, entonces la proporción de veces que cada uno de los efectos está en nuestro modelo sobre todos esos
	Hemos realizado 250 ejecuciones de simulación, donde hemos vuelto a simular la ponderación fraccionaria. Y eso es lo que usamos para identificar
	los efectos activos, y eso es... y ha hecho un trabajo notable. Ha sido capaz de hacer lo que nuestros métodos estándar no podrían hacer. Se identificaron 13 efectos activos de una ejecución de 13
	diseño de tamizaje definitivo.
	Ahora, ¿qué te gustaría hacer a continuación? Tal vez queramos adaptar ese modelo con todos esos efectos y he podido hacerlo. Y estoy comparando el modelo que he encajado aquí.
	versus la verdadera respuesta simulada, y puede ver qué tan cerca coinciden. Así que pude construir un modelo con todos estos efectos principales, todas estas cuadráticas y la intersección.
	Así que aquí tengo un modelo de 13 parámetros que he podido adaptar a este diseño de pantalla definitivo de 13 ejecuciones, lo que nuevamente es simplemente notable.
	Y no voy a hablar exactamente de cómo llegué a esa parte. Voy a entregar a Pete ahora. Él va a hablar un poco más sobre esta idea de modelos de conjuntos validados por sí mismos.
Pedro Hersh	Absolutamente. Gracias, Phil Vamos a ver. Voy a compartir mi pantalla aquí y solo echaremos un vistazo a este proyecto. Entonces
	puedes ver aquí
	en el mismo
	fluir como Phil, estamos viendo un proyecto aquí y tengo
	comencé con ese DOE supersaturado de seis ejecuciones, y aquí pueden ver, tengo tres factores,
	cuál es mi tasa de crecimiento real del modelo subyacente y luego cuál fue la tasa de crecimiento... la tasa de crecimiento simulada fue y luego, como mencionó Phil,
	Creo esta columna de validación automática, que se puede hacer con un complemento en JMP 15 que desarrolló Mike Anderson. O en JMP 16, está integrado directamente en el software y puede acceder a él en la columna de validación de la plataforma de modelado predictivo de análisis.
	Entonces, tal como mostró Phil, mostró un excelente ejemplo de cómo podemos encontrar qué factores están activos, por lo tanto, una evaluación de factores. Y ese suele ser nuestro principal objetivo con DOE, pero si queremos dar un paso más y construir un modelo a partir de eso,
	Pasaríamos por el mismo proceso, ¿verdad? Así que construimos nuestro DOE, agregamos una validación automática a ese DOE, construimos nuestro modelo, tal como lo mostró Phil, usando regresión generalizada y uno de los
	Técnicas de selección de variables. Así que Phil Ramsey y Chris Gotwalt han analizado muchas de estas diferentes técnicas y todas parecen funcionar bastante bien. Entonces, ya sea que esté usando un Lasso o incluso una selección hacia adelante de dos etapas, todos parecen tener resultados similares y
	funciona bastante bien. Entonces, una vez que configuras esto y lo lanzas, obtienes un modelo, como Phil había mostrado, y sabes que algunos de estos modelos tendrán

FugarseGAMAModelado PredictivoRe: ¿Repensar el diseño y análisis de experimentos? (2021-EU-30MP-776)

Gracias @Phil_Kay ! Tu respuesta es exactamente lo que necesitaba

¡Espero con ansias la próxima Discovery Summit, que espero sea en persona, ya que tengo muchas ganas de conocerlos a todos!

Re: ¿Repensar el diseño y análisis de experimentos? (2021-EU-30MP-776)

Hola @stefan_ivan ,

 

Me alegro de que te haya gustado la presentación.

 

Esa es una buena pregunta. Si tienes tiempo, te sugiero que leas el artículo de Lemkus, Ramsey, Gotwalt, Weese . Hicieron estudios de simulación rigurosos adecuados para probar variaciones en SVEM, incluida (si no recuerdo mal) una versión en la que se usa el factor ficticio para la selección del modelo. Básicamente, el enfoque de selección del modelo de factor ficticio no fue el mejor.

 

La idea original detrás de SVEM requería un factor ficticio. Pero a medida que ha evolucionado, con la adición de modelos de conjunto, parece que el factor ficticio probablemente no sea útil.

 

Una de las razones por las que @Peter_Hersh y yo como SVEM es porque no requiere que clasifiques los efectos en el binario de activo y no activo (o "verdadero"/"falso"). Como científicos/ingenieros, no creemos que tenga sentido decir que el efecto de un factor está inactivo. SVEM significa que puede incluir todos los efectos de los factores en el modelo. Algunos son más importantes que otros. Pero todos están activos, lo que tiene más sentido para nosotros.

 

Espero que eso ayude.

 

Re: ¿Repensar el diseño y análisis de experimentos? (2021-EU-30MP-776)

Hola @Phil_Kay y @Peter_Hersh .

Participé en Discovery Summit Europe 2022 y asistí a la presentación de SVEM. Esto realmente me llamó la atención y rápidamente vi las otras presentaciones a las que se hacía referencia. Este es realmente el más instructivo en términos de crear el modelo SVEM real, especialmente en lo que respecta a la creación del modelo "sin sesgo"

Sin embargo, solo tengo una pregunta: después de identificar los efectos activos usando la variable ficticia "Factor nulo", ¿no debería repetir el procedimiento SVEM usando solo los efectos verdaderos (y sin factor nulo, por supuesto )? Estoy preguntando esto porque vi que el script utilizado para la creación de las 200 fórmulas de predicción contenía todos los términos RSM para el DoE de 7 factores.

Espero haber planteado el problema de una manera clara.

Gracias

 

Re: ¿Repensar el diseño y análisis de experimentos? (2021-EU-30MP-776)

eso es genial, @ckronig . Déjanos saber si podemos ayudar.

Re: ¿Repensar el diseño y análisis de experimentos? (2021-EU-30MP-776)

Gracias @Peter_Hersh y @Phil_Kay . He sido capaz de hacer que el script funcione. Lo intentaré con mis propios datos. ¡¡Gracias de nuevo!!

Re: ¿Repensar el diseño y análisis de experimentos? (2021-EU-30MP-776)

@ckronig También adjunté el ejemplo de DSD de 13 ejecuciones como la tabla original con la respuesta "verdadera" simulada y como una configuración de tabla para la validación automática. El segundo de estos contiene scripts para recorrer en bucle el rediseño de los pesos y luego guardar la columna de la fórmula de predicción del modelo recalculado. Sólo un Pete descrito. Creo que debería poder entender esto, pero avísenos si no entiende algo.

 

Hay un paso final. Cuando promedie todos los modelos para obtener el modelo de conjunto, debería encontrar que existe un sesgo significativo entre lo previsto y lo real. Puede ser difícil explicar por qué está aquí, pero se debe a que los parámetros para cada efecto "verdadero" se reducen a cero desde todas las instancias del modelo en las que se pusieron a cero (no en el modelo). Creo que esto es particularmente extremo en este caso porque todos los efectos "activos" son ortogonales en el DSD.

 

Puede arreglar esto simplemente ajustando un modelo en Ajustar modelo con el modelo de conjunto como el efecto y la respuesta como Y. A continuación, puede guardar esta fórmula de predicción del modelo "sin sesgo" como su modelo final.   

Re: ¿Repensar el diseño y análisis de experimentos? (2021-EU-30MP-776)

@ckronig Debo haber repasado esa parte rápidamente.La clave es hacer un modelo y luego guardar esa fórmula de predicción.Luego, haga que JMP vuelva a calcular la fórmula de peso (puede hacerlo debajo del triángulo rojo en el menú de la tabla, vuelva a ejecutar fórmulas). Vuelva a ejecutar el modelo nuevamente con la nueva columna de ponderación, luego guarde esa fórmula de predicción y repita.Escribí un bucle para que esto se repita 100 veces y luego tomé el promedio de esos modelos.No necesita un complemento para hacer esto.Estoy lejos de ser un scripter experto y fue bastante simple de configurar.Incluiré mi tabla de datos y script en la publicación.

Re: ¿Repensar el diseño y análisis de experimentos? (2021-EU-30MP-776)

Hola @Phil_Kay y @Peter_Hersh

si muy buena presentacion Me gustaría ver el conjunto de datos también.

Estoy particularmente interesado en cómo generó todos los modelos para promediar, ya que eso no se cubrió en su presentación.

He usado esta autovalidación antes para identificar los parámetros activos usando simulación y luego usé estos parámetros para construir un modelo. Pero lo que presentó va un paso más allá al generar muchos modelos y promediarlos. ¿Esa parte se hizo usando el complemento SVEM?

 

 

Re: ¿Repensar el diseño y análisis de experimentos? (2021-EU-30MP-776)

Gracias.@russ_wolfinger .

Sin duda, sería interesante intentar promediar modelos a partir de k-pliegues repetidos. Como dices, el poder está en el conjunto.

Publicaré el conjunto de datos de ejemplo de 13 ejecuciones pronto para que pueda explorar esto.

Si bien el método claramente aborda el análisis, creemos que esto podría (y enfatizaría "podría") tener implicaciones importantes para el diseño de experimentos. No tuvimos tiempo de ampliar adecuadamente esta línea de pensamiento en la presentación, así que aquí va...

Diseñamos experimentos con el análisis en mente. Como dijimos al comienzo de nuestra presentación, hay suposiciones como la escasez de efectos y la herencia de efectos que debemos aceptar para construir un modelo útil utilizando métodos de análisis estándar a partir de un experimento de tamaño razonable. Existe evidencia empírica de que estos supuestos se cumplen en muchos casos. Pero no siempre se sostienen y creo que los científicos e ingenieros se sienten incómodos con estas ideas. Cuando estaba diseñando y ejecutando experimentos en el laboratorio, sé que hubiera preferido no tener que preocuparme por estas cosas.

Parece que la autovalidación/SVEM podría ofrecer una alternativa. Por lo tanto, podríamos diseñar experimentos sin las mismas restricciones de los supuestos estándar. Eso sería un gran cambio en lo que respecta al diseño de experimentos.

Me gustaría volver a hacer hincapié en que todo esto sigue siendo especulativo. Parece prometedor a partir de mis exploraciones limitadas, pero esperaría los resultados publicados de estudios de simulación rigurosos.

Estoy absolutamente de acuerdo en que es muy divertido explorar estas ideas. Y JMP Pro significa que no necesita ser un estadístico o un codificador experto para probarlo.

Re: ¿Repensar el diseño y análisis de experimentos? (2021-EU-30MP-776)

¡Gracias Phil y Pete por una buena presentación!   

 

Mi interpretación actual de SVEM / ponderación fraccional / autovalidación es como una versión suavizada de validación cruzada repetida de k-fold.Dando la vuelta a esto, uno podría imaginar una discretización de los pesos fraccionarios en 0s o 1s como una forma de k-fold repetido.El poder en ambos tipos de validación está en el conjunto.Aquí hay una conjetura: un enfoque de conjunto repetido de 5 veces también funcionaría bien en el diseño pequeño de 13 carreras utilizando algo como un lazo o un árbol poco profundo como modelo base.¿Estaría dispuesto a publicar su proyecto JMP aquí para que yo y otros podamos probar algunas cosas?

 

Un posible punto de controversia es que considero que este método solo se ocupa principalmente del análisis y no tanto directamente del DOE, aunque ciertamente saber cómo uno planea analizar un experimento puede influir en las opciones de diseño, por ejemplo, seleccionar el Bayesiano I-óptimo sobre otros criterios.

 

En cualquier caso, los resultados prometedores y las investigaciones en este sentido son muy divertidos y muestran las características excelentes y en constante mejora de JMP Pro.

Re: ¿Repensar el diseño y análisis de experimentos? (2021-EU-30MP-776)

Si quieres aprender más sobre la técnica, esta es una gran charla de seguimiento.SVEM: Un cambio de paradigma en el diseño y análisis de experimentos (2021-EU-45MP-779)