Análisis Svem DOE con ejecuciones replicadasEn el último foro de discusión del DOE se discutió el análisis Svem para un DOE con ejecuciones replicadas. Se sugirió promediar el resultado de las ejecuciones replicadas. ¿Qué sucede si hay una variación significativa entre las réplicas? ¿No sería mejor ejecutar Svem con una "variable de ejecución replicada" adicional para estimar la variación dentro de las réplicas? Si la variación dentro de las réplicas es importante, Svem lo detectará; en un próximo análisis de modelo mixto, la variable replicada se puede asignar como aleatoria y separarla de los efectos fijos que Svem asignó como importantes.
Diseño de experimentosRe: Análisis de Svem DOE con ejecuciones replicadasLamento no haber asistido a la reunión del club del DOE y no estar familiarizado con el análisis SVEM (descargué el archivo y lo revisaré). El análisis de experimentos es una elección personal. Hay muchas formas de hacerlo. Antes de comentar, quiero asegurarme de que te refieres a replicar y no a repetir. Es decir, las réplicas se consideran ejecuciones independientes de la combinación de tratamientos idéntica, y cada ejecución tiene una unidad experimental independiente como resultado.
Aquí están mis comentarios desinformados:
1. Cuando se resumen los datos, invariablemente se descarta información. Si se va a hacer un promedio, también se debe considerar la variación de los datos promediados como respuesta. En mi humilde opinión, se descarta información (y DF) si se hace un promedio de las réplicas. Ahora bien, si se hacen repeticiones, es una gran idea y también se debe considerar la respuesta de la variación al modelo.
2. Si se trata de réplicas, parece que lo que se desea es comprender qué cambia entre réplicas. Si se puede identificar y asignar qué factores (ruido) cambian entre réplicas, se puede aprender mucho sobre la solidez de los efectos de los factores. Esta puede ser una excelente estrategia para aumentar simultáneamente el espacio de inferencia y la precisión del diseño.
"Bloquea lo que puedas, aleatoriza lo que no puedas". Cuadro GEP
Confunda lo que puede identificar y asignar al bloque. Para los factores que no ha logrado identificar, la aleatorización es la estrategia.
Re: Análisis de Svem DOE con ejecuciones replicadasHola @frankderuyck ,
El análisis SVEM funciona muy bien en dos situaciones:
- Para construir un modelo predictivo con datos muy limitados, apilando los diferentes modelos individuales que han sido entrenados y validados con datos ligeramente diferentes (diferentes pesos para el entrenamiento y la validación).
- Evaluar la importancia práctica y aumentar la precisión de las estimaciones de efectos para experimentos individuales únicos (sin réplicas) mediante aprendizaje automático, gracias al apilamiento de modelos.
Independientemente de la situación, es importante recordar en qué contexto se introdujo la técnica SVEM: para proporcionar una técnica/marco de validación en presencia de un pequeño conjunto de datos sin ninguna otra técnica de validación posible.
Charlas y presentaciones: ¿Cómo repensar el diseño y el análisis de experimentos? (2021-EU-30MP-776) - Comunidad de usuarios de JMP
SVEM: un cambio de paradigma en el diseño y análisis de experimentos (2021-EU-45MP-779) - Comunidad de usuarios de JMP
Entonces, solo conceptualmente, tengo sentimientos encontrados sobre la idea de combinar SVEM y réplicas, ya que esto parece la fusión de dos metodologías diferentes de construcción de modelos que se basan en diferentes conceptos, objetivos y metodologías de validación: detección basada en significancia estadística y estimación de error/ruido para diseños que involucran réplicas y modelado estadístico versus modelado predictivo basado en precisión predictiva y bootstrap/apilamiento de modelos.
En presencia de réplicas, temo que se produzcan fugas de datos al utilizar SVEM para la construcción de modelos: como cada experimento tendrá pesos de entrenamiento y validación aleatorios (y de forma anticorrelacionada), las ejecuciones de réplicas podrían tener un énfasis diferente en el entrenamiento y la validación, ¡incluso si representan el mismo tratamiento! Por lo tanto, la construcción del modelo puede estar ligeramente sesgada (ya que tiene información sobre los conjuntos de entrenamiento y validación a través de réplicas con diferentes pesos), y puede resultar en un "exceso de confianza" y una gran disminución de la desviación estándar para las estimaciones de los términos:
Al aumentar la variabilidad entre réplicas en el mismo ejemplo (conjunto de datos JMP personalizado de Reactor 20 con ejecuciones de réplicas agregadas de hasta 30 ejecuciones frente al conjunto de datos personalizado de Reactor 20 original), puede ver que las dos situaciones de uso de SVEM en el diseño con réplicas y uso de SVEM sin réplicas son bastante similares en términos de estimaciones y errores estándar:
Entonces, nuevamente, no veo cuál podría ser el beneficio de fusionar estas dos técnicas, ya que estás fusionando dos técnicas de validación (muy) diferentes, y no es para eso que se creó SVEM.
También soy escéptico sobre el uso de SVEM para estimar la variación dentro de las réplicas, ya que puede tener esta información si tiene réplicas con un análisis estándar, y el uso de SVEM podría disminuir la estimación de la desviación estándar, como el bootstrapping: vea la excelente visualización interactiva para el bootstrapping: Ver la teoría: inferencia frecuentista
Para otros interesados en esta discusión, aquí están las grabaciones del DoE Club Q4: Grabaciones DOE Club Q4 2024
Espero que la respuesta tenga sentido y me interesen los aportes de otros miembros.
Re: Análisis de Svem DOE con ejecuciones replicadasHola Víctor, cuando la variación entre réplicas es baja, no se puede esperar mucha influencia al aumentar el número de réplicas. Pero, ¿qué pasa si hay una variabilidad bastante alta entre las réplicas y no es interesante introducir un factor de bloqueo para cada réplica e incluir este efecto de bloqueo en Svem?
Re: Análisis de Svem DOE con ejecuciones replicadasHola Frank,
Todavía creo que esto puede no ser una buena idea, ya que el método SVEM parece ser "agnóstico al diseño", por lo que no tendrá en cuenta ninguna agrupación, estructura de bloqueo o presencia de réplicas, lo que posiblemente resulte en "exceso de confianza"/fuga de datos/disminución de la desviación estándar en la estimación del término del efecto de bloqueo.
Además, como es un tipo específico de bootstrapping, puede resultar en una disminución de la estimación de la desviación estándar, como se muestra anteriormente con la visualización interactiva.
EDITAR: Más información sobre SVEM:
Descripción general de los modelos de conjunto autovalidados
Lemkus, T., Gotwalt, C., Ramsey, P. y Weese, M. (2021). “Modelos de conjunto autovalidados para el diseño de experimentos”.Quimiometría y sistemas inteligentes de laboratorio219:104439.
Re: Análisis de Svem DOE con ejecuciones replicadasEstoy de acuerdo en que si la variación entre réplicas no es demasiado alta, se pueden utilizar los resultados promedio para el modelado. Esto es diferente cuando hay una variación significativa entre réplicas; encuentre en el archivo adjunto un estudio con variación significativa entre réplicas debido al ruido del proceso. El modelo mixto con réplica como efecto aleatorio y SVEM con factor de réplica muestran resultados similares. Sin embargo, cuando se promedian los resultados de las réplicas, los modelos AICC y SVEM generalizados también son similares y mucho mejores, pero los resultados son diferentes de los de los modelos mixto y SVEM + réplica: en los últimos 2 análisis que utilizan el promedio de réplicas, ¡hay más efectos significativos! Este caso muestra que uno debe tener cuidado al promediar réplicas con variación significativa; además, el SVEM + réplica capta bastante bien el efecto de la réplica aleatoria.
Re: Análisis de Svem DOE con ejecuciones replicadasA continuación se muestran capturas de pantalla del análisis
1. Modelo mixto y SVEM + efecto replicado
2. Resultados replicados promediados: selección anticipada generalizada AICC y SVEM
Re: Análisis de Svem DOE con ejecuciones replicadasInteresante estudio de caso, gracias por compartir @frankderuyck .
Al comparar las estimaciones de los términos y sus desviaciones estándar, podemos ver que, efectivamente, el uso de SVEM con réplicas tiene una influencia en las desviaciones estándar. En mi ejemplo con una variabilidad media de las réplicas, SVEM ha reducido significativamente las desviaciones estándar asociadas con la estimación de los términos, ya que la fuga de datos en los pesos de entrenamiento y validación trajo información sobre las estimaciones de los términos durante la construcción del modelo.
En su caso, como la variabilidad entre réplicas es muy alta, la fuga de datos no aporta información entre el entrenamiento y la validación del modelo (de hecho, el modelo puede "perderse" aún más debido a esta gran variabilidad de réplicas), por lo que tendrá desviaciones estándar para las estimaciones de términos más altas que para otros métodos. El uso de SVEM con valores promedio o un modelo REML aporta información muy similar, y la regresión generalizada hacia adelante sobre valores promedio puede proporcionar estimaciones de desviaciones estándar demasiado optimistas:
Por lo tanto, creo que un consejo general podría ser no utilizar SVEM en datos brutos que involucren réplicas (debido al ajuste de modelo sesgado que esto crearía con la fuga de datos). Utilice SVEM con valores promedio para el tratamiento (pero perderá información sobre la variabilidad de los tratamientos internos) o utilice otros métodos para datos brutos con réplicas (enfoques REML/Fit Model).
Me interesa conocer los puntos de vista de @philramsey , @chris_gotwalt1 y cualquier otro miembro curioso de la comunidad.
Re: Análisis de Svem DOE con ejecuciones replicadasPropondría un enfoque de dos pasos: (1) utilizar SVEM + factor de réplica para filtrar los efectos más fuertes y (2) utilizar este último para construir un modelo mixto con la réplica como aleatoria.
Re: Análisis de Svem DOE con ejecuciones replicadasCuando el peso del efecto replicado en SVEM es bajo, se puede utilizar el género g/OLS regular con promedios replicados.
