Resultados "sorprendentes" en un diseño DSD.Como parte de una tesis de maestría, se realizó un diseño de cribado definitivo con seis variables continuas. Generamos un diseño estándar en JMP con 17 ensayos (+3 ensayos adicionales al nivel cero).
Los resultados me sorprendieron, ya que un número considerable de efectos de interacción y cuadráticos resultaron altamente significativos. Inicialmente sospechaba de sobreajuste, pero no encontré indicios que lo confirmaran. Obtuvimos un excelente R cuadrado (como era de esperar), sin valores elevados de VIF, una prueba de Durbin-Watson sin particularidades, etc. Además, se alcanzó un valor PRESS de 0,044.
Estos resultados se mantienen o son muy similares incluso cuando se desactiva la herencia estricta en el análisis DSD. En ese caso, aparecen 2 o 3 efectos de interacción o cuadráticos adicionales, que nuevamente resultan altamente significativos.
Según todo lo que sé, actualmente no veo motivo para dudar de la validez de los resultados. ¿O se me escapa algo?
Diseño de experimentosRe: Resultados "sorprendentes" en un diseño DSDPara un diseño de 6 factores, este es un diseño relativamente "grande" y, dado que solo hay 27 efectos estimables en una superficie de respuesta con 6 factores, existe una buena probabilidad de estimar muchos de esos efectos. Al observar las ejecuciones del punto central, estas varían de 3,915 a 4,018, lo que resulta en una desviación estándar residual de aproximadamente 0,02. Por lo tanto, cualquier efecto que sea mucho mayor que 0,2 tendrá una buena probabilidad de ser significativo. Al observar los puntos de inflexión, veo diferencias de aproximadamente 0,6.
Sí, es totalmente posible. Compartir la tabla de datos real ayudaría a investigar esto más a fondo.
Re: Resultados "sorprendentes" en un diseño DSDEn esencia, no hay forma de responder, ya que se carece de información suficiente sobre el experimento en sí. ¿Se trata de un experimento físico real (o una simulación)? ¿Se cuantificó el error de medición a priori? ¿Cómo se estimó el error cuadrático medio (ECM)? ¿Tuvo el cambio en la respuesta alguna utilidad práctica? La significación estadística es una afirmación condicional. No tiene sentido a menos que la estimación del ECM sea una estimación razonable de la realidad (y se comprenda qué constituye dicha estimación).
Re: Resultados "sorprendentes" en un diseño DSDHola @NominalGemsbok3 ,
Es posible que tenga propuestas y comentarios complementarios con respecto a los resultados que usted ha obtenido.
- En la práctica, existen mejores métricas para evaluar posibles escenarios de sobreajuste: usar el R cuadrado ajustado y minimizar la diferencia entre R cuadrado y R cuadrado ajustado (R cuadrado tiende a aumentar con el número de términos en el modelo, mientras que R cuadrado ajustado considera la complejidad/número de términos en el modelo y penaliza los modelos demasiado complejos), criterio de información (como AICc y BIC ) que ayuda a comparar el equilibrio entre precisión y complejidad de diferentes modelos. Los valores PRENSA (R cuadrado y RMSE) también son buenos indicadores del rendimiento del modelo, ya que se basan en la validación cruzada Leave-One-Out, por lo que se puede obtener una idea del rendimiento del modelo para puntos no utilizados en el entrenamiento. Todas estas métricas ayudan a la selección del modelo y evitan caer en la trampa del "culto a la significación estadística".
- Además, la significación estadística difiere de la importancia práctica de los efectos: si se tiene una relación señal/ruido muy alta, es posible detectar efectos estadísticamente significativos con mayor facilidad, incluso si carecen de importancia práctica. Utilice el conocimiento del dominio para filtrar los efectos relevantes e importantes y guiar el proceso de selección del modelo.
- En cuanto al número de efectos activos, lo que resulta tranquilizador es observar que:
- El diseño y el enfoque de modelado se han elegido correctamente para el número de términos activos detectados. Según la ayuda de JMP sobre Fit Definitive Screening : " Un DSD de tamaño de ejecución mínimo es capaz de identificar correctamente los términos activos con alta probabilidad si el número de efectos activos es inferior a aproximadamente la mitad del número de ejecuciones y si el tamaño de los efectos supera el doble de la desviación estándar ". Con 9 términos activos detectados de 17 ejecuciones originales (+3 puntos centrales añadidos) y un RMSE relativamente bajo, parece que te encuentras en una buena situación, como ya se ha mencionado.
- Respetan el principio de jerarquía de efectos : cuanto mayor sea el orden del efecto, menor será la probabilidad de que explique la variación en la respuesta. En su caso, se detectan 5/6 (83%) de los efectos principales como significativos, así como 3/15 (20%) de las interacciones de dos factores y 1/6 (16,7%) de los efectos cuadráticos. La proporción de efectos activos puede parecer alta, pero tiende a seguir la misma regularidad entre el orden de los efectos que en el artículo de Xiang Li, Nandan Sudarsanam y Daniel D. Frey (marzo de 2006) "Regularities in Data from Factorial Experiments" https://doi.org/10.1002/cplx.20123
Parece que tus resultados son el resultado de una cuidadosa selección de predictores potencialmente relevantes, un bajo nivel de ruido en la experimentación y la medición de la respuesta, y una elección de diseño y un enfoque de modelado adecuados. ¡Enhorabuena!
Espero que esta respuesta te ayude a confiar en estos resultados positivos.
Re: Resultados "sorprendentes" en un diseño DSDSe trata de un experimento físico real y concreto. El error cuadrático medio (ECM) se estimó a partir de los residuos de un modelo lineal. Para validar esta estimación, se obtuvo el error puro a partir de puntos centrales replicados (varianza ≈ 0,002). Una prueba de falta de ajuste no indicó una insuficiencia significativa del modelo (p = 0,79), ya que el cuadrado medio de la falta de ajuste fue menor que el del error puro. Por lo tanto, el ECM puede considerarse una estimación adecuada de la varianza del error.
Re: Resultados "sorprendentes" en un diseño DSDMuchas gracias por esta respuesta tan alentadora y detallada.
Re: Resultados "sorprendentes" en un diseño DSDGracias por tu respuesta. ¿A qué te refieres con la "tabla de datos real"?
Re: Resultados "sorprendentes" en un diseño DSD¿Es posible enviar un archivo JMP codificado? Me gustaría probar algunos modelos de GENREG.
Re: Resultados "sorprendentes" en un diseño DSDHola,
Aquí hay un archivo JMP codificado.
Re: Resultados "sorprendentes" en un diseño DSDHice un análisis rápido (modelo ajustado) y mis resultados son completamente diferentes a los tuyos. Tres efectos principales son los más significativos. Agregué el modelo ajustado a tu tabla de datos (Tabla 1).
Re: Resultados "sorprendentes" en un diseño DSD¿Podría ser que la diferencia se deba a que se trata de un Diseño de Cribado Definitivo (DSD, por sus siglas en inglés), y yo utilicé la función DoE → Definitive Screening → Fit Definitive Screening en JMP para el análisis, mientras que usted no? Creo que los DSD deberían analizarse utilizando el método apropiado.
Re: Resultados "sorprendentes" en un diseño DSDTenga en cuenta que en un DSD muchos efectos de interacción están correlacionados (con un alto grado de aliasing) R > 0,7 (véase más abajo, en los campos rosas y en la sección "Evaluación del diseño - Mapa de colores sobre correlaciones" de la tabla adjunta). Cuando tenga 5 factores activos, deberá ampliar el DSD y añadir ejecuciones adicionales para corregir el aliasing de los efectos de interacción.
Re: Resultados "sorprendentes" en un diseño DSDSi ejecutas el diseño de selección definitivo y eliges "Crear modelo", ¿qué obtienes? Te das cuenta de que la significancia del valor p se basa en el punto central replicado.
Re: Resultados "sorprendentes" en un diseño DSDEn el resultado de DSD se pueden encontrar 5 efectos puros significativos y también un par de posibles efectos de interacción significativos pero correlacionados que necesitan ser corregidos mediante la adición de ejecuciones adicionales.
Re: Resultados "sorprendentes" en un diseño DSDEn la tabla adjunta, el análisis DSD utilizando la plataforma DSD ajustada detecta dos efectos de interacción correlacionados significativos: (1) factor1 * factor3 correlacionado con factor2*factor5 y (2) factor4*factor5 correlacionado con factor1*factor2.
Como se puede observar en los campos rosas del mapa de colores de correlación, también hay aliasing con los efectos de interacción de segundo orden del factor 6; sin embargo, como el factor 6 no es un efecto activo, no tuve en cuenta sus interacciones; se puede construir un modelo muy bueno con iteraciones de los 5 efectos principales significativos.
Re: Resultados "sorprendentes" en un diseño DSDHola @frankderuyck y @NominalGemsbok3 ,
No existe un modelo óptimo definitivo, por múltiples razones: elección de la métrica de rendimiento, umbral (para el valor p, por ejemplo), método de estimación, etc. Además, en un diseño de superficie de respuesta (DSD) no hay suficientes tratamientos únicos (grados de libertad) para estimar todos los efectos, por lo que es fácil terminar con modelos diferentes pero competitivos con buen rendimiento. Un DSD podría considerarse un tipo de diseño sobresaturado para un modelo de superficie de respuesta.
Como mencionó @frankderuyck , debido a la presencia de alias/correlaciones parciales entre los efectos de interacción, y también entre los efectos cuadráticos debido a la estructura del diseño, no se puede tener una certeza absoluta sobre el impacto "real" de los efectos de interacción y los efectos cuadráticos sobre la variable objetivo que se detecta (mediante cualquier método de modelado), a menos que se añadan ejecuciones para mejorar el modelo. Sin embargo, se puede tener mayor confianza en los efectos principales, ya que la estructura del diseño evita cualquier correlación entre los efectos principales y entre los efectos principales y los efectos de orden superior, por lo que se pueden estimar sin sesgo alguno.
" Todos los modelos son erróneos, pero algunos son útiles ."
Intenté crear una visualización específica llamada diagrama ráster (ver Diagramas ráster u otras herramientas de visualización para ayudar a la evaluación y selección de modelos para DoE para ver cómo se ha creado) en este ejemplo para mostrar esta multiplicidad de modelos debido a la explosión combinatoria de posibles términos incluidos en el modelo (además del intercepto, hay 27 posibles términos de efecto: 6 efectos principales, 15 interacciones de dos factores y 6 efectos cuadráticos para elegir), utilizando la plataforma Stepwise y la opción "Todos los modelos posibles" (hasta 10 términos en el modelo con fuerte supuesto de herencia). Aquí está el resultado de los modelos, ordenados por valor de R cuadrado, que muestra qué términos (en columnas) se incluyen para cada modelo (cada fila):
Prefiero utilizar un criterio de información para comparar varios modelos, como el AICc (cuanto menor sea el valor, mejor), ya que penaliza el uso de demasiados términos y permite una mejor comparación para modelos con diferentes niveles de complejidad:
Como puede verse, la mayoría de los modelos coinciden en la presencia de los efectos principales de los primeros 5 factores. Para el factor 6, los resultados son diferentes y no hay un patrón obvio de presencia de este efecto principal. Para las interacciones y los efectos cuadráticos, también es difícil ver patrones fuertes, excepto que algunos efectos de orden superior no parecen estar incluidos la mayor parte del tiempo: interacciones factor 1 x factor 6, factor 2 x factor 4, factor 3 x factor 5, factor 3 x factor 6, factor 4 x factor 6 y factor 5 x factor 6. Para el efecto cuadrático, el factor 6 x factor 6 está ausente la mayor parte del tiempo en los modelos. Si ampliamos un poco los mejores modelos según el valor R cuadrado, hay algunas observaciones interesantes sobre los efectos de orden superior:
Las interacciones Factor 1 x Factor 3, Factor 4 x Factor 5 suelen elegirse con frecuencia en los modelos. Además, los efectos cuadráticos para los factores 2 y 4 también se seleccionan a menudo. Estos resultados tienden a coincidir con los obtenidos en la plataforma Fit Definitive Screening, donde se detectaron los mismos efectos principales y efectos de orden superior.
Al limitar la comparación a tres métodos de estimación diferentes, también se puede observar esta situación de combinación de modelos y términos diferentes y equivalentes. Por ejemplo, con los métodos de estimación Fit Definitive Screening, GenReg Normal Pruned Forward y GenReg Two Stage Forward, podemos comparar tanto el rendimiento de los modelos como los términos incluidos:
- Rendimiento: aquí con R cuadrado y R cuadrado ajustado con fines explicativos (cuánto explica el modelo la variabilidad en la respuesta):
Podemos observar que los dos primeros métodos muestran un rendimiento similar.
- Términos en los modelos:
Aunque los dos primeros métodos de estimación proporcionan modelos con métodos similares, los términos incluidos para el efecto de orden superior son diferentes. Solo coinciden en la inclusión del efecto de interacción Factor 1 x Factor 3.
Por lo tanto, un seguimiento razonable sería consultar con expertos en la materia para determinar qué modelo(s) son los más adecuados y utilizar la plataforma Diseños de aumento para confirmar o precisar el modelo más relevante. Por ejemplo, puede ampliarla y especificar el modelo para el que desea estimar los términos.
Adjunto la tabla con todos los scripts utilizados en mi respuesta.
Espero que esta respuesta te ayude.
Re: Resultados "sorprendentes" en un diseño DSDUn DSD sigue siendo un diseño de cribado apropiado para descartar efectos fuertes, en particular efectos principales, de un conjunto más amplio de factores potenciales; también dará una indicación de posibles efectos cuadráticos e interacciones. Tenga en cuenta que estos últimos están correlacionados (!) cfr. Mapa de colores sobre correlaciones. Si obtiene tres o menos efectos activos, el DSD producirá un RSM. ¡Pero! si > 3 efectos significativos, deberá aumentar el DSD para determinar la interacción pura y los efectos cuadráticos. Por lo tanto, si después de una lluvia de ideas con expertos, probablemente haya efectos de interacción, siempre empiezo con un número mínimo o bajo de DSD suficiente para detectar efectos fuertes y hay suficientes ejecuciones disponibles en el presupuesto para el aumento y el dealiasing. Además, no dedicaría demasiado esfuerzo a la replicación del punto central.
Re: Resultados "sorprendentes" en un diseño DSDExtraoficialmente: ¿Es extraño que los 5 efectos activos no aparezcan en el gráfico de la mitad normal, sino solo tres?
Re: Resultados "sorprendentes" en un diseño DSDHay que tener cuidado al evaluar los gráficos de distribución normal/seminormal (véase Daniel). No siempre se puede usar el PSE de Lenth. Si se observan los datos, parece haber más de una distribución de errores. Fíjese en los 6 valores inferiores, luego en el punto de inflexión, después en 2, luego en otro punto de inflexión y finalmente en 5. Esto indica un cambio en el ruido durante el experimento. Podría considerarse evidencia de una causa especial durante el experimento. Observe el diagrama de Pareto que coincide con este gráfico de distribución seminormal. Verá con mayor facilidad la agrupación de las estimaciones.
Como nota al margen... replicar los puntos centrales puede ser una excelente manera de estimar el MSE. Los CP se pueden usar para probar la suposición lineal de manera bastante eficiente, aunque no sea específica. Si se ejecutan suficientes de ellos aleatoriamente (~8) a lo largo del experimento, también pueden evaluar la estabilidad a lo largo del experimento. Grafique el MR en orden de ejecución. Además, si son, por ejemplo, condiciones actuales, permiten establecer niveles más audaces a ambos lados de la corriente para obtener una mejor comprensión direccional. El único problema es que los factores deben ser continuos.
Re: Resultados "sorprendentes" en un diseño DSDInteresante, ¿cómo se puede utilizar entonces este gráfico para detectar mejor los efectos activos?
Re: Resultados "sorprendentes" en un diseño DSDLee a Cuthbert Daniel, el inventor del método.
Daniel, Cuthbert (1976) Aplicaciones de la estadística a los experimentos industriales, Wiley (ISBN 0-471-19469-7)
Re: Resultados "sorprendentes" en un diseño DSDBien, los patrones alrededor de la línea son indicativos de causas especiales, en este caso algunos efectos moderados fuertes que deben tenerse en cuenta.
Re: Resultados "sorprendentes" en un diseño DSD¿Ya leíste su libro? Déjame ayudarte... Sí, los efectos del modelo que están fuera de la distribución de errores aleatorios (que deberían tener una distribución normal con una media de 0) son asignables (son diferentes de los efectos que probablemente forman parte de la distribución de errores, por lo tanto no asignables). Pero esa no es necesariamente la línea trazada por el algoritmo de Lenth. Daniel no tenía el algoritmo de Length representado en sus gráficos normales. Interpretó los gráficos y usó su interpretación de dónde creía que se representaba la distribución de errores en el gráfico (yo uso la prueba del lápiz grueso). Menciona la observación de una curva en "S" en el gráfico normal, lo que sugiere que algo más que los efectos del modelo estaba afectando el experimento. La causa especial está en el ruido, no es un resultado del efecto del modelo. Esto, a su vez, inflaría el MSE en el ANOVA.
Re: Resultados "sorprendentes" en un diseño DSDJunto con el criterio del "lápiz grueso" de @statman , piense en los cambios en la dirección vertical como un cambio en la respuesta media y un cambio en la pendiente de la línea que pasa por el grupo de estimaciones como una diferencia en la desviación estándar.
Re: Resultados "sorprendentes" en un diseño DSD¿Podemos concluir que el gráfico de media normalidad puede utilizarse como primera prueba para detectar efectos muy fuertes? Cuando no se observan distribuciones aleatorias ni patrones alrededor de la línea continua, ¿hay indicios de efectos moderadamente fuertes?
Re: Resultados "sorprendentes" en un diseño DSDSí, la fuerza es relativa a los demás efectos del modelo. Por cierto, siempre recomiendo hacer estos gráficos con un modelo saturado.
Cabe destacar también que, si los signos de los parámetros de los factores son significativos (es decir, factores continuos), se pueden usar gráficos normales y aprovechar el vector direccional. Un artículo para leer si no se tiene acceso a su excelente libro:
Daniel, Cuthbert (1959) "Uso de gráficos seminormales en la interpretación de experimentos factoriales de dos niveles", Technometrics, vol. 1, n.° 4, noviembre
Re: Resultados "sorprendentes" en un diseño DSDEn respuesta a la última contestación de @statman , la plataforma Screening (una antigua) implementa sus recomendaciones. Puedes verla aquí:
Names Default to Here( 1 );
dt = Open( "$SAMPLE_DATA/Design Experiment/2x3x4 Factorial.jmp" );
dt << Screening( Y( :Y ), X( :X1, :X2, :X3 ) );
Re: Resultados "sorprendentes" en un diseño DSDUn caso muy interesante y un debate estupendo, ¡gracias por compartirlo!
Re: Resultados "sorprendentes" en un diseño DSDParece que con la plataforma de selección de dos niveles no lograremos el mejor resultado de AICc = -30 Fit Definitive Screenin mencionado anteriormente.
El año pasado publiqué un caso de DSD de 7 factores https://community.jmp.com/t5/Discussions/Setting-Stage-1-P-value-in-Analyis-of-DSD-at-a-high-level-to/mp/837310#M101378 donde fue lo contrario: rápidamente obtuve un buen modelo de 5 factores activos con un análisis de dos niveles y usando Fit DSD tuve que aumentar el valor P de la etapa 1 a 0,4 para detectar los 5 factores activos, interesante.
Re: Resultados "sorprendentes" en un diseño DSDPara la detección de efectos principales activos y la indicación de posibles interacciones y términos cuadráticos, recomiendo usar la plataforma Fit DSD. Sin embargo, tenga en cuenta que el valor p de la Etapa 1 actúa como filtro (!) si se establece demasiado bajo, puede bloquear la entrada de posibles efectos activos al modelo. Inicie Fit DSD con un valor p de la Etapa 1 de 0,2 a 0,4 (un valor mayor podría provocar sobreajuste).
