¿Son válidos los resultados de la evaluación de ajuste de dos niveles con un Plackett-Burman que puede violar el efecto de escasez?Quería diseñar un experimento para evaluar 18 factores frente a una respuesta. Ahora entiendo que hay diseños mejores y más modernos para resolver este problema, pero en ese momento utilicé un diseño de Plackett-Burman de 20 ejecuciones. Completé cada ejecución por duplicado, para 40 ejecuciones en total. Adjunto un .csv de los resultados anonimizados, donde he estandarizado los niveles de los factores (restando media y dividido por desviación estándar).
Entiendo que debido a que Plackett-Burman es un diseño saturado, no puedo intentar ajustar un modelo lineal porque el número de términos significa que es casi seguro que estará sobreajustado, por lo que debería usar una "detección de dos niveles" (aunque tal vez esto cambios porque tengo duplicados?) . Utilicé esta opción, sumando los 18 factores AR como X y la respuesta como Y. Captura de pantalla de los resultados a continuación:
Esperaba que A, M y D tuvieran un efecto especialmente, pero me sorprendería bastante que F y K tuvieran efectos significativos. Por lo tanto, pensé en comprobar aquí si estoy interpretando estos resultados correctamente. Estoy especialmente confundido con el hecho de que JMP agregue términos 'nulos' como parte de la selección de dos niveles. Esta página en la documentación se describe el fundamento:
El proceso continúa hasta norte se obtienen efectos, donde norte es el número de filas en la tabla de datos, saturando así completamente el modelo. Si no es posible una saturación completa con los factores, JMP genera efectos ortogonalizados aleatorios para absorber el resto de la variación. estan etiquetados nulo sustantivo, masculino— dónde norte es un número. Por ejemplo, esta situación ocurre si hay filas replicadas exactamente en el diseño.
Tengo filas replicadas en el diseño, pero cuando miro el gráfico de arriba me parece que los factores A y M están separados de los otros factores, y que los factores distintos de A y M solo parecen significativos debido a que los términos nulos son agregado.
¿Por qué cuestionaría estos resultados, aparte de que sería sorprendente que ciertos factores tuvieran efectos? De la documentación del JMP: "El análisis de los diseños de detección depende del principio de efecto de escasez , donde la mayor parte de la variación en la respuesta se explica por un pequeño número de efectos". Me pregunto si esto se está rompiendo aquí, si tantos factores resultan significativos.
Muchas gracias de antemano por cualquier ayuda.
Estoy usando JMP Pro 17.0.0
Diseño de experimentosventanasRe: ¿Son válidos los resultados de la detección de ajuste de dos niveles con un Plackett-Burman que puede violar el efecto de escasez?Hola @noahsprent ,
Tres principios guían la construcción y el análisis del diseño de experimentos (basado en modelos):
- Escasez de efectos : El principio de escasez de efectos en realidad se refiere a la idea de que sólo unos pocos efectos en un diseño factorial serán estadísticamente significativos. La mayor parte de la variación en la respuesta se explica por un pequeño número de efectos, por lo que es más probable que los efectos principales y las interacciones de dos factores sean las respuestas más significativas en un diseño factorial. También se le llama principio de Pareto.
- Jerarquía de efectos : El principio de jerarquía establece que cuanto mayor sea el grado de interacción, es menos probable que la interacción explique la variación en la respuesta. Por lo tanto, los efectos principales pueden explicar más variación que las interacciones de 2 factores, los 2FI explican más variación que los 3FI,... por lo que se debe dar prioridad a la estimación de efectos de orden inferior.
- Efecto herencia : De manera similar a la herencia genética, el principio de herencia del efecto postula que los términos de interacción solo pueden considerarse si los términos ordenados que preceden a la interacción son significativos. Este principio tiene dos posibles implementaciones: fuerte o débil herencia. fuerte herencia implica que un término de interacción puede incluirse en el modelo sólo si ambos efectos principales correspondientes están presentes. herencia débil implica que un término de interacción se incluye en el modelo si al menos uno de los efectos principales correspondientes está presente.
En un diseño de proyección como En el diseño de Plackett y Burman, se enfatiza mucho dos de estos principios: la escasez de efectos y la jerarquía de efectos, ya que solo se investigan los efectos principales de una gran cantidad de efectos posibles en el modelo.
Con 18 factores, puede tener en su modelo 1 intersección, 18 efectos principales, 153 posibles interacciones de 2 factores, 816 posibles interacciones de 3 factores, etc. Por lo tanto, es posible que tenga una gran cantidad de efectos que estimar y muy pocos recursos disponibles, por lo que debe centrar sus esfuerzos en los efectos más prometedores/significativos.
El diseño de Plackett & Burman es un diseño de selección que le ayuda a aprovechar los experimentos más informativos basados en los principios de efectos mencionados anteriormente.
Repitiendo el análisis que has hecho me da resultados similares con diferentes métodos (ver archivo adjunto):
Sin embargo, no agregaría en esta etapa ninguna interacción de 2 factores en el modelo como A*M, ya que este término tiene un alias con los efectos principales que ya forman parte del modelo durante la creación del diseño:
En esta etapa, consideraría usar solo efectos principales significativos en el modelo y realizaría un aumento del diseño si desea identificar interacciones de 2 factores relevantes y significativas.
Espero que esta (larga) respuesta pueda ayudarte.
Re: ¿Son válidos los resultados de la detección de ajuste de dos niveles con un Plackett-Burman que puede violar el efecto de escasez?Para aclarar una idea errónea expresada por @Victor_G , el término de interacción A*M no tiene alias con ningún efecto principal. Un alias sería idéntico a otro término del modelo. También se dice que los alias están "confundidos".
Los alias ocurren cuando dos efectos están perfectamente correlacionados. Este no es el caso aquí. Introducir alias en el mismo modelo produce una "singularidad". A*M se puede estimar junto con los demás términos. A*M está correlacionado con otros términos, pero su estimación experimentaría una varianza inflada y, por lo tanto, intervalos de confianza más largos y menor poder.
Re: ¿Son válidos los resultados de la detección de ajuste de dos niveles con un Plackett-Burman que puede violar el efecto de escasez?Vaya, es posible que haya respondido demasiado rápido sin verificar mi respuesta, gracias por notar el error. @Mark_Bailey !Re: ¿Son válidos los resultados de la detección de ajuste de dos niveles con un Plackett-Burman que puede violar el efecto de escasez?Primero, tengo una pregunta, ¿a qué te refieres con " replicar filas en el diseño"?¿Son realmente réplicas (independientes y ejecutadas aleatoriamente) o son repeticiones (múltiples puntos de datos para el mismo tratamiento adquiridos mientras la combinación de tratamientos es constante)?
Los diseños de PB están destinados a ser diseños de selección de efectos principales (esencialmente se supone que los efectos de orden superior son insignificantes).Un diseño de PB saturado tendría un efecto principal asignado para cada DF (por ejemplo, 20 PB ejecutados tendrían 19 factores).La confusión en un PB es parcial y muy compleja.No están necesariamente destinados a iteraciones secuenciales, sino a descartar factores insignificantes de manera eficiente.YMMV
El análisis de los resultados utilizando gráficos normales/medio normales (introducidos por primera vez por Daniel) fue para experimentos no replicados.Es una excelente manera de analizar diseños no replicados, ya que no existe un MSE sesgado para la significación estadística.Para que funcionen los gráficos normales, el modelo debe estar saturado (cada DF asignado). Dado que tiene lo que pueden ser réplicas aleatorias, es imposible asignar los DF, por lo que JMP asigna el valor nulo como marcadores de posición para esos DF.Podría consultar ANOVA, ya que es posible que tenga estimaciones insesgadas de MSE.
Re: ¿Son válidos los resultados de la detección de ajuste de dos niveles con un Plackett-Burman que puede violar el efecto de escasez?Estimados,
En primer lugar, muchas gracias por sus respuestas y disculpas por mi retraso en la respuesta. Quería intentar comprender mejor algunos de los conceptos que mencionaste antes de responder y luego tuve que priorizar otra tarea. Eché un vistazo a los artículos de Lenth y Daniels y luego al artículo posterior de Larntz y Whitcomb que extendió esto a diseños con alguna replicación. ¡Perdóname, mi experiencia no está en estadísticas! Según tengo entendido:
- Es útil trazar un gráfico medio normal y utilizar el método de Lenth para determinar qué factores tienen un efecto significativo en diseños saturados como PB. Esto funciona según el principio de escasez de efectos de que, debido a que solo un pequeño número de factores tienen un efecto, los que sí lo tienen serán valores atípicos en un gráfico de probabilidad. El método de Lenth hace que esta inspección visual sea más cuantitativa.
- Larntz y Whitcomb propusieron que en el caso de que haya réplicas, podemos agregar estos términos 'nulos' para tener en cuenta la información adicional que proporcionan, y eso es lo que hace JMP para saturar el modelo y trazar la normal. trama.
- Como tengo muchas más réplicas que unos pocos puntos centrales (para responder @statman Pregunta: según tengo entendido, sus definiciones serían réplicas verdaderas; Dupliqué el diseño inicial, aleatoricé el orden de ejecución y traté las 40 ejecuciones de forma independiente durante el experimento), debería tener suficiente información para analizar usando ANOVA/regresión lineal en lugar de responder en gráficos y el método de Lenth.
Así que utilicé 'Fit Model' en JMP, con solo los efectos principales incluidos, como @Victor_G señaló (creo que @Mark_Bailey Lo que dice es que el diseño quizás me permitiría investigar interacciones, pero que tendría menor poder debido a las correlaciones. Sin embargo, en este momento no estoy realmente interesado más allá de los efectos principales). Vi que los residuos en el gráfico "Residual por pronóstico" parecían ligeramente heterocedásticos (las propiedades físicas del sistema que estoy investigando respaldarían esto, esperaría que la varianza fuera una proporción de la respuesta, en lugar de una varianza constante). para todas las respuestas), así que transformé log10 la respuesta y volví a ejecutar 'Ajustar modelo', y obtuve la siguiente tabla ANOVA:
(Se adjuntan informes para ambos "Fit Model")
Esto parece concordar razonablemente con los resultados de la plataforma "Fit 2-level screening".
Como @statman Como señaló, PB es un diseño de detección y debe usarse para identificar factores que no son significativos para que puedan eliminarse en futuras interacciones. En mi caso, parece que la mayoría de mis factores tuvieron un efecto y justifican una mayor investigación, asumiendo que el tamaño del efecto tiene una importancia en el mundo real, y no sólo estadística.
¿Les parece a todos un enfoque sensato? Muchas gracias de nuevo por tu ayuda.
Los mejores deseos,
Noé
EDITAR: Debo agregar que consideré ANOVA/regresión lineal en primera instancia, pero me preocupaba el sobreajuste con la cantidad de factores que tengo y pensé que la plataforma de detección podría ser mejor para lidiar con esto. ¡No estoy seguro si fue una suposición incorrecta!
