Establecer el valor P de la Etapa 1 en el análisis de DSD en un nivel alto para detectar efectos activosTengo una pregunta sobre la configuración del valor P de la Etapa 1 para el análisis de un DSD de 7 factores en archivos adjuntos.
Necesito establecer el valor P de la etapa 1 en 0,4 para detectar los 5 factores activos, mientras que la configuración predeterminada es 0,05; ¿hay alguna explicación?
¿El valor predeterminado de 0,05 para la etapa 1 de P no es demasiado bajo? ¿Cómo se configura la etapa 1 de P? ¿Existe alguna regla general?
Diseño de experimentosRe: Establecer el valor P de la etapa 1 en el análisis de DSD en un nivel alto para detectar efectos activosHola @Frankderuyck ,
Supongo que el ejemplo que muestra es para fines educativos/de capacitación, ya que la respuesta se basa en una fórmula.
Un buen recordatorio de JMP Help para responder a su pregunta es: " Un DSD de tamaño de ejecución mínimo es capaz de identificar correctamente los términos activos con alta probabilidad si el número de efectos activos es menor que aproximadamente la mitad del número de ejecuciones y si los tamaños de los efectos exceden el doble de la desviación estándar " (Fuente: Descripción general de la plataforma de detección definitiva de ajuste )
En su caso, tiene 7 factores y espera que 5 se detecten como "activos", por lo que es una tarea muy compleja de realizar cuando se utiliza un DSD de tamaño de ejecución mínimo con un ruido de respuesta relativamente alto.
Cuando miro la parte de "ruido"/variabilidad de su fórmula de respuesta, puedo ver que la parte uniforme aleatoria es bastante grande (de -25 a 25) en comparación con el tamaño de las estimaciones (de -20,8 a 5,2) para los factores que desea detectar en esta primera etapa. Por lo tanto, para la mayoría de los factores para los que ha especificado un tamaño de efecto para estimar, puede ser muy difícil detectarlos y estimar su tamaño de efecto, en comparación con la parte de ruido/variabilidad que ha agregado en la fórmula. También menciona 5 factores "activos", pero creo que hay una confusión: solo se considerarán "activos" si el tamaño relativo de sus estimaciones es lo suficientemente grande en comparación con el ruido/variabilidad natural de sus experimentos. No es porque haya especificado una estimación diferente de 0 que deban considerarse activos/importantes. Es una cuestión de relación señal-ruido y una diferencia entre significación estadística y significación práctica.
El nivel de significancia (umbral de valor p) a ajustar se puede estimar en función de su diseño y el ruido asumido (RMSE anticipado) en la plataforma Evaluar diseños . En esta plataforma, puede ajustar el nivel de significancia y el RMSE anticipado para evaluar la potencia (probabilidad de detectar un efecto si está activo).
Quizás no sea "exactamente riguroso", pero a modo de ejercicio, puedes comprobar si los resultados de tu análisis parecen correctos mientras trabajas en una fórmula de respuesta teórica. Al agregar una nueva columna de fórmula para observar la parte de ruido de la fórmula, puedo estimar una desviación estándar de aproximadamente 12:
Al utilizar este valor como RMSE anticipado (probablemente como una estimación baja para RMSE), fijar el nivel de significancia en 0,05 y usar las estimaciones teóricas de la fórmula como coeficientes anticipados (dejé "1" para los efectos nulos de su fórmula para ver la "línea de base" de potencia de su diseño para los efectos principales con este RMSE), coincide con los resultados de su análisis:
Solo X1 tiene un tamaño de efecto lo suficientemente grande como para ser detectado con una alta probabilidad. Los otros efectos tienen un tamaño de efecto relativamente demasiado bajo (en comparación con el RMSE anticipado de la respuesta). Si tiene un umbral de significación más alto con el mismo ruido esperado, la capacidad para detectar los efectos principales aumentará:
Se podrían utilizar varias opciones (solas o combinadas) para su ejemplo dependiendo de sus objetivos de enseñanza:
- Puede reducir la variabilidad (parte uniforme aleatoria en la respuesta de la fórmula Y) para asegurarse de poder detectar la mayoría de los efectos activos que desea detectar (y estimar).
- Puede aumentar el tamaño del diseño para permitir una detección más sencilla de los efectos activos. De la Ayuda de JMP: " Sin embargo, al aumentar un DSD de tamaño de ejecución mínimo con cuatro o más ejecuciones seleccionadas correctamente, puede identificar sustancialmente más efectos con alta probabilidad". Descripción general de la plataforma de evaluación Fit Definitive
- Puede aumentar el tamaño del efecto (tamaño de las estimaciones de los factores en la fórmula), de modo que sea más fácil detectar el efecto a pesar del alto ruido/variabilidad.
- También puede probar diferentes plataformas de análisis para detectar los efectos principales. La plataforma de detección de dos niveles Fit Two Level puede ofrecer una perspectiva diferente, por ejemplo:
- No importa lo que elijas, la plataforma Evaluar diseños (y la plataforma Comparar diseños para comparar diferentes opciones de diseños) es realmente importante para mostrar y explicar a los estudiantes, ya que permite evaluar mejor los pros y contras de cualquier diseño dependiendo de los objetivos, la complejidad del modelo, la capacidad de detectar efectos, las propiedades de aliasing, etc. También se puede utilizar para evaluar el nivel de significancia para ajustar si tienes información previa sobre el RMSE anticipado y los coeficientes anticipados.
Espero que mi respuesta te ayude a entender qué está pasando en tu ejemplo.
Re: Establecer el valor P de la etapa 1 en el análisis de DSD en un nivel alto para detectar efectos activosHola Víctor, gracias de nuevo por tu respuesta detallada. Sí, es un caso de capacitación del DOE basado en un estudio de caso piloto donde los resultados se difuminaron debido a un ruido considerable y el presupuesto del experimento se limitó a un máximo de 25 ejecuciones. Desafortunadamente, no había conocimientos previos y se requirió un enfoque pragmático. El objetivo principal de este estudio de selección es especificar los efectos principales fuertes con los que se puede aumentar el DSD para obtener un RSM. Es por eso que no incluí las 4 ejecuciones DSD adicionales y mantuve 17, ya que hay 8 ejecuciones adicionales para aumentar (4 ejecuciones adicionales podrían ser demasiado bajas).
Es interesante notar que al aumentar el umbral P a 0,4, el análisis DSD aún detecta 5 factores significativos. Solo cuando el umbral P es tan alto como 0,7, entran en juego los 2 efectos más pequeños no significativos X6 y X7 y (como en el análisis ROC) la especificidad del modelo disminuye. Aumentar el DSD de 17 ejecuciones a 24 utilizando los 5 efectos fuertes da como resultado un modelo muy bueno y útil y un logro exitoso del objetivo experimental (igualar el objetivo Y).
Me gusta mucho la plataforma de evaluación Fit two level que mencionas arriba, también elegiría la X4.
Este estudio de caso demuestra que, si se utiliza un enfoque pragmático, incluso con resultados poco fiables y limitaciones presupuestarias, el DSD sigue siendo una herramienta de detección eficaz, como indica la "S". Todavía lo utilizo mucho.
Re: Establecer el valor P de la etapa 1 en el análisis de DSD en un nivel alto para detectar efectos activos¡La selección avanzada de SVEM también hace un buen trabajo! Cfr. archivo adjunto
Re: Establecer el valor P de la etapa 1 en el análisis de DSD en un nivel alto para detectar efectos activosHola @Frankderuyck ,
Tengo sentimientos encontrados sobre el resultado y el uso (sistemático) de SVEM, particularmente en datos ruidosos.
La selección hacia delante de SVEM no "selecciona" términos en el modelo (ni los filtra gracias a un criterio estadístico y un umbral específicos), sino que intenta estimarlos con la mayor precisión posible gracias al remuestreo de puntos de datos con varios pesos anticorrelacionados de entrenamiento/validación. De forma predeterminada, todos los términos se considerarán y estimarán con SVEM.
Por lo tanto, si su objetivo es comprender y filtrar los principales efectos importantes mediante un análisis, es posible que SVEM no lo ayude más, ya que carece de un marco de decisión (criterio estadístico, métrica y umbral) para hacerlo. Sin embargo, SVEM es muy útil en una mentalidad predictiva, para la estimación precisa de términos.
Sin embargo :
- Podrías usar la columna/métrica "Porcentaje distinto de cero" como métrica estadística para refinar el modelo, pero tendrás la misma dificultad que con los valores p para definir un umbral: ¿un término debe ser >50% distinto de cero para ser incluido en el modelo y considerado "activo"? ¿O en otro nivel?
- Al visualizar los datos del modelo SVEM, probablemente pueda resaltar algunos efectos clave y seleccionarlos según su importancia práctica (por ejemplo, el valor absoluto del término debe ser > 2):
Pero, de nuevo, la definición de este umbral de "aceptación" puede implicar mucha experiencia en el dominio y reflexión para no excluir prematuramente algunos términos que podría ser interesante investigar más a fondo.
Además, si observamos el patrón de residuos, sucede algo extraño:
No confiaría en un modelo de regresión que muestre este patrón de residuos no aleatorios (sesgo). Pero esto se puede "mejorar" reduciendo la complejidad del modelo, si se ejecuta SVEM GenReg solo con efectos principales:
Parece que podría haber una curvatura en el patrón residual. Por lo tanto, obviamente en su ejemplo, las interacciones y los efectos cuadráticos de su fórmula de respuesta no se investigan aquí en este modelo simple, y eso puede explicar este patrón de curvatura.
No creo que complicar la construcción y estimación de modelos sea lo correcto, particularmente con datos ruidosos como en este ejemplo.
La calidad de su modelo siempre estará vinculada a la calidad (y precisión) de sus datos.
Re: Establecer el valor P de la etapa 1 en el análisis de DSD en un nivel alto para detectar efectos activosEstoy de acuerdo, no se puede confiar en absoluto en un modelo de regresión basado en una evaluación inicial; este no es el objetivo de la evaluación, que simplemente proporciona una dirección sobre cómo proceder en un flujo de trabajo secuencial. Todas las herramientas de análisis anteriores, el análisis DSD, el ajuste de dos niveles y el SVEM filtran los mismos 5 efectos más fuertes que se pueden utilizar para aumentar el DSD. Me gusta el enfoque secuencial; para construir una casa de conocimiento, uno debe comenzar con los bloques de construcción más sólidos para obtener un marco sólido para estudiar los otros efectos importantes más pequeños.
Re: Establecer el valor P de la Etapa 1 en el análisis de DSD en un nivel alto para detectar efectos activosEn este cribado de dos niveles se observa un efecto cuadrático fuerte y significativo; ¿es fiable? Dado que esta plataforma de cribado solo analiza dos niveles, ¿cómo puede detectar efectos cuadráticos de tres niveles?
Re: Establecer el valor P de la Etapa 1 en el análisis de DSD en un nivel alto para detectar efectos activosHola @frankderuyck ,
Puede encontrar pautas y más información en la documentación: Descripción general de la plataforma de evaluación de dos niveles Fit
También puede consultar el orden de introducción de términos/efectos en el modelo aquí: Detalles estadísticos para el orden de entrada de efectos
Esta plataforma no se recomienda para factores categóricos u ordinales de múltiples niveles, ya que se tratarán como continuos.
En el caso de los efectos cuadráticos, estos se ortogonalizan artificialmente para su incorporación al modelo, por lo que los valores p y la estimación de los efectos pueden ser imprecisos. Sin embargo, la plataforma aún puede detectar efectos cuadráticos de alto contraste para factores continuos de tres niveles.
Utilicé esta plataforma en este tema: Découverte des plans OML (Orthogonal Main Effects Screening Designs for Mixed Le... - Comunidad de usuarios de JMP y me ayudó a detectar un efecto cuadrático que no fue detectado por la plataforma Fit Definitive Screening o por dos métodos de estimación de la plataforma Fit Model (Regresión generalizada).
Por lo tanto, puede ser interesante probar la plataforma Fit Two-Levels (y seguir las pautas y recomendaciones) para comparar modelos de diferentes plataformas y comprender cuáles están de acuerdo o en desacuerdo sobre la selección de términos y cuáles son los modelos más relevantes.
Espero que esta respuesta pueda ayudarte.
