703191_es-ES

liliconcom

eliminar términos de un modelo siguiendo un experimento diseñado

Bien, supongamos que he realizado un diseño factorial completo con cuatro factores de 2 niveles. Al ajustar el modelo, incluí todas las interacciones bidireccionales. Algunos de los principales efectos e interacciones de los factores no son significativos al 0,05. Si luego elimino los factores menos significativos (los que se encuentran al final de la tabla de resumen de efectos), algunos de los términos no significativos se vuelven significativos. Si estuviera intentando desarrollar el "mejor" modelo, me sentiría cómodo haciéndolo. Pero si estoy tratando de determinar si un factor juega un papel en la variable de respuesta, entonces no estoy seguro de que sea legítimo. ¿Existe una justificación adecuada, en el contexto del DOE, para eliminar términos insignificantes y luego describir los términos restantes como significativos?

Análisis y modelado de datos básicosDiseño de experimentosRe: eliminar términos de un modelo siguiendo un experimento diseñado

Aquí están mis pensamientos en general (un consejo específico requeriría una comprensión más profunda de la situación):

Primero, asumiré que tienes un factorial no replicado con 16 tratamientos. El modelo incluye todos los términos posibles hasta el cuarto orden.

 

Mencionas un concepto importante con respecto a la experimentación y la prueba F (o quizás cualquier prueba). La prueba de significancia típica en experimentación es comparar el MS del término del modelo con el MSe (error). Esta es la ración F o valor F. Las preguntas importantes son: ¿Cómo se estimó el término de error? ¿Qué tan representativa del error verdadero es la estimación? ¿Las comparaciones que se están haciendo son útiles y representativas?

Si elimina términos insignificantes del modelo (falta de ajuste), potencialmente está sesgando el MSe hacia abajo (SS pequeño dividido por DF). Por lo tanto, cuando se compara el MS del término del modelo con el MSe más pequeño, se obtienen valores F más grandes (y valores p más pequeños).

Una lectura rápida:

https://www.additive-net.de/images/software/minitab/downloads/SCIApr2004MSE.pdf

 

Recomiendo primero evaluar la significancia práctica de los términos del modelo usando diagramas de efectos de Pareto Y usar el método de Daniel para evaluar la significancia estadística para experimentos no replicados (gráficos normales/medio normales) y tal vez aumentados con diagramas de Bayes (Cuadro). Esto le dará significancia práctica y estadística sin sesgos.

 

Daniel, Cuthbert, "Uso de gráficos seminormales en la interpretación de experimentos factoriales de dos niveles", Tecnometria , vol. 1, n.º 4 de noviembre de 1959

 

Una vez que haya determinado los factores/interacciones que están activos en el experimento, simplifique/reduzca el modelo. El propósito de simplificar el modelo es doble:

Primero, obtener un modelo más útil para iteración y predicción.

2. obtener residuos para ayudar a evaluar la adecuación del modelo y si se violó algún supuesto.

Nota: no se vuelve a evaluar la significancia estadística para el modelo simplificado

Re: eliminar términos de un modelo siguiendo un experimento diseñado

Gracias. Su punto sobre sesgar el MSe está en el centro de mi preocupación sobre mis conclusiones sobre la importancia de los términos restantes... que probablemente tengo una tasa de error de tipo I más alta de lo que creo. Por tanto, puedo estar afirmando falsamente un efecto factorial.

 

Agregaré que fue un experimento replicado con cuatro repeticiones, ya que esperábamos una señal de ruido deficiente. ¿Eso ayuda a protegerse contra afirmaciones falsas sobre la importancia del término?

 

Los factores fueron binarios/categóricos y la respuesta fue continua.

Re: eliminar términos de un modelo siguiendo un experimento diseñado

Para agregar algunas observaciones y comentarios además de @statman respuesta.

Su tema parece muy similar a la evaluación y selección de modelos. En este proceso, la significancia estadística puede ser una métrica, pero no la única (¡siempre agregue experiencia en el dominio!).
Las métricas de estimación y evaluación complementarias del modelo, como log-verosimilitud, criterios de información (AICc, BIC) o métricas del modelo (poder explicativo mediante R2 y R2 ajustado, poder predictivo mediante MSE/RMSE/RASE, ...) ofrecen perspectivas diferentes y pueden resaltar diferentes modelos.
Luego puede seleccionar, basándose en su experiencia en el dominio y la evaluación estadística, cuál(es) es(n) el(los) más apropiado(s)/relevante(s) para su tema, y elegir estimar predicciones individuales con los diferentes modelos (para ver cómo/dónde difieren), y/ o utilizar un modelo combinado para promediar los errores de predicción.

"Todos los modelos son incorrectos, pero algunos son útiles" es una cita bastante adecuada cuando se trata de múltiples modelos posibles y se intenta evaluar y seleccionar algunos para responder una pregunta.

Espero que esta respuesta adicional pueda ayudarte.

Re: eliminar términos de un modelo siguiendo un experimento diseñado

¿Por qué 4 réplicas? ¿Qué estaba cambiando dentro y entre réplicas? ¿El RMSE parece razonable y comparable a la variación que observa en el proceso? ¿Es el proceso estable?  

Los defectos más comunes en el DOE son (parafraseado de Daniel):

1. Sobresaturación: demasiados efectos para la cantidad de tratamientos
2. Exceso de conservadurismo: demasiadas observaciones para las estimaciones deseadas
3. No estudiar los datos en busca de valores incorrectos.
4. No tener en cuenta todos los alias
5. Imprecisión por malentendido de la varianza del error.

El punto 5 es importante, especialmente si se basa en los valores p para evaluar la significancia.

 

También vale la pena considerar los consejos de Víctor sobre el uso de otras estadísticas para determinar un modelo apropiado.

Re: eliminar términos de un modelo siguiendo un experimento diseñado

El experimento fue de "código abierto" donde los equipos de participantes voluntarios realizaron cuatro ejecuciones (tratamientos asignados aleatoriamente) a partir de la matriz de diseño maestro. Bloqueé por el efecto de equipo, así como por otros factores molestos como el escenario (de los cuales había cuatro). Incluso sin estos factores molestos, esperaba que la puntuación de un equipo (la variable de respuesta) variara a pesar de los efectos de los factores. Estos factores molestos fueron un desafortunado compromiso entre el "realismo" con sujetos humanos y un experimento más estrictamente controlado.