¿Es aceptable tener 6 términos en una regresión lineal con n = 8?Actualmente estoy analizando un experimento factorial completo con 2 niveles y 3 factores, no replicado, n = 8. Según las guías de JMP, la metodología adecuada aquí sería ajustar el modelo usando factorial hasta el grado 2, asumiendo que las interacciones de orden superior son insignificantes, antes de usar la selección hacia atrás para reducir el modelo a sus factores significativos.
Guía JMP para análisis factorial completo 2x2x2: https://community.jmp.com/t5/Learning-Center/Analyzing-Full-Factorial-Experiments/ta-p/271995
Mi pregunta es: supongamos que los datos muestran que, de hecho, todos los efectos principales y todas las interacciones bidireccionales son significativos. Eso me deja con un modelo con 6 términos, que describe un conjunto de datos con solo 8 observaciones. En este punto tengo un r^2 muy alto debido a la gran cantidad de términos y p <0,05 para los 6 factores. Desde un punto de vista analítico, ¿se considera esto un sobreajuste y no se consideraría una mejor práctica?
Si es así, ¿sería una mejor manera de analizar estos datos observar únicamente los efectos principales (es decir, observar el efecto "promedio" de cada parámetro en lugar de profundizar en los detalles)?
Gracias.
Ingeniería de Calidad y ProcesosRe: ¿Es aceptable tener 6 términos en una regresión lineal con n = 8?Gracias, @statman .Todo esto es muy útil. Finalmente miré los datos y me di cuenta de que en un experimento diseñado, si tuviera que mirar los datos gráficamente, habría llegado a las mismas conclusiones que me dice el modelo. las interacciones y qué factores son significativos. Como tal, lo llamo bueno.
Re: ¿Es aceptable tener 6 términos en una regresión lineal con n = 8?QW, aquí están mis pensamientos:
1. La razón por la que encuentra factores significativos después de eliminar los términos insignificantes es porque ha sesgado el MSE. Cuando elimina el término insignificante (que probablemente tiene SS más pequeños), también toma los DF con cada término. Dado que el MSE es el SS/DF, se reduce el MSE (quizás de manera poco realista). El valor F es el MSfactor/MSerror. Entonces, si reduce de manera poco realista el MSE, infla el valor F y posteriormente reduce el valor p. Mi consejo es que SIEMPRE consideres qué fuentes de variación estás comparando.
2. Las tramas normales/medio normales (tramas de Daniel) no son necesariamente sencillas en cuanto a cómo interpretarlas. El PSE de Russel es un intento de ayudar a interpretar los gráficos, pero el PSE no siempre es útil. Debe considerar qué efectos son función de los errores aleatorios (debe ser una línea relativamente recta) y qué efectos son asignables. Queda fuera de la distribución aleatoria de errores. Si su gráfico Normal tiene forma de curva S o está roto, esto es una indicación de un efecto de ruido significativo (puede haber más de una distribución de errores aleatorios). Según su imagen, parece que el + atenuado en la parte superior del gráfico normal es significativo (supongo que esta es la Columna 2 (x)). Realmente ayuda tener el diagrama de Pareto con el diagrama normal. Evaluar tanto las señales estadísticas como la importancia práctica.
3. Creo que tienes un buen comienzo sobre cómo desarrollar tus conocimientos (y quizás un modelo matemático). Utilizo el método Práctico>Gráfico>Cuantitativo:
Primero, ¿cuánta variación en los datos creaste en el experimento? ¿Tienen los datos algún valor práctico (desde la perspectiva de las PYME)? ¿Cómo se comparan los datos con lo que predijiste? ¿Cómo se compararía con sus hipótesis utilizadas para determinar qué factores incluir en el estudio? Los gráficos ANOG y MR son excelentes para reconocer patrones que correlacionan los efectos de los factores con las variables de respuesta. Nunca apagues la ingeniería.
En segundo lugar, grafique/trace los datos. El generador de gráficos de JMP puede resultar muy útil. ¿Existen puntos de datos (tratamientos) inusuales? Aquí también son útiles los diagramas normales y los diagramas de Pareto (aunque su utilidad es mejor con modelos saturados).
Por último cuantitativo (efectos, ANOVA, regresión, et. al.).
4. Con respecto al refinamiento del modelo con métodos cuantitativos para datos del DOE: Hay una serie de estadísticas/gráficos que utilizamos para hacer esto:
- R-cuadrado-R-cuadrado Delta ajustado (esto es más importante que cualquiera de las estadísticas por sí sola)
- RMSE (cuanto más pequeño, mejor)
- Valores p (tenga cuidado con los valores sesgados, considere lo que se está comparando)
- Residuos (para probar los supuestos de NID (media, varianza)
En DOE, no recomiendo la regresión paso a paso (este es un enfoque de construcción de modelos aditivos más útil para la extracción de datos o la regresión de datos observacionales/históricos y, por supuesto, tiene una preocupación adicional de colinealidad). Recomiendo un enfoque sustractivo (empiece saturado y elimine términos). ¡Y tu paso 3 suena genial!
Re: ¿Es aceptable tener 6 términos en una regresión lineal con n = 8?Gracias, @statman . No es mi intención continuar y seguir, y le agradezco su tiempo. Sin embargo, intenté utilizar un gráfico normal para guiar la selección de parámetros de un modelo saturado. Sin embargo, una vez que hice eso, noté que de acuerdo tanto con el gráfico normal como con los pseudovalores p de Lenth, ninguno de mis parámetros es significativo (lado izquierdo de mi archivo adjunto). Pero una vez que comencé a eliminar los términos no significativos uno a la vez usando esos valores p (pseudo o reales), llegué a un modelo que parece describir bien mi situación: R^2 ajustado = 0,95, p = 0,0351 (lado derecho del adjunto). ¿Sería correcto concluir que se necesita una combinación de valores p pseudo/reales y gráficos normales para llegar al mejor modelo?
En esa línea de pensamiento, ¿estaría entonces de acuerdo en que la mejor manera de seleccionar los parámetros implica enfoques tanto cuantitativos (valores p, adj.R^2) como cualitativos (conocimiento del dominio, gráficos normales, residuos)? En otras palabras, es una combinación de:
1. ¿Cómo se ven mis factores con un diagrama normal/de Pareto?
2. ¿Agregar o eliminar términos mejora los valores cuantitativos (adj. R^2, valor p de todo el modelo)?
3. ¿Cambia los aspectos cualitativos de los datos (los residuos siguen estando normalmente distribuidos después de estos cambios y los datos en sí tienen sentido de manera realista)?
En ese caso, el mejor modelo se guiaría primero observando los gráficos Normal/Pareto, se ajustaría mediante la selección paso a paso/modelo y se verificaría mediante inspección visual de residuos y datos reales.
¡Gracias!
Re: ¿Es aceptable tener 6 términos en una regresión lineal con n = 8?Bienvenido a la comunidad. Aquí están mis pensamientos:
Está utilizando el efecto de tercer orden (interacción de 3 factores) para estimar el MSE. Probablemente esta sea la razón por la que todos los efectos son significativos. Una mejor manera de ver los datos es utilizar gráficos normales y medio normales (dependiendo de cuán arbitraria sea la configuración del nivel) y gráficos de Pareto. Analizar>Ajustar modelo>Saturar el modelo (los 7 DF) usando Macro>Factorial completo En la salida, seleccione el Triángulo rojo al lado de la respuesta y seleccione Detección de efectos. Consulte los diagramas de Pareto y Normal. Los gráficos normales compararán los efectos entre sí sin el sesgo de MSE. Agregue un valor que represente importancia práctica al diagrama de Pareto.
Una vez que haya encontrado los efectos que son significativos, puede eliminar los términos insignificantes y volver a ejecutar el modelo de ajuste para obtener gráficos residuales.
Re: ¿Es aceptable tener 6 términos en una regresión lineal con n = 8?Gracias por la respuesta, Sam.
En el caso de un experimento factorial 2^3 no replicado, es "teóricamente capaz" de modelar todos los efectos principales y las interacciones de 2 factores. Pero de esta discusión parecería que esta capacidad no es tan confiable en la práctica. ¿Existen "reglas generales" en cuanto a cuántos grados de libertad desea para modelar los efectos principales y las interacciones de 2 factores? Por ejemplo, ¿sería algo así como DoF = 2 veces el número de términos del modelo?
Re: ¿Es aceptable tener 6 términos en una regresión lineal con n = 8?@QW tiene razón en que debe tener cuidado de no sobreajustar un modelo, especialmente con un conjunto de datos pequeño.Pero, para un experimento diseñado, puede darse el caso de que todas las interacciones de los dos factores sean significativas y/o importantes.Si la planificación y ejecución del experimento fue cuidadosa, entonces podría ser que el error experimental sea pequeño en relación con los tamaños del efecto.
Lo mejor es evaluar los datos mediante:
- Trazar los datos:
- Un gráfico de todos los datos versus los factores (a veces llamado gráfico de factores o gráfico de efectos principales).Busque valores atípicos u otros datos inusuales.
- Pregúntese si los datos tienen sentido desde un punto de vista científico o teórico.
- Ajuste el modelo y grafique los residuos (errores de ajuste para cada fila).
- Residual por Previsto
- Residual por fila
- Residual de cada factor.
- Utilice el Profiler para explorar los efectos previstos del modelo.
- Puede ser que un efecto significativo realmente no sea importante en la práctica y, de ser así, podría eliminarlo del modelo sin mucha diferencia en las predicciones reales.
Si tiene preocupaciones adicionales sobre el sobreajuste, puede intentar aplicar también el ajuste del modelo de regresión por pasos a los datos.
