819880_es-ES

liliconcom

Reducción de modelo

Hola,

Según el modelo de aprendizaje JMP para el análisis DOE, los términos no significativos del modelo se pueden eliminar, comenzando con las interacciones de orden superior no significativas (= reducción del modelo).

Sin embargo, ¿es realmente así de simple? ¿Hay otras cosas que se deben tener en cuenta antes de eliminar términos no significativos? ¿Eliminar un término no significativo implica necesariamente que este factor no tiene efecto o tiene un efecto mínimo en la variable de resultado/respuesta?

Además, ¿la reducción de modelos también se aplica a los modelos REML/mixtos?

Gracias por cualquier aclaración sobre este asunto.

Sara

Diseño de experimentosRe: Reducción de modelos

No es tan sencillo. Eliminar o no los términos del modelo es un tema de debate en curso sobre el uso, abuso o mal uso de los valores p. De hecho, para mí, son como dos caras de la misma moneda.

Dicho esto, sin embargo, estoy seguro de que eliminar un término del modelo no significa que un factor o factores involucrados en la estimación del parámetro tengan "... ningún efecto o un efecto menor en su variable de salida/respuesta". Simplemente significa que en ESE espacio de inferencia en particular está decidiendo no incluir el término en el modelo. Esa decisión está muy lejos de declararle a Dios y a todos los que escuchen que "no hay efecto o un efecto menor". Tal vez los niveles que elija (si está modelando un experimento diseñado) fueron demasiado estrechos para que una señal se eleve por encima del ruido. Tal vez el ruido en el espacio de inferencia esté abrumando el efecto del factor. Y no me haga hablar de la interpretación del "valor p"... todos los términos son "significativos" en algún valor p. ¿Quién elige ese valor de significancia? ¿Con qué criterios?

Y en mi opinión, lo mismo puede decirse de prácticamente cualquier método de modelado (REML/mixto y otros) que se me ocurra.

Re: Reducción de modelos

Hola P_Bartell,

Entiendo la complejidad de ese asunto. Sin embargo, mi razonamiento es que en algún momento se desea poder hacer inferencias basadas en los resultados del DOE que se ha realizado. De lo contrario, ¿cuál es el propósito de realizarlo? Entonces, desde un punto de vista práctico, ¿qué se hace con los términos no significativos?

Gracias

Sara

Re: Reducción de modelos

Por supuesto, Pete tiene razón y es sabio en sus consejos. En particular, en lo que respecta a la cuestión del espacio de inferencia. Cuando realizó su experimento, ¿qué tan representativo fue el ruido en el estudio? ¿Cómo se manejó el ruido en el estudio? (por ejemplo, ¿restringió, bloqueó, repitió, replicó, dividió con parcelas divididas)? ¿La estimación del error máximo potencial es razonable y representa el verdadero error aleatorio? Si no lo es, entonces la significación estadística no tiene sentido. Recuerde, ¡la significación estadística es una declaración condicional!

Al realizar la reducción del modelo, hay algunos aspectos que debe tener en cuenta:

1. Importancia práctica. Esto no tiene nada que ver con la importancia estadística, que es una comparación de los efectos con el MSE. ¿Los factores o interacciones tienen una importancia práctica? Otra forma de decirlo es que se debe evaluar el modelo en términos de mérito científico o de ingeniería. ¿Existen hipótesis racionales y lógicas que respalden la identificación de términos interesantes y no interesantes?

2. Delta ajustado de R-cuadrado-R-cuadrado. A medida que se eliminan los términos que no son interesantes del modelo, el delta debería disminuir. También se ajusta el tamaño del R-cuadrado.

3. Residuos. ¿Cómo se ven? ¿Hay valores atípicos, patrones inusuales, etc. a medida que se eliminan los términos?

4. Valores p. Estos pueden ser útiles para el primer corte, pero son menos útiles (o inútiles) a medida que se itera. ¿Qué sucede con los cuadrados medios insignificantes? Se agregan al MSE y los DF esencialmente disminuyen el MSE y aumentan los valores F de manera sesgada.

5. Útil. El modelo debe ser útil. La misión no es crear el modelo más complejo que se pueda conseguir, sino crear un modelo que sea predictivo y útil.

Por supuesto, una de las ventajas de JMP es la capacidad de cambiar rápidamente el modelo y reevaluarlo.

Re: Reducción de modelos

En respuesta a su pregunta, "De lo contrario, ¿cuál es el propósito de realizarlo...". Por "realizarlo" asumo que se trata de un experimento diseñado... Responderé a eso desde mi marco de referencia, que admito que es algo parcial, ya que proviene de la industria en lugar de un entorno de investigación.

De lejos, el propósito principal para llevar a cabo nuestros experimentos diseñados no era "... hacer inferencias...", sino resolver un problema práctico. No digo que buscar "inferencias", que definiré como nuevos conocimientos novedosos, no sea un esfuerzo digno... simplemente no es como nos encontramos. Entonces, ¿cuál es el propósito final para llevar a cabo estos experimentos diseñados? Si es para resolver un problema práctico... entonces lo intentaría de ambas maneras... modelando con y sin los términos "insignificantes" y viendo la utilidad del modelo en el contexto de la solución del problema práctico en cuestión. Si se trata de nuevos conocimientos, entonces consideraría la experimentación adicional antes de hacer afirmaciones generales como "ningún efecto/efecto mínimo" para expandir el espacio de inferencia bajo diferentes ruidos (proveedores, equipos, operadores, escalabilidad, etc.) y variables molestas y otras cuestiones, como el espaciado a nivel de factores, el ruido del sistema de medición... y rara vez se logra esto con un experimento. Donde trabajé, lo llamábamos "comprender el riesgo de representación".

Un ejemplo simple, puramente ilustrativo, pero una situación con la que nos topamos más a menudo de lo que a cualquiera de nosotros le hubiera gustado. Realizamos un DOE en un equipo piloto y llegamos a la conclusión de que "la velocidad de recubrimiento" no tiene efecto sobre la respuesta de interés. Pero luego ampliamos la escala al equipo de producción... y de repente la "velocidad de recubrimiento" sí tiene un efecto. ¿Cómo puede ser esto? Nuevo proceso... nuevos ruidos. Se trata de cuán "representativo" es el experimento para las condiciones futuras. Deming escribió extensamente sobre los problemas asociados con los estudios enumerativos frente a los analíticos.

Estudios enumerativos vs. estudios analíticos

Solo comprendiendo este amplio panorama se puede abordar con confianza declaraciones generales como "ningún efecto o efecto mínimo".

Re: Reducción de modelos

Considerando estas respuestas, yo diría que el módulo de aprendizaje DOE de JMP simplifica demasiado el análisis de un DOE.

Re: Reducción de modelos

Para ser justos, los módulos de aprendizaje de JMP están pensados ​​para presentar el producto y "venderlo". Dedico seis meses a enseñar los conceptos básicos del diseño experimental con múltiples experimentos prácticos y muchos estudios de casos prácticos. En mi humilde opinión, sería casi imposible enseñar esto en línea (aunque lo intenté durante la pandemia de COVID-19). Los módulos de aprendizaje están pensados ​​para presentar las metodologías y exponer a las personas, tal vez sin conocimientos previos, a las posibles aplicaciones. Al final de esos módulos, si puedes identificar situaciones que se beneficiarían de las metodologías, habrán cumplido su propósito.

Tengo una opinión ligeramente diferente a la de Pete sobre el uso del diseño experimental. En mi humilde opinión, hay dos "motivaciones" que impulsan el trabajo de investigación:

1. Explicativo: existe un problema y usted está tratando de comprenderlo y qué puede estar causándolo. Por supuesto, la DOE puede ser útil en este caso, pero soy partidario de utilizar el muestreo dirigido y los estudios de componentes de variación para comprender estos eventos. Ciertamente puedo hacer que ocurra un problema con la DOE, pero puede que esa no sea la razón por la que el problema ocurrió en primer lugar.

2. Predicción: comprender la causalidad para permitir que el investigador desarrolle un modelo de predicción útil. Aquí es donde la DOE brilla y realmente no hay otra metodología tan poderosa como la DOE.

Re: Reducción de modelos

Gracias por explicarlo.

Ver más...

Eliminar los términos no significativos puede simplificar un modelo, pero es importante tener en cuenta el contexto, los supuestos del modelo y la posible multicolinealidad. Un término no significativo no significa necesariamente que el factor no tenga efecto; puede indicar potencia insuficiente o medición incorrecta. La reducción del modelo también se aplica a los modelos REML/mixtos, pero es necesario tener cuidado. Durante mis años universitarios, a menudo buscaba ayuda para escribir mis ensayos académicos. Después de realizar algunas investigaciones, encontré DoMyPaper, que tenía muchas críticas positivas. Decidí visitar domypaper.com en busca de ayuda y resultó ser una gran experiencia. DoMyPaper tiene un equipo de expertos que ayudan a los estudiantes a mejorar sus habilidades de escritura. Ahora, confío en sus servicios para obtener ayuda con mi trabajo de redacción académica.

Re: Reducción de modelos

Hola @SaraA ,

Los ejemplos que se muestran en los módulos de JMP están aquí para brindar los conceptos básicos de diseño y análisis a quienes no sean expertos en estadística y quieran "comenzar". Obviamente, los conjuntos de datos son fáciles de seguir y el análisis está simplificado, de modo que todos puedan comprenderlo y probarlo.

Pero, como mencionó @statman , el tema de los modelos es mucho más amplio (y a veces complicado) que "solo" confiar en los valores p. Según sus objetivos, puede tener diferentes caminos para la evaluación y selección de modelos:

• Modelo explicativo :En un modo explicativo, te centras más en los términos que sí tienen alguna influencia en las respuestas, por lo que podrías evaluar la necesidad de incluir los diferentes términos en función de la significación estadística (con la ayuda de los valores p y un umbral predefinido para ello, como 0,05) y la significación práctica (tamaño de las estimaciones, selección basada en la experiencia en el dominio). R², R² ajustado (y la diferencia entre los dos, que debe minimizarse) podrían ser buenas métricas para comprender cuánta variación se explica por los términos identificados y seleccionar los modelos relevantes para explicar el sistema en estudio.
• Modelo predictivo :En un modo predictivo, se centra más en los términos que ayudan a minimizar los errores de predicción, por lo que puede evaluar la necesidad de incluir los diferentes términos en función de cómo esto mejora el rendimiento predictivo, a través de las visualizaciones del gráfico real frente al predictivo y el tamaño de los errores (gráfico de residuos). El RMSE puede ser una buena métrica para evaluar qué modelo(s) tienen los mejores rendimientos predictivos (el objetivo es minimizar el RMSE).

También podría interesarle una combinación de las dos partes, por lo que se podrían utilizar diferentes métricas para ayudarlo a evaluar y seleccionar modelos, como criterios de información (AICc, BIC) que ayudan a encontrar un equilibrio entre el rendimiento predictivo del modelo y su complejidad. Para evaluar y seleccionar un modelo en función de estos criterios, cuanto más bajo, mejor. También puede utilizar la máxima verosimilitud, que es similar pero no incluye una penalización por la complejidad del modelo.

Recomendaría tener cuidado con los valores p y evitar el " culto a la significación estadística ": Resuelto: Re: Significación estadística - Comunidad de usuarios de JMP

Para crear su modelo, hay muchas plataformas disponibles en JMP (modelos de ajuste y regresión generalizada , selección de dos niveles de ajuste , selección definitiva de ajuste , etc.) que utilizan diferentes técnicas, estimaciones o criterios de validación, a veces dependiendo de su elección de diseño. Puede probarlas y ver cómo y cuándo su modelo concuerda y cuándo/dónde no. Intente representar gráficamente los resultados de sus diferentes resultados a través de gráficos ráster o gráficos más sencillos como este:

Dependiendo de la plataforma utilizada, podrás comprobar el grado de concordancia de los modelos y, con el uso de una métrica específica adaptada a tu objetivo, podrás elegir más fácilmente uno o varios modelos.

Volviendo a su pregunta original, la significancia estadística y la significancia práctica deben considerarse al modelar las respuestas, y el modelo resultante debe confrontarse con expertos en el dominio, así como con la validación experimental.

Espero que esta respuesta complementaria pueda ser útil, aunque sea tardía.