¿Cuál definir el tamaño del efecto: Logworth o estimaciones escaladas?Hola comunidad,
Tengo una pregunta sobre qué criterio es más apropiado para determinar la importancia del impacto de un factor: ¿es el "logworth" (visualización más clara de los valores p) o son las "estimaciones escaladas"?
Al trabajar con uno de los datos de muestra (Donev Mixture Data), obtuve estos resultados para Logworth y para estimaciones escaladas (imágenes a continuación):
Logworth:
Estimaciones escaladas:
Puedes ver que en la primera imagen, el que tiene el Logworth más alto es "Glyoxal" y creo que este es el efecto más impactante. Sin embargo, si nos fijamos en las "estimaciones escaladas" de la segunda imagen, es más bien la interacción Na2S2O3*Glioxal la que parece tener mayor impacto.
¿Podrías ayudarme a entender esto? ¿Y cuál es realmente la parte de mi informe a considerar para decir qué factor tiene más impacto?
Gracias,
Julian
Modelado estadístico avanzadoAnálisis y modelado de datos básicosDiseño de experimentosModelado predictivo y aprendizaje automáticoRe: ¿Cuál definir el tamaño del efecto: Logworth o estimaciones escaladas?Hola @Julianveda ,
Estás comparando dos informaciones diferentes y complementarias, de importancia estadística y práctica.
La significación estadística se refiere a la probabilidad de que un resultado observado o una relación entre variables se produzca por casualidad. En otras palabras, es una medida de cuán seguros podemos estar de que existe una relación entre dos o más variables. En el análisis estadístico, esto generalmente se evalúa utilizando un valor p (o logWorth, que simplemente se calcula usando la transformación -log del valor p correspondiente), que es la probabilidad de obtener un resultado al menos tan extremo como el observado. dado que la hipótesis nula (es decir, la hipótesis de que no existe relación entre las variables) es cierta. Si el valor p está por debajo de cierto umbral (p. ej., 0,01, 0,05 o 0,1), el resultado se considera estadísticamente significativo, lo que indica que es poco probable que la relación observada haya ocurrido por casualidad y que la hipótesis nula puede rechazarse. En el contexto de mezclas como en su ejemplo, las técnicas tradicionales de selección de modelos que utilizan valores p no son útiles: debido a la multicolinealidad entre los efectos estimados (alias entre efectos), los errores estándar de las estimaciones son bastante grandes, lo que resulta en p-valores engañosos y distorsionados. valores. Más información en esta discusión: https://community.jmp.com/t5/Discussions/Analysis-of-a-Mixture-DOE-with-stepwise-regression/mp/657089/highlight/true#M84611
La significancia práctica se refiere a la importancia o relevancia en el mundo real de un resultado estadístico. Se refiere a si la relación observada tiene o no implicaciones prácticas o significativas. La importancia práctica viene indicada por el tamaño de las estimaciones: cuanto mayor (en valor absoluto) para un término, más importante y más influencia tiene este término en el modelo de regresión de la respuesta considerada.
Tenga en cuenta que la significación estadística y la práctica pueden no siempre estar estrechamente relacionadas: un resultado puede ser estadísticamente significativo pero prácticamente insignificante, o la situación opuesta. Es importante considerar ambos significados al interpretar los resultados.
Espero que esta primera respuesta te ayude,
Re: ¿Cuál definir el tamaño del efecto: Logworth o estimaciones escaladas?Hola @Victor_G ,
Muchas gracias por su respuesta. Ha ayudado mucho a aclarar las cosas :smiling_face_with_smiling_eyes: y al mismo tiempo ha planteado preguntas complementarias:
- Para la mezcla, si los valores p no son ideales, ¿cuál podría ser el criterio más apropiado del informe para descartar términos no estadísticamente significativos en el modelo?
¿Es mejor eliminar un término a la vez y observar la evolución de AIC y/o RMSE como menciona en Resuelto: Re: Análisis de una mezcla DOE con regresión por pasos - Comunidad de usuarios de JMP ? ¿O también, seleccionar el modelo mediante selección hacia atrás como se comenta en el mismo hilo?
- En la importancia práctica, además del tamaño de los efectos en las “estimaciones escaladas”, también es importante el conocimiento del dominio, ¿verdad? Imaginemos que mantuve un término cuadrático en el modelo y en realidad preestableció el efecto más alto en la tabla de "estimaciones escaladas", pero luego (por cualquier motivo) decidimos que ese término finalmente no tiene ningún sentido en nuestro dominio. Podemos completarlo descartándolo a pesar de su gran importancia en las estimaciones. ¿Estoy en lo cierto?
Mejor,
Julian
Re: ¿Cuál definir el tamaño del efecto: Logworth o estimaciones escaladas?Hi @Julianveda,
Me alegra que esta primera respuesta te haya ayudado.
Respecto a sus preguntas:
- Para Mixtures DoE, no confiaría en los valores p por las razones mencionadas anteriormente (y en el otro tema, si no recuerdo mal).
Comenzaría con el modelo completo asumido (es por eso que preferiría la selección gradual hacia atrás en lugar de la selección gradual hacia adelante), y luego refinaría el modelo si fuera necesario comparando los niveles de RMSE de los diferentes modelos y/o usando la estimación de máxima verosimilitud ( disponible en Regresión generalizada en JMP Pro) o un criterio de información, como BIC/AICc, para determinar un número "correcto" de términos que agreguen información y predictividad sin complicar demasiado el modelo.
Hay potencialmente muchos modelos equivalentemente buenos disponibles, por lo que el uso de Domain Expertise, así como varios métodos de selección/estimación, pueden ayudar a clasificar términos y modelos importantes.
- El conocimiento del dominio siempre es importante y en cada paso del DoE.
Sin embargo, debe tener cuidado al agregar o eliminar términos en su modelo, ya que la razón por la que lo hace es para "ayudar" al modelado estadístico con información de dominio (para clasificar modelos igualmente buenos pero diferentes), no distorsionar la realidad estadística. y resultados a su criterio y experiencia en el dominio. Además, el modelado es un proceso dinámico; agregar o eliminar términos también cambiará las estimaciones de los otros términos, por lo que realmente se necesita cierta precaución. DoE es una herramienta para probar, verificar, confirmar hipótesis, pero también puedes aprender cosas nuevas opuestas a lo que se sabía antes, tal vez porque el proceso experimental no fue lo suficientemente riguroso para descubrirlo antes (como usar el enfoque de un factor a la vez, o tener escasos resultados experimentales).
Así que no puedo dar una respuesta definitiva a su pregunta, sin embargo, puede probar diferentes modelos, ver cómo se comporta cada modelo (análisis residual, real versus previsto, etc.) y probar los modelos con nuevos datos. Debería poder clasificar los modelos ejecutando puntos de validación, correspondientes a nuevos tratamientos/combinaciones de factores no vistos antes por el modelo o utilizados en el diseño, y comparar sus resultados con las predicciones. Los modelos con mejor acuerdo sobre estos nuevos puntos pueden representar una buena aproximación del sistema físico bajo estudio.
Espero que estas respuestas te ayuden,
Re: ¿Cuál definir el tamaño del efecto: Logworth o estimaciones escaladas?Gracias @Victor_G ,
fue muy claro y revelador 
Julian
Re: ¿Cuál definir el tamaño del efecto: Logworth o estimaciones escaladas?Víctor ha hecho un excelente trabajo al describir los diferentes tipos de análisis: Práctico y Cuantitativo. Simplemente proporcionaría un punto de vista diferente sobre la importancia relativa de cada uno y agregaría un tercero. La importancia práctica es SIEMPRE más importante que la estadística. Después de todo, usted controla la significancia estadística al determinar cómo se ejecutará el experimento (por ejemplo, el espacio de inferencia, qué ruido cambiará durante el experimento y qué ruido no). No es útil tener un modelo que sea estadísticamente significativo pero que no sea útil en el mundo real. Recuerde que las estadísticas de análisis son enumerativas y desarrollar un modelo con fines predictivos es analítico.
Deming (Deming, W. Edwards (1975), On Probability As a Basis For Action. The American Statistician, 29(4), 1975, p. 146-152) El uso de datos también requiere la comprensión de la distinción entre problemas enumerativos y analíticos. . “El análisis de varianza, la prueba t, los intervalos de confianza y otras técnicas estadísticas que se enseñan en los libros, por interesantes que sean, son inapropiadas porque no proporcionan ninguna base para la predicción y porque entierran la información contenida en el orden de producción. La mayoría, si no todos, los paquetes informáticos para el análisis de datos, como se les llama, proporcionan ejemplos flagrantes de ineficiencia”.
Como sugiere Víctor, los valores p son de poca utilidad para diseños de mezclas. Si está ejecutando diseños de mezclas, el conocimiento del dominio (SME) es fundamental. Primero determine, antes de realizar el experimento, qué cambios en la respuesta son de importancia práctica.
Antes de ejecutar cualquier análisis cuantitativo, trace los datos. Especialmente en el caso de mezclas, ya que el análisis más importante es la superficie de respuesta de la mezcla. En teoría, las mezclas son una estrategia de optimización. Esto supone que ya sabes qué debe haber en la mezcla (a través de experimentación previa que incluye factores de procesamiento). La significancia estadística ya no es crítica.
Práctico>Gráfico>Cuantitativo es el orden de análisis.
