41689_es-ES

liliconcom

Re: Alto RMSE en análisis DSD

¿Por qué esperaría que la respuesta se distribuyera normalmente si hay efectos activos?

Re: Alto RMSE en análisis DSD

Me refiero a la distribución de la respuesta.

Re: Alto RMSE en análisis DSD

Te refieres a una distribución normal de los residuos, ¿verdad?

¡Me alegra que hayas encontrado una solución!

Re: Alto RMSE en análisis DSD

Solo para decirte cómo resolvimos el problema al final. Probamos diferentes transformaciones de datos para poder obtener una distribución más normal, con una variación más constante en todo el rango de respuesta. Cuando analizamos la respuesta transformada, pudimos detectar muchos más efectos (efectos principales y de segundo orden).

Re: Alto RMSE en análisis DSD

Una corrección de mi publicación anterior: quise decir que repetiremos la carrera central dos veces, no la segunda carrera (me disculpo por un poco de confusión).

De todos modos, la carrera central también debe cubrir todos los puntos (precauciones) que mencionaste.

Dado que repetiremos las corridas centrales, esperamos que la variabilidad de las corridas centrales sea la mejor aproximación (la mejor de las 17 corridas que podemos repetir) de la variabilidad de todo el diseño. Además, esperamos que el RMSE de nuestro diseño también disminuya, ya que habrá más ejecuciones en el modelo. Si la caída del RMSE es lo suficientemente grande como para detectar algunos efectos nuevos, no tendremos que estimar una varianza basada en solo 3 puntos de datos.

 

 

Re: Alto RMSE en análisis DSD

Este es un comienzo. Un par de precauciones sobre estas ejecuciones repetidas: estaría suponiendo que la variabilidad es constante en el espacio de diseño (en otras palabras, la ejecución n.° 2 es representativa de todas las demás condiciones experimentales). ¿La variabilidad en sus ejecuciones repetidas captura todas las fuentes de variabilidad encontradas al ejecutar el diseño inicial (¿cambiaron los operadores? ¿Cambios en la instrumentación? ¿Cambios en la configuración?). ¿Qué tan cómodo se siente al estimar una varianza basada en solo 2 o 3 puntos de datos? Eso es esencialmente lo que estás haciendo.

Re: Alto RMSE en análisis DSD

Sí, somos conscientes de que las medidas también pueden ser el problema. Cada vez hicimos al menos 3 repeticiones de medición (que mostraron un coeficiente de varianza relativamente bajo) para cada muestra. Tuvimos algunos problemas con el análisis de difracción láser, que probablemente aumentó el RMSE en algunas respuestas, pero el RMSE en las respuestas que no incluyen el análisis de difracción láser también es un poco alto, pero no tanto.

Re: Alto RMSE en análisis DSD

Gracias por muy buenas ideas. Decidimos repetir la segunda ejecución dos veces, por lo que veremos si la variación es alta también en una ejecución o solo en todo el modelo. Luego agregaremos las nuevas ejecuciones al modelo y veremos si el RMSE es más bajo.

¿Eso tiene sentido para ti?

Re: Alto RMSE en análisis DSD

Un comentario final que es un enfoque diferente. Dado que tiene un RMSE alto, es posible que desee realizar un estudio del sistema de medición. Quizás el RMSE alto se deba a un sistema de medición que podría necesitar mejorarse primero. Puede ser algo a considerar antes de agregar más ejecuciones experimentales.

Re: Alto RMSE en análisis DSD

También quiero recordarle que puede usar un diseño personalizado para aumentar su experimento inicial si es posible realizar más ejecuciones. Usted mencionó anteriormente que no tiene recursos para hacer más, pero solo quiero mencionarlo de todos modos en caso de que sea posible más adelante. Las nuevas ejecuciones se agregan al DSD que ya tiene.

Re: Alto RMSE en análisis DSD

Su modelo es tan bueno como se puede dada esta muestra de datos y el proceso objetivo de selección del modelo (Fit Definitive Screening).

Puede intentar volver a ejecutar algunas de estas condiciones para ver si el RMSE es realmente tan alto. Quizás, en cambio, tenga algunos datos históricos para el mismo proceso que podrían volver a analizarse para determinar el RMSE. Realmente podría ser alto y no necesariamente un artefacto del modelo sesgado.

Otra opción, renunciando al análisis de Cribado definitivo de ajuste, es Analizar > Modelo de ajuste > Varianza loglineal. Este análisis ajusta iterativamente dos modelos convergentes: uno para la media y otro para la varianza. Puede usar este análisis para ver si uno de los factores de diseño es el responsable. Desafortunadamente, la economía del DSD puede impedir un buen análisis, pero vale la pena intentarlo.

Consulte Ayuda > Libros > Ajuste de modelos lineales. Hay un capítulo dedicado a este análisis.

Re: Alto RMSE en análisis DSD

Sí, formulaste algunas preguntas muy buenas, que básicamente responden a mi pregunta. Entiendo lo que dices.

Entonces parece que mi modelo no se construyó tan bien como podría ser, por lo tanto, un gran RMSE. Todavía puedo detectar los factores principales con la mayor influencia en el modelo, pero desafortunadamente no puedo detectar ninguna interacción de un segundo factor. Por supuesto, una opción es que no estén presentes, pero la otra, más probable, es que sean demasiado pequeños para detectarlos con un RMSE tan alto.

 

Gracias de nuevo por tu ayuda.

 

Danijel

Re: Alto RMSE en análisis DSD

Obviamente, si pudo agregar factores falsos a su análisis, entonces está 'permitido'. Los "resultados que (usted) obtiene siguen siendo correctos y confiables", pero ¿qué significan? ¿Qué representa el factor falso convertido en factor real? ¿Utilizó esta columna de diseño para establecer los niveles de los factores? (No.) ¿Cuáles son estos niveles de factor? ¿Por qué lo incluirías en el análisis?

Puede agregar cualquier columna a la matriz del modelo y estimar el parámetro lineal siempre que esta columna no se confunda con la columna utilizada para estimar otro término en el modelo. Si se confunden, estas dos columnas son solo alias para la misma columna. Esa combinación produce una singularidad en la matriz de proyección de la regresión. Tal combinación no está permitida. JMP intenta estimar tantos parámetros que no están confundidos (hasta el rango de la matriz del modelo) y pone a cero el resto.

La razón por la que el resultado es diferente es porque si incluye explícitamente un factor falso en el modelo, ya no es un factor falso en el análisis y ya no se usa para estimar el RMSE como antes.

Re: Alto RMSE en análisis DSD

Gracias por tu respuesta y tu esfuerzo.

Sólo tengo una respuesta, ya que otros puntos me quedan bastante claros ahora.

 

7. Sí, eso tiene sentido, matemáticamente hablando. Simplemente no sé si puedo hacer esto en Fit Definitive Screening (por lo tanto, los resultados que obtengo siguen siendo correctos y confiables). Me resulta extraño que el resultado sea diferente cuando no incluyo factores falsos en mi selección, ya que Fit Definitive Screening calcula el RMSE inicial a partir de factores falsos de cualquier manera.

¿Tal vez tienes alguna explicación para eso?

 

Re: Alto RMSE en análisis DSD

Acabo de perder mi respuesta cuando hice clic en Publicar y ahora debo irme de viaje, pero intentaré recuperar mi respuesta rápidamente.

1. Comprende que la potencia es una función de la significancia, la varianza, el tamaño del efecto y el tamaño de la muestra. Es poco probable que el uso de valores predeterminados para RMSE y coeficientes proporcione un análisis de poder para una situación específica.
2. Su DSD debería poder encontrar hasta seis efectos principales con alta potencia si su tamaño de efecto es grande y hay pocos efectos de segundo orden. Mi comentario anterior era una generalidad. Puede que no tenga mucho valor ya que depende de tantos atributos.
3. También podría incluir los dos solventes no acuosos y el agua como tres factores de mezcla (componentes) y modelarlos directamente. No tengo idea si el uso de la bomba peristáltica es la causa del gran RMSE.
4. Ejecuciones completamente aleatorias: ¡verifique!
5. No hay problema con factores externos no controlados: ¡compruébelo!
6. El RMSE grande permanece sin explicación - ¡verifique!
7. En términos generales, agregar términos adicionales al modelo de regresión lineal reduce el RMSE incluso si estos términos no son significativos. De lo contrario, la suma de los cuadrados atribuidos a cada nuevo término iría a la suma de los cuadrados del error.

Re: Alto RMSE en análisis DSD

Gracias por su completa respuesta y explicaciones. Me han sido de mucha ayuda. Intentaré aclarar cualquier duda y responder a las preguntas que estabas haciendo. Para evitar confusiones, marcaré las respuestas numéricamente.

 

1. En la sección Evaluar diseño ingresé 0,05 para significancia estadística, 1 para coeficientes anticipados y 1 para RMSE. Ingresé estos valores antes de los experimentos, ya que no obtuve información sobre qué RMSE o coeficientes anticipados puedo esperar. Obtuve la potencia 0,92 (ver la foto Evaluar diseño a continuación). Soy consciente de que tal poder sería el caso solo si RMSE realmente fuera alrededor de 1, solo quería demostrar que el diseño se veía bien antes de los experimentos. Por supuesto, si introduzco los valores que obtuve para RMSE y los coeficientes anticipados, la potencia es mucho menor (vea la foto Evaluar diseño 2 a continuación).

 

2. No lo sé con certeza, pero espero que estén activos alrededor de cuatro efectos principales. Sin embargo, el Sr. Jones y el Sr. Nachtsheim afirmaron en un artículo de 2016 (Bradley Jones & Christopher J. Nachtsheim (2016): Efectivo
Design-Based Model Selection for Definitive Screening Designs, Technometrics), que en el análisis de DSD con 6 factores y 4 ejecuciones adicionales (utilizando el nuevo enfoque para el análisis de DSD) los 6 factores principales podrían detectarse con una potencia de 0,99. Si miro ese número, no veo el problema en muchos efectos principales activos. ¿O me estoy perdiendo algo?

 

3. Sí, este experimento contiene componentes de mezcla. Uno de los factores es la relación entre el volumen de no solvente y el volumen final (en volumen final tenemos no solvente y agua). Con la bomba peristáltica añadí la solución en el no solvente. ¿Crees que sería mejor dejar esa relación constante? Estoy pensando que esta podría ser la razón del gran RMSE. Sin embargo, no puedo darme el lujo de hacer muchos más experimentos, por lo que necesito suavizar este problema (si ese es el caso), si es posible.

 

4. Sí, este experimento fue totalmente aleatorio. No tengo factores difíciles de cambiar, también tuve un control relativamente bueno de los factores durante el experimento.

 

5. Soy consciente de que también existen otros factores que podrían afectar la respuesta. Sin embargo, traté de controlar todos los factores que pude, así que no veo un gran problema en mi experimento aquí.

 

6. Tiene razón, que la ejecución con el rendimiento más alto es el valor atípico. Eso también está muy claro en los Residuales Studentizados (ver la foto de Residuales a continuación). Sin embargo, cuando miro el análisis residual de las otras respuestas, el valor atípico no está presente, pero el RMSE sigue siendo grande. Así que creo que debe haber una razón adicional para el gran RMSE.

 

7. También tengo una nueva pregunta. Mientras jugaba con el análisis con Fit Definitive Screening, noté que el RMSE es más bajo si incluyo factores falsos en el análisis. (ver la foto Análisis con factores falsos a continuación. En el lado izquierdo, hay estimaciones que obtuve y en el lado derecho hay una selección de respuesta y factores).¿Se me permite hacer esto?

 

Gracias.
Danijel

Re: Alto RMSE en análisis DSD

Gracias por una cuidadosa explicación de su situación y su pregunta. Intentaremos ayudarte basándonos en tu explicación.

Sí, la mayor diferencia entre el ejemplo del tutorial y su experimento es el RMSE. Esta diferencia significa menor potencia. significa que el t Las proporciones para probar las estimaciones de los parámetros contra cero serán más pequeñas por un factor de 9.6 para estimaciones equivalentes y, en consecuencia, tendrán un valor mucho más alto. pag -valores. (Esta disminución de t proporción o aumento de pag -valor es equivalente a menor potencia.)

¿Qué valores ingresó para significancia estadística (0.05), RMSE (1) y coeficientes anticipados (1) para determinar la potencia? Eso es preguntar, ¿para qué resultado es bueno el poder? ¿Cuál es la potencia que obtuviste para tu diseño?

El RMSE es una estimación de la desviación estándar de la respuesta. Es dependiente del modelo . asume que

• el modelo de regresión lineal es correcto (imparcial)
• incluye solo el error aleatorio de la respuesta
• la varianza de la respuesta es constante en todo el rango de la respuesta.

Si su modelo no incluye términos para efectos activos (no aleatorios), esta contribución a la respuesta se combinará con la estimación de RMSE y se inflará.

Tenga en cuenta que la media y la desviación estándar de las respuestas que se distribuyen normalmente son generalmente atributos independientes de la respuesta. Es decir, la desviación estándar (RMSE) no depende de la media. Las estimaciones de los parámetros son para el modelo de la respuesta media, por lo que no puede esperar nada del RMSE en función de la magnitud de las estimaciones de los parámetros.

Repasemos el principios clave de la detección :

• Escasez de efectos : hay muchos factores potenciales (y sus efectos) pero, de hecho, la mayoría están inactivos (el parámetro es cero).
• Jerarquía de efectos : la mayor parte del cambio en la respuesta es de primer orden, el segundo mayor efecto es de segundo orden, y así sucesivamente.
• Herencia de efectos : cualquier efecto de orden superior es exhibido por los mismos factores que exhiben efectos de orden inferior.
• Proyección de Diseño : el diseño limita la estimación de todos los parámetros potenciales por correlación pero la correlación se reduce o elimina a medida que los factores inactivos y sus efectos inactivos se eliminan del modelo.

¿Cuántos de los seis factores espera que estén activos? No deben ser más de dos o posiblemente tres, o de lo contrario fallará cualquier diseño de detección.

Los diseños de cribado están destinados principalmente a admitir modelos de primer orden. (La detección no se trata de optimizar los factores, sino solo de detectar la pocos vitales factores El DSD es especial porque reduce la probabilidad de que tenga que aumentar para admitir el modelo más complejo necesario para la optimización). Es probable que las respuestas de un proceso químico como la cristalización muestren efectos de segundo orden, como interacciones y no linealidad. Estos efectos pueden sesgar las estimaciones de los parámetros en el modelo de primer orden, aunque un DSD, un tipo de diseño óptimo de alias, minimiza dicha correlación.

Un par de pensamientos finales:

• ¿Este estudio incluye componentes de la mezcla? Me pregunto acerca de los solventes usados juntos. Esa condición podría requerir un diseño diferente (diseño personalizado).
• ¿Este experimento fue completamente aleatorio? Eso significa que reinicia cada factor antes de cada ejecución. Otra forma de preguntar es, ¿tiene factores difíciles de cambiar? Esa condición requeriría un diseño diferente (diseño de parcelas divididas).Si tiene factores difíciles de cambiar y no aleatoriza completamente el experimento, afectará el RMSE. A su vez, también aumentará la tasa de error tipo I de las pruebas para los factores difíciles de cambiar y aumentará la tasa de error tipo II de las pruebas para los factores fáciles de cambiar. Eso podría explicar la falta de efectos significativos.
• ¿Qué pasa con otros factores además de los seis que se variaron en el experimento? ¿Identificó todos los factores de cada respuesta antes de seleccionar los seis factores para el estudio? ¿Cómo se controlaron estos factores externos durante las carreras? Los efectos no controlados y no contabilizados contribuirían a la variación aleatoria o, si estuvieran correlacionados con los niveles de los factores en el estudio, contribuirían al sesgo de las estimaciones.
• ¿Realizó algún análisis residual? ¿Hay alguna indicación de problemas de datos o violaciones de los supuestos del modelo de regresión lineal? El análisis residual es más difícil con diseños económicos que con conjuntos de datos más grandes pero aún valiosos. Parece que la ejecución con el rendimiento más alto podría ser un valor atípico. Esta ejecución podría exhibir una influencia inusualmente alta en las estimaciones. Podría aumentar el RMSE.

Eso es todo lo que puedo pensar en este momento. Esperemos que otros expertos respondan con más ideas.

¿Por qué el RMSE es tan alto en este análisis DSD?

Hola,

 

Soy nuevo en DOE y Definitive Screening Design, por eso tengo algunas preguntas sobre el análisis de DSD. Estoy usando JMP 13.

Quiero encontrar factores significativos en el proceso de cristalización esférica. Realicé Diseño de Cribado Definitivo con 6 factores en tres niveles, con cuatro corridas adicionales (2 factores falsos). Estoy midiendo varias respuestas diferentes. La evaluación del diseño me muestra que tengo un buen poder estadístico. Sin embargo, cuando trato de analizar los resultados usando Fit Definitive Screening, no obtengo ninguno o, en el mejor de los casos, uno de los efectos principales significativos. Como consecuencia, tampoco obtengo efectos significativos de segundo orden (vea la foto agregada a continuación, a la derecha). Creo que la razón de esto es un RMSE muy alto. Estaba aprendiendo cómo hacer una detección definitiva de ajuste en el ejemplo que se muestra en el tutorial de JMP (extracción de archivo 3, vea la foto agregada a continuación, a la izquierda). Cuando analicé el ejemplo, obtuve los mismos resultados que se muestran en el tutorial. También noté que al analizar la extracción 3, el RMSE fue mucho más bajo, aunque las respuestas en la extracción 3 y en mi experimento fueron aproximadamente del mismo tamaño, ya que ambas respuestas son de rendimiento.

 

No entiendo como es posible que la diferencia en el RMSE sea tan grande. Si observa la distribución en el gráfico de efecto principal, puede ver que la distribución en mi experimento es similar, si no un poco más estrecha, que la distribución en la Extracción 3. También calculé el RMSE usando la herramienta Ajustar Y por X, donde obtuve un RMSE más grande en la Extracción 3 (alrededor de 20) que en mi experimento (alrededor de 18). Por eso parece que el análisis con Fit Definitive Screening marca la diferencia.

 

¿Me estoy perdiendo de algo?

¿Debo hacer algunos procesos de preanálisis con mis datos antes de Fit Definitive Screening?

¿O realmente tengo un experimento con RMSE grande? Si es así, ¿es posible arreglar eso?

 

Gracias.

 

Danijel

Diseño de experimentos