Interpretación DSD y próximos pasosBuenos días, actualmente estoy aprendiendo JMP y sobre DSD/optimización. Realicé mi primer experimento y me gustaría recibir comentarios sobre el análisis y los próximos pasos. Estoy usando JMP Pro 17.
El objetivo del experimento: Maximizar la captura/recuperación de bacterias en partículas magnéticas.
La configuración: seleccioné las 7 variables que pensé que podrían influir en el resultado y las probé usando 22 ejecuciones (2 bloques; me lleva 2 días ejecutar esa cantidad de muestras). El modelo arrojó que 3 variables eran significativas, pero parece que 2/3 de las variables podrían beneficiarse al aumentar el rango de prueba. Digo esto basándome en los gráficos del perfilador de predicción. Esto es posible y factible (hasta cierto punto), por lo que puedo volver a probarlos con un rango más amplio.
1. ¿Necesito volver a ejecutar el DSD con las 7 variables o debería simplemente hacer un diseño compuesto central con las variables significativas que cubra los nuevos rangos de esas 2 variables? Me inclino por el CCD porque no creo que los rangos aumentados influyan en la insignificancia de las otras variables y luego puedo usar el CCD para predecir los parámetros óptimos.
2. Supongo que el modelo DSD no pudo predecir los parámetros óptimos a utilizar porque no tenía los rangos correctos, ¿es correcto? ¿O me falta ese resultado en alguna parte? Pensé que, dado que <50% de mis variables eran significativas, el diseño podría usarse para optimización.
3. ¿Me falta algo en el resultado que debería mirar? Nuevamente, soy nuevo y el resultado tiene muchos datos para digerir. Mi objetivo es, en última instancia, maximizar la recuperación de bacterias, por lo que me concentré en qué variables son significativas y no en el resto del resultado. ¿Hay "cosas" específicas en las que realmente debería centrarme o prestar especial atención además de los valores alfa? Encontré algunos mensajes sobre la clase gratuita en línea para el DOE, así que los tomaré, pero agradecería comentarios específicos sobre mi resultado para poder "identificarme" con lo que esa clase me enseñará con mis propios datos.
Intenté adjuntar el resultado adecuado pero sigo recibiendo un mensaje de error que indica que el archivo JMP no es compatible. Lo adjunto como PDF.
¡Gracias de antemano por la ayuda/comentarios!
Diseño de experimentosRe: Interpretación de DSD y próximos pasosHola @Feline614 ,
¡Bienvenidos a la Comunidad!
Me temo que es posible que no haya suficiente información para guiarlo precisamente en su tema, pero haré todo lo posible para brindarle ayuda y comentarios. Para obtener más orientación, ¿podría compartir un conjunto de datos anónimos ( Anonymize Data (jmp.com) ) para evaluar y ayudar mejor?
Sus próximos pasos se basan en los resultados de un modelo y la detección de efectos estadísticamente significativos. Parece que solo ha probado un tipo de análisis con "Ajustar DSD" (que es el análisis recomendado para DSD), pero ha probado otros análisis de modelado (posiblemente Regresión generalizada con diferentes métodos de estimación si tiene JMP Pro como "Selección podada hacia adelante" (con el método de validación AICc/BIC), "Selección directa de dos etapas" o eventualmente "Mejor subconjunto" (solo si tiene un número limitado de factores, ya que probará muchos modelos con efectos principales y muchas combinaciones de términos de orden superior ) , o simplemente probar la regresión por pasos como modelo alternativo)?
Podría ser interesante antes de seguir adelante ver si los diferentes modelos posibles coinciden en la detección de efectos estadísticos y comprobar si pueden diferir y dónde. Podría proporcionar una descripción general más confiable sobre los factores y efectos importantes en su estudio.
En cuanto a sus otras preguntas:
- Puede utilizar la plataforma Augment Designs para cambiar los rangos de los factores y explorar un área experimental diferente. Esta opción puede ser más interesante que volver a ejecutar o crear un nuevo DoE (como un CCD), ya que la información obtenida de su primer DoE se conservará para minimizar la cantidad requerida de ejecuciones del diseño aumentado.
En cuanto a la necesidad de mantener todos los factores o seleccionar solo los significativos, depende de su importancia/contribución al modelo (tanto estadísticamente como en tamaño del efecto), pero también si sus rangos se cambiarán o no en el aumento. Si no cambia el rango de un factor que no ha sido estadísticamente significativo y con un tamaño de efecto bajo, es posible excluirlo (y fijarlo en un valor específico) del DoE aumentado para ahorrar algo de presupuesto experimental. Pero si se cambia el rango de un factor, lo mantendría en aumento, para asegurarme de que no se vuelva estadísticamente significativo e importante en las respuestas dependiendo de los rangos.
- Parece que su modelo parece bastante preciso, excepto por 2 puntos que están aparte de la línea de regresión. ¿Hubo algún cambio/error experimental? ¿Las condiciones de los factores son "inestables" o crean una gran incertidumbre en la respuesta? Podría valer la pena investigar estos dos puntos, y quizás repetirlos si es posible, para diferenciar un "error de modelo" de un "error experimental". Para responder a su pregunta, también necesita saber cuál es su "umbral de aceptabilidad de incertidumbre de predicción" y el objetivo de respuesta: aquí su modelo tiene un RMSE de 0,0797, ¿cómo se compara con la variabilidad experimental? ¿Es este valor RMSE aceptable según la experiencia en el campo y teniendo en cuenta la incertidumbre de repetibilidad/reproducibilidad? ¿Cuál es la respuesta máxima que espera obtener? La respuesta a estas preguntas estará impulsada por la calidad del modelo y los umbrales de aceptabilidad de los expertos del dominio (tanto para la respuesta media prevista como para la respuesta de varianza prevista).
- Es posible que deba verificar algunas cosas con respecto a sus resultados: la prueba de falta de ajuste (jmp.com) es estadísticamente significativa, lo que puede explicarse por varias cosas. Tal vez la baja varianza de sus réplicas (o su representatividad, por ejemplo, si solo se trata de puntos centrales que pueden no ser representativos de la variabilidad en todo su espacio experimental) podría ser la razón (ya que tendría un error puro bajo), o alguna La razón podría ser la falta de efectos de orden superior en el modelo.
También puede verificar los dos puntos "extraños" mencionados anteriormente y verificar los supuestos de regresión (" Trazar el residuo por cuantiles normales" para verificar el supuesto de distribución de normalidad de los residuos, " Trazar el residuo por predicción" para verificar que los residuos están dispersos aleatoriamente alrededor de 0 (supuestos de homocedasticidad y linealidad) , trazar el residuo por fila para comprobar que el orden de los experimentos no influye en los resultados (independencia del supuesto de las observaciones)).
También intentaría usar la variable Bloquear como un efecto aleatorio (en lugar de un efecto fijo en su modelo aquí), ya que entiendo que esto representa el día en el que se realizaron los experimentos, por lo que es solo un subconjunto de la semana/hora y No está particularmente interesado en el efecto fijo del día sobre la respuesta media, sino probablemente más por la influencia del efecto aleatorio del día sobre la variabilidad de la respuesta. Puede intentar ajustar un modelo mixto usando la plataforma Ajustar modelo y especificar su efecto de bloque como Aleatorio: Opciones e informes de modelos de efectos aleatorios y mixtos (jmp.com)
El uso de Day como efecto aleatorio también puede ayudar a evaluar mejor la variabilidad de la respuesta y puede tener una influencia positiva en la prueba de falta de ajuste: la variación no se atribuirá al error del modelo, por lo que este término puede disminuir.
Algunos recursos que le ayudarán a comprender los DSD:
Presentamos diseños de cribado definitivos - Comunidad de usuarios de JMP
Diseño de cribado definitivo - Comunidad de usuarios de JMP
La plataforma de detección definitiva Fit (jmp.com)
Uso de diseños de detección definitivos para obtener más información en menos ensayos - Comunidad de usuarios de JMP
Y de manera más general sobre DoE:
Recursos del DoE - Comunidad de usuarios de JMP
Espero que esta respuesta te ayude,
Re: Interpretación de DSD y próximos pasosHola @Victor_G. ¡Realmente aprecio que te hayas tomado el tiempo de escribirme una respuesta completa!
Adjunté un conjunto de datos anónimos.
Ejecuté los distintos modelos que mencionaste (adjuntos), excepto que la "Selección directa de dos etapas" no era una opción (estaba atenuada). El enfoque gradual agregó una variable en 0,12, lo que parecía tener una influencia en el resultado según el perfilador de predicción, pero biológicamente, en este experimento específico, no esperaría que fuera significativo (repetiré este experimento con diferentes bacterias y espero que sea significativo en esas pruebas). La "selección adelantada podada" con AICc y el mejor subconjunto AICc elevó una variable a p=0,0564, pero tendría sentido biológico que tuviera un efecto significativo en el sistema. La "Selección avanzada podada" con BIC y el Mejor subconjunto con BIC fueron similares al paso a paso con la adición del de 0,12. También eliminé las variables <0,05 pero no cambiaron la importancia de los demás factores.
En general, no me sorprenden las variables que seleccionaron los modelos, excepto X_7, pensé con seguridad que una tendría un efecto significativo.
¿Tiene un buen recurso que explique estos modelos en el nivel principiante? Encontré algunos recursos en JMP, pero solo aprendí el enfoque paso a paso en la universidad. En realidad, no sé cómo interpretar los otros modelos que mencionaste, además de la comprensión general de un valor p.
1. Creé un diseño aumentado. Eliminé 2 variables (X_4 y X_5) porque biológicamente no deberían ser significativas en este sistema (aunque pueden serlo en una prueba futura). Dejé todos los demás factores iguales excepto los 2 factores que mostraron importancia y que parecen beneficiarse de probar un rango más alto (X_6 y X_8). No cambié el número predeterminado de ejecuciones pero las bloqueé. ¿Debo cambiar el número de ejecuciones? El video que envió ( Uso de diseños de detección definitivos para obtener más información de menos ensayos - Comunidad de usuarios de JMP ) a las 35:56 aproximadamente indica que una debilidad de DSD es que "el rango de factores para la detección puede no incluir el óptimo, por lo que seguir el diseño estar en diferentes rangos; realmente no se puede aumentar". Pero, como sugeriste, puedo aumentarlo con diferentes valores... ¿será esto un problema? ¿Necesito hacer algo diferente cuando voy a analizar los datos?
2. Puedo volver a ejecutar esos 2 puntos. Cuando ingreso los nuevos resultados, ¿debería simplemente reemplazar esos puntos o crear de alguna manera un nuevo bloque para incluir los nuevos valores? Si necesito crear un nuevo bloque, ¿cómo lo hago? No puedo explicar por qué parecen erróneos; el punto a la izquierda podría tener variabilidad debido a la baja concentración de bacterias (problema de distribución de Poisson). El de la derecha me resulta un poco más desconcertante, pero estoy trabajando con bacterias, por lo que un valor atípico de vez en cuando no es anormal.
Para RMSE, estoy un poco confundido al respecto. Estoy rastreando un RMSE bajo que debería ser bueno y reflejaría que el modelo es bueno para predecir resultados. No puedo encontrar ninguna literatura sobre alguien que esté haciendo algo similar a lo que yo estoy haciendo para saber con qué compararlo. Según lo que sé sobre el sistema, no esperaría mucho "ruido" para este experimento en particular. Esta bacteria y este sistema en particular me dan resultados bastante consistentes (tengo más variabilidad con una bacteria diferente, pero eso es un problema para la próxima semana).
3. Planeo volver a ejecutar los dos puntos "extraños". Agregué los supuestos de regresión al archivo adjunto "Ajustar mínimos cuadrados". ¿El residuo por trama predicha puede tener alguna agrupación?
Estoy de acuerdo, el bloqueo debería ser un efecto aleatorio. En otra publicación de discusión descubrí que puedes hacerlo cuando haces el diseño inicialmente, pero no puedo encontrar la "casilla" para marcar (supuse que aleatorio era el valor predeterminado, pero supongo que no). Lo convertí en un efecto aleatorio, pero afectó los efectos de orden par. Sin embargo, el cuadro "Falta de ajuste" está atenuado... No estoy seguro de por qué ni de qué significa eso. En términos simples, cuando hay un "efecto de orden par", ¿qué significa cuando es X_2*X_2? Entiendo cuando es algo así como X_2*X_3 y que hay interacción entre las dos variables pero no entiendo cómo interactúa una variable consigo misma.
Gracias por los recursos, fueron de gran ayuda, especialmente las "páginas de ayuda". Todavía estoy abrumado por el nivel de las estadísticas, pero agradezco su paciencia al enseñarme y ayudarme a ser un mejor científico. Este será el primero de muchos DSD. ¡Me alegro de haber comenzado con el "más simple"!
Re: Interpretación de DSD y próximos pasosHola @Feline614 ,
Gracias por su respuesta. Puede que la próxima vez sea más fácil proporcionar un archivo JMP en lugar de varios archivos Excel y pdf, ya que con un archivo JMP puede mantener el análisis a través de scripts guardados y conservar toda la información y propiedades de las columnas (particularmente para DoE, ya que cada factor puede tener hasta 3 propiedades de columna, que necesito agregar manualmente al importar datos desde Excel).
Los diferentes modelos que creaste parecen bastante consistentes y tienen muchas similitudes, por lo que es una buena señal.
Me sorprende no ver interacciones o efectos cuadráticos en ningún modelo, ya que los DSD son bastante efectivos para detectarlos (si no hay demasiados). Acabo de relanzar la plataforma de Regresión Generalizada al incluir términos de interacción y efectos cuadráticos para X2 a X8 (y mantener X1 como un bloque de efectos fijos), y los modelos parecen beneficiarse de estos términos agregados, tanto en términos de poder explicativo (R² aumenta hasta 0,95) y poder predictivo (RASE disminuye a 0,05). Parece que puede haber una interacción entre X6 y X8 y un efecto cuadrático para X2. Sospecho que la prueba de falta de ajuste estadísticamente significativa observada en su modelo inicial puede estar relacionada con estos términos de orden superior faltantes.
Los modelos también están muy de acuerdo entre sí sobre los términos incluidos:
Dado que está interesado en la detección y optimización para esta etapa inicial con DSD, tiene sentido utilizar un criterio de información como AICc para el método de validación en Regresión Generalizada, ya que desea tener un modelo que sea explicativo (conserve solo las variables más importantes). y predictivo (mantener las variables que ayudan a mejorar las predicciones/reducir el RASE/RMSE).
Si está buscando recursos sobre la regresión generalizada, estos son mis primeros pensamientos:
Ajuste de un modelo lineal en regresión generalizada
Uso de regresión generalizada en JMP® Pro para crear modelos lineales robustos
Sobre tus otros puntos:
- El aumento se puede realizar manteniendo los factores activos encontrados en el análisis anterior. Incluso si el X5 puede no ser significativo/importante, todavía se conserva en los modelos, por lo que yo lo conservaría. Prefiero mantener un factor no importante en la fase de aumento que eliminar demasiado rápido un posible factor importante para la siguiente fase.
Entonces, basándome únicamente en los resultados de los modelos (que se confirmarán con su experiencia en el dominio), mantendría los factores X2, X5, X6 y X8 para la fase de aumento. Con respecto al número de ejecuciones, es difícil decirlo, ya que depende de los posibles cambios en los rangos de factores, el modelo asumido y la certeza/precisión que desea para el modelo. Dado que mantiene una cantidad baja de factores (4), puede aumentar su diseño asumiendo un modelo de Superficie de respuesta, por lo que al hacer clic en "RSM" se agregarán todas las interacciones de 2 factores, así como los efectos cuadráticos para los factores seleccionados.
El problema que usted menciona está más presente cuando los rangos de factores están desconectados o separados entre la selección inicial y el aumento, pero como solo desea aumentar un poco más o mover un poco más los rangos de factores, aún puede beneficiarse de la información de su diseño inicial. carreras.
- Nuevamente, no hay una respuesta definitiva a su pregunta. Si obtiene resultados diferentes, puede repetir los experimentos varias veces (para tener más confianza en la respuesta medida).
Dependiendo de si ha realizado nuevos experimentos "desde cero" y los ha medido de forma independiente, puede agregar nuevas filas con los valores: estos nuevos puntos serán réplicas de los anteriores. Si solo repite la parte de medición en los mismos experimentos, puede reemplazar el valor original por la media de las mediciones: estos nuevos puntos son solo repeticiones de los experimentos (por lo tanto, no se realizan nuevas ejecuciones independientes ni se agregan filas).
Luego podrás comparar si los cambios en los valores de estos 2 puntos mejoran la calidad de los modelos.
- No parece haber un patrón específico en sus residuos. La agrupación que ve puede deberse al hecho de que sus mediciones de respuesta son altas o bajas y no tiene muchos valores medios (a excepción de los dos puntos "extraños"). Entonces, al comparar los residuos frente a los previstos, verá 2 grupos de puntos, uno para los valores de respuesta previstos bajos y otro para los más altos.
Lo bueno de usar el Bloqueo como efecto Aleatorio es que a través de un modelo Mixto, puedes evaluar si la variable de bloqueo tiene un efecto estadísticamente significativo en la varianza de la respuesta. En su caso, no parece ser el caso, por lo que puede eliminar esta variable de bloqueo de su modelo. La ejecución de modelos con esta variable de bloqueo como efecto fijo también muestra que este efecto de bloqueo no tiene un impacto estadísticamente significativo en la respuesta media, por lo que puede eliminarse de análisis futuros.
Con respecto al término X2.X2, no es una interacción sino un efecto cuadrático de X2: significa que la respuesta está vinculada a X2 mediante una función/término cuadrático: Y = X2² (+ otros términos en el modelo).
Adjunté el archivo JMP con todos los modelos y scripts probados para esta respuesta.
Espero que este seguimiento te ayude,
Re: Interpretación de DSD y próximos pasos@Victor_G
Lamento que hayas tenido que ingresar todos los datos a mano. Además, perdón por la demora pero quería responder con el siguiente lote de resultados. Creo que esta vez adjunté el formato correcto.
Ejecuté el modelo aumentado. Solo eliminé 1 término según mi "experiencia" y dejé todos los demás factores significativos y no significativos del DSD original. Las ejecuciones 1 a 22 son el DSD original; las carreras 23-34 son el diseño aumentado; las series 35 y 36 son réplicas independientes de la fila 5; Las series 37 y 38 son réplicas independientes de la fila 10 (las filas 5 y 10 eran "valores atípicos" en el DSD original).
¿Puedes verificar mi lógica para confirmar que estoy ejecutando y analizando los datos correctamente?
- Ejecuté un modelo mixto con el bloqueo como efecto aleatorio para verificar la importancia. No fue significativo en el modelo, por lo que puedo eliminar la variable. Mis residuos no parecen tan “aleatorios” como antes, pero no creo que sea terrible.
- Ejecuté Regresión Generalizada con múltiples modelos con AIC. Creo que se agregaron todas las interacciones. Sé que la última vez dijiste que agregaste interacciones, así que quiero confirmar que esta vez hice el diseño del modelo correctamente.
¿Cómo creaste el gráfico que incorporaste? Encontré estas instrucciones pero no resultó en la buena comparación visual que proporcionaste: https://www.jmp.com/support/help/en/16.1/?os=win&source=application#page/jmp/model-comparison .shtml#
- Agregué el generador de perfiles de predicción a los modelos. Cuando intentaba encontrar las condiciones óptimas para maximizar la producción, me di cuenta de que el modelo predice >1,0; sin embargo, el resultado es una proporción y, en teoría, 1 es el valor más alto posible. Luego intenté cambiar el rango de salida con un mínimo de 0, un medio de 0,5 y un máximo de 1, pero no pareció cambiar el perfil del predictor...
Biológicamente las variables marcadas como significativas tienen sentido. Lo que no me tiene sentido es X_6, el rango DSD original era 1-5; se aumentó para hacer 1-20. Biológicamente, hacer algo más de 20 no debería marcar la diferencia, que es lo que muestra el modelo de mínimos cuadrados, pero no los demás.
¿Cómo sabrías qué modelo elegir? ¿Cómo se explica que el valor máximo de salida sea 1,0? ¿Cómo harías para buscar los parámetros óptimos para las variables?
- Me dijeron que incluyera X_1 como variable en el modelo, pero en realidad no estoy convencido de que deba ser una variable porque en el "mundo real" no es una variable que pueda controlar. Puedo controlarlo sólo en un entorno de laboratorio. Sin embargo, la salida es en realidad la proporción de recuperado al inicio y X_1 es el número inicial, por lo que es el denominador de la variable de salida. Pensé que X_1 debería mantenerse constante y el modelo optimizarse a esa constante, pero se argumentó que queremos saber cómo interactúan las variables si X_1 cambia. Supongo que mi confusión es ¿debería incluirse la variable X_1 si es el denominador de la salida?
¡Gracias!
Re: Interpretación de DSD y próximos pasosHola @Feline614 ,
Con respecto a su comentario sobre X6, aumenta el rango a 20, pero no extrapolaría las predicciones del modelo fuera del rango probado. Entonces parece que hay una tendencia lineal creciente de la respuesta con respecto a X6, pero tal vez esta tendencia se detenga después de que X6 alcance el valor 20. O tal vez no, y este sería un hecho/conocimiento nuevo para usted. Pero no puede estar seguro a menos que realice la prueba fuera de este rango. Puede crear puntos de validación/prueba fuera del rango y comparar los valores medidos con los valores pronosticados, para ver si hay alguna desviación del modelo que indique que la tendencia lineal creciente puede detenerse o ser diferente fuera del rango probado para X6.
Dado que de hecho hay un efecto cuadrático para X6 incluido en el modelo de mínimos cuadrados y respaldado por su conocimiento del dominio, también puede forzar la inclusión de estos términos (efectos principales y efectos cuadráticos para X6) en la construcción del modelo: Controles avanzados (jmp. com)
Con respecto a su pregunta general, no existe un modelo definitivo para elegir: puede seleccionar varios modelos similares, si tiene sentido estadística y experimentalmente (experiencia en el dominio). Lo que yo haría es:
- Lance un modelo mixto con X7 como efecto aleatorio para evaluar la significancia estadística de este bloque aleatorio.
- Inicie varios modelos GenReg y compare los términos incluidos en los modelos, así como el rendimiento de los modelos, para tener una mejor visión de qué términos son importantes/activos. Evaluar y seleccionar modelos informativos basados en la evaluación estadística y la experiencia en el dominio.
- Dado que el efecto de bloque aleatorio es significativo en el modelo completo, cree un modelo mixto refinado con los términos importantes, basándose en el aprendizaje obtenido en los dos pasos anteriores. Evalúe si el efecto del bloque aleatorio sigue siendo significativo y cree un modelo (mixto o basado en modelos de regresión generalizados) que mejor se adapte a sus aprendizajes. Validar su(s) modelo(s) puede ayudarle a ganar confianza en el(los) modelo(s) y también puede combinar varios modelos utilizando la plataforma Model Comparison (jmp.com) con las columnas de fórmula de predicción guardadas de sus modelos.
Acerca de X1, esto está vinculado a su objetivo y a lo que desea hacer con los resultados: ¿está investigando el sistema sólo en un entorno de laboratorio o desea que sus hallazgos se utilicen en otro entorno? Si es la segunda opción, puede ejecutar algunas ejecuciones de confirmación/validación en este nuevo entorno, para asegurarse de que los hallazgos a escala de laboratorio se puedan transponer/utilizar en un entorno diferente. Puede que no sea un problema si X1 se maneja de manera diferente entre el laboratorio y otros entornos desde un punto de vista analítico: en su entorno de laboratorio, puede maximizar la conveniencia sin agregar restricciones en el generador de perfiles. En su otro entorno, conociendo el valor fijo de X1, puede bloquear el valor de X1 y optimizar los otros factores para maximizar la conveniencia: Establecer o bloquear valores de factor (jmp.com)
Espero que este seguimiento te ayude,
