Cómo tratar las réplicas y las ejecuciones fallidas en un diseño de cribado definitivoHola comunidad, tengo problemas para modelar algunos datos que obtuve de un DSD. Esta fue una pantalla de 10 factores. Ejecutamos esto con 3 bloques (operadores) e incluí el número máximo de ejecuciones adicionales (8). Esto me dio una tabla de 31 carreras. Hicimos algunos experimentos iniciales de búsqueda de rango para establecer límites razonables para todos los factores. Desafortunadamente, todavía tenemos 4 ejecuciones en las que la reacción falló por completo, por lo que no tengo valor para poner como respuesta.
Mi primera pregunta es cómo deben tratarse estas ejecuciones fallidas. Idealmente, supongo que deberían excluirse, y todavía tendría 27 ejecuciones que proporcionaron datos. Pero si los excluyo de la tabla e intento ejecutar el script Fit Definitive Screening, no pasa nada. No hay ningún mensaje de error, pero la ventana simplemente no se abre. Mi respuesta es "Tiempo hasta la finalización", con el objetivo de minimizar esta respuesta, y podría poner un número grande que represente un tiempo mayor que la duración del experimento, pero esto parece arbitrario. Sin embargo, el script se ejecutará.
Mi segunda pregunta es si puedo incluir ejecuciones replicadas para tener más confianza en el modelo. Ejecutamos 8 réplicas de cada condición de ejecución. Sin embargo, si copio y pego una ejecución e intento ejecutar el script, nuevamente no sucede nada. En este momento, solo estoy tomando el promedio de las 8 ejecuciones y usándolo, pero me pregunto si sería mejor incluir de alguna manera los valores individuales y, de ser así, ¿hay alguna manera de hacerlo con el script Fit Definitive Screening?
Puedo usar el módulo Fit Model estándar para resolver ambos problemas, pero parece que me perdería el beneficio del DSD. ¡Gracias por cualquier respuesta! Estoy en JMP 15.2. Si publicar la tabla fuera útil, estoy feliz de hacerlo.
Fusión y limpieza de datosDiseño de experimentosRe: Cómo tratar las réplicas y las ejecuciones fallidas en un diseño de cribado definitivoMi placer. El diseño experimental es un tema enorme con muchas "facetas". Lo que complica aún más el tema es que no hay un "camino correcto". Algunos serán más eficientes, algunos serán más efectivos. Descubrí que primero tengo que entender la situación, qué preguntas estoy tratando de responder, qué hipótesis estoy tratando de comprender, qué efectos del modelo necesito estimar. Diseño múltiples opciones/planes, pienso en qué conocimiento podría obtenerse potencialmente (de hecho, predigo todos los resultados posibles) para cada opción y lo comparo con los requisitos de recursos. Reconociendo que estaré iterando, entonces, ¿qué necesito para continuar con la investigación?
He sido extremadamente afortunado de aprender de algunas de las mejores mentes (Box, Taguchi, McLean, Sanders, Diamond, Bisgaard, et.al.) y tuve el lujo de participar en el diseño y análisis de miles de experimentos. Muchas de las brujas en retrospectiva podrían haber sido diseñadas mejor... LOL
Re: Cómo tratar las réplicas y las ejecuciones fallidas en un diseño de cribado definitivoCuanto más aprendo, más me doy cuenta de lo mucho que no sé. ¡Gracias por la guía continua!
Re: Cómo tratar las réplicas y las ejecuciones fallidas en un diseño de cribado definitivoEn el futuro, recomendaría saber qué efectos de modelo desea separar, qué efectos de modelo está dispuesto a confundir y qué efectos de modelo no desea incluir en el estudio ANTES de seleccionar el diseño para ejecutar.
No puede usar la macro de superficie de respuesta y debe asegurarse de que el bloque no sea un efecto aleatorio. Para crear el modelo, deberá comprender los grados de libertad totales disponibles y el alias en su experimento. (Nunca ponga términos con alias en el modelo, obtendrá errores de singularidad). Puede comenzar aquí:
https://www.jmp.com/support/help/en/16.2/?os=mac&source=application&utm_source=helpmenu&utm_medium=application#page/jmp/efective-model-selection-for-dsds.shtml#ww292566
Cuando crea el diseño en JMP, debe obtener una flecha que es un script para evaluar el diseño, esto proporcionará la estructura de alias. Si ha ejecutado un bloque completo, su modelo contendrá el modelo de diseño de cribado definitivo, el bloque y todos los efectos del modelo de cribado definitivo bloque por bloque.
Re: Cómo tratar las réplicas y las ejecuciones fallidas en un diseño de cribado definitivoGracias statman, creo que entiendo el enfoque.
Para generar mi modelo saturado, comencé con todos los factores, todos los factores al cuadrado y todas las interacciones (usando la macro Superficie de respuesta). Luego, ejecutar un estándar de mínimos cuadrados. ¿Hay alguna opción para tratar el bloque como un efecto fijo? Actualmente, el resultado enumera un par de singularidades que parecen impedirme obtener valores p para cualquiera de las interacciones. Quedarse atrapado allí. En su modelo, tiene todos los factores y algunas interacciones, pero no todas, ¿significa esto que ya ha reducido el modelo de alguna manera? ¿Cómo sabías cuáles quitar?
Re: Cómo tratar las réplicas y las ejecuciones fallidas en un diseño de cribado definitivoMi proceso de pensamiento al analizar los datos del DOE es comenzar con un modelo saturado. Esto se llama el sustractivo enfoque para la construcción de modelos (vs. el enfoque aditivo como lo hace paso a paso). Un modelo saturado es cuando se asignan todos los grados de libertad. En su caso, traté el bloque como un efecto fijo e incluí interacciones bloque por factor. Al analizar los resultados, primero piense qué efecto práctico tiene cada factor (término del modelo) y luego busque la significación estadística. Elimine los elementos insignificantes, luego vuelva a ejecutar el modelo reducido y analice los residuos. No sé cuál es el significado práctico para su conjunto de datos, por lo que no pude reducir el modelo.
Re: Cómo tratar las réplicas y las ejecuciones fallidas en un diseño de cribado definitivoHola @statman , el modelo que proporcionó, incluidos todos los datos y el bloque como efecto, tiene sentido a partir de lo que sabemos sobre el sistema. He estado tratando de recrear su modelo pero tengo dificultades, en particular, no estoy seguro de cómo decidió observar las interacciones secundarias y los efectos cuadráticos para un subconjunto de factores (pH, Mg, Log2X2, Log25X3), que están proporcionando el bonita curvatura que esperábamos.
He probado la estrategia que @P_Bartell mencionados anteriormente: evaluar los efectos principales y luego cruzarlos con todas las combinaciones posibles de factores. También he intentado usar la regresión lineal paso a paso de diferentes maneras. Pero nada me ha llevado a algo tan predictivo como lo que me proporcionó, y me gustaría saber cómo llegó allí. ¡Cualquier idea de su proceso de pensamiento sería apreciada! O si hay una página de ayuda en particular que debería leer, házmelo saber.
Re: Cómo tratar las réplicas y las ejecuciones fallidas en un diseño de cribado definitivoGracias @statman ! Soy bastante nuevo en el modelado DOE, así que trato de encontrar mi propio camino hacia los modelos que escribiste, pero me enfoco en usar todo el conjunto de datos con el bloque como efecto fijo, y parece que incluir los datos replicados ayuda. Las diferencias entre los modelos de bloques individuales son ciertamente preocupantes. Gracias a todos por la ayuda.
Re: Cómo tratar las réplicas y las ejecuciones fallidas en un diseño de cribado definitivoRealicé algunos análisis (modelos de ajuste) por bloque e incluí el bloque como un efecto fijo. Ficha técnica adjunta. Los análisis están utilizando modelos saturados y no se han reducido. Sí, los efectos de bloque pueden ser bastante desafiantes... lo que lleva a muchas preguntas.
Re: Cómo tratar las réplicas y las ejecuciones fallidas en un diseño de cribado definitivoCualquier cosa superior a 5 min sería de interés. Para nuestro ensayo de "punto medio" para los 3 bloques/operadores, se completó en 16, 25 y 25 minutos (lo que en sí mismo es un poco preocupante porque un operador fue de alguna manera mucho más rápido).
Muchas de estas condiciones son mucho peores que eso, pero esperábamos identificar factores que pudieran ayudarnos a mejorar ese momento.
Re: Cómo tratar las réplicas y las ejecuciones fallidas en un diseño de cribado definitivoPregunta rápida: ¿Cuánto de un cambio en el tiempo tiene importancia científica (o importancia práctica)?
Re: Cómo tratar las réplicas y las ejecuciones fallidas en un diseño de cribado definitivoHola @Mark_Bailey , @statman , @P_Bartell ,
¡Gracias por los pensamientos! Adjunté mi tabla de datos para que pueda replicar lo que estoy viendo, si eso es útil. En este momento, las celdas sin un valor en la columna "Tiempo" son las ejecuciones fallidas. Sin un valor, el script Ajustar pantalla definitiva no se ejecuta. Si excluyo esas filas/ejecuciones, el script aún no se ejecuta. Si asigno valores aleatorios, se ejecutará. Sé que es mejor no excluir ninguna ejecución y esto dañará el modelo, pero dado que agregué 8 ejecuciones adicionales al generar la tabla, esperaba que perder 4 por fallas aún pudiera funcionar. ¡Me sorprendió que el guión ni siquiera lo intentara! Empecé probando el enfoque que @P_Bartell sugerido y también tengo preguntas allí, pero probablemente debería ser otro hilo y quiero dedicarle más tiempo primero. Para responder algunas de las otras preguntas que surgieron:
- Sí, puedo intentar usar una métrica diferente a "Tiempo de finalización". El único en el que puedo pensar es "Tiempo restante en el experimento" e intentar maximizar ese valor (sería cero para las ejecuciones fallidas). Esta es una reacción bioquímica que produce una señal que se supone que aumenta con el tiempo hasta que alcanza un máximo. En las ejecuciones fallidas, nunca se produjo ninguna señal, por lo que no tengo ningún otro valor para usar.
- He intentado asignar valores a las ejecuciones fallidas, como números más grandes que la duración del experimento, o simplemente números muy grandes (que se aproximan a un Tiempo de infiniti porque nunca funcionó), estos parecen realmente sesgar el modelo y hacen que todo el otros puntos de datos menos impactantes.
- Para aclarar, mis réplicas realmente son repeticiones de las condiciones de ejecución, no solo mediciones múltiples de la misma ejecución. Así que en total ejecutamos 31*8 = 248 reacciones. Estas reacciones naturalmente tienen cierta variabilidad, por lo que las réplicas son importantes. Los valores actualmente en la tabla son la media de las 8 ejecuciones. Pensé que sería útil incluir los datos de cada ejecución en el modelo, pero si trato de agregar ejecuciones adicionales a la tabla, el script Fit Definitive Screening no se ejecuta.
- Para abordar "Qué aprendí de las fallas": si observo las ejecuciones fallidas, 3 de 4 tienen una combinación de Mg bajo y Log2X1 alto. Se esperaba que esto fuera perjudicial para la reacción, y había considerado establecer una restricción para que no se pudiera usar esta combinación, pero el DSD no lo permitió. Si hubiera hecho un DOE personalizado, habría hecho esta restricción. (aunque hay casos en los que Low Mg y High Log2X1 funcionaron, por lo que esto no es una falla garantizada).
Por ahora, intentaré modelar estos datos excluyendo las ejecuciones fallidas, incluidos los datos de réplica individuales, y no usando el script Fit Definitive Screening.
Re: Cómo tratar las réplicas y las ejecuciones fallidas en un diseño de cribado definitivoQuiero comprobar que Fit Definitive Screening hace no funcionará si le faltan valores o si ha eliminado o excluido ejecuciones del diseño de cribado definitivo. El análisis especializado depende de la estructura plegable de la matriz de diseño al formar las matrices del modelo para el análisis. (Tenga en cuenta que puede usar Fit Definitive Screening con cualquier diseño plegable!)
Me pregunto si sería posible reemplazar los valores que faltan para las ejecuciones sin una reacción con un número muy grande para el tiempo de finalización. Esta recodificación es un truco numérico. Simplemente desea que el análisis continúe donde algunas ejecuciones tomaron esencialmente un tiempo infinito, pero represente esto con un número finito. Por ejemplo, si el tiempo de reacción osciló entre 5 minutos y 2 horas, entonces podría usar un valor de 1000 a 100000 en lugar de valores faltantes. ¿Eso funciona? Estoy tratando de recuperar la mayor cantidad posible de su experimento.
¿Las carreras adicionales son realmente réplicas? Es decir, no son simplemente medidas repetidas de una sola corrida. Sospecho que Time to Completion requiere que sean réplicas verdaderas, solo comprobando. Si es así, definitivamente incluiría las réplicas individuales y no el promedio de ellas. Sin embargo, un contraargumento es que podría estimar la media y la desviación estándar y modelarlas para encontrar condiciones que le proporcionen tanto el tiempo medio mínimo como la variación mínima en el tiempo.
Mi último comentario es que Fit Definitive Screening es una herramienta maravillosa y especializada. Realmente se trata de la selección del modelo, y eso es todo. Tienes muchas otras herramientas para seleccionar el mejor modelo lineal.
Re: Cómo tratar las réplicas y las ejecuciones fallidas en un diseño de cribado definitivoMis pensamientos:
1. Variables de respuesta: ¿Puedes medir algo más que el "tiempo de finalización"? Por ejemplo, % de finalización o química después de 'x' cantidad de tiempo... en otras palabras, otras formas de medir los fenómenos.
2. Esta es una preocupación para cualquier estrategia del DOE que tenga en mente la optimización. Son más susceptibles a datos perdidos/faltantes/atípicos.
3. ¿Cómo reemplazar los datos que faltan (algunas ideas sobre esto, pero cuantos más datos faltan, menos útiles)?
- Usar la media del conjunto de datos
- Usar datos predichos (esperemos que estas predicciones se hayan hecho a priori)
- Regrese a los datos que tiene y use el modelo para predecir los datos que faltan (usando la plataforma del modelo de ajuste)
- Haga todo lo anterior y compare los resultados... si concuerdan un poco, tiene más confianza en el análisis resultante, si no, entonces tiene que decidir qué aprendió y cuál debería ser la próxima iteración.
4. Estoy un poco confundido por la afirmación "Ejecutamos 8 réplicas de cada condición de ejecución". ¿Replicas o repeticiones? ¿Fueron tratamientos independientes? Si realmente son réplicas y las 8 réplicas no reaccionaron (las 4 veces), ¿qué aprendiste?
Re: Cómo tratar las réplicas y las ejecuciones fallidas en un diseño de cribado definitivoPrimero, no he mirado sus datos, así que no puedo replicar los modos de falla que describe... pero creo que no tiene suerte. Para aprovechar las características de un DSD, realmente necesita tener todas las respuestas para cada combinación de tratamiento. Es un diseño muy económico y repleto de información para el análisis en dos etapas según lo prescrito por el guión Fit Definitive Screening. Aquí está mi sugerencia general, nuevamente no he mirado sus datos. Pero al menos intentaría esto... tal vez pueda volver a las mismas conclusiones a las que llegaría con un flujo de trabajo de análisis DSD.
Deberá utilizar la plataforma Fit Model. Incluya todas las réplicas 'tal cual'. También podría... puede haber información útil en la variación entre esos puntos... ya sea estadística o práctica. Dado que un flujo de trabajo de análisis DSD asume la escasez de efectos para obtener los beneficios de un enfoque DSD... Comenzaría ajustando un modelo de solo efectos principales y vería qué efectos están activos. Esperemos que las combinaciones de tratamientos que faltan no hagan mucho daño al encontrar estos efectos principales activos. Una vez que obtuvo esos efectos principales activos, ahora ajuste un modelo con esos efectos principales activos Y todas las posibles interacciones de dos factores, incluidos esos términos de efectos principales. Ajuste ese modelo... y vea lo que le dice.
Este enfoque de dos pasos imita conceptualmente lo que hace la plataforma de análisis Fit Definitive Screening... más o menos. Creo que este enfoque podría acercarte.
Me interesaría ver qué otros, como @Mark_Bailey o @statman ¿podría pensar?
Re: Cómo tratar réplicas y ejecuciones fallidas en un diseño de detección definitivoHola @Mark_Bailey
Siguiendo con eso, ¿cómo se ingresan las réplicas individuales en el DSD? Al diseñar la tabla del DOE, no hay ningún cuadro para indicar el número de réplicas (mientras que este cuadro está presente al diseñar un diseño de detección clásico, por ejemplo).
Gracias
sara
Re: Cómo tratar réplicas y ejecuciones fallidas en un diseño de detección definitivoNo tienes la misma opción con un DSD. No puede replicar algunas ejecuciones si desea utilizar Fit Definitive Screening. Puede copiar todas las ejecuciones después de hacer clic en Crear tabla y pegar una copia debajo de las filas originales para replicar el diseño.
Re: Cómo tratar réplicas y ejecuciones fallidas en un diseño de detección definitivoHola @SaraA ,
Como ha mencionado @Mark_Bailey , puede replicar manualmente el diseño completo copiando y pegando todas las filas que pertenecen al DSD.
También puedes utilizar la plataforma Augment Design para replicar tu DSD: Replicar un diseño
