460902_es-ES

liliconcom

Cómo tratar las réplicas y las ejecuciones fallidas en un diseño de cribado definitivo

Hola comunidad, tengo problemas para modelar algunos datos que obtuve de un DSD. Esta fue una pantalla de 10 factores. Ejecutamos esto con 3 bloques (operadores) e incluí el número máximo de ejecuciones adicionales (8). Esto me dio una tabla de 31 carreras. Hicimos algunos experimentos iniciales de búsqueda de rango para establecer límites razonables para todos los factores. Desafortunadamente, todavía tenemos 4 ejecuciones en las que la reacción falló por completo, por lo que no tengo valor para poner como respuesta.

 

Mi primera pregunta es cómo deben tratarse estas ejecuciones fallidas. Idealmente, supongo que deberían excluirse, y todavía tendría 27 ejecuciones que proporcionaron datos. Pero si los excluyo de la tabla e intento ejecutar el script Fit Definitive Screening, no pasa nada. No hay ningún mensaje de error, pero la ventana simplemente no se abre. Mi respuesta es "Tiempo hasta la finalización", con el objetivo de minimizar esta respuesta, y podría poner un número grande que represente un tiempo más largo que la duración del experimento, pero esto parece arbitrario. Sin embargo, el script se ejecutará.

 

Mi segunda pregunta es si puedo incluir ejecuciones replicadas para tener más confianza en el modelo. Ejecutamos 8 réplicas de cada condición de ejecución. Sin embargo, si copio y pego una ejecución e intento ejecutar el script, nuevamente no sucede nada. En este momento, solo estoy tomando el promedio de las 8 ejecuciones y usándolo, pero me pregunto si sería mejor incluir de alguna manera los valores individuales y, de ser así, ¿hay alguna manera de hacerlo con el script Fit Definitive Screening?

 

Puedo usar el módulo Fit Model estándar para resolver ambos problemas, pero parece que me perdería el beneficio del DSD. ¡Gracias por cualquier respuesta! Estoy en JMP 15.2. Si publicar la tabla fuera útil, estoy feliz de hacerlo.

GAMARe: Cómo tratar las réplicas y las ejecuciones fallidas en un diseño de cribado definitivo

Primero, no he mirado sus datos, así que no puedo replicar los modos de falla que describe... pero creo que no tiene suerte. Para aprovechar las características de un DSD, realmente necesita tener todas las respuestas para cada combinación de tratamiento. Es un diseño muy económico y repleto de información para el análisis en dos etapas según lo prescrito por el guión Fit Definitive Screening. Aquí está mi sugerencia general, nuevamente no he mirado sus datos. Pero al menos intentaría esto... tal vez pueda volver a las mismas conclusiones a las que llegaría con un flujo de trabajo de análisis DSD.

 

Deberá utilizar la plataforma Fit Model. Incluya todas las réplicas 'tal cual'. También podría... puede haber información útil en la variación entre esos puntos... ya sea estadística o práctica. Dado que un flujo de trabajo de análisis DSD asume la escasez de efectos para obtener los beneficios de un enfoque DSD... Comenzaría ajustando un modelo de solo efectos principales y vería qué efectos están activos. Esperemos que las combinaciones de tratamientos que faltan no hagan mucho daño al encontrar estos efectos principales activos. Una vez que obtuvo esos efectos principales activos, ahora ajuste un modelo con esos efectos principales activos Y todas las posibles interacciones de dos factores, incluidos esos términos de efectos principales. Ajuste ese modelo... y vea lo que le dice.

 

Este enfoque de dos pasos imita conceptualmente lo que hace la plataforma de análisis Fit Definitive Screening... más o menos. Creo que este enfoque podría acercarte.

 

Me interesaría ver qué otros, como @markbailey o @statman ¿podría pensar?

 

Re: Cómo tratar las réplicas y las ejecuciones fallidas en un diseño de cribado definitivo

Mis pensamientos:

1. Variables de respuesta: ¿Puedes medir algo más que el "tiempo de finalización"? Por ejemplo, % de finalización o química después de 'x' cantidad de tiempo... en otras palabras, otras formas de medir los fenómenos.

2. Esta es una preocupación para cualquier estrategia del DOE que tenga en mente la optimización. Son más susceptibles a datos perdidos/faltantes/atípicos.  

3. ¿Cómo reemplazar los datos que faltan (algunas ideas sobre esto, pero cuantos más datos faltan, menos útiles)?

• Usar la media del conjunto de datos
• Usar datos predichos (esperemos que estas predicciones se hayan hecho a priori)
• Regrese a los datos que tiene y use el modelo para predecir los datos que faltan (usando la plataforma del modelo de ajuste)
• Haga todo lo anterior y compare los resultados... si concuerdan un poco, tendrá más confianza en el análisis resultante; si no, entonces debe decidir qué aprendió y cuál debería ser la próxima iteración.

4. Estoy un poco confundido por la afirmación "Ejecutamos 8 réplicas de cada condición de ejecución". ¿Replicas o repeticiones? ¿Fueron tratamientos independientes? Si realmente son réplicas y las 8 réplicas no reaccionaron (las 4 veces), ¿qué aprendiste?

Re: Cómo tratar las réplicas y las ejecuciones fallidas en un diseño de cribado definitivo

Quiero comprobar que Fit Definitive Screening hace no funcione si le faltan valores o si ha eliminado o excluido ejecuciones del diseño de cribado definitivo. El análisis especializado depende de la estructura plegable de la matriz de diseño al formar las matrices del modelo para el análisis. (Tenga en cuenta que puede usar Fit Definitive Screening con ningún diseño plegable!)

 

Me pregunto si sería posible reemplazar los valores que faltan para las ejecuciones sin una reacción con un número muy grande para el tiempo de finalización. Esta recodificación es un truco numérico. Simplemente desea que el análisis continúe donde algunas ejecuciones tomaron esencialmente un tiempo infinito, pero represente esto con un número finito. Por ejemplo, si el tiempo de reacción osciló entre 5 minutos y 2 horas, entonces podría usar un valor de 1000 a 100000 en lugar de los valores perdidos. ¿Eso funciona? Estoy tratando de recuperar la mayor cantidad posible de su experimento.

 

¿Las carreras adicionales son realmente réplicas? Es decir, no son simplemente medidas repetidas de una sola corrida. Sospecho que Time to Completion requiere que sean réplicas verdaderas, solo comprobando. Si es así, definitivamente incluiría las réplicas individuales y no el promedio de ellas. Sin embargo, un contraargumento es que podría estimar la media y la desviación estándar y modelarlas para encontrar condiciones que le proporcionen tanto el tiempo medio mínimo como la variación mínima en el tiempo.

 

Mi último comentario es que Fit Definitive Screening es una herramienta maravillosa y especializada. Realmente se trata de la selección del modelo, y eso es todo. Tienes muchas otras herramientas para seleccionar el mejor modelo lineal.

Re: Cómo tratar las réplicas y las ejecuciones fallidas en un diseño de cribado definitivo

Hola @markbailey , @statman , @P_Bartell ,

 

¡Gracias por los pensamientos! Adjunté mi tabla de datos para que pueda replicar lo que estoy viendo, si eso es útil. En este momento, las celdas sin un valor en la columna "Tiempo" son las ejecuciones fallidas. Sin un valor, el script Ajustar pantalla definitiva no se ejecuta. Si excluyo esas filas/ejecuciones, el script aún no se ejecuta. Si asigno valores aleatorios, se ejecutará. Sé que es mejor no excluir ninguna ejecución y esto dañará el modelo, pero dado que agregué 8 ejecuciones adicionales al generar la tabla, esperaba que perder 4 por fallas aún pudiera funcionar. ¡Me sorprendió que el guión ni siquiera lo intentara! Empecé probando el enfoque que @P_Bartell sugerido y también tengo preguntas allí, pero probablemente debería ser otro hilo y quiero dedicarle más tiempo primero. Para responder algunas de las otras preguntas que surgieron:

 

- Sí, puedo intentar usar una métrica diferente a "Tiempo de finalización". El único en el que puedo pensar es "Tiempo restante en el experimento" e intentar maximizar ese valor (sería cero para las ejecuciones fallidas). Esta es una reacción bioquímica que produce una señal que se supone que aumenta con el tiempo hasta que alcanza un máximo. En las ejecuciones fallidas, nunca se produjo ninguna señal, por lo que no tengo ningún otro valor para usar.

- He intentado asignar valores a las ejecuciones fallidas, como números más grandes que la duración del experimento, o simplemente números muy grandes (que se aproximan a un Tiempo de infiniti porque nunca funcionó), estos parecen realmente sesgar el modelo y hacen que todo el otros puntos de datos menos impactantes.

- Para aclarar, mis réplicas realmente son repeticiones de las condiciones de ejecución, no solo mediciones múltiples de la misma ejecución. Así que en total ejecutamos 31*8 = 248 reacciones. Estas reacciones naturalmente tienen cierta variabilidad, por lo que las réplicas son importantes. Los valores actualmente en la tabla son la media de las 8 ejecuciones. Pensé que sería útil incluir los datos de cada ejecución en el modelo, pero si trato de agregar ejecuciones adicionales a la tabla, el script Fit Definitive Screening no se ejecuta.

- Para abordar "Qué aprendí de las fallas": si observo las ejecuciones fallidas, 3 de 4 tienen una combinación de Mg bajo y Log2X1 alto. Se esperaba que esto fuera perjudicial para la reacción, y había considerado establecer una restricción para que no se pudiera usar esta combinación, pero el DSD no lo permitió. Si hubiera hecho un DOE personalizado, habría hecho esta restricción. (aunque hay casos en los que Low Mg y High Log2X1 funcionaron, por lo que esto no es una falla garantizada).

 

Por ahora, intentaré modelar estos datos excluyendo las ejecuciones fallidas, incluidos los datos de réplica individuales, y no usando el script Fit Definitive Screening.

Re: Cómo tratar las réplicas y las ejecuciones fallidas en un diseño de cribado definitivo

Pregunta rápida: ¿Cuánto de un cambio en el tiempo tiene importancia científica (o importancia práctica)?

Re: Cómo tratar las réplicas y las ejecuciones fallidas en un diseño de cribado definitivo

Cualquier cosa superior a 5 min sería de interés. Para nuestro ensayo de "punto medio" para los 3 bloques/operadores, se completó en 16, 25 y 25 minutos (lo que en sí mismo es un poco preocupante porque un operador fue de alguna manera mucho más rápido).

 

Muchas de estas condiciones son mucho peores que eso, pero esperábamos identificar factores que pudieran ayudarnos a mejorar ese momento.

Re: Cómo tratar las réplicas y las ejecuciones fallidas en un diseño de cribado definitivo

Realicé algunos análisis (modelos de ajuste) por bloque e incluí el bloque como un efecto fijo. Ficha técnica adjunta. Los análisis están utilizando modelos saturados y no se han reducido. Sí, los efectos de bloque pueden ser bastante desafiantes... lo que lleva a muchas preguntas.

Re: Cómo tratar las réplicas y las ejecuciones fallidas en un diseño de cribado definitivo

Gracias @statman ! Soy bastante nuevo en el modelado DOE, así que trato de encontrar mi propio camino hacia los modelos que escribiste, pero me enfoco en usar todo el conjunto de datos con el bloque como efecto fijo, y parece que incluir los datos replicados ayuda. Las diferencias entre los modelos de bloques individuales son ciertamente preocupantes. Gracias a todos por la ayuda.

Re: Cómo tratar las réplicas y las ejecuciones fallidas en un diseño de cribado definitivo

Hola @statman , el modelo que proporcionó, incluidos todos los datos y el bloque como efecto, tiene sentido a partir de lo que sabemos sobre el sistema. He estado tratando de recrear su modelo pero tengo dificultades, en particular, no estoy seguro de cómo decidió observar las interacciones secundarias y los efectos cuadráticos para un subconjunto de factores (pH, Mg, Log2X2, Log25X3), que están proporcionando el bonita curvatura que esperábamos.

 

He probado la estrategia que @P_Bartell mencionados anteriormente: evaluar los efectos principales y luego cruzarlos con todas las combinaciones posibles de factores. También he intentado usar la regresión lineal paso a paso de diferentes maneras. Pero nada me ha llevado a algo tan predictivo como lo que me proporcionó, y me gustaría saber cómo llegó allí. ¡Cualquier idea de su proceso de pensamiento sería apreciada! O si hay una página de ayuda en particular que debería leer, házmelo saber.

Re: Cómo tratar las réplicas y las ejecuciones fallidas en un diseño de cribado definitivo

Mi proceso de pensamiento al analizar los datos del DOE es comenzar con un modelo saturado. Esto se llama el sustractivo enfoque para la construcción de modelos (vs. el enfoque aditivo como lo hace paso a paso). Un modelo saturado es cuando se asignan todos los grados de libertad. En su caso, traté el bloque como un efecto fijo e incluí interacciones bloque por factor. Al analizar los resultados, primero piense qué efecto práctico tiene cada factor (término del modelo) y luego busque la significación estadística. Elimine los elementos insignificantes, luego vuelva a ejecutar el modelo reducido y analice los residuos. No sé cuál es el significado práctico para su conjunto de datos, por lo que no pude reducir el modelo.