Herramienta Power Simulator (determinación de potencia para un ensayo con CV de estudio de precisión existentes)Hola a todos,
Nuestra práctica interna para realizar estudios de precisión en un ensayo producirá múltiples CV para diferentes componentes de variación (p. ej., día a día, pesaje a pesaje, etc.). Debido a esto, la pregunta “¿podemos usar estos CV para determinar el poder estadístico en futuros diseños experimentales?” surge a menudo.
La respuesta:
Sin embargo, no es fácil. Marianne MTOF ha desarrollado un flujo de trabajo para adoptar un diseño experimental, integrar el diseño con los CV del ensayo y simular la ejecución del experimento 1000 veces. A partir de esto, determinamos cuántas veces se determinó que cada efecto fijo era estadísticamente significativo para calcular el poder de ese efecto.
Desafortunadamente, realizar este proceso manualmente requiere bastante tiempo (y es muy fácil cometer errores). Como tal, he trabajado para automatizarlo.
El complemento que he adjuntado sigue siendo un prototipo, pero MTOF y yo hemos jugado con él y creemos que debería estar listo para probarlo.
¿Entonces, cómo funciona?
Digamos que realizo un estudio de precisión en un nuevo ensayo. En este ensayo, determinamos que hay un CV de día a día del 4%, un CV de muestreo a muestreo del 3% y un CV de medición a medición del 2%.
Después de un tiempo, se compra una segunda máquina. Queremos diseñar un estudio pequeño y rápido para ver si la máquina original y la nueva producen resultados similares.
Creamos el siguiente diseño experimental simple y queremos saber si es "suficientemente bueno":
(“En un día, pruebe dos muestras con 2 mediciones por muestra en cada máquina”)
Ahora comencemos:
- Iniciar el complemento
- Aparecerá una ventana que muestra todas las tablas de datos abiertas actualmente:
- Si el diseño experimental de interés está abierto actualmente, selecciónelo en el menú y haga clic en Aceptar.
- Si el archivo no está abierto, seleccione "Importar nuevo archivo" y luego presione Aceptar. Utilice el Explorador para seleccionar el archivo de interés.
- Se iniciará la interfaz principal, permitiéndole definir el modelo que se debe utilizar:
-
- Para la tabla de demostración que se muestra arriba, el único efecto fijo es "Máquina", así que lo agregaré al modelo.
-
- Mis efectos aleatorios son Día, Muestreo y Medición. Primero agrego el efecto Día y Muestreo:
-
- Debido a cómo se configuró mi mesa, Día y Muestreo deben tener su anidamiento configurado correctamente:
-
- Ahora use el botón “Alternar seleccionado como aleatorio” para configurar el día y el muestreo en efectos aleatorios:
-
- Aparecerán dos cuadros en la barra lateral "Definir CV de efectos aleatorios" para permitirle configurar los CV para estos efectos aleatorios. Pondré un 4 % para el día y un 3 % para el muestreo:
- Ahora, también tenemos que preocuparnos por el CV “medida a medida”, y esta columna no se agregó a la tabla de datos de entrada. Dado que la medición es el efecto aleatorio de nivel más bajo, se confundiría con el residual. Entonces, podemos usar "Crear nueva columna residual" para crear una columna para el error de medición y establecer su CV en 2%:
-
- A continuación, seleccione qué columna es la columna de respuesta (“Resultado”) y luego haga clic en Aceptar
-
- Se creará una nueva tabla de datos basada en la tabla de datos de entrada y se modificará "_PowerSim#" al final del nombre del archivo. Como tal, su archivo original no sufrirá ningún daño.
- Se incrustará un script de "Ejecutar simulación" en el nuevo archivo. Haga clic en el icono para iniciar una evaluación.
-
- Primero, seleccione el efecto fijo en el que le gustaría detectar una diferencia. Para este diseño, sólo tenemos una opción (Máquina):
-
- Aparecerá un cuadro dentro de la barra lateral "Diferencia para detectar". Por defecto, todo estará configurado en 100, que corresponde a la media.
- Digamos que quiero saber si mi diseño experimental tendrá el poder de detectar una diferencia del 5% en el nivel entre persona y máquina. Para conseguir esto, cambio el valor de New Machine a 105:
-
- De forma predeterminada, el valor alfa crítico está establecido en 5%. Si lo desea, esto se puede cambiar en el cuadro "Valor crítico". Estoy contento con el 5%, así que presionaré Aceptar.
- Ahora esperamos a que se ejecuten todos los modelos. En el futuro, intentaremos acelerar este paso, pero por ahora tarda aproximadamente un minuto en ejecutarse.
- Cuando termine, aparecerá una ventana emergente con los resultados:
-
- Como resultado, el poder para detectar una diferencia del 5% en la respuesta con un alfa de 0,05 debido al efecto de "Máquina" es del 23,6%. Entonces, no es un gran diseño. Puede regresar y ajustar la diferencia para detectar y/o el valor alfa utilizado, pero probablemente sea mejor hacer un diseño más robusto.
- Este fue un ejemplo bastante simple. Por supuesto, se pueden utilizar modelos y exámenes más complicados:
-
Hay ciertas características que no están implementadas (efectos fijos anidados, interacciones distintas a Nominal*Continua) y trabajo que se puede hacer para posiblemente aumentar la velocidad (por ejemplo, pasar a un sistema iterativo en lugar de imprimir todos los datos dentro de la tabla de datos al principio). ).
Por favor, infórmanos a Marianne y a mí si tienes alguna pregunta.
EDITAR: Se pueden encontrar notas sobre la versión 3 aquí
Re: Herramienta Simulador de potencia (Determinación de potencia para un ensayo con CV de estudio de precisión existentes)Adjunté la versión 3 de este complemento a la primera publicación.
Más allá de las típicas correcciones de errores, hay dos cambios notables en la funcionalidad.
En primer lugar, la herramienta ya no duplica el diseño experimental mil veces (lo que da como resultado que la hoja de datos tenga un tamaño de 1000×[filas de diseño] filas). Hacerlo fue útil para la prueba de errores, pero cambiamos a un método iterativo en el que, en lugar de ejecutar 1000 modelos a la vez, ahora ejecuta un modelo, registra el resultado, reconfigura las columnas de contribución aleatoria y luego ejecuta el siguiente modelo.
Esto realmente no ofrece mucho para acelerar el proceso, pero lo que hace es evitar los bloqueos/congelaciones que se producen cuando se utilizan diseños experimentales muy grandes.
En segundo lugar, la herramienta ahora tiene una opción para definir "Tratamiento de errores":
El tratamiento "Error normal" utiliza el mismo error distribuido normalmente que las versiones anteriores. Seleccionar "Error de placa microbiana" hace las cosas un poco diferentes: (1) las columnas de contribución de error tendrán una distribución Lognormal en lugar de Normal, (2) la respuesta se transformará Log10 (por lo que no es necesario seleccionar "Respuesta de transformación logarítmica" en el Cuadro de esquema "Seleccionar columna de respuesta"), (3) la varianza deberá definirse en términos de desviación estándar en lugar de CV, y (4) el usuario deberá especificar el nivel de respuesta al ejecutar una nueva simulación:
Esta funcionalidad se introdujo para tener en cuenta mejor los datos de las placas microbianas. La metodología detrás de esta metodología todavía está en desarrollo activo, y la implementación de la herramienta ha sido verificada pero no completamente validada, por lo que cualquier resultado del uso de este tratamiento de errores se debe tomar con cautela. Si hay alguna preocupación, recomiendo continuar usando "Error normal" junto con una respuesta de registro transformado para los datos de placa como antes.
Re: Herramienta Simulador de potencia (Determinación de potencia para un ensayo con CV de estudio de precisión existentes)>Un instructor incluso nos había dicho que el diseño de bloques aleatorios para experimentos se concibió originalmente específicamente para la ciencia de las plantas con el fin de ayudar a manejar los muchos problemas con diferentes niveles de calidad del suelo, disponibilidad de agua, etc., en las pruebas de campo (los "bloques" eran literalmente miniparcelas cuadradas físicas de cultivos en los campos). Aunque no estoy seguro de cuánta verdad hay en esto.
¿De dónde crees que provienen términos como trama dividida? 
Fisher diseñó experimentos para pruebas agronómicas de campo y ideó ANOVA. Y definitivamente animamos a nuestros cooperadores a organizar los diseños de bloques aleatorios a lo largo de porciones de campo "similares".Así que le creería a su sabio instructor.
Re: Herramienta Simulador de potencia (Determinación de potencia para un ensayo con CV de estudio de precisión existentes)Pero estas son todavía solo consideraciones generales: si desea saber qué configuración será más rentable y brindará la mejor potencia, utilice la descripción detallada del cálculo de Adams o el complemento
Re: Herramienta Simulador de potencia (Determinación de potencia para un ensayo con CV de estudio de precisión existentes)@jsdejmp
Agregar más réplicas en el nivel superior en realidad también ES más efectivo si no mantiene igual el número de réplicas en el nivel inferior, pero como en su ejemplo, mantiene el mismo total (siempre que la configuración esté anidada como se mencionó anteriormente) .
¡Puedo decir con certeza que 10x5 es mejor que 5x10 independientemente del CV! Si está anidado, cuando se cuenta el total, 10x5 da 10 pruebas y 50 parcelas, mientras que 5x10 da 10 pruebas y 50 parcelas. Entonces, la variación entre tramas se reduce en ambos casos con un factor 50, mientras que la variación entre pruebas se reduce con un factor 10 o un factor 5.
Si no está anidado, es decir, la prueba se ejecuta en el mismo lugar 5 veces, por lo que son los mismos 10 gráficos que se reutilizan una y otra vez, entonces es una situación diferente, pero no me imagino que así sea como se ejecuta el campo. juicios?
Re: Herramienta Simulador de potencia (Determinación de potencia para un ensayo con CV de estudio de precisión existentes)Ah, eso tiene más sentido. Supongo que dijo lo correcto y simplemente no lo recordé bien
Re: Herramienta Simulador de potencia (Determinación de potencia para un ensayo con CV de estudio de precisión existentes)@ABI
Creo que su instructor se refería al diseño de parcelas divididas, que se desarrolló para pruebas de campo de agronomía, y de ahí proviene el nombre.
Re: Herramienta Simulador de potencia (Determinación de potencia para un ensayo con CV de estudio de precisión existentes)Feliz de ayudar en todo lo que pueda.
Tenga en cuenta que utilizamos una transformación logarítmica para los datos de placa porque el error nunca se distribuye normalmente y la transformación es necesaria para aproximarse a una distribución normal.
Además, definitivamente siento su dolor por las cuestiones de las pruebas de campo. Mi trabajo de pregrado y posgrado fue todo sobre genómica de plantas, así que he luchado en esa lucha (solo espera hasta que alguien te pida que combine los resultados del invernadero con los resultados de las pruebas de campo, ¡simplemente di no!). Un instructor incluso nos había dicho que el diseño de bloques aleatorios para experimentos se concibió originalmente específicamente para la ciencia de las plantas con el fin de ayudar a manejar los muchos problemas relacionados con los diferentes niveles de calidad del suelo, disponibilidad de agua, etc., en las pruebas de campo (los "bloques" se literalmente miniparcelas cuadradas físicas de cultivos en el campo). Aunque no estoy seguro de cuánta verdad hay en esto
Re: Herramienta Simulador de potencia (Determinación de potencia para un ensayo con CV de estudio de precisión existentes)@ABI , gracias por esta explicación y guía bien elaboradas sobre cómo abordar el diseño de sus experimentos. Definitivamente creo que puedo aplicar este sistema a nuestro enfoque experimental. Hemos estado trabajando para obtener buenas estimaciones en nuestros CV, pero como usted dijo, primero debemos comprender cómo interactúan nuestros diversos efectos aleatorios. Creo que necesitamos hacer modelos adicionales para capturar parte de esta información.
(Por cierto, gracias por mencionar por qué una transformación de registro es útil al capturar CV; justo estaba hablando con MSQM sobre eso en un SOP de control de calidad y no estaba seguro de por qué).
Re: Herramienta Simulador de potencia (Determinación de potencia para un ensayo con CV de estudio de precisión existentes)Hola @MTOF ,
Responder al n.º 1: Agregar más en el nivel superior es más efectivo solo si mantenemos el número de réplicas en el inferior. Considerando una restricción presupuestaria, la pregunta se acerca más a "¿Deberíamos hacer 5 ensayos x 10 repeticiones o 10 ensayos x 5 repeticiones?". A esta pregunta práctica se suma otra más abstracta y muy debatida: ¿un ensayo individual constituye un experimento completo o sólo un único punto de datos?Como nadie debería dibujar cualquier conclusiones de tratamiento de un solo ensayo, sin embargo, es evidente que existe un costo operativo y de diseño considerable para este experimento y sus datos deben tener el peso adecuado. (La madriguera del conejo es aún más profunda, ya que diferentes cultivos tienen diferentes sensibilidades de campo y, por lo tanto, diferentes CV y, por lo tanto, un número óptimo diferente de pruebas y repeticiones; y actualmente también estamos interesados si los diferentes subcontratistas que ejecutan las pruebas también podrían tener diferentes niveles de Capacidad para gestionar un campo y medir respuestas. Sin mencionar el clima y la variación año tras año en el mismo lugar. Es fácil desarrollar una actitud de rendición cuando la madre naturaleza fácilmente frustra nuestro arduo trabajo).
Responder al punto 2: Gracias por aclarar esto más.No estaba seguro de poder abordarlo así.
Re: Herramienta Simulador de potencia (Determinación de potencia para un ensayo con CV de estudio de precisión existentes)Hola jamel
Una adición a la respuesta de Adams a su pregunta "¿Existe una manera rápida de identificar qué aspecto de un diseño necesita más muestras?"
1. Agregar réplicas en un nivel "superior" siempre es más efectivo que agregarlas en un nivel inferior (pero normalmente también es más costoso).
Esto se debe a que las réplicas en el nivel superior también dan réplicas en todos los niveles inferiores. Al menos con una configuración jerárquica/anidada para la que hemos creado esta herramienta y que supongo que también tendrá en las pruebas de campo. Por ejemplo, si actualmente nuestra configuración es de 2 días x 2 pesajes x 3 platos (en total 2 días, 4 pesajes y 12 platos), agregar 1 día da un total de 3 días, 6 pesajes, 18 platos.
2. La relación entre los CV le indica dónde es más "necesario" agregar réplicas.
Si su CV entre ensayos es mucho mayor que el CV dentro del ensayo, entonces es necesario agregar más ensayos (agregar más réplicas dentro de cada ensayo contribuirá muy poco). Si el CV entre ensayos es mucho menor que el CV dentro del ensayo, entonces aún sería efectivo agregar más ensayos ya que también obtendría más réplicas (parcelas de tierra o plantas o lo que sea su réplica), pero probablemente Es mucho más económico e igual de efectivo agregar réplicas dentro de la prueba.
Re: Herramienta Simulador de potencia (Determinación de potencia para un ensayo con CV de estudio de precisión existentes)Hola jamel,
Sí, puedes hacer esto (quizás incluso sin esta herramienta en particular).Si tiene los componentes de la varianza del efecto aleatorio para un ensayo (de JMP o de otro tipo), esos valores de componentes pueden estimar el CV de una configuración de calidad de ensayo particular.
La forma en que los componentes CV (es decir, los efectos) interactúan entre sí es probablemente más importante que su valor porcentual. Para su ejemplo, probablemente más ubicaciones sean más importantes que más representantes. De hecho, es posible que los representantes dentro de la ubicación no sean réplicas verdaderas en absoluto y estén más cerca de repeticiones de muestra que de mediciones replicadas reales (y por lo tanto menos útiles, pero, sin saber más sobre su experimento, Realmente no puedo hablar de esto).
Así que trabajemos con un ejemplo con el que trato mucho: ensayos en microplacas.Digamos que tenemos tres componentes CV: los efectos aleatorios de la variación diaria, la variación entre pesajes y la variación entre platos.
En nuestro diseño de ensayo, tenemos estos tres componentes CV con el siguiente anidamiento:
- Día y aleatorio
- Pesaje [día] y aleatorio
- Plato[Día,Pesaje]&Aleatorio
Entonces, cada día de enchapado recibe X cantidades de pesajes (submuestras) y cada pesaje recibe Y cantidad de platos.
A continuación, después de realizar un estudio para determinar la precisión, obtendrá los valores del componente de varianza de la tabla REML y sus CV correspondientes (es decir, si la respuesta se transformó logarítmicamente, el CV del componente de varianza es igual al "Componente de varianza Sqrt" campo en la tabla REML. Si no se transforma, es igual al componente de varianza sqrt de la tabla REML/Media de respuesta de la tabla Resumen de ajuste).
Entonces, digamos que tenemos un CV diario del 5 % (componente var de 0,0025), un CV de pesaje a pesaje del 10 % (componente var de 0,01) y un CV de revestimiento a revestimiento de 8 % (componente var de 0,0064).
Si sumamos los tres componentes, obtenemos un valor del componente de varianza total de 0,0189, lo que se traduce en un CV del 13,7% (sqrt[0,0189]) si solo se realiza un día, un pesaje y un plato.
Debido a la estrategia de anidación descrita anteriormente, el cálculo del CV poblacional previsto para una configuración de calidad en este ensayo seguiría el siguiente cálculo:
Luego, en Excel es una simple cuestión de convertir esto en una fórmula y completarla para probar diferentes combinaciones, o hacerlo en JMP creando una columna de fórmula.
Ejemplo:
Arriba tenemos tres diseños y cada uno solo tiene 5 placas en total. Puede ver que tener una configuración de 5 días × 1 pesaje × 1 placa da como resultado un CV mucho más bajo que un diseño de 1 día × 1 pesaje × 5 placas, a pesar de que la variación día a día tiene el CV de componente más bajo.
Y luego puedes jugar con otros diseños para descubrir cuál es realmente mejor:
Aquí hay tres diseños, cada uno con 20 placas y valores de CV bastante cercanos.Luego se convierte en una conversación sobre qué configuración es más factible/adecuada en términos de costo. También puedes usar la herramienta Solver en Excel con algunas reglas que te ayudarán si vas a tener que adivinar y verificar.
Independientemente, como resultado, podrá evaluar si más ubicaciones o más representantes dentro de una ubicación son valiosos y aproximadamente en qué medida (es decir, cuál es el cambio en el CV entre agregar otra ubicación o agregar diez representantes más a cada una). ubicación existente?).
Ahora bien, esta herramienta en particular se creó porque los ensayos en microplacas siempre son imprecisos y muchos microestudios tienen el objetivo deseado de afirmar que "no hay diferencia entre X e Y" (es decir, no hay diferencia entre agar tipo X y agar tipo Y ). Sin embargo, si el experimento careciera del poder suficiente para encontrar una diferencia estadísticamente significativa, podríamos terminar concluyendo que una alteración de un ensayo ( cambiar tipos de agar ) no tiene ningún efecto cuando realmente lo tiene. Lo cual es algo muy malo.
Sin embargo, si los falsos negativos no son una preocupación tan grande en su experimento, es posible que no necesite esta herramienta en particular. Si cree que lo necesitará, hágamelo saber: necesita algo de optimización para que no haga que JMP se cuelgue en conjuntos de datos muy grandes, por lo que si está trabajando con un conjunto de datos grande, priorizaré este tipo. de optimización primero
-Adán
Re: Herramienta Simulador de potencia (Determinación de potencia para un ensayo con CV de estudio de precisión existentes)@ABI , @MTOF , utilizando los valores que proporciona en sus ejemplos y la herramienta, ¿existe una manera rápida de identificar qué aspecto de un diseño necesita más muestras? Por ejemplo, en el primer ejemplo dado, ¿agregar más mediciones durante más días mejoraría la potencia más que agregar mediciones dentro de un día (ya que el CV es 4% frente a 3%)? ¿El efecto con un CV más alto indica que es ahí donde debes cargar más mediciones?
Para los ensayos de campo agronómicos, donde podríamos tener 10 ensayos con 5 réplicas de cada tratamiento dentro del ensayo, podemos calcular el poder general utilizando el error general de un conjunto de datos.Para un análisis de potencia estilo JMP, los datos adicionales (sin importar de dónde vengan, más ubicaciones o más repeticiones) se tratan por igual. Sin embargo, la realidad es que existen diferencias en la variabilidad de un sitio a otro y dentro de un sitio (repeticiones).Podemos tener más ubicaciones ($$) o más representantes dentro de una ubicación ($). Personalmente prefiero tener más ubicaciones porque más representantes en un campo solo nos darían mayor confianza en ese campo; más ubicaciones nos permite estar 'más seguros' de que las diferencias de tratamiento observadas no sean excesivamente ponderadas por ningún lugar en particular. ¿Pueden sus herramientas ayudarme a solucionar este problema?
Me imagino creando algoritmos más inteligentes para el diseño experimental que sopesen la variación de una ubicación a otra y dentro de la ubicación y la optimicen dentro de un presupuesto específico.Por ejemplo, "Tenemos X dólares para ejecutar Jumpstart con maíz... ¿cuál es la mejor manera de distribuir el número de ubicaciones y representantes?"
Re: Herramienta Simulador de potencia (Determinación de potencia para un ensayo con CV de estudio de precisión existentes)Hola a todos,
Solucioné un error que causaría un bloqueo al cargar en diseños experimentales muy grandes y lo adjunté a la primera publicación. Tenga en cuenta que la metodología actual empleada aún no está optimizada para la velocidad, y ejecutar las 1000 simulaciones llevará mucho tiempo en diseños grandes (a veces incluso provocará que JMP se cuelgue o se congele si son lo suficientemente grandes). Tengo algunas ideas sobre cómo acelerar la herramienta, pero MTOF y yo tenemos algunas ideas sobre cómo mejorar la aplicabilidad de las distribuciones utilizadas para nuestros efectos aleatorios, así como una revisión general de cómo Novozymes aborda los datos basados en placas (que es el principal impulsor de la existencia de esta herramienta). Como tal, las mejoras de funcionalidad tendrán prioridad sobre la velocidad en el futuro inmediato.
¡Gracias!
