Al diseñar un experimento, un diagnóstico común es la potencia estadística de los efectos. Bradley Jones ha escrito varias entradas de blog sobre este mismo tema . En esencia, ¿cuál es la probabilidad de que podamos detectar efectos significativos dado un modelo específico? Por supuesto, se requieren una serie de supuestos/especificaciones para ello, como la magnitud del efecto, el error y el nivel de significancia de las pruebas. Si no está familiarizado con el tema, le recomiendo leer algunas de esas entradas de blog anteriores.
Si nuestra respuesta es continua y asumimos un modelo de regresión lineal, podemos usar los resultados del esquema de Análisis de Potencia en la Evaluación del Diseño. Sin embargo, ¿qué sucede si nuestra respuesta se basa en datos de aprobado/reprobado, donde planeamos realizar 10 ensayos en cada ejecución experimental? Para esta respuesta, podemos ajustar un modelo de regresión logística, pero no podemos usar los resultados del esquema de Evaluación del Diseño. No obstante, seguimos interesados en la potencia...
¿Qué hacer?
Podríamos hacer una revisión bibliográfica para ver cómo estimar la potencia y esperar encontrar algo que se aplique (y hacerlo para cada caso específico que surja en el futuro). Pero es más sencillo ejecutar una simulación de Monte Carlo. Para ello, necesitamos poder generar respuestas según un modelo de regresión logística especificado. Para cada una de estas respuestas generadas, ajustar el modelo y, para cada efecto, verificar si el valor p cae por debajo de un cierto umbral (digamos 0,05). Esto ha sido posible en versiones anteriores de JMP usando JSL, pero requiere un cierto nivel de comodidad con la programación de scripts, en particular con fórmulas de programación y con la extracción de información de los informes de JMP. Además, es necesario encontrar el tiempo para escribir el script. En JMP Pro 13 , ahora puede realizar simulaciones de Monte Carlo con solo unos clics del mouse.
Eso suena increíble
La primera vez que vi la nueva simulación con un solo clic, me emocioné al pensar en sus posibles usos en experimentos diseñados. Un elemento clave para usar la función de simulación con un solo clic es una columna que contenga una fórmula con un componente aleatorio. Si leíste mi entrada anterior sobre la nueva función Simular Respuestas en DOE , ya sabes que tenemos una forma de generar dicha fórmula sin tener que escribirla nosotros mismos.
1. Cree el diseño y luego cree una tabla con la opción Simular respuestas marcada
En este ejemplo, tenemos cuatro factores (DA) y planificamos un experimento de ocho ejecuciones. Asumiré que se siente cómodo usando el Diseñador Personalizado; si no, puede leer sobre la plataforma de Diseño Personalizado aquí . Este ejemplo se puede configurar básicamente de la misma manera que un ejemplo en nuestra documentación .
Antes de hacer clic en el botón Crear tabla, debe asegurarse de que se haya seleccionado Simular respuestas en el punto de acceso en la parte superior de la plataforma de Diseño personalizado. 
2. Configurar la simulación
Una vez creada la tabla de datos, debemos configurar nuestra simulación mediante el cuadro de diálogo Simular respuesta descrito anteriormente . En Distribución, seleccionamos Binomial y establecemos N en 10 (es decir, 10 ensayos por cada fila del diseño). Aquí, he seleccionado varios coeficientes para AD, con el factor D con un coeficiente de 0 (es decir, ese factor está inactivo). El cuadro de diálogo Simular respuesta que usaré es: 
Al hacer clic en el botón Aplicar, obtenemos una columna Y Simulada que simula el número de éxitos de 10 ensayos y una columna que indica el número de ensayos (que se utiliza en Ajustar Modelo). Para fines de modelado, copié la columna Y Simulada en Y. 
Si observamos la fórmula para Y simulado, vemos que puede generar un vector de respuesta basado en el modelo proporcionado en el cuadro de diálogo Simular respuestas. 
3. Ajuste el modelo
Ahora que tenemos una fórmula para simular respuestas, necesitamos configurar el modelado para las respuestas simuladas. En este caso, queremos recopilar valores p para los efectos de análisis repetidos de regresión logística sobre las respuestas simuladas. Primero, necesitamos realizar el análisis para una sola respuesta. Si iniciamos la plataforma Fit Model, podemos añadir el número de ensayos al rol de respuesta (Y) y cambiar la personalidad a un modelo lineal generalizado con una distribución binomial. Mi inicio de Fit Model se ve así: 
Haga clic en el botón Ejecutar para ajustar el modelo. La sección del informe que nos interesa es el esquema de Estimaciones de Parámetros. 
Para la respuesta simulada inicial, se encontró que A, B y C estaban activos, mientras que D no (lo cual es correcto). Claro que esto es solo para una simulación. Podríamos seguir simulando un nuevo vector de respuesta y registrar estos valores p para cada efecto, o bien, podríamos usar la simulación con un solo clic y dejar que lo haga por nosotros.
4. Ejecutar la simulación
La columna que nos interesa para esta entrada del blog es Prob>ChiSq. Hacemos clic derecho en ella para abrir el menú y (si tienes JMP Pro ), abajo, encima de Bootstrap, vemos la opción "Simular". 
El cuadro de diálogo emergente ofrece la opción de "Cambiar columna" y la de "Cambiar columna". Para nuestras simulaciones, en lugar de usar la respuesta Y, queremos usar "Y simulada", ya que contiene la fórmula con la binomial aleatoria. En lugar de usar "Y" al usar "Ajustar modelo" por primera vez, podríamos haber usado "Y simulada" y reemplazarla por sí misma. El número de muestras indica cuántas veces se simula una respuesta. Aquí lo he dejado en 2500. 
Ahora simplemente hacemos clic en "Aceptar" y lo dejamos ejecutar. Tras una breve espera, se nos presenta una tabla de datos con una columna para cada efecto del cuadro de diálogo "Ajustar modelo" (así como un ID de simulación, SimID) y 2501 filas: la primera corresponde al ajuste original y está marcada como excluida, mientras que las demás filas corresponden a los resultados de una de nuestras 2500 respuestas simuladas. Los valores son los valores p para cada efecto del cuadro de diálogo "Ajustar modelo". 
La simulación con un solo clic también ha precargado la tabla de datos con un script de distribución y, dado que reconoce los resultados como valores p, otro script llamado Análisis de Potencia. Al ejecutar el script de Análisis de Potencia, se obtiene una distribución de los valores p para cada efecto, así como un resumen titulado Potencia Simulada con la tasa de rechazo a diferentes niveles de alfa. Por ejemplo, si observamos el efecto del factor B, observamos que, con un alfa de 0,05, en 2103 de 2500 casos se rechazó la hipótesis nula de ausencia de efecto, con una tasa de rechazo (potencia empírica) de aproximadamente el 84 %.
Normalmente hago clic derecho en una de las tablas de potencia simulada y selecciono "Crear tabla de datos combinados". Esto genera una tabla de datos con las tasas de rechazo de cada término en los cuatro niveles alfa. Esto facilita la visualización de los resultados en el Constructor de Gráficos, como los resultados para un alfa de 0,05. 
Ahora podemos ver que tenemos alta potencia para detectar los efectos de A y B (recuerde que tuvieron los coeficientes más altos), mientras que C y la intersección están alrededor del 50%. Dado que D estuvo inactivo en nuestra simulación, la tasa de rechazo es de alrededor de 0.05, como cabría esperar. Podemos considerar una potencia del 50% suponiendo que el efecto de C sea correcto. Con la facilidad de poder realizar estas simulaciones, es sencillo volver a Simular Respuestas y cambiar el número de ensayos para cada fila del diseño antes de ejecutar otra simulación con un solo clic. Asimismo, podríamos crear un diseño más grande para ver cómo esto afecta la potencia. Incluso podríamos intentar modelar mediante regresión generalizada con una distribución binomial.
Reflexiones finales
Para mí, un aspecto clave de esta nueva función es que permite analizar fácilmente diferentes escenarios hipotéticos. Esto es especialmente cierto en situaciones de cribado, donde no es inusual utilizar técnicas de selección de modelos al analizar datos. Ahora se pueden obtener cálculos de potencia empírica que se ajustan al análisis que se planea utilizar y ayudan a detectar posibles dificultades durante el análisis. Si bien esto era posible antes de JMP 13, normalmente no encontraba tiempo para crear una fórmula personalizada cada vez que consideraba un diseño. En el poco tiempo que llevo usando la simulación con un solo clic, la facilidad con la que puedo crear la fórmula y ejecutar las simulaciones me ha permitido obtener información que de otro modo no habría obtenido, y se ha convertido en una herramienta fundamental.
