¿Cómo puedo simular el modelo de ejecución de prueba para DoE virtual?¿Podría por favor ayudarme con este problema?
Quiero crear un emulador de computadora para un propósito de aprendizaje. Emulará un resultado binario y utilizará varios factores Sí / No como entrada (digamos ABC).
La salida será el% de éxitos.
La salida cuando todos los factores están en "-" es el 5% de los éxitos.
Cuando
A en "+" 5.5% (0.5% de ganancia)
B en "+" 6.5% (1.5% de ganancia)
C en "+" 5% (0% de ganancia)
A y B en "+" (interacción AB) 7.5% (ganancia del 2.5%)
Así que quiero implementarlo en un software como un modelo de ejecución de prueba con la lista de pruebas y salidas aleatorias (según los niveles de factores ABC).
Ejemplo de comportamiento del software:
Orden de prueba de salida ABC
1er prueba + + + Fail
2da prueba + - + Fail
3er prueba + - - Éxito
.....
10000 trial + - - Fallo
Quiero que se vea realista para que no todo el tiempo la combinación de A + B-C- resulte en "Éxito" porque el proceso no es físico, es una respuesta humana.
¿Cuáles son los pasos generales para construir tal algoritmo?
¿Se puede hacer en JMP?
Además, estoy considerando herramientas como Excel, R, software de simulación como Anylogic, Promodel es necesario.
¡Muchas gracias!
Re: ¿Cómo puedo simular un modelo de ejecución de prueba para DoE virtual?Lo siento, tal vez debería crear un nuevo tema.
Sin embargo, ¿es posible lograr mi objetivo utilizando el script de Simulate Response que está integrado en JMP?
Re: ¿Cómo puedo simular un modelo de ejecución de prueba para DoE virtual?¡Muchas gracias por toda tu ayuda con la simulación!
¿Podría ayudarme, por favor, modificando este script o sugiriendo un nuevo enfoque para esta tarea?
Ahora quiero simular un diseño de pantalla definitivo. Hay 18 factores.
Tamaños de efecto:
| Factor | % de éxitos |
| UNA | 1,31% |
| segundo | 1,42% |
| re | 1,58% |
| mi | 1,64% |
| F | 1,46% |
| H | 1,39% |
| K | 1,34% |
| METRO | 1,37% |
| | |
| Delaware | 1,67% |
| FK | 1,54% |
Cuando todos los factores con un nivel de éxito bajo de "0" son 1.2%.
Aquí está el diseño exacto que quiero simular:
| X1 | X2 | X3 | X4 | X5 | X6 | X7 | X8 | X9 | X10 | X11 | X12 | X13 | X14 | X15 | X16 | X17 | X18 |
| 0 | 1 | 0 | 1 | 0 | 0 | 0 | 1 | 1 | 0 | 0 | 0 | 1 | 0 | 1 | 1 | 0 | 1 |
| 1 | 0 | 0 | 1 | 1 | 1 | 0 | 1 | 0 | 0 | 1 | 0 | 0 | 1 | 0 | 1 | 1 | 1 |
| 0 | 0 | 1 | 0 | 1 | 1 | 0 | 1 | 1 | 0 | 1 | 0 | 0 | 0 | 1 | 1 | 0 | 0 |
| 0 | 1 | 1 | 0 | 0 | 0 | 1 | 0 | 1 | 1 | 0 | 1 | 1 | 0 | 1 | 0 | 0 | 0 |
| 1 | 0 | 1 | 0 | 0 | 1 | 0 | 0 | 1 | 0 | 1 | 1 | 1 | 0 | 0 | 1 | 1 | 1 |
| 1 | 1 | 0 | 0 | 1 | 0 | 0 | 1 | 0 | 1 | 1 | 1 | 0 | 0 | 1 | 1 | 1 | 0 |
| 0 | 0 | 0 | 0 | 1 | 1 | 0 | 0 | 0 | 1 | 0 | 1 | 1 | 0 | 1 | 1 | 0 | 1 |
| 0 | 0 | 0 | 0 | 1 | 0 | 1 | 1 | 0 | 1 | 1 | 0 | 1 | 0 | 0 | 0 | 1 | 1 |
| 1 | 1 | 0 | 1 | 1 | 1 | 0 | 0 | 1 | 1 | 1 | 0 | 1 | 0 | 0 | 1 | 0 | 0 |
| 0 | 1 | 0 | 0 | 0 | 1 | 0 | 1 | 1 | 0 | 1 | 1 | 0 | 1 | 0 | 0 | 0 | 1 |
| 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
| 1 | 0 | 1 | 0 | 0 | 1 | 0 | 1 | 1 | 1 | 0 | 0 | 1 | 1 | 1 | 0 | 1 | 0 |
| 1 | 0 | 1 | 1 | 1 | 0 | 0 | 1 | 1 | 1 | 0 | 1 | 0 | 0 | 1 | 0 | 0 | 1 |
| 0 | 1 | 0 | 1 | 1 | 0 | 1 | 0 | 0 | 0 | 1 | 1 | 0 | 0 | 0 | 1 | 0 | 1 |
| 0 | 0 | 1 | 0 | 0 | 0 | 1 | 1 | 0 | 0 | 0 | 1 | 0 | 1 | 1 | 0 | 1 | 1 |
| 1 | 1 | 0 | 0 | 1 | 1 | 1 | 0 | 1 | 0 | 0 | 1 | 0 | 0 | 1 | 0 | 1 | 1 |
| 0 | 0 | 1 | 1 | 0 | 1 | 0 | 0 | 0 | 1 | 1 | 0 | 0 | 0 | 1 | 0 | 1 | 1 |
| 1 | 1 | 1 | 1 | 0 | 0 | 1 | 1 | 1 | 0 | 1 | 0 | 0 | 1 | 0 | 0 | 1 | 0 |
| 0 | 0 | 0 | 1 | 0 | 1 | 1 | 0 | 1 | 1 | 0 | 1 | 0 | 0 | 0 | 1 | 1 | 0 |
| 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
| 0 | 1 | 0 | 1 | 1 | 0 | 1 | 1 | 0 | 1 | 0 | 0 | 0 | 1 | 1 | 0 | 0 | 0 |
| 0 | 0 | 1 | 1 | 0 | 1 | 1 | 0 | 1 | 0 | 0 | 0 | 1 | 1 | 0 | 0 | 0 | 1 |
| 0 | 1 | 1 | 0 | 1 | 0 | 0 | 0 | 1 | 1 | 0 | 0 | 0 | 1 | 0 | 1 | 1 | 0 |
| 1 | 1 | 1 | 0 | 0 | 1 | 1 | 1 | 0 | 1 | 0 | 0 | 1 | 0 | 0 | 1 | 0 | 1 |
| 1 | 0 | 0 | 1 | 0 | 0 | 1 | 0 | 1 | 1 | 1 | 0 | 0 | 1 | 1 | 1 | 0 | 1 |
| 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 | 1 |
| 1 | 0 | 0 | 1 | 0 | 1 | 1 | 1 | 0 | 0 | 1 | 1 | 1 | 0 | 1 | 0 | 0 | 1 |
| 1 | 0 | 1 | 0 | 1 | 1 | 1 | 0 | 0 | 1 | 1 | 1 | 0 | 1 | 0 | 0 | 1 | 0 |
| 1 | 1 | 0 | 1 | 0 | 0 | 1 | 0 | 0 | 1 | 0 | 1 | 1 | 1 | 0 | 0 | 1 | 1 |
| 1 | 1 | 0 | 0 | 1 | 0 | 1 | 1 | 1 | 0 | 0 | 1 | 1 | 1 | 0 | 1 | 0 | 0 |
| 0 | 0 | 1 | 1 | 0 | 0 | 0 | 1 | 0 | 1 | 1 | 0 | 1 | 1 | 0 | 1 | 0 | 0 |
| 0 | 1 | 1 | 0 | 1 | 1 | 0 | 1 | 0 | 0 | 0 | 1 | 1 | 0 | 0 | 0 | 1 | 0 |
| 1 | 0 | 1 | 1 | 1 | 0 | 1 | 0 | 0 | 1 | 0 | 0 | 1 | 0 | 1 | 1 | 1 | 0 |
| 1 | 1 | 1 | 1 | 0 | 1 | 0 | 0 | 1 | 0 | 0 | 1 | 0 | 1 | 1 | 1 | 0 | 0 |
Re: ¿Cómo puedo simular un modelo de ejecución de prueba para DoE virtual?Está ajustando modelos que son más complejos de lo que se pretendía con esta calculadora de tamaño de muestra. Hay grados adicionales de libertad que se utilizan para estimar otros términos.
Le sugiero que vuelva a las fórmulas de cada uno de los 8 escenarios diferentes (combinaciones de A, B y C) para asegurarse de que está usando las probabilidades adecuadas. Usted solo proporcionó cuatro de las ocho situaciones, así que hice algunas suposiciones sobre los otros cuatro casos. Es posible que desee revisarlos para asegurarse de que todo sea como esperaba. Supongo que está esperando que el efecto de interacción sea una ganancia de 2.5%, pero el término de interacción NO es una ganancia de 2.5%. Solo obtienes un 2,5% de ganancia cuando tanto A como B son positivos como indicaste. La interacción también incluye lo que sucede con las otras 3 combinaciones de A y B.
Como ejemplo: A y B ambos positivos: probabilidad es 7.5%
A y B ambos cero: probabilidad es del 5%. Así que cuando son "el mismo signo" da una probabilidad promedio de 6.25%
A cero, B positivo: probabilidad es 6.5%
A positivo, B cero: la probabilidad es del 5,5% para una probabilidad promedio del 6%.
Por lo tanto, el efecto de interacción es en realidad un 0.25%, que es realmente pequeño (y muy cercano a su estimación de interacción A * B en su análisis).
Re: ¿Cómo puedo simular un modelo de ejecución de prueba para DoE virtual?Muchas gracias por la aclaración!
He realizado el cálculo del tamaño de muestra mínimo para que pueda detectar la diferencia del 0,5%. Sin embargo, a veces el análisis de los resultados simulados no detecta la interacción AB como significativa con 64000 ensayos.
¿He hecho los cálculos bien?
Re: ¿Cómo puedo simular un modelo de ejecución de prueba para DoE virtual?Por supuesto, cada simulación es diferente, pero está buscando tamaños de efectos muy pequeños. Con 10,000 pruebas, tendrá aproximadamente 5000 pruebas con A en 1 y 5000 pruebas con A en 0. De esos 5000 en 0, se espera una tasa de "éxito" del 5%, que es de aproximadamente 250 observaciones. Con 5000 en 1, se espera una tasa de éxito del 5,5%, que es de aproximadamente 275 observaciones. Solo una diferencia de 25 observaciones sobre el total de 10,000. Esa es una pequeña diferencia. Agregue el ruido aleatorio a esto y podrá ver que la diferencia podría ser incluso menor.
Los datos categóricos típicamente requieren tamaños de muestra más grandes. Eso, junto con la búsqueda de efectos muy pequeños conduce a la no significación. Dicho en términos más estadísticos, tiene una potencia muy baja para detectar los tamaños de efectos deseados.
Re: ¿Cómo puedo simular un modelo de ejecución de prueba para DoE virtual?Muchas gracias por este script! Eso es lo que buscaba.
¿Podría decirme por favor la razón por la que cuando generé 10000 filas la regresión logística nominal no muestra que A y AB son efectos significativos?
Re: ¿Cómo puedo simular un modelo de ejecución de prueba para DoE virtual?Probablemente, esto podría hacerse de manera más elegante, pero un "enfoque de fuerza bruta" rápido sería ingresar las fórmulas aleatorias en una tabla de datos JMP. Hice de las columnas A, B y C una columna entera aleatoria entre 0 y 1 (elegí 0 en lugar de -1 para mayor facilidad). Luego, para la columna Resultado, acabo de ingresar una cadena de condiciones "Si" con las diversas probabilidades de una distribución binomial con la probabilidad de éxito adecuada. Bastante simple en este caso, ya que solo hay 8 combinaciones posibles de A, B y C. Para un problema mayor, trataría de ser más elegante. El número de filas en su tabla será el número de pruebas aleatorias que desea tener. Para este caso simple acabo de tener 10 filas.
New Table( "Untitled",
Add Rows( 10 ),
New Column( "A", Numeric, "Nominal", Format( "Best", 12 ),
Formula( Random Integer( 0, 1 ) ) ),
New Column( "B", Numeric, "Nominal", Format( "Best", 12 ),
Formula( Random Integer( 0, 1 ) ) ),
New Column( "C", Numeric, "Nominal", Format( "Best", 12 ),
Formula( Random Integer( 0, 1 ) ) ),
New Column( "Success?", Numeric, "Nominal", Format( "Best", 12 ),
Formula(
If(
:A == 0 & :B == 0 & :C == 0, Random Binomial( 1, 0.05 ),
:A == 0 & :B == 0 & :C == 1, Random Binomial( 1, 0.05 ),
:A == 0 & :B == 1 & :C == 0, Random Binomial( 1, 0.065 ),
:A == 0 & :B == 1 & :C == 1, Random Binomial( 1, 0.065 ),
:A == 1 & :B == 0 & :C == 0, Random Binomial( 1, 0.055 ),
:A == 1 & :B == 0 & :C == 1, Random Binomial( 1, 0.055 ),
:A == 1 & :B == 1 & :C == 0, Random Binomial( 1, 0.075 ),
:A == 1 & :B == 1 & :C == 1, Random Binomial( 1, 0.075 ),
Random Binomial( 1, 0.05 ) ) ) ) )
