Cuando tomé mi primer curso en modelos lineales y diseño de experimentos Mi profesor dijo a la clase que la pregunta más común que encontró en su consultoría estadística fue: "¿Cuántas muestras necesito [para que mis resultados sean estadísticamente significativos]?" Esta pregunta surge del deseo de obtener resultados útiles de Un estudio sin perder tiempo ni recursos.
Aunque la pregunta anterior es simple, la respuesta no lo es. Esto se debe a que la respuesta depende de los valores de varias cantidades que el consultor aún no conoce. Peor aún, a menudo el cliente tampoco conoce estos valores.
¿Cuáles son estas cantidades problemáticas?
La cantidad más fácil y menos importante es el nivel de significación de la prueba de hipótesis que el cliente planea usar. Históricamente, 0.05 ha sido el nivel de significación estándar. Podría imaginar una publicación de blog sobre esta única opción, pero sigamos adelante.
La señal es la cantidad más importante. Ese es el efecto más pequeño lo suficientemente grande como para ser prácticamente importante. Le gustaría detectar dicho efecto con una alta probabilidad, y esa probabilidad es la poder del examen. En mi experiencia, es sorprendentemente difícil conseguir que un científico o un ingeniero se comprometa con un valor por el efecto más pequeño y prácticamente importante.
El ruido es otra pieza de información requerida. El ruido en este caso es la desviación estándar del error experimental. Un equipo de ingenieros podría preguntar razonablemente cómo se supone que deben conocer este valor antes de ejecutar el experimento para estimarlo.
Los cálculos del poder estadístico dependen de las tres cantidades anteriores, así como de los supuestos sobre la distribución de la respuesta. Las suposiciones estándar son que las respuestas se distribuyen de forma independiente de acuerdo con una distribución normal y que la varianza es constante para todas las posibles combinaciones de factores.
Dado el nivel de significación, la señal y el ruido, así como las suposiciones anteriores, un estadístico (o software estadístico ) Te puede decir el poder de tu plan experimental.
¿Qué puede hacer un investigador para aumentar el poder de un experimento?
Estas son las cosas que puede hacer para aumentar el poder de sus experimentos:
1) Aumentar el tamaño de la señal.
2) Disminuir el ruido.
3) hacer más carreras
4) Use un nivel de significación mayor, por ejemplo, 0.1 en lugar de 0.05
¿Cómo aumentas el tamaño de la señal?
Obviamente, el efecto de un factor depende de la naturaleza. Sin embargo, puede decidir hacer que el efecto mínimo prácticamente importante sea mayor. Esto puede parecer una trampa, pero al reflexionar, puedes decidir que realmente puedes estar satisfecho siempre y cuando puedas detectar efectos que son dos o tres veces más grandes de lo que especificaste al principio.
¿Cómo disminuyes el ruido?
El error experimental es el resultado de una variación aleatoria en las condiciones experimentales de una ejecución a otra. La mejor manera de reducir esta variación es identificar las fuentes de variabilidad aleatoria e incluirlas en el experimento como factores de bloqueo. Por ejemplo, si hay una variación diaria y un experimento requerirá cinco días para ejecutarse, entonces puede eliminar esta variación de la variación de error haciendo de Día un factor de bloqueo.
Las carreras más experimentales son caras. ¿Cuánta diferencia harán unas pocas carreras?
En los experimentos de detección, a menudo hay casi tantos factores como ejecuciones experimentales. En el caso extremo de un diseño saturado, hay exactamente tantas incógnitas como ejecuciones. En este caso, no puede estimar la varianza del error para el modelo completo y, por lo tanto, ni siquiera puede realizar una prueba de significación.
Un ejemplo de un diseño saturado es un experimento de siete factores para un modelo de efectos principales en ocho ejecuciones. Tiene ocho ejecuciones y está estimando una media general (o término de intercepción) y efectos de siete factores, por lo que no queda información para estimar la varianza del error.
Si agregamos una ejecución y realizamos una prueba t para uno de los efectos principales, la señal tiene que ser más de 12 veces el ruido para rechazar la hipótesis nula. La siguiente tabla muestra qué tan grande debe ser la relación señal-ruido en la prueba t para rechazar la hipótesis nula. Obviamente, no puedes detectar un efecto a menos que rechace la hipótesis de que no hay efecto. Entonces, con una carrera adicional, la barrera para la detección es bastante alta. Una buena regla general es tener cuatro o cinco ejecuciones experimentales más que parámetros desconocidos.
Cómo la relación señal / ruido requerida para la prueba t disminuye a medida que aumenta el número de ejecuciones adicionales.
¿Cuál es el costo de aumentar el nivel de significación de 0.05 a 0.1?
Cuando su nivel de significación sea 0.05, detectará un efecto que es realmente falso una vez en cada 20 pruebas en promedio. Elevar el nivel a 0.1 aumenta la detección de espurias a una de cada 10 pruebas.
¿Que sigue?
En mi próxima publicación, mostraré la nueva interfaz para cálculos de energía en JMP 10. Entonces, este post es básicamente la motivación para la próxima semana.
Quisiera concluir recordándole que no conocerá la desviación estándar del error hasta después de ejecutar el experimento. Por lo tanto, los cálculos de potencia se basan en una conjetura acerca de cuál será ese número. Aunque el software estadístico informa el poder a tres decimales, debe tomar estos números con un gran grano de sal.
Bradley Jones escribió:
Si bien no es trivial escribir un script para simular el poder de un análisis de regresión logística, JMP definitivamente puede hacerlo. De hecho, a menudo comparo los resultados analíticos con los resultados de tales simulaciones.
Andrew Ekstrom escribió:
He estado luchando con este problema. Necesito determinar 'n' para una regresión logística múltiple en diferentes potencias para un sistema en el que la tasa de respuesta podría ser tan alta como el 5% y probablemente más cercana al 0,10%. He preguntado por todas partes y me han dicho que debo ejecutar una (s) simulación (es). ¿Tiene JMP la capacidad de hacer este tipo de simulaciones?
Gracias.
Jay Lee escribió:
Además de cambiar el nivel de importancia, una investigación puede probar una hipótesis específica (direccional), de modo que el alfa no sea una prueba de dos colas.
Análisis de poder en diseño personalizado para un experimento diseñado en JMP 10 escribió:
[...] en mi publicación anterior, hablé sobre las cantidades fundamentales que afectan la capacidad de un experimento diseñado para [...]
Bradley Jones escribió:
Ciertamente hay algo de valor en observar los datos que ya tiene o realizar un pequeño estudio piloto si no hay datos. Sin embargo, los datos que ya tiene pueden tener una variabilidad que puede evitar en un experimento mediante el bloqueo o un control más cuidadoso de las condiciones experimentales. Por lo tanto, la desviación estándar de error que obtiene al usar los datos actuales puede ser innecesariamente grande y lo puede llevar a pensar que su experimento no tendrá suficiente poder. Eso, a su vez, puede hacer que realice más ejecuciones de las necesarias para aumentar el costo.
Michael Anderson escribió:
Quisiera concluir recordándole que no conocerá la desviación estándar del error hasta después de ejecutar el experimento. Por lo tanto, los cálculos de potencia se basan en una conjetura acerca de cuál será ese número.
A menos que esté estudiando un fenómeno que se descubrió (o fabricó) esta mañana, es probable que haya algunas estadísticas descriptivas acechando en algún lugar. Así que desenterrarlos. Si realmente no hay ninguno, debe incluir un estudio piloto en sus planes antes del Gran Evento experimental, para que pueda obtener una estimación (con un intervalo de confianza) para esa molesta desviación estándar.
Si todos los maestros de estadísticas básicas introdujeran la idea "Pilotear, luego Experimentar" en sus alumnos, rescataríamos a innumerables alumnos graduados de experimentos y encuestas poco definidos y poco potentes. Solo me tomó 10 años de enseñanza para darme cuenta de eso ...
