Ideas claves
Importancia práctica frente a significación estadística, baja potencia
Fondo
John Kerrich fue un matemático inglés que se encontró en un campo de prisioneros en Dinamarca durante la Segunda Guerra Mundial. Esto liberó su calendario considerablemente. Para ayudar a ocupar su tiempo, realizó una serie de experimentos de probabilidad.
La mayoría de los estadísticos afirman que las monedas son justas, y esto le dio a Kerrich la oportunidad de probar esta afirmación. Tuvo tiempo de lanzar una moneda 10 000 veces, lo que resultó en 5 067 caras y 4 933 cruces ( La práctica de la estadística en las ciencias de la vida , 2ª edición, Baldi y Moore, página 209).
La tarea
Determina si se trata de una moneda justa. “Justo” significa que es igualmente probable que ocurran caras y cruces.
Los datos Kerrich.jmp
El conjunto de datos contiene el resultado y los recuentos de cada resultado.
Resultado Cara o corona
Contar El número de caras y cruces en los 10.000 lanzamientos
Análisis
Comenzamos explorando la frecuencia de caras y cruces en los 10.000 lanzamientos.
Exhibición 1 Distribución de resultados
(Analizar > Distribución; seleccione Resultado como Y, Columnas y Contar como Frec y haga clic en Aceptar.Para un diseño horizontal, seleccione Apilar debajo del triángulo rojo superior).
Ciertamente, la moneda aparece para ser justos, hay aproximadamente el mismo número de caras y cruces en la muestra.
El intervalo de confianza del 95 % (Anexo 2) indica que las probabilidades más plausibles de cara oscilan entre 0,4969 y 0,5165.
Anexo 2 Intervalos de confianza para el resultado
(En el resultado Distribución, haga clic en el triángulo rojo inferior y seleccione Intervalo de confianza > 0,95).
Estos datos son consistentes con los resultados que veríamos con una moneda justa. Sin embargo, NO PODEMOS afirmar que la moneda es justa; no podemos afirmar la hipótesis nula.
La prueba de hipótesis es una prueba de bondad de ajuste:
Ho: La moneda es justa.
Ha: La moneda no es justa.
Las pruebas de bondad de ajuste (Anexo 3) dan valores de p de 0.1802. No tenemos evidencia de que la moneda no sea justa. Nuevamente, se requiere la doble negativa para evitar afirmar la hipótesis nula.
Anexo 3 Prueba de bondad de ajuste para el resultado
(Desde el resultado de Distribución, haga clic en el triángulo rojo inferior y seleccione Probabilidades de prueba. Ingrese 0.5 en Hypoth Prob tanto para Cara como para Cruz, y haga clic en Listo).
Cómo funcionan las pruebas de bondad de ajuste
Tanto la razón de verosimilitud como la prueba de Pearson comparan los conteos observados ( o i ) a los conteos esperados (e i ). En este caso los conteos observados son 5,067 para cabezas ( o cabezas ) y 4.933 para cruces ( o cruz ). Los recuentos esperados tanto para cara como para cruz ( mi cabezas y mi cruz ) son 5.000.
Puede verificar (un ejercicio) que el estadístico de prueba de razón de verosimilitud es:
y el estadístico de prueba de Pearson es:
Potencia y tamaño de muestra
Aunque un análisis básico de los datos en esta situación es bastante sencillo, brinda la oportunidad de explorar algunas ideas importantes en un contexto simple. Consideremos otros dos conjuntos de datos, con tamaños de muestra muy diferentes.
Anexo 4 Una muestra pequeña (recuento pequeño) y una muestra muy grande (recuento grande)
Para el conjunto de datos pequeño, la proporción de cabezas de muestra es 0,62, mientras que la proporción de muestra es 0,502 para el conjunto de datos grande. ¿Cuál proporcionará una evidencia más sólida de que la moneda es injusta? Hasta que se familiarice con algunos aspectos de la prueba de hipótesis, los resultados pueden ser sorprendentes.
Análisis de la Muestra Grande
Ciertamente, la moneda parece justa (Anexo 5). Es difícil decir del gráfico qué ocurre con más frecuencia, cara o cruz. De hecho, las caras ocurrieron solo el 50,2% de las veces. Esta moneda parece, para los no iniciados, incluso más justa que la que lanzó John Kerrich.
Anexo 5 Distribución de Resultado
La inferencia cuenta una historia diferente. De hecho, existe fuerte evidencia para la afirmación de que la moneda no es justa (Anexo 6).¡El valor p es 0.0047!
Anexo 6 Inferencia para la muestra grande
¿Es esto un error? No. El intervalo de confianza en realidad apoya esta afirmación. La estimación del intervalo es que la moneda cae cara, a largo plazo, entre el 50,006 % y el 50,34 % de las veces. El intervalo excluye el 50%, por lo que la moneda se carga para que caiga cara.
Si esto parece un resultado extraño, es posible que no esté familiarizado con el impacto de las muestras grandes en las pruebas de hipótesis. Las pruebas estadísticas tienen el poder de detectar desviaciones muy pequeñas de la hipótesis nula cuando los tamaños de muestra son grandes. Aquí, la hipótesis nula es que la moneda es justa y la moneda parece no ser justa. Por supuesto, la moneda no es muy injusta, pero parece tener un ligero sesgo hacia cara. Esto puede o no ser lo que realmente quiere decir con una moneda justa. Si usted y su compañero de cuarto están usando esta moneda para determinar quién saca la basura, esta moneda puede ser perfectamente justa. Pero, si un casino está usando esta moneda para apostar a cara, mientras que los clientes apuestan a cruz, y hay 100,000 apuestas de $10 por hora, esto puede hacer que el casino gane una fortuna.
En estadística, la potencia de una prueba de hipótesis es la probabilidad de que la prueba rechace la hipótesis nula cuando es falsa. Cuando los tamaños de muestra son grandes, las pruebas tienen mucho poder. De hecho, cuando los tamaños de muestra son muy grandes, rechazar la hipótesis nula puede ser rutinario. Esto llega a la diferencia entre la importancia práctica y la significación estadística. Medidas que indican importancia práctica tales como intervalos de confianza, R 2 , etc. pueden ser más importantes que los valores p cuando los tamaños de muestra son grandes.
Análisis para una muestra muy pequeña
Ahora, consideramos los resultados para la muestra pequeña.
A partir del gráfico de barras y la distribución de frecuencias del Anexo 7, parece una clara evidencia de que la moneda sale cara mucho más que cruz. En realidad, la moneda salió cara el 62 % de las veces en la muestra, en comparación con el 50,67 % de los datos de Kerrich. Pero, como antes, la inferencia contará una historia diferente.
Anexo 7 Distribución de Resultado , muestra muy pequeña
De hecho, los valores p están por encima del nivel de significación de 0,05, por lo que no podemos rechazar la hipótesis nula de que la moneda es justa.
Anexo 8 Inferencia para la muestra muy pequeña
El examen del intervalo de confianza en el Anexo 8 es nuevamente revelador. Debido a que el tamaño de la muestra es pequeño, el intervalo de confianza es muy amplio. El intervalo para la estimación a largo plazo de la proporción de veces que la moneda caería cara es de 0,48 a 0,74. Este intervalo incluye valores por encima y por debajo de 0,50, por lo que realmente no tenemos suficiente evidencia para descartar una moneda justa.
La moral
El tamaño de la muestra juega un papel importante en la inferencia estadística. Cuando los tamaños de muestra son grandes, podemos detectar una diferencia, pero la diferencia puede no tener ninguna importancia práctica. Cuando los tamaños de muestra son pequeños, es posible que no podamos detectar una diferencia (entre nuestra muestra y la hipótesis nula), incluso cuando parece que algo está sucediendo. Las muestras grandes generalmente significan que tenemos mucho poder para detectar diferencias, mientras que las muestras pequeñas generalmente dan como resultado un poder bajo.
Un ejemplo que usa algunos datos generados aleatoriamente, diagramas de dispersión y regresión ilustra aún más esta idea.
Para generar los datos en Kerrich Power.jmp:
Primero, 2000 filas de valores normales aleatorios ( error ) se produjeron utilizando el editor de fórmulas JMP, con una media de cero y una desviación estándar de 1.
A continuación, los valores de x ( x_grande ) fueron generados. Estos valores son números enteros aleatorios del 1 al 8.
Finalmente, los valores de y ( y_grande ) se generaron a partir de los valores normales aleatorios ( errores ) y los valores de x ( x_grande ).
Puede parecer que una línea no se ajustaría a estos datos, pero los grandes conjuntos de datos (n = 2000) producen algunas sorpresas. ¿Ve una tendencia en el diagrama de dispersión del Anexo 9?
Anexo 9 Diagrama de dispersión para un conjunto de datos grande ( y_grande y x_grande )
(Analizar, Ajustar Y por X; usar y_grande como Y, Respuesta y x_grande como X, factor.) En el Anexo 10, ajustamos una línea de regresión a los datos. ¿Se ajusta una recta a los datos?
Anexo 10 Regresión para un conjunto de datos grande ( y_grande y x_grande )
(Desde la salida de Ajuste bivariado, haga clic en el triángulo rojo y seleccione Línea de ajuste).
mientras R 2 es un mero 0,056, lo que indica sólo el 5,6% de la variación en y_grande se explica por la regresión usando x_grande , el valor p es inferior a 0,0001 (la hipótesis nula es que no hay tendencia en los datos, la alternativa es que hay tendencia en los datos).
Este es el poder de las muestras grandes; se detecta una pequeña tendencia. Sin embargo, la tendencia puede no tener ninguna importancia práctica. Ciertamente, si esta es la tasa a la que sube mi salario, ¡no me impresionaría!
Ahora, veamos una muestra muy pequeña, con valores de y y x extraídos de la muestra grande. columnas y_pequeño y x_pequeño contienen cinco observaciones.
En el gráfico de la figura 5, parece que hay una fuerte tendencia lineal en los datos. Pero tenga en cuenta que el patrón claro en los datos, pero el tamaño de la muestra es muy pequeño (n = 5).
Anexo 10 Regresión para un conjunto de datos muy pequeño ( y_pequeño y x_pequeño )
Estoy seguro de que puede haber adivinado a dónde va todo esto.
Mientras que la R 2 es del 64,2%, lo que indica que gran parte de la variación en y_pequeño puede explicarse por la regresión sobre x_pequeño , el valor p es 0,1031. Esto significa que solo hay evidencia débil (en el mejor de los casos) de que una línea se ajusta a los datos. Entonces, ¿qué está pasando?
Con un conjunto de datos pequeño, aunque una línea parece ajustarse a los datos, no podemos descartar el azar como una explicación alternativa para el patrón aparente. Los valores P son una forma de evaluar la probabilidad de que la casualidad haya producido un patrón como este. Aunque parece haber un patrón, existe una probabilidad del 10,04 % de que pudiéramos haber obtenido un patrón así de fuerte, o incluso más fuerte, si los puntos se produjeran al azar sin una verdadera relación entre x_pequeño y y_pequeño .
Resumen
Información estadística
Las muestras grandes pueden detectar patrones sutiles, a veces estos patrones no tienen ninguna importancia práctica. Los valores p muy pequeños no siempre significan que algo importante está sucediendo, especialmente cuando el tamaño de la muestra es grande. Las muestras pequeñas pueden indicar un patrón relativamente claro, pero no podemos estar seguros de que el patrón sea real y no producido por una variación aleatoria. Los valores p grandes no siempre significan que no pasa nada, especialmente cuando el tamaño de la muestra es pequeño.
Trascendencia
Algunos de los resultados más informativos de la ciencia ocurren cuando los resultados parecen contradecir lo que hemos dicho sobre el poder y el tamaño de la muestra. A menudo, un estudio piloto con un tamaño de muestra muy pequeño encuentra un efecto observable. En tales casos, los científicos a menudo se animan a pesar de que el valor p puede no ser especialmente pequeño, porque se encontró algo a pesar de la baja potencia de la prueba. Tales resultados a menudo valen la pena continuar con un estudio más amplio.
Por otro lado, a veces varios estudios con muestras de gran tamaño no logran encontrar un efecto. Aunque nunca podemos afirmar la hipótesis nula, cuando varios estudios realmente grandes no producen evidencia de un efecto, en algún momento debemos ser muy escépticos de la afirmación.
Por ejemplo, muchos (si no la mayoría) de los fanáticos del baloncesto creen que algunos jugadores tienen buenas y malas rachas de tiros. Un grupo de psicólogos cognitivos utilizó varios conjuntos de datos grandes de la NBA para probar varias versiones de esta afirmación. No encontraron evidencia de una racha de disparos ("The Cold Facts About the 'Hot Hand' in Basketball", Amos Tversky y Thomas Gilovich, Chance, Vol. 2, 1989, páginas 16-21). Aunque no podemos decir que no se produzca una racha (eso significaría afirmar la hipótesis nula), la cantidad de conjuntos de datos diferentes, el gran tamaño de muestra de los conjuntos de datos, aumentado con su explicación de por qué las personas perciben erróneamente los patrones aleatorios se combinan para producir un escepticismo extremo. hacia los disparos en racha como un fenómeno.
Cuando los tamaños de muestra son pequeños (y, como resultado, el poder estadístico es bajo), puede ser importante encontrar cualquier evidencia de un efecto. Cuando los tamaños de muestra son grandes (por lo que la potencia es alta), vale la pena señalar que no se encontró un efecto.
JMP ® Características y sugerencias
Este caso usó la plataforma de distribución para producir gráficos de barras y distribuciones de frecuencia, crear intervalos de confianza para proporciones y realizar pruebas de bondad de ajuste.
El editor de fórmulas se usó para generar datos aleatorios para ilustrar la relación con el tamaño de la muestra y el poder en una situación de regresión. Usamos Ajustar Y por X para generar diagramas de dispersión y ajustar líneas de regresión.
Ejercicios
- Para el ejercicio de lanzamiento de monedas de Kerrich ( Kerrich.jmp ), ¿cuál es la población y cuál es la muestra? ¿La muestra es una muestra aleatoria simple? Si la muestra no es una muestra aleatoria simple, ¿piensa que es una muestra representativa? ¿Por qué o por qué no? ¿Crees que los lanzamientos de monedas son independientes?
- Karl Pearson, un famoso estadístico que da nombre a la estadística de prueba de Pearson, lanzó una moneda 24 000 veces, lo que dio como resultado 12 012 caras. Cree una tabla de datos en JMP y realice un análisis de estos datos similar al realizado anteriormente. ¿Cuál es su hipótesis nula? ¿Qué conclusión(es) puedes sacar?
- En el ejemplo de muestra grande, observamos 251 000 caras y 249 000 cruces. Habríamos esperado ver (por una moneda justa) 250.000 caras y 250.000 cruces.
- Verifique la razón de verosimilitud y las estadísticas de la prueba de Pearson usando las fórmulas dadas:
- Muchos libros de texto usan la siguiente estadística de prueba para realizar una prueba que involucra una proporción (para una moneda justa):
Ho: pag = pag o versus
Ha: p ≠ p o
Para esta prueba, el estadístico de prueba es: ¿Dónde está la proporción de cabezas en la muestra, es la proporción hipotética de caras, y norte es el tamaño de la muestra.
Calcular z y verificar. En otras palabras, confirme que esta es solo otra forma de la estadística de prueba de Pearson (también puede verificar que los valores p sean iguales).
