Ideas claves
Importancia práctica versus significación estadística, bajo poder
Fondo
John Kerrich fue un matemático inglés que se encontró en un campo de prisioneros en Dinamarca durante la Segunda Guerra Mundial. Esto liberó considerablemente su calendario. Para ocupar su tiempo, realizó una serie de experimentos de probabilidad.
La mayoría de los estadísticos afirman que las monedas son justas, y esto le dio a Kerrich la oportunidad de probar esta afirmación. Tuvo tiempo de lanzar una moneda 10.000 veces, lo que resultó en 5.067 caras y 4.933 cruces ( La práctica de la estadística en las ciencias biológicas , 2.ª edición, Baldi y Moore, página 209).
La tarea
Determine si se trata de una moneda justa. “Aceptable” significa que es igualmente probable que ocurra cara y cruz.
Los datos Kerrich.jmp
El conjunto de datos contiene el resultado y los recuentos de cada resultado.
Resultado Cara o corona
Cuente el número de caras y cruces en los 10.000 lanzamientos.
Análisis
Comenzamos explorando la frecuencia de cara y cruz en los 10.000 lanzamientos.
Exhibición 1 Distribución del resultado
(Analizar > Distribución; seleccione Resultado como Y, Columnas y Contar como Freq y haga clic en Aceptar.Para un diseño horizontal, seleccione Apilar debajo del triángulo rojo superior).
Sin duda, la moneda aparece Para ser justos, hay aproximadamente el mismo número de caras y cruces en la muestra.
El intervalo de confianza del 95% (Anexo 2) indica que las probabilidades más plausibles de cara van de 0,4969 a 0,5165.
Anexo 2 Intervalos de confianza para el resultado
(En el resultado de Distribución, haga clic en el triángulo rojo inferior y seleccione Intervalo de confianza > 0,95).
Estos datos son consistentes con los resultados que veríamos con una moneda justa. Sin embargo, NO PODEMOS afirmar que la moneda sea justa; no podemos afirmar la hipótesis nula.
La prueba de hipótesis es una prueba de bondad de ajuste:
Ho: La moneda es justa.
Ha: La moneda no es justa.
Ambas pruebas de bondad de ajuste (Anexo 3) dan valores de p de 0,1802. No tenemos pruebas de que la moneda no sea justa. Nuevamente, se requiere la doble negativa para evitar afirmar la hipótesis nula.
Anexo 3 Prueba de bondad de ajuste para el resultado
(En el resultado de Distribución, haga clic en el triángulo rojo inferior y seleccione Probabilidades de prueba. Introduzca 0,5 en Hypoth Prob tanto para cara como para cruz y haga clic en Listo).
Cómo funcionan las pruebas de bondad de ajuste
Tanto el índice de probabilidad como las pruebas de Pearson comparan los recuentos observados ( oh i ) a los recuentos esperados (e i ). En este caso los conteos observados son 5,067 por cabezas ( oh cabezas ) y 4,933 para cruces ( oh cruz ). Los recuentos esperados tanto para cara como para cruz ( mi cabezas y mi cruz ) son 5.000.
Puedes verificar (un ejercicio) que el estadístico de prueba de razón de verosimilitud es:
y el estadístico de la prueba de Pearson es:
Potencia y tamaño de muestra
Aunque un análisis básico de los datos en esta situación es bastante sencillo, brinda la oportunidad de explorar algunas ideas importantes en un contexto simple. Consideremos otros dos conjuntos de datos, con tamaños de muestra muy diferentes.
Anexo 4 Una muestra pequeña (recuento pequeño) y una muestra muy grande (recuento grande)
Para el conjunto de datos pequeño, la proporción muestral de cabezas es 0,62, mientras que la proporción muestral es 0,502 para el conjunto de datos grande. ¿Qué proporcionará pruebas más sólidas de que la moneda es injusta? Hasta que se familiarice con algunos aspectos de la prueba de hipótesis, los resultados pueden resultar sorprendentes.
Análisis de la muestra grande
Ciertamente, la moneda parece justa (Anexo 5). Es difícil decir a partir del gráfico qué ocurre con más frecuencia, cara o cruz. En realidad, los caras ocurrieron sólo el 50,2% de las veces. Esta moneda parece, para los no iniciados, incluso más bella que la que lanzó John Kerrich.
Anexo 5 Distribución de Resultado
La inferencia cuenta una historia diferente. De hecho, existe evidencia sólida que respalda la afirmación de que la moneda no es justa (Anexo 6).¡El valor p es 0,0047!
Anexo 6 Inferencia para la muestra grande
¿Es esto un error? No. En realidad, el intervalo de confianza respalda esta afirmación. La estimación del intervalo es que la moneda sale cara, a largo plazo, entre el 50,006% y el 50,34% de las veces. El intervalo excluye el 50%, por lo que la moneda se carga hasta que caiga cara.
Si esto le parece un resultado extraño, es posible que no esté familiarizado con el impacto de muestras grandes en las pruebas de hipótesis. Las pruebas estadísticas tienen el poder de detectar desviaciones muy pequeñas de la hipótesis nula cuando los tamaños de muestra son grandes. Aquí, la hipótesis nula es que la moneda es justa y la moneda parece no serlo. Por supuesto, la moneda no es muy injusta, pero parece tener un ligero sesgo hacia la cara. Esto puede ser o no lo que realmente quieres decir con una moneda justa. Si usted y su compañero de cuarto están usando esta moneda para determinar quién saca la basura, esta moneda puede ser perfectamente justa. Pero, si un casino utiliza esta moneda para apostar a cara, mientras que los clientes apuestan a cruz, y hay 100.000 apuestas de 10 dólares por hora, esto puede hacer que el casino sea una fortuna.
En estadística, el poder de una prueba de hipótesis es la probabilidad de que la prueba rechace la hipótesis nula cuando es falsa. Cuando el tamaño de las muestras es grande, las pruebas tienen mucho poder. De hecho, cuando los tamaños de muestra son muy grandes, rechazar la hipótesis nula puede ser una rutina. Esto llega a la diferencia entre importancia práctica y significancia estadística. Medidas que indican importancia práctica, como intervalos de confianza, R 2 , etc. pueden ser más importantes que los valores p cuando los tamaños de muestra son grandes.
Análisis para una muestra muy pequeña
Ahora, consideramos los resultados para la muestra pequeña.
A partir del gráfico de barras y la distribución de frecuencias del Anexo 7, parece una evidencia clara de que la moneda sale mucho más cara que cruz. En realidad, la moneda aterrizó cara el 62% de las veces en la muestra, en comparación con el 50,67% de los datos de Kerrich. Pero, como antes, la inferencia contará una historia diferente.
Anexo 7 Distribución de Resultado , Muestra muy pequeña
De hecho, ambos valores p están por encima del nivel de significancia de 0,05, por lo que no podemos rechazar la hipótesis nula de que la moneda es justa.
Anexo 8 Inferencia para la muestra muy pequeña
El examen del intervalo de confianza del Cuadro 8 vuelve a ser revelador. Como el tamaño de la muestra es pequeño, el intervalo de confianza es muy amplio. El intervalo para la estimación a largo plazo de la proporción del tiempo en que la moneda caerá cara es de 0,48 a 0,74. Este intervalo incluye valores por encima y por debajo de 0,50, por lo que realmente no tenemos evidencia suficiente para descartar una moneda justa.
La moral
El tamaño de la muestra juega un papel importante en la inferencia estadística. Cuando los tamaños de muestra son grandes podemos detectar una diferencia, pero la diferencia puede no tener ninguna importancia práctica. Cuando los tamaños de muestra son pequeños, es posible que no podamos detectar una diferencia (entre nuestra muestra y la hipótesis nula) incluso cuando parezca que algo está sucediendo. Las muestras grandes generalmente significan que tenemos mucho poder para detectar diferencias, mientras que las muestras pequeñas generalmente dan como resultado un poder bajo.
Un ejemplo que utiliza algunos datos generados aleatoriamente, diagramas de dispersión y regresión ilustra aún más esta idea.
Para generar los datos en Kerrich Power.jmp:
Primero, 2000 filas de valores normales aleatorios ( error ) se produjeron utilizando el editor de fórmulas JMP, con una media de cero y una desviación estándar de 1.
A continuación, valores x ( x_grande ) fueron generados. Estos valores son números enteros aleatorios del 1 al 8.
Finalmente, los valores de y ( y_grande ) se generaron a partir de los valores normales aleatorios ( errores ) y los valores de x ( x_grande ).
Puede que no parezca que una línea se ajuste a estos datos, pero grandes conjuntos de datos (n = 2000) producen algunas sorpresas. ¿Ve una tendencia en el diagrama de dispersión del Cuadro 9?
Anexo 9 Diagrama de dispersión para un conjunto de datos grande ( y_grande y x_grande )
(Analizar, Ajustar Y por X; usar y_grande como Y, Respuesta y x_grande como X, factor.) En el Cuadro 10, ajustamos una línea de regresión a los datos. ¿Se ajusta una línea a los datos?
Anexo 10 Regresión para un conjunto de datos grande ( y_grande y x_grande )
(En la salida de Ajuste bivariado, haga clic en el triángulo rojo y seleccione Ajustar línea).
mientras que r 2 es apenas 0,056, lo que indica sólo el 5,6% de la variación en y_grande se explica por la regresión usando x_grande , el valor p es inferior a 0,0001 (la hipótesis nula es que no hay tendencia en los datos, la alternativa es que hay una tendencia en los datos).
Éste es el poder de las muestras grandes; se detecta una pequeña tendencia. Sin embargo, la tendencia puede no tener ninguna importancia práctica. Ciertamente, si este es el ritmo al que aumenta mi salario, ¡no me impresionaría!
Ahora, veamos una muestra muy pequeña, con los valores de y y x extraídos de la muestra grande. columnas y_pequeño y x_pequeño Contiene cinco observaciones.
En el gráfico del cuadro 5, parece que hay una fuerte tendencia lineal en los datos. Pero tenga en cuenta que el patrón claro en los datos, pero el tamaño de la muestra es muy pequeño (n = 5).
Anexo 10 Regresión para un conjunto de datos muy pequeño ( y_pequeño y x_pequeño )
Estoy seguro de que habrás adivinado hacia dónde va todo esto.
Mientras que la R 2 es 64,2%, lo que indica que gran parte de la variación en y_pequeño puede explicarse por la regresión x_pequeño , el valor p es 0,1031. Esto significa que sólo hay evidencia débil (en el mejor de los casos) de que una línea se ajusta a los datos. Entonces, ¿qué está pasando?
Con un conjunto de datos pequeño, aunque una línea parece ajustarse a los datos, no podemos descartar el azar como explicación alternativa para el patrón aparente. Los valores p son una forma de evaluar la probabilidad de que el azar haya producido un patrón como este. Aunque parece haber un patrón, hay un 10,04 % de probabilidad de que pudiéramos haber obtenido un patrón tan fuerte, o incluso más fuerte, si los puntos se hubieran producido al azar sin una verdadera relación entre ellos. x_pequeño y y_pequeño .
Resumen
Perspectivas estadísticas
Las muestras grandes pueden detectar patrones sutiles, aunque a veces estos patrones no tienen ninguna importancia práctica. Valores p muy pequeños no siempre significan que algo importante esté sucediendo, particularmente cuando el tamaño de la muestra es grande. Muestras pequeñas pueden indicar un patrón relativamente claro, pero no podemos estar seguros de que el patrón sea real y no se produzca por variación casual. Los valores p grandes no siempre significan que no sucede nada, especialmente cuando el tamaño de la muestra es pequeño.
Trascendencia
Algunos de los resultados más informativos en ciencia ocurren cuando los resultados parecen contradecir lo que hemos dicho sobre el poder y el tamaño de la muestra. A menudo, un estudio piloto con una muestra muy pequeña encuentra un efecto observable. En tales casos, los científicos a menudo se animan a pesar de que el valor p no sea especialmente pequeño, porque se encontró algo a pesar de la baja potencia de la prueba. A menudo vale la pena profundizar en estos resultados mediante un estudio más amplio.
Por otro lado, a veces varios estudios con muestras de gran tamaño no logran encontrar un efecto. Aunque nunca podemos afirmar la hipótesis nula, cuando varios estudios realmente grandes no producen evidencia de un efecto, en algún momento deberíamos ser muy escépticos ante la afirmación.
Por ejemplo, muchos (si no la mayoría) fanáticos del baloncesto creen que algunos jugadores tienen rachas calientes y frías. Un grupo de psicólogos cognitivos utilizó varios conjuntos de datos de gran tamaño de la NBA para probar varias versiones de esta afirmación. No encontraron evidencia de racha de disparos (“The Cold Facts About the 'Hot Hand' in Basketball”, Amos Tversky y Thomas Gilovich, Chance, Vol. 2, 1989, páginas 16-21). Aunque no podemos decir que no se produzca una racha disparada (eso significaría afirmar la hipótesis nula), el número de conjuntos de datos diferentes, el gran tamaño de la muestra de los conjuntos de datos, aumentados con su explicación de por qué las personas perciben erróneamente los patrones aleatorios se combinan para producir un escepticismo extremo. hacia el tiroteo como fenómeno.
Cuando los tamaños de muestra son pequeños (y, como resultado, el poder estadístico es bajo), puede ser importante encontrar cualquier evidencia de un efecto. Cuando los tamaños de muestra son grandes (por lo que el poder es alto), vale la pena señalar que no se puede encontrar un efecto.
JMP ® Características y consejos
En este caso se utilizó la plataforma Distribution para producir gráficos de barras y distribuciones de frecuencia, crear intervalos de confianza para proporciones y realizar pruebas de bondad de ajuste.
El editor de fórmulas se utilizó para generar datos aleatorios para ilustrar la relación con el tamaño de la muestra y el poder en una situación de regresión. Usamos Ajustar Y por X para generar diagramas de dispersión y ajustar líneas de regresión.
Ejercicios
- Para el ejercicio de lanzamiento de moneda de Kerrich ( Kerrich.jmp ), ¿cuál es la población y cuál es la muestra? ¿Es la muestra una muestra aleatoria simple? Si la muestra no es aleatoria simple, ¿crees que es una muestra representativa? ¿Por qué o por qué no? ¿Crees que los lanzamientos de monedas son independientes?
- Karl Pearson, un famoso estadístico que da nombre a la estadística de prueba de Pearson, lanzó una moneda 24.000 veces, lo que dio como resultado 12.012 caras. Cree una tabla de datos en JMP y realice un análisis de estos datos similar al realizado anteriormente. ¿Cuál es tu hipótesis nula? ¿Qué conclusión(es) puedes sacar?
- En el ejemplo de muestra grande observamos 251.000 caras y 249.000 cruces. Habríamos esperado ver (para una moneda justa) 250.000 caras y 250.000 cruces.
- Verifique el índice de probabilidad y las estadísticas de la prueba de Pearson utilizando las fórmulas proporcionadas:
- Muchos libros de texto utilizan la siguiente estadística de prueba para realizar una prueba que involucra una proporción (para una moneda justa):
Ho: p = p oh versus
Ha: p ≠ p oh
Para esta prueba, el estadístico de prueba es: ¿Dónde está la proporción de cabezas en la muestra? es la proporción hipotética de cabezas, y norte es el tamaño de la muestra.
Calcular z y verificar. En otras palabras, confirme que esta es solo otra forma del estadístico de prueba de Pearson (también puede verificar que los valores p sean los mismos).
