Novato en estadística: ¿Es eso un P-hackeo si hago la prueba de equivalencia varias veces?Hola a todos,
Soy nuevo en estadísticas y realmente necesito su ayuda aquí.
Mi pregunta es: ¿Está bien o no si realizo la prueba de equivalencia varias veces para encontrar el límite equivalente que tiene 2 valores p < 5 %.
Tengo 2 grupos de datos como los siguientes y quiero probar si son iguales o diferentes.
1er paso Hice una prueba t y Pvalue> 5% significa que no pude rechazar H0 (Prueba = ref). Realmente no ayuda mucho a definir mis próximas acciones.
Así que hago una prueba de equivalencia con el límite equivalente de +/-0.1 como rango práctico
Pero de nuevo el resultado no es realmente bueno. Solo puedo concluir que mi grupo de prueba es superior a la unidad REF 0.1 o inferior.
Todavía no es un resultado lo suficientemente útil para las próximas acciones.
Entonces aumento varias veces hasta alcanzar el límite equivalente de 0.16 unidades y tengo 2 valores P <5%
Lo cual puedo interpretar el resultado como que 2 grupos son iguales en un rango de 0.16 unidades.
Lo que significa que el grupo Mi PRUEBA puede ser superior/inferior a REF +/- 0,16 unidades. (o podría ser igual también)
Entonces puedo estimar el mejor caso si esta unidad 0.16 más alta o más baja que la corriente está bien para mi próxima acción.
¿Es correcta mi conclusión? & ¿Es eso posible para mí hacer eso? o ¿Estoy pirateando?
Solo un novato en estadística necesita tu ayuda.
Gracias a todos
AnalíticaRe: Novato en estadística: ¿Es eso un P-hacking si realizo la prueba de equivalencia varias veces?Hola @Justin_Bui ,
Es una buena pregunta. Pero dejando de lado las bromas, creo que estás malinterpretando la prueba de equivalencia. ¡Estas cosas son confusas, lo sé!
El valor p bajo en su último caso le dice que los 2 grupos SON prácticamente equivalentes. Los límites de confianza en torno a la diferencia estimada están dentro del rango práctico de +/- 0,16.
La documentación de ayuda para esta prueba debe ser útil.
Espero que esto ayude,
phil
Re: Novato en estadística: ¿Es eso un P-hacking si realizo la prueba de equivalencia varias veces?Añadiendo a @Phil_Kay , debe tener una pregunta o propósito claro y bien definido para la prueba que va a realizar. Tu ejemplo es un caso de p-hacking. Solo una de estas pruebas es relevante para su propósito. No debe aplicar más de una prueba hasta encontrar un resultado favorable. Una prueba es suficiente y acepta la respuesta de cualquier manera.
Digamos que hiciste un cambio esperando una mejora. Entonces desea utilizar una prueba para una diferencia significativa. (La hipótesis nula o 'abogado del diablo' es que no hay cambio ni mejora). Su primera comparación es un ejemplo de este tipo de prueba.
En cambio, tal vez hiciste un cambio, pero espero que no haga ninguna diferencia. Como cambiar un equipo nuevo por uno viejo con la esperanza de seguir viendo el mismo resultado. Entonces desea utilizar una prueba de equivalencias significativas o prácticas. Su segundo par de comparaciones es un ejemplo de este tipo de prueba.
El nivel de riesgo suele establecerse de antemano. Ajustar la diferencia práctica o el nivel de significación mientras se realizan pruebas también es una especie de p-hackeo.
Re: Novato en estadística: ¿Es eso un P-hacking si realizo la prueba de equivalencia varias veces?Gracias Phil por compartir
