¿Por qué es esta una declaración estadística vergonzosa? #1Voy a iniciar algunos hilos de discusión durante las próximas semanas e invito a cualquier usuario de JMP a participar.
con sus pensamientos.Estas discusiones girarán en torno a "Declaraciones estadísticas vergonzosas".
Por favor considere contribuir.Despues de unos dias, Resumiré mis pensamientos en una publicación de blog. , y introducir otra declaración vergonzosa !
Aquí está la Declaración Vergonzosa #1:
Realizamos una prueba t para comparar las medias de dos poblaciones.Queremos un 95% de confianza en los resultados.Realizamos la prueba y el valor p vuelve a ser 0,63.Hacemos la declaración " Como p no es menor que 0,05, concluimos que no hay diferencia en las medias de estas poblaciones. "
¿Por qué esta afirmación es vergonzosa?
Ingeniería de Calidad y ProcesosCompartir y comunicar resultadosRe: ¿Por qué es ésta una declaración estadística vergonzosa? #1Para mí simplemente no refleja un nivel adecuado de comprensión, pero al menos es más o menos la "interpretación correcta".
Algunas personas discutieron algo parecido a lo que me gusta llamar el "método del valor p" y el "método del intervalo de confianza" para ejecutar una prueba T.Me gusta pensar que estas dos formas de análisis son, en esencia, la misma cosa y propondré aquí (y siéntete libre de no estar de acuerdo conmigo) que, de hecho, lo son. diferentes maneras (de expresar matemáticamente) la misma cosa .JMP es muy inteligente al brindarte la presentación estadística en ambos sentidos en la mayoría de los casos, ¡y eso realmente me gusta! La interpretación que utiliza intervalos de confianza (en el contexto de las pruebas T simples, las pruebas de no inferioridad, las pruebas de equivalencia y de superioridad) siempre ha sido más interpretable para mí.
Un querido amigo mío me dio una buena referencia de un libro de texto que creo que habla de esto:
Bluman, Estadística elemental (7ª edición), 2015
Re: ¿Por qué es ésta una declaración estadística vergonzosa? #1No llamaría "incorrecta" per se la interpretación: "Estoy 95% seguro de que la diferencia de medias de la muestra no es menor que el IC inferior ni mayor que el IC superior"; de hecho, creo que es una forma perfectamente apropiada de expresarlo. eso es "correcto" y fácil de expresar, pero yo diría que la interpretación simplemente "comúnmente se malinterpreta". @dale_lehman como usted señala.
Como @Julian dice en Toma de decisiones con datos (STIPS) - Sección 4.1 Estimación {y puede obtener esto de la Transcripción donde tomé la pantalla de la referencia del módulo apropiado a continuación titulada " Demostración: comprensión del nivel de confianza y el riesgo alfa "}
"Haremos clic en Restablecer muestras, cambiaremos el número de muestras a 100 y haremos clic en Dibujar muestras adicionales. A medida que continuamos extrayendo muestras, observe que la media de las muestras se acerca a la media verdadera. Observe también que cerca del 95% de los intervalos de confianza contienen el valor medio verdadero del CI, y alrededor del 5% de los intervalos de confianza no incluyen la media verdadera".
"Esto es lo que queremos decir con el término "confianza". De media , para 95% de confianza intervalo, 9 El 5% de las veces que se utiliza este método de intervalo, el intervalo captura el valor verdadero del parámetro. ".
Por supuesto, la inferencia se basa en la población, pero se basa en los datos de la muestra. Esto es lo que hacemos cuando hacemos estadística inferencial en general. Toda la empresa consiste en hacer inferencias sobre la población basándose en los datos de muestra que tenemos. De nuevo, en el mismo Toma de decisiones con datos Módulo 4, Ver Sección 4.1 Introducción a la inferencia estadística .Aquí, @mia_stephens habla de esto de manera clara, precisa y directa.
Re: ¿Por qué es ésta una declaración estadística vergonzosa? #1No creo que mi ejemplo realmente tenga nada que ver con el análisis bayesiano versus frecuentista o los valores p (al menos directamente).Tiene razón, por supuesto, al decir que tengo un 95 % de confianza en el valor real de Me gusta en este intervalo de confianza del 95 % es incorrecto: la confianza está en el procedimiento, no en un intervalo de confianza en particular.El valor verdadero está o no en ese intervalo en particular.
Pero lo que quiero decir es que el 95% es la mejor estimación que puedo dar sobre si mi intervalo en particular es o no uno del 95% de los "buenos" que contiene el valor verdadero o uno del 5% que daría un valor incorrecto. conclusión.Puede que la interpretación equivocada le parezca vergonzosa, pero a mí no.De hecho, la interpretación correcta me parece algo vergonzosa, ya que son un montón de palabras las que hacen que a la mayoría de las personas se les llenen los ojos de lágrimas.Y creo que contribuye a la práctica mucho peor (y más vergonzosa) de ignorar la incertidumbre por completo y tratar la estimación puntual como el valor verdadero.
Re: ¿Por qué es ésta una declaración estadística vergonzosa? #1Además de otros problemas mencionados en publicaciones anteriores,
1) Al probar la equivalencia de medias, la lateralidad de la prueba debe especificarse a priori. Si no se indica lo contrario, la prueba de equivalencia media generalmente implica una prueba bilateral, en cuyo caso alfa, la probabilidad de error tipo I del 5%, es la suma del área en las colas superior e inferior de la distribución nula. En casi todos los casos, esta probabilidad se divide en partes iguales, por lo que el área de la cola con la que se debe comparar el valor p debe ser alfa/2, que es 0,025, no 0,05.
** EDITAR: JMP se encarga de esto duplicando la cola que encontró usando la estadística crítica, pero si estuviera haciendo esto "a mano", terminaría rechazando un área de una sola cola de <0,025.
2) "95% de confianza en los resultados" es vergonzoso porque malinterpreta la idea principal detrás de una prueba de hipótesis. Puede estar 100% seguro de que, al ejecutar una prueba de hipótesis con un nivel de significancia de 0,05, habrá empleado un determinado procedimiento (si ha hecho las cosas correctamente). Cuando las medias de las 2 distribuciones son realmente las mismas, a largo plazo (y suponiendo que se cumplan todos los supuestos), el 5% de las veces ese procedimiento producirá una estadística de prueba que resulta en una conclusión de medias diferentes, debido a la variabilidad del muestreo.
3) Sólo hay 2 conclusiones posibles para una prueba de hipótesis de esta naturaleza: 1) "Los datos de la muestra proporcionan evidencia (convincente) de que la hipótesis nula es falsa" y 2) "Los datos de la muestra no proporcionan evidencia convincente de que la hipótesis nula Es falso". Notablemente ausente está la afirmación "Con base en los datos de la muestra concluimos que la hipótesis nula es verdadera". Generalmente, cuando quieres probar algo, enmarcas lo que estás tratando de probar como la hipótesis alternativa, esperando que los datos respalden el rechazo de la nula a favor de la alternativa. Si el investigador intenta demostrar equivalencia de medias, entonces serían más apropiadas dos pruebas unilaterales.
4) Otros han mencionado esto, pero vale la pena repetirlo: la significación estadística y la significación práctica no tienen por qué ser, y normalmente no son, lo mismo. La importancia práctica debe discutirse y acordarse desde el punto de partida, si no desde el punto de partida.
@dale_lehman menciona que "El problema con la interpretación correcta es que no nos permite decir nada sobre la muestra que realmente tenemos".No estoy de acuerdo, pero sé a dónde quiere llegar con esto. Cada técnica estadística tiene una pregunta particular que está diseñada para responder. Particularmente en el caso de una hipótesis nula que los datos no han podido rechazar, uno de los principales problemas que los no estadísticos (y los estadísticos bayesianos, para el caso) tienen con las pruebas de hipótesis frecuentistas es que un valor p responde a una pregunta que es una pregunta antinatural, a saber: "Bajo la hipótesis nula, ¿cuál es la probabilidad de que observe resultados tan extremos, o incluso más extremos, que los resultados que realmente observé?". Los bayesianos dirán que sus métodos responden a preguntas más naturales, pero las técnicas bayesianas tienen sus propios problemas: no existe una panacea. No hay nada mejor que comprender qué técnicas están mejor equipadas para responder determinadas preguntas y elegir una técnica que se adapte bien a la pregunta que se intenta responder. La reciente (más o menos) reacción contra el valor p, especialmente en el ámbito de la investigación médica, me parece un poco como una reacción contra los tenedores cuando se usan como parches en los ojos. Un valor p es una herramienta, como cualquier otra. Úsalo de la manera correcta, para el trabajo correcto, y estarás bien... úsalo de la manera incorrecta y "¡te dispararás!".
Re: ¿Por qué es ésta una declaración estadística vergonzosa? #1Estoy muy encariñado con @Georg La última frase de su respuesta anterior. Como estadístico que ha trabajado en equipos de comercialización de procesos/productos o de acciones correctivas durante más de 20 años en la industria, a menudo les decía a los ingenieros, científicos y gerentes con los que trabajaba: "El día que me permitieron, un estadístico, decirles cómo ejecutar su procesos es el día en que comienza tu camino a la ruina. Has olvidado más sobre tus procesos/productos de lo que yo jamás sabré".
O como escribió Walter Shewhart (parafraseado por mí): "La contribución a largo plazo de las estadísticas depende no tanto de la creación de un grupo de estadísticos como de la creación de un grupo de ingenieros, científicos, personal de producción y otros con mentalidad estadística".
Re: ¿Por qué es ésta una declaración estadística vergonzosa? #1Para ampliar un poco la discusión, para mí esto no suena vergonzoso desde el principio. En mi opinión, todavía puede ser una decisión válida. Por supuesto, como ya han señalado otros, es posible que falte mucha información adicional para confiar en esa decisión. Entonces, en mi opinión, depende del contexto de la declaración y de quién la hizo. ¿Y cuál sería, por cierto, la afirmación correcta con el mismo número de palabras?
Además, aunque a veces me gustan las discusiones sobre la redacción correcta (los términos son importantes), no me gusta construir un muro entre estadísticos e ingenieros de procesos que no tienen un conocimiento tan profundo en estadística. Pero estos últimos conocen sus datos y procesos. Y como podemos imaginar, hay muchas cosas que son aún más importantes debajo de la simple tabla de números. Este podría ser el entorno del muestreo de datos, así como las consecuencias de la decisión tomada, como @P_Bartell dicho ya. Las decisiones todavía deben ser tomadas por humanos, no por máquinas.
Re: ¿Por qué es ésta una declaración estadística vergonzosa? #1+ No se menciona un control de normalidad
Re: ¿Por qué es ésta una declaración estadística vergonzosa? #1Gracias @statman !Más buen forraje para futuras publicaciones.
¡¡Que sigan llegando los comentarios!!
Re: ¿Por qué es ésta una declaración estadística vergonzosa? #1Ey @P_Bartell !¡Es bueno saber de ti!
¡¡Gracias por la respuesta!!Pondremos estas ideas en mi (creciente) lista de declaraciones vergonzosas y las mencionaremos en publicaciones futuras.
¡Quédate bien, amigo mío!
Re: ¿Por qué es ésta una declaración estadística vergonzosa? #1Jugaré... Mi favorito es en realidad bastante simple... Usar la frase "estadísticamente significativo" aplicada en cualquier lugar sin contexto. Es interesante que si le preguntas a alguien si es más probable que crea algo cuando la frase Estadísticamente significante Se agrega que responden que sí sin saber nada sobre las comparaciones que se realizan.
Re: ¿Por qué es ésta una declaración estadística vergonzosa? #1¿Dónde empiezo? ¿Tamaño de la muestra (ninguno indicado... podría ser demasiado pequeño para darle a la señal la oportunidad de elevarse por encima del ruido)? ¿Cuál es el riesgo alfa elegido? ("...95% de confianza en los resultados..." es una afirmación sin sentido relacionada con el riesgo alfa. ¿Qué significa esa afirmación)? ¿Cuál es la hipótesis nula (ninguna declarada)? ¿Cuál es el error de medición (conocido o incluso supuesto)? ¿Cuál fue el plan de muestreo (aleatorio, de conveniencia, primero/último en la línea, estratificado o algún otro plan)? ¿Cuál es el riesgo de representación... no sólo el riesgo estadístico? Y así sucesivamente.
Re: ¿Por qué es ésta una declaración estadística vergonzosa? #1Estoy de acuerdo con este ejemplo de vergüenza: el clásico malentendido de que la ausencia de evidencia no significa evidencia de ausencia.Considere el clásico, pero menos sencillo: "el intervalo de confianza del 95% oscila entre xey, lo que significa que tengo un 95% de confianza en que el verdadero efecto está entre xey".Creo que está bien decir eso, aunque sé que la afirmación correcta es que "el 95% de todas las muestras aleatorias construidas de esta manera contendrán el efecto verdadero".Por supuesto, no sabemos si nuestra muestra es uno de ese 95% o uno de ese 5% que no contiene el verdadero efecto poblacional, y lo contiene o no.Pero, dada la única muestra que tenemos, creo que lo mejor que podemos decir es la primera afirmación citada, a pesar de que técnicamente no es correcta.
Me gustaría saber qué piensan otras personas sobre este ejemplo.A los estadísticos les encanta señalar que esta interpretación errónea del intervalo de confianza es común, aunque yo puedo entenderla completamente.Y confieso haber dado a los estudiantes la libertad de interpretarlo erróneamente (aunque al menos señalo cuál es la interpretación correcta).El problema con la interpretación correcta es que no nos permite decir nada sobre la muestra que realmente tenemos.
