Si te perdiste el episodio de marzo de Estadísticamente hablando , puedes verlo sin registrarte! Creemos que las perspectivas y los ejemplos presentados por Jessica Utts y Dick De Veaux, los brillantes estadísticos, profesores, autores y becarios de ASA ganadores de premios, son tan convincentes que sus charlas deben verse en todas partes.
Además, nos quedamos sin tiempo antes de que pudiéramos abordar todas las preguntas de seguimiento. Afortunadamente, Jessica y Dick han brindado respuestas completas; les estamos agradecidos por tomarse el tiempo para profundizar más en este importante tema.
Pregunta: ¿Qué hay de incurrir en desperdicios innecesarios al configurar un análisis?Vemos a muchas personas que todavía hacen experimentos de un factor a la vez, lo que en realidad es solo una prueba y un error inútiles. ¿Esto se remonta al punto de Jessica sobre la enseñanza de la alfabetización estadística?
Jéssica : No creo que una discusión sobre cómo diseñar un experimento o análisis encajaría con mi idea de alfabetización estadística, porque lo que más me interesa es la alfabetización de los consumidores estadísticos. Pero eso lleva a un punto muy importante. El problema de hacer experimentos de un factor a la vez va más allá de ser un desperdicio. El problema es que los resultados pueden ser muy engañosos si existen interacciones pero no se tienen en cuenta. Y las interacciones solo se pueden medir estudiando múltiples factores en el mismo experimento.
Por ejemplo, algunos estudios muestran que consumir cafeína antes de hacer ejercicio ayuda al rendimiento deportivo. Pero otros estudios muestran lo contrario. Una explicación que se ha propuesto es que depende de si alguien es genéticamente un metabolizador rápido o lento de la cafeína. Entonces, si un estudio de este tipo no tuviera en cuenta esa diferencia genética, los resultados podrían ser bastante engañosos.
Cuando los consumidores leen sobre resultados de un estudio que no parecen tener sentido (¡o incluso resultados que sí lo tienen!), una buena estrategia es pensar en qué variables adicionales podrían generar interacciones. Por ejemplo, en este seminario web hablé de los resultados de la Iniciativa de salud de la mujer, que parecían mostrar que tomar terapia de reemplazo hormonal después de la menopausia aumentaba el riesgo de enfermedad coronaria. Pero la investigación de seguimiento mostró que la imagen no es tan sencilla. De acuerdo con la Comité de Práctica Ginecológica del Colegio Americano de Obstetras y Ginecólogos :
“Análisis recientes sugieren que la TH [terapia hormonal] no aumenta el riesgo de CHD [enfermedad coronaria] en mujeres sanas que han experimentado recientemente la menopausia. Existe cierta evidencia que respalda la hipótesis del momento oportuno, que postula que se puede derivar un beneficio cardiovascular cuando la ET [terapia de estrógeno] o la TH se usan cerca del inicio de la menopausia".
En otras palabras, no solo es poco probable que las hormonas causen enfermedades coronarias en mujeres que comienzan a tomarlas en la menopausia, ¡las hormonas podrían ser beneficiosas para reducir las enfermedades cardíacas! El problema es que la edad promedio de las mujeres en el estudio original era de 63 años, y la mayoría de ellas habían pasado muchos años de la transición a la menopausia y nunca habían usado hormonas. Un amigo médico me explicó que esto significa que pueden haber tenido tiempo para acumular placa en sus arterias después de la menopausia, y cuando comenzaron las hormonas muchos años después, la placa se aflojó, lo que provocó una enfermedad coronaria. Si hubieran tomado hormonas inmediatamente después de pasar por la menopausia, la placa no se habría acumulado y las hormonas las habrían protegido de enfermedades del corazón. En este ejemplo, el momento del inicio de las hormonas en términos de número de años después de la transición a la menopausia fue una variable de interacción importante. Si los consumidores hubieran consultado el artículo de investigación original, habrían notado que las mujeres que participaron en el estudio no representaban cómo se usa la terapia hormonal en la práctica. En el “mundo real”, la terapia hormonal casi siempre se prescribe inmediatamente después de llegar a la menopausia.
Si está diseñando experimentos o estudios observacionales, es muy importante pensar en cómo combinación de las variables explicativas podría afectar el resultado. Si las interacciones son probables, no solo es un desperdicio, sino que también es potencialmente engañoso investigar los factores uno por uno.
Pregunta: ¿Debería definirse la importancia práctica mediante un límite de tamaño de efecto específico, como 0,5, que los psicólogos definen como un "efecto medio"?
Jéssica : ¡No! La importancia práctica debe verse en su contexto. Sin embargo, los tamaños del efecto son útiles, especialmente para determinar si un hallazgo se replica de un estudio a otro. Esto se debe a que, a diferencia de p - valores, los tamaños del efecto no dependen del tamaño de la muestra. (Sin embargo, como con cualquier estimación estadística, cuanto más grande sea la muestra, más precisa será la estimación del verdadero tamaño del efecto). Entonces, si una variable de resultado en particular muestra consistentemente la misma magnitud del tamaño del efecto de un estudio a otro, esa es una mejor indicador de replicación que si los estudios de tamaño muy variable encuentran consistentemente p similar - valores.
Una forma sencilla de pensar en el tamaño del efecto es que es la diferencia entre las medias de dos grupos en términos de número de desviaciones estándar. Por ejemplo, las alturas promedio de hombres y mujeres difieren en aproximadamente 5 pulgadas, y dentro de cada grupo la desviación estándar es de aproximadamente 2,5 pulgadas. Entonces, la diferencia de 5 pulgadas tiene un tamaño de efecto de 5/2.5 = 2, que es la diferencia en las alturas medias en términos del número de desviaciones estándar "dentro del grupo". Los tamaños del efecto se han clasificado como pequeños si están alrededor de 0,2, medianos alrededor de 0,5 y grandes si son 1,0 o más. Aproximadamente, se dice que un tamaño de efecto grande es perceptible para cualquiera, un efecto medio es perceptible para un experto observador y uno pequeño no es realmente observable sin usar estadísticas, aunque puede ser importante. Usando el ejemplo aquí, una diferencia de altura media en dos grupos de 2,5 pulgadas o más (tamaño del efecto de 1) debería ser perceptible para cualquier observador, una diferencia de altura media de 1,25 pulgadas (tamaño del efecto de 0,5) probablemente no se notaría a menos que alguien suele medir alturas con algún propósito, y una diferencia de media pulgada (tamaño del efecto de 0,2) sería muy difícil de detectar sin resúmenes estadísticos.
Pero el significado práctico siempre depende del contexto. Por ejemplo, supongamos que se realiza un estudio para determinar si tomar un suplemento de hierbas en particular sin efectos secundarios podría ayudar a reducir el colesterol. Varias fuentes informan que la desviación estándar de la población para el colesterol plasmático total es de aproximadamente 40 mg/dl. Por lo tanto, incluso un tamaño del efecto relativamente pequeño de 0,25 (¼ de una desviación estándar) representa una reducción promedio del colesterol de 10 mg/dl, lo que podría tener una importancia clínica significativa. Por otro lado, supongamos que un medicamento para reducir el colesterol tuviera efectos secundarios graves. En ese caso, una reducción promedio de solo 10 mg/dl como resultado de tomar el medicamento probablemente no sea suficiente para que valga la pena arriesgarse a los efectos secundarios. Y como ilustran los ejemplos de la altura y el colesterol, el valor numérico del tamaño del efecto depende de la variabilidad natural dentro del grupo. Si la variabilidad natural en los niveles de colesterol en la población fuera solo de 5 mg/dl en lugar de 40 mg/dl, entonces una reducción de 10 mg/dl representaría un tamaño del efecto de 10/5 = 2,0, cumpliendo el criterio de un “gran efecto."
Otro ejemplo es cuando se determina si existe un efecto. Por ejemplo, los estudios de laboratorio para probar si la percepción extrasensorial es posible han encontrado consistentemente tamaños de efecto pequeños, generalmente entre 0,15 y 0,2. Pero cualquier tamaño de efecto consistente distinto de cero en este contexto sería significativo, porque indicaría que la percepción extrasensorial es posible.
Entonces, para resumir, determinar si el resultado de un estudio muestra un significado práctico requiere experiencia contextual. Los tamaños del efecto se pueden utilizar como guía, pero lo que se considera de importancia práctica siempre dependerá de otros factores, más allá de las medidas estadísticas.
Pregunta: ¿Cómo define el significado práctico/biológico, en comparación con el significado estadístico?
Polla : Esta es una gran pregunta, y una que surge con frecuencia. Responderé la pregunta en general primero y luego daré un par de respuestas. La "significación" estadística es un término limitado que describe la situación en la que los datos observados se alejan "lo suficiente" de lo que predice el modelo propuesto. Entonces, si asumimos que una moneda es justa y la lanzamos 100 veces y la frecuencia observada de caras está lo suficientemente alejada de 0.5, diremos que el resultado es estadísticamente significativo, lo que significa que la posibilidad de que suceda bajo ese modelo es pequeña ( este es el valor p). Cuando el valor p es lo suficientemente pequeño, decimos que hay evidencia en contra del modelo (o hipótesis), ya sea que la diferencia real de 0.5 sea lo suficientemente grande como para ser interesante en la práctica, o no. El significado práctico/biológico describe un resultado que es significativo al científico u otro investigador. Un resultado puede ser prácticamente significativo pero no estadísticamente significativo o (peor aún), viceversa.
Un estudiante vino a verme ayer con una teoría sobre cómo los insectos visitan las plantas. ¿Tienden a venir de forma independiente o vienen en grupos? Usamos un modelo de Poisson para modelar las ocurrencias de 0, 1, 2, 3… insectos que llegan a la flor y luego usamos una prueba de Chi-cuadrado para ver si las ocurrencias reales se ajustan al Poisson. Al hacer que el período de tiempo sea muy pequeño y, por lo tanto, que el número de períodos de tiempo sea grande, pudimos rechazar el modelo de Poisson (y, por lo tanto, las llegadas independientes) con bastante facilidad. Pero no respondimos la pregunta de si las llegadas estaban lo suficientemente lejos como para responder realmente a la pregunta biológica. Cuán diferentes de los números esperados por Poisson realmente darían evidencia de que los insectos se están "emparejando". Esa no es una pregunta que un estadístico pueda responder.
Otro ejemplo proviene de un laboratorio en Princeton que intentaba demostrar que los humanos pueden influir (o al menos predecir) el resultado de un generador de números aleatorios. Generaron un número aleatorio (uniforme) entre 0 y 1 y luego pidieron a los sujetos que dijeran si era menor o mayor que 0,5. Recolectaron decenas de miles de estas observaciones y anunciaron que el porcentaje era claramente estadísticamente significativo (con un valor de p < 0,00001).El porcentaje de éxito real (alrededor de 0.5002) fue una desviación tan pequeña que a lo mejor influiría en dos o tres resultados de 10.000. Por supuesto, el director del laboratorio argumentó que ninguna diferencia, por pequeña que sea, sería interesante. Incluso si los resultados fueran ciertos, y no el resultado de anomalías experimentales o errores aleatorios, dejaré que el lector decida si los resultados son significativos en la práctica.
Si un fármaco tiene una tasa de éxito lo suficientemente superior a la de un placebo como para que sea improbable que haya ocurrido por casualidad, diremos que es un resultado estadísticamente significativo. Pero si la diferencia real fuera, digamos, curar al 31% de los pacientes, en lugar del 30% del placebo, sospecho que el departamento de marketing tendría dificultades para anunciar esa mejora incluso si la diferencia fuera estadísticamente significativa.
Pregunta: ¿Piensa que cualquier persona que tenga interés o interés en el resultado de un estudio siempre debe ser examinada o identificada en un estudio?
Polla : Más que nunca, es fácil encontrar datos sobre casi cualquier tema que nos interese investigar. Pero, por supuesto, todos los datos no son iguales. Un resultado de un ensayo clínico doble ciego controlado con placebo siempre es preferible a la información anecdótica. Cuando no se puede identificar la fuente de los datos, puede ser imposible distinguir los dos escenarios. El pedigrí de los datos, incluyendo cómo fueron recolectados, bajo qué condiciones, por quién y con qué propósito, son esenciales antes de hacer afirmaciones sobre lo que los datos implican sobre el mundo en general.
Estamos interesados en escuchar otros ejemplos que pueda tener en ética en ciencia de datos , donde se consideró cuidadosamente un análisis ético, un análisis donde claramente faltaba ética, o un dilema ético donde no está claro cuál es la mejor manera de proceder. Gracias nuevamente a Jessica y Dick por compartir su sabiduría y experiencia en este tema tan relevante para estos tiempos.
