Si te perdiste el episodio de marzo deEstadísticamente hablando¡Puedes verlo sin registrarte! Creemos que las perspectivas y los ejemplos presentados por Jessica Utts y Dick De Veaux (los brillantes y galardonados estadísticos, profesores, autores y miembros de la ASA) son tan convincentes que sus charlas deberían verse en todas partes.
Además, nos quedamos sin tiempo antes de poder responder a todas las preguntas de seguimiento. Afortunadamente, Jessica y Dick nos han proporcionado respuestas detalladas; les agradecemos que se hayan tomado el tiempo de profundizar en este importante tema.
Pregunta: ¿Qué pasa con el desperdicio innecesario que supone preparar un análisis? Vemos que muchas personas siguen haciendo experimentos con un factor a la vez, lo que en realidad no es más que un desperdicio de ensayo y error. ¿Esto nos lleva de nuevo al punto de Jessica sobre enseñar alfabetización estadística?
Jessica: No creo que una discusión sobre cómo diseñar un experimento o un análisis encaje con mi idea de alfabetización estadística, porque me interesa sobre todo la alfabetización de los consumidores de estadística. Pero eso nos lleva a un punto muy importante. El problema de hacer experimentos con un factor a la vez va más allá de ser un desperdicio. El problema es que los resultados pueden ser muy engañosos si existen interacciones pero no se tienen en cuenta. Y las interacciones solo se pueden medir estudiando múltiples factores en el mismo experimento.
Por ejemplo, algunos estudios demuestran que consumir cafeína antes de hacer ejercicio mejora el rendimiento deportivo, pero otros estudios demuestran lo contrario. Una explicación que se ha propuesto es que depende de si alguien es genéticamente un metabolizador rápido o lento de la cafeína. Por lo tanto, si un estudio de este tipo no tuviera en cuenta esa diferencia genética, los resultados podrían ser bastante engañosos.
Cuando los consumidores leen los resultados de un estudio que no parecen tener sentido (o incluso los resultados que sí lo tienen), una buena estrategia es pensar en qué variables adicionales podrían dar lugar a interacciones. Por ejemplo, en este seminario web hablé de los resultados de la Iniciativa de Salud de la Mujer, que parecían demostrar que tomar terapia de reemplazo hormonal después de la menopausia aumentaba el riesgo de enfermedad cardíaca coronaria. Pero las investigaciones posteriores demostraron que el panorama no es tan sencillo. Según laComité de Práctica Ginecológica del Colegio Americano de Obstetras y Ginecólogos:
“Análisis recientes sugieren que la terapia hormonal no aumenta el riesgo de enfermedad coronaria en mujeres sanas que han experimentado recientemente la menopausia. Hay algunas pruebas que respaldan la hipótesis del momento, que postula que se puede obtener un beneficio cardiovascular cuando se utiliza terapia hormonal o terapia hormonal cerca del inicio de la menopausia”.
En otras palabras, no sólo es poco probable que las hormonas provoquen enfermedades coronarias en las mujeres que comienzan a tomarlas en la menopausia, sino que, de hecho, ¡las hormonas podrían ser beneficiosas para reducir las enfermedades cardíacas! El problema es que la edad promedio de las mujeres en el estudio original era de 63 años, y la mayoría de ellas habían pasado muchos años desde la transición a la menopausia y nunca habían usado hormonas. Un amigo médico me explicó que esto significa que es posible que hayan tenido tiempo de acumular placa en las arterias después de la menopausia, y cuando comenzaron a tomar hormonas muchos años después, la placa se aflojó, lo que provocó enfermedades cardíacas coronarias. Si hubieran tomado hormonas inmediatamente después de pasar por la menopausia, la placa no se habría acumulado y las hormonas las habrían protegido de las enfermedades cardíacas. En este ejemplo, el momento de comenzar a tomar hormonas en términos de número de años después de la transición a la menopausia fue una variable de interacción importante. Si los consumidores hubieran consultado el artículo de investigación original, habrían notado que las mujeres que participaron en el estudio no eran representativas de cómo se utiliza la terapia hormonal en la práctica. En el “mundo real”, la terapia hormonal casi siempre se prescribe inmediatamente después de llegar a la menopausia.
Si está diseñando experimentos o estudios observacionales, es muy importante pensar en cómo la combinación de variables explicativas podría afectar el resultado. Si es probable que haya interacciones, no solo es un desperdicio, sino también potencialmente engañoso, investigar los factores uno por uno.
Pregunta: ¿Debería definirse la significancia práctica mediante un límite de tamaño del efecto específico, como 0,5, que los psicólogos definen como un "efecto medio"?
Jessica: ¡No! La importancia práctica debe considerarse en contexto. Sin embargo, los tamaños del efecto son útiles, especialmente para determinar si un hallazgo se replica de un estudio a otro. Esto se debe a que, a diferencia de los valores p , los tamaños del efecto no dependen del tamaño de la muestra. (Sin embargo, como ocurre con cualquier estimación estadística, cuanto mayor sea la muestra, más precisa será la estimación del tamaño del efecto real). Por lo tanto, si una variable de resultado particular muestra constantemente la misma magnitud del tamaño del efecto de un estudio a otro, ese es un mejor indicador de replicación que si estudios de tamaño muy variable encuentran constantemente valores p similares.
Una forma sencilla de pensar en el tamaño del efecto es que es la diferencia entre las medias de dos grupos en términos de número de desviaciones típicas. Por ejemplo, las alturas medias de hombres y mujeres difieren en aproximadamente 5 pulgadas, y dentro de cada grupo la desviación típica es de aproximadamente 2,5 pulgadas. Por lo tanto, la diferencia de 5 pulgadas tiene un tamaño del efecto de 5/2,5 = 2, que es la diferencia en las alturas medias en términos de número de desviaciones típicas "dentro del grupo". Los tamaños del efecto se han clasificado como pequeños si están alrededor de 0,2, medianos alrededor de 0,5 y grandes si son 1,0 o más. A grandes rasgos, se dice que un tamaño del efecto grande es perceptible para cualquiera, un efecto mediano es perceptible para un experto observador y uno pequeño no es realmente observable sin usar estadísticas, aunque puedan ser importantes. Usando este ejemplo, una diferencia de altura media en dos grupos de 2,5 pulgadas o más (tamaño del efecto de 1) debería ser perceptible para cualquier observador, una diferencia de altura media de 1,25 pulgadas (tamaño del efecto de 0,5) probablemente no sería perceptible a menos que alguien mida alturas a menudo para algún propósito, y una diferencia de media pulgada (tamaño del efecto de 0,2) sería muy difícil de detectar sin resúmenes estadísticos.
Pero la importancia práctica siempre depende del contexto. Por ejemplo, supongamos que se realiza un estudio para determinar si tomar un suplemento herbario particular sin efectos secundarios podría ayudar a reducir el colesterol. Varias fuentes informan que la desviación estándar de la población para el colesterol plasmático total es de aproximadamente 40 mg/dl. Por lo tanto, incluso un tamaño del efecto relativamente pequeño de 0,25 (¼ de una desviación estándar) representa una reducción promedio del colesterol de 10 mg/dl, que podría tener una importancia clínica significativa. Por otro lado, supongamos que un medicamento para reducir el colesterol tuviera efectos secundarios graves. En ese caso, una reducción promedio de solo 10 mg/dl como resultado de tomar el medicamento probablemente no sería suficiente para que valiera la pena correr el riesgo de sufrir los efectos secundarios. Y como lo ilustran los ejemplos de la altura y el colesterol, el valor numérico de un tamaño del efecto depende de la variabilidad natural dentro del grupo. Si la variabilidad natural de los niveles de colesterol en la población fuera sólo de 5 mg/dl en lugar de 40 mg/dl, entonces una reducción de 10 mg/dl representaría un tamaño del efecto de 10/5 = 2,0, cumpliendo el criterio de un “efecto grande”.
Otro ejemplo es cuando se determina si existe un efecto en absoluto. Por ejemplo, los estudios de laboratorio para probar si la percepción extrasensorial es posible han encontrado sistemáticamente tamaños de efecto pequeños, generalmente entre 0,15 y 0,2. Pero cualquier tamaño de efecto consistente distinto de cero en este contexto sería significativo, porque indicaría que la percepción extrasensorial es posible.
En resumen, determinar si el resultado de un estudio muestra importancia práctica requiere conocimientos contextuales. Los tamaños del efecto pueden utilizarse como guía, pero lo que se considera de importancia práctica siempre dependerá de otros factores, más allá de las medidas estadísticas.
Pregunta: ¿Cómo se define la significancia práctica/biológica, en comparación con la significancia estadística?
Polla: Esta es una gran pregunta, y una que surge con frecuencia. Responderé la pregunta en general primero y luego daré un par de respuestas. La “significación” estadística es un término limitado que describe la situación en la que los datos observados se alejan “suficientemente” de lo que predice el modelo propuesto. Por lo tanto, si asumimos que una moneda es justa y la lanzamos 100 veces y la frecuencia observada de caras está lo suficientemente alejada de 0,5, diremos que el resultado es estadísticamente significativo, lo que significa que la probabilidad de que suceda bajo ese modelo es pequeña (este es el valor p). Cuando el valor p es lo suficientemente pequeño, decimos que hay evidencia en contra del modelo (o hipótesis), ya sea que la diferencia real con 0,5 sea lo suficientemente grande como para ser interesante en la práctica o no. La significación práctica/biológica describe un resultado que es significativo para el científico u otro investigador. Un resultado puede ser significativo en la práctica pero no estadísticamente significativo o (peor aún), viceversa.
Ayer un estudiante vino a verme con una teoría sobre cómo los insectos visitan las plantas. ¿Suelen venir de forma independiente o en grupos? Utilizamos un modelo de Poisson para modelar las ocurrencias de 0, 1, 2, 3… insectos que llegan a la flor y luego utilizamos una prueba de Chi-cuadrado para ver si las ocurrencias reales se ajustaban al Poisson. Al hacer que el período de tiempo fuera muy pequeño y, por lo tanto, que el número de períodos de tiempo fuera grande, pudimos rechazar el modelo de Poisson (y, por lo tanto, las llegadas independientes) con bastante facilidad. Pero no respondimos a la pregunta de si las llegadas se producían lo suficientemente lejos como para responder realmente a la pregunta biológica. Cuán diferentes son de los números esperados por Poisson realmente daría evidencia de que los insectos se están “emparejando”. Esa no es una pregunta que un estadístico pueda responder.
OtroejemploEl estudio proviene de un laboratorio de Princeton que intentaba demostrar que los seres humanos pueden influir (o al menos predecir) el resultado de un generador de números aleatorios. Generaron un número aleatorio (uniforme) entre 0 y 1 y luego pidieron a los sujetos que dijeran si era menor o mayor que 0,5. Recopilaron decenas de miles de estas observaciones y anunciaron que el porcentaje era claramente estadísticamente significativo (con un valor p < 0,00001). El porcentaje de éxito real (alrededor de 0,5002) era una desviación tan pequeña que, en el mejor de los casos, influiría en dos o tres resultados de cada 10.000. Por supuesto, el director del laboratorio argumentó que cualquier diferencia, por pequeña que fuera, sería interesante. Incluso si los resultados fueran ciertos, y no el resultado de anomalías experimentales o errores aleatorios, dejaré al lector que decida si los resultados son significativos en la práctica.
Si un fármaco tiene una tasa de éxito lo suficientemente superior a la de un placebo como para que sea improbable que se haya producido por casualidad, diremos que se trata de un resultado estadísticamente significativo. Pero si la diferencia real fuera, por ejemplo, curar al 31% de los pacientes, en lugar del 30% del placebo, sospecho que el departamento de marketing tendría dificultades para publicitar esa mejora incluso si esa diferencia fuera estadísticamente significativa.
Pregunta: ¿Cree usted que cualquier persona que tenga interés o participación en un resultado de un estudio debería siempre ser examinada o identificada en un estudio?
Polla:Ahora más que nunca es fácil encontrar datos sobre casi cualquier tema que nos interese investigar, pero, por supuesto, no todos los datos son iguales. Siempre es preferible el resultado de un ensayo clínico doble ciego controlado con placebo a la información anecdótica. Cuando no se puede identificar la fuente de los datos, puede resultar imposible distinguir entre los dos escenarios. El historial de los datos, incluido cómo se recopilaron, en qué condiciones, por quién y con qué propósito, es esencial antes de hacer afirmaciones sobre lo que los datos implican sobre el mundo en general.
Nos interesaría conocer otros ejemplos que pueda tener sobre la ética en la ciencia de datos , en los que se haya prestado una cuidadosa consideración a un análisis ético, un análisis en el que claramente se han presentado deficiencias éticas o un dilema ético en el que no está claro cuál es la mejor manera de proceder. Gracias de nuevo a Jessica y Dick por compartir su sabiduría y experiencia sobre este tema, que es tan relevante para estos tiempos.
