| Vocero |
Transcripción |
| Stan Young |
ja ja. |
| Sara Doudt |
permitirte. |
| Stan Young |
Mira todo ahora. |
| |
Está bien, oh no. ¿Voy a ejecutar las diapositivas desde mi lado? |
| Sara Doudt |
Sí, sí, tal como lo harías en una reunión normal. |
| |
Allá vamos, está bien, asegúrate de tener todo si estoy cerca de Outlook. Está bien, estamos grabando. Necesito... Voy a... Voy a apagar mi cámara, solo para que lo sepas, y luego. |
| |
Bueno. |
| Stan Young |
Para hacer esto en pantalla completa ahora solo tienes que ordenar. |
| |
de cómo hacer eso el segundo. |
| Sara Doudt |
es ese fondo como en ese, donde dice notas sobre su conducta al 34% es el que parece a. |
| |
Abajo del barco sí, lo siento por eso malo, al otro lado de la persona que. |
| |
Uno sí, ese tipo. |
| Stan Young |
ja ja. |
| Sara Doudt |
Tú vas, y quiero decir que yo voy a ir, vamos a empezar en un segundo, pero me voy a encontrar conmigo mismo, ¿tienes alguna pregunta antes de empezar? |
| Stan Young |
o no realmente me vas a grabar a mi y también las diapositivas. |
| Sara Doudt |
Sí, sí, te pidieron que lo tuvieras. |
| |
La cámara aquí arriba. |
| |
Por encima de eso está bien. |
| |
Bien. |
| |
Está bien. |
| Stan Young |
Estoy listo para ir. |
| Sara Doudt |
Voy a silenciarme y si tienes preguntas o necesitas parar, házmelo saber, pero de lo contrario te lo haré saber. |
| Stan Young |
Ir. |
| |
Hoy presentaré complementos y scripts de JMP para la evaluación de múltiples estudios. También podría llamarse cómo detectar a los p-hackers, a quienes hacen trampa con las estadísticas o por qué la mayoría de las afirmaciones científicas son erróneas. |
| |
Primero describiré las piezas del rompecabezas y cómo encajan. La mayoría de las afirmaciones no se replican. Son afirmaciones científicas. |
| |
Sostengo, y mis coautores también, que esto se debe a un p-hacking y que es un problema grave. Usaremos metaanálisis y gráficos de valor p para detectarlos, así que así es como se detecta a un delincuente. |
| |
Los complementos y scripts de JMP son valores p de razones de riesgo y límites de confianza. Provienen de un metanálisis. |
| |
Y luego, la combinación de valores p de Fisher, una técnica antigua similar a la tecnología de metaanálisis. Y luego presentaremos un gráfico de valores p, y tenemos un pequeño script que lo limpiará y lo convertirá en un gráfico presentable. |
| |
imagen. |
| |
Bueno, vemos un conejito en el cielo. Hay muchas nubes, y si te sientas afuera en un día agradable y miras a tu alrededor, probablemente encuentres un conejito. |
| |
Así que este es un evento aleatorio. Los conejitos no están en el cielo, claro. |
| |
Gelman y Loken, de hecho, publicaron un pequeño artículo y dijeron que existe una crisis estadística en la ciencia, por lo que la gente está usando las estadísticas, dicen, de manera incorrecta, y eso es de lo que hablaremos hoy. |
| |
Realicemos un experimento epidemiológico. |
| |
Tenemos dados de 10 caras: rojo, blanco y azul. Se convertirán en dígitos (0,046 en este caso). Observemos cómo sucede esto. |
| |
Ahora tenemos un valor p. Es aleatorio. Lo hiciste tú mismo. Es muy divertido, ¿por qué no lo hacemos una vez más? |
| |
Rojo, blanco, |
| |
y azul. |
| |
Si repites esto 60 veces, puedes completar la tabla. Esta es una simulación que hice con un dado de 10 caras. Puedes ver los valores p en cuatro columnas y 15 filas. Son 60 valores p. Mi valor p más bajo es 0,004. |
| |
Y con 60 valores p, se pueden calcular las probabilidades. Aproximadamente el 95 % de las veces, se tendrá al menos un valor p menor que 0,05. |
| |
Aquí uno hecho por mi hija. Obtuvo tres valores p menores de 0,05; están marcados con un círculo. Y luego, realizar un experimento epidemiológico es facilísimo. |
| |
que incluso mi esposa Pat puede hacerlo, y ella tiene tres artículos potenciales aquí que podría escribir basándose en tirar dados y tejer una buena historia. |
| |
Los valores p tienen un valor esperado asociado. A la derecha, tenemos valores p de 0,004, 0,016 y 0,012. Cada valor p tiene una desviación normal asociada. Como pueden ver, mi valor p de 0,004 tendría una desviación normal de 2,9, y así sucesivamente. A la izquierda, tenemos |
| |
El tamaño de la muestra, la desviación esperada y el valor p esperado para el valor p más pequeño, seguido de la desviación. Por lo tanto, si tuviéramos 400 |
| |
En las preguntas que estábamos analizando, el valor p esperado sería de 0,00487 y la desviación sería de 2,968. Esta desviación se traslada de los experimentos base a los cálculos de un metanálisis, como veremos a medida que avancemos. |
| |
¿Cuántas afirmaciones en epidemiología son verdaderas? Publiqué un artículo en 2011 y retomé afirmaciones formuladas en estudios observacionales. |
| |
Y para cada afirmación en los estudios observacionales, encontré un ensayo clínico aleatorizado que analizó exactamente la misma pregunta. Así que en los 12 estudios, hubo... |
| |
52 afirmaciones que podrían hacerse y probarse. |
| |
Si observamos la columna de resultados positivos, ninguna de esas 52 afirmaciones se replicó en la dirección correcta. |
| |
Así que los epidemiólogos habían acertado 0 de 52 en sus afirmaciones. En realidad, hubo cinco afirmaciones estadísticamente significativas, pero eran opuestas a las afirmadas en los estudios observacionales. |
| |
Vamos a ver un |
| |
Pregunta loca. ¿El cereal determina el género humano? Entonces, si desayunas cereal, ¿tienes más probabilidades de tener un niño? Bueno, eso decía el primer artículo. |
| |
Este artículo se publicó en la Royal Society B, su principal revista de biología. Estos tres coautores afirmaron que si desayunas cereales, tienes más probabilidades de tener un niño, y que debes desayunar cereales durante y cerca del momento de la concepción. |
| |
Dos de mis compañeros y yo analizamos esto, solicitamos los datos. Los obtuvimos y publicamos una réplica al primer artículo, afirmando que la selección de género inducida por cereales probablemente sea un falso positivo en múltiples pruebas. |
| |
Justo antes de la concepción... se predijo la concepción, y justo en el momento de la concepción. Y había 131 alimentos en cada uno de esos cuestionarios, lo que suma un total de 262 pruebas estadísticas. |
| |
Calcula valores P para esas pruebas, los ordena del más pequeño al más grande y los grafica contra los números enteros (ese es el rango en la parte inferior). |
| |
Se ve lo que parece una línea de 45 grados bastante buena. Así que estamos viendo una distribución uniforme. Su afirmación provino de la parte inferior izquierda de eso y dijeron, bueno, aquí hay un valor p pequeño. El valor p pequeño indica que comer cereal... cereal para desayunar conducirá a más... |
| |
bebés varones. |
| |
Es bastante claro que se trata de un falso positivo estadístico. |
| |
Gráficas de valor p. Usaremos mucho las gráficas de valor p. A la izquierda, vemos una gráfica de valor p para una hipótesis nula probablemente verdadera. |
| |
El ejercicio a largo plazo en personas mayores no conlleva mortalidad ni riesgo de mortalidad. A la derecha, tenemos el tabaquismo y el cáncer de pulmón. |
| |
Vemos una serie de valores p bastante cercanos a cero a lo largo de toda la página, con algunos rezagados a la derecha. Por lo tanto, la imagen de la derecha evidencia un efecto real, mientras que la de la izquierda respalda la hipótesis nula: no hay efecto. |
| |
Hablemos de un metaanálisis, ya que lo usaré durante esta clase. A la izquierda, vemos un embudo y muchos artículos ingresan en él. |
| |
El epidemiólogo o quien realiza el metaanálisis selecciona los artículos que considera de alta calidad y los utiliza para un análisis posterior. A la derecha, vemos... algo así como... |
| |
Jerarquía de la evidencia. Se considera un metanálisis de muchos estudios. |
| |
información de alto nivel y luego, en la base, la opinión de expertos, etc. Así que, cuanto más alto se sube en la pirámide, |
| |
La gente sostiene que la evidencia es mejor. |
| |
Analizaremos dos ejemplos de metaanálisis. El primero es de Orellano. |
| |
óxido nítrico, ozono, |
| |
partículas pequeñas y demás. Y recopiló datos de todas partes... de todas partes. |
| |
mundo, y esto fue patrocinado por la |
| |
OMS, se trata de una financiación de alta calidad y de un documento de alta calidad. |
| |
Y es un metaanálisis. Vamos a ver si las afirmaciones de ese metaanálisis se sostienen. |
| |
El de abajo era muy gracioso. Patrones de consumo de carne roja y procesada y riesgo de cáncer de pulmón e infartos. |
| |
Se ha publicado mucho en nutrición que dice que no se debe comer carne roja. Vamos a ver si eso... si tiene sentido. |
| |
Volvamos atrás y observemos las piezas del rompecabezas y luego veamos cómo encajan. |
| |
Sabemos por la literatura disponible que la mayoría de las afirmaciones no se replican. Esto se conoce como una crisis científica. El p-hacking es un problema. El p-hacking consiste en realizar muchas pruebas, probando esto y aquello, y luego, cuando se encuentra un valor p menor de 0,05, |
| |
Puedes escribir un artículo. |
| |
Vamos a utilizar metaanálisis y gráficos de valor P para atrapar a las personas que básicamente están haciendo P-hacking, y yo lo llamo P-hacking una especie de trampa con estadísticas. |
| |
Otros son, ya sabes, pequeños... lo describí de forma un poco diferente. Usaremos complementos JMP. Estos complementos JMP fueron desarrollados por Paul Fogle. |
| |
Nos permiten comenzar con un metaanálisis y generar un gráfico de valor p de forma rápida y sencilla. También describiremos la combinación de valores p de Fisher y luego... |
| |
tengo un pequeño script que tomará el gráfico bidireccional que sale de JMP y luego lo limpiará, de modo que los márgenes izquierdo y derecho sean más... atractivos. |
| |
Bueno, aquí está la exposición a largo plazo a la contaminación del aire y |
| |
Causa asma, según dicen. A la izquierda, tenemos lo que se llama un diagrama de árbol. Ese es... |
| |
Parece un árbol de Navidad. |
| |
Los valores medios se dan como puntos y los límites de confianza como líneas que se extienden a ambos lados. A la izquierda están los nombres de los artículos... artículos seleccionados por estos autores y a la derecha están los... |
| |
Razones de riesgo y límites de confianza. Ahora, a menudo, puedes simplemente eliminar las razones de riesgo y los límites de confianza y colocarlos en un... |
| |
Conjunto de datos JMP, y así vemos el conjunto de datos JMP a la derecha. |
| |
Ahora el gráfico del valor P. |
| |
Lo escrito por Paul Fogle va a convertir esos índices de riesgo y P... y límites de confianza en valores P. |
| |
Aquí vemos que ya se ha hecho. |
| |
Los límites de confianza pueden brindarle el error estándar. |
| |
Con la razón de riesgos y el error estándar, se puede calcular un estadístico Z. A partir de este estadístico, se puede obtener un valor p. A la derecha, se muestra un gráfico del valor p, tal como se muestra con un par de clics en JMP. |
| |
Aquí nuevamente, a la izquierda, tenemos el gráfico aproximado del valor P, y a la derecha, después de usar un pequeño script, agregamos la línea cero, agregamos la línea punteada para .05, y limpiamos y expandimos los números en el |
| |
Ejes X e Y. Ahora podemos analizar y evaluar todos los estudios que se realizaron en ese lugar, pero observamos algo bastante extraño. Vemos que... |
| |
Todo esto aquí, hay algunos valores P por debajo de .05 y luego muchos valores P subiendo, por lo que tenemos una situación ambigua. |
| |
Algunos de los valores P parecen indicar que la afirmación es correcta, y otros parecen ser simplemente hallazgos aleatorios. |
| |
Analicemos la combinación de valores p de Fisher. A la izquierda, tenemos la fórmula. Se toma el valor p, se calcula el logaritmo natural y se suman por -2. |
| |
Y eso te da un Chi cuadrado. Consultas el Chi cuadrado en la tabla. En este metaanálisis, tenemos los valores p. En el valor p, tenemos -2ln, y ves que hay pocos valores p pequeños que contribuyen sustancialmente a la suma. |
| |
Si lo piensas un poco, la suma es como todas las sumas, está sujeta a valores atípicos que pueden ser manipulados... desplazando considerablemente el equilibrio. |
| |
Así, los pocos valores p pequeños (0,0033, 0,0073) aumentan drásticamente la suma del Chi cuadrado. De hecho, la suma no es robusta. Un valor atípico, un valor atípico extremo, puede inclinar la balanza... toda la ecuación. |
| |
Ahora tenga en cuenta que el P-hacking puede conducir a valores P pequeños y también, |
| |
Los científicos, muy a menudo, si un estudio no resulta significativo, simplemente ni siquiera lo publican. |
| |
Y si encuentran algo significativo, normalmente lo harán. Así que existe un sesgo de publicación. Toda la literatura está plagada de valores p bajos. |
| |
Y esto probablemente sea la punta del iceberg. Debajo del iceberg están todas las publicaciones que podrían haber ocurrido, pero no fueron estadísticamente significativas. |
| |
Ahora analizaremos un estudio sobre la contaminación del aire. Mustafic en 2012. |
| |
publicó un artículo en JAMA y analizó los seis factores típicos de contaminación del aire. |
| |
monóxido de carbono, óxido nitroso, partículas pequeñas (PM 2.5), dióxido de azufre, etc. |
| |
Si observan estos gráficos de valores p, todos parecen palos de hockey. Hay varios valores p menores a 0,05. |
| |
Pero luego hay una cantidad sustancial de valores P que suben a lo largo de una línea de 45 grados, lo que indica que no hay ningún efecto. |
| |
Sostenemos que estamos analizando una combinación de estudios significativos y no significativos. |
| |
Y además sostenemos que los estudios significativos provienen en gran medida del P-hacking. Existen otras formas de hacerlo, pero creemos que el P-hacking es la clave. Así que, si miran el lado izquierdo, |
| |
En el cuadro rojo damos el número mediano |
| |
de modelos o pruebas que podrían llevarse a cabo en un estudio, los estudios que estaban en el artículo de Mustafic. |
| |
Contamos el número de |
| |
resultados, predictores y covariables, y si multiplicas todo eso, el número medio, que llamamos espacio de búsqueda, el espacio de búsqueda medio es 12.288. |
| |
Esto significa que los autores, en promedio, tuvieron 12... en la mediana, 12.000 oportunidades de obtener un valor p inferior a 0,05. Tuvieron un margen considerable para obtener un resultado estadísticamente significativo. |
| |
Vamos a analizar el conteo simple de los estudios de nutrición. Tenemos 15 estudios. Los autores, o los primeros autores del artículo. |
| |
Y luego, en la parte superior, se ven resultados, predictores, covariables, pruebas, modelos y espacio de búsqueda. Los resultados, si analizaran tres resultados de salud, por ejemplo, Dixon, y si tuvieran 51 |
| |
alimentos en su estudio, que... esos serían predictores. Ahora bien, si usan covariables, |
| |
Eso ampliaría considerablemente el espacio de búsqueda. Como pueden ver, Dixon tenía, en teoría, 20 millones de análisis posibles que podría haber realizado. |
| |
Y si miras hacia abajo en la columna del espacio de búsqueda, podrás ver una cantidad sustancial de posibles análisis que podrían realizarse. |
| |
Los estudios de nutrición se realizaron con cohortes. Una cohorte es un grupo de personas que se recopila, |
| |
Se miden en preguntas, inicialmente, luego esperan un tiempo y luego observan los efectos sobre la salud. |
| |
Cada una de estas cohortes tiene el nombre de un conjunto de datos que utiliza la cohorte. |
| |
Y las cohortes, una vez reunidas, pueden usarse para hacer, ya sabes, un montón de preguntas. |
| |
Si |
| |
El valor P para una de esas preguntas resulta significativo. |
| |
y sienten que pueden escribir un artículo, y muy a menudo lo hacen. |
| |
Entonces, en las dos últimas columnas, vemos el número de artículos. |
| |
que podrían surgir. Hay más... Usamos Google Académico y lo revisamos. Así que estos son los artículos que han aparecido en la literatura. |
| |
asociados con cada una de estas cohortes. Añadiré que hemos analizado muchos de estos artículos y ninguno de ellos incluye ajustes para múltiples pruebas o múltiples modelos. |
| |
La epidemiología nutricional y la epidemiología ambiental son temas de los que hablamos aquí. La epidemiología nutricional utiliza un cuestionario, el Cuestionario de Frecuencia de Alimentos (FFQ). |
| |
En un FFQ, puedes tener una cierta cantidad de alimentos. |
| |
Al principio, empezaron con 61 alimentos, y he visto estudios de FFQ con 800. No me gustaría ser yo quien completara ese cuestionario. |
| |
Pero aquí se muestra el número de artículos que utilizan FFQ a lo largo del tiempo. |
| |
Desde 1985... la técnica se inventó en 1986... desde 1985, ha habido 74.000 artículos FFQ y, según nuestro análisis de ellos, ninguno de estos artículos se ajustó a pruebas múltiples y todos ellos tenían espacios de búsqueda estadística sustancialmente grandes. |
| |
Epidemiología ambiental, simplemente hice una búsqueda en Google de la palabra "contaminación del aire" en el título del artículo. |
| |
Y aquí vemos que a lo largo del tiempo se han escrito entre 28.000 y 29.000 artículos sobre la contaminación del aire. |
| |
Hasta donde yo sé, después de mucho buscar, ninguno de estos artículos se ajusta a múltiples pruebas o múltiples modelos, y todos estos artículos tienen espacios de búsqueda grandes... esencialmente todos estos artículos tienen espacios de búsqueda muy grandes. |
| |
El metanálisis entra en el nombre de revisión sistemática y metanálisis y, recientemente, a partir de 2005, |
| |
Las revistas tienen |
| |
Usé ese término en el título del artículo. Así que, a partir de 2005, pregunté si las palabras "revisión sistemática" y "metaanálisis" aparecían en el título del artículo, y pueden ver que al principio era bajo: 1500 artículos al año. |
| |
1.500 artículos en ese período de cinco años y finalmente en 2021, hubo |
| |
Se han producido un total de 27.000 artículos, por lo que se trata de una industria artesanal. Estos artículos se pueden producir con relativa facilidad. |
| |
Un equipo, generalmente en China de 10 o de 5 a 15 personas, puede realizar un metaanálisis por semana. |
| |
Y su salario se calcula en función de cuántos artículos publican, etcétera. |
| |
Hasta donde yo sé, todos estos son... la mitad de estos estudios son estudios observacionales y la otra mitad... provienen de ensayos clínicos aleatorios. |
| |
Prácticamente ninguno de estos, y en todos los que hemos analizado hasta ahora, particularmente en estudios observacionales, tienen este aspecto de palo de hockey, como si hubiera algunos valores P que son pequeños y un montón de valores P que parecen completamente aleatorios. |
| |
Diré que, en esencia, todos estos estudios se financian con tus impuestos o con los de alguien más. Se financian generosamente con fondos públicos, por así decirlo. |
| |
Muchas afirmaciones carecen de respaldo estadístico. Los artículos base no corrigen las múltiples pruebas y modelos. Además, tienen amplios espacios de búsqueda de análisis. |
| |
Y hemos visto ejemplos de epidemiología ambiental y epidemiología nutricional que, según yo diría, la mayoría de las personas no son confiables. |
| |
Yo digo, y otros también lo han dicho, que tenemos un desastre científico y estadístico y, con el uso de metaanálisis y gráficos de valor P, estas afirmaciones pueden verificarse como verdaderas o no. |
| |
Aquí tenemos cuatro situaciones de smog. Arriba a la izquierda, Londres, 1952. |
| |
La derecha es Los Ángeles 1948. |
| |
Abajo a la izquierda está Singapur, y no estoy seguro... no recuerdo el año exacto. Y luego está Pekín. Son recientes. |
| |
En el caso de la niebla de Londres, el análisis estadístico de las muertes... las muertes diarias y todo indica que hubo más de 4.000 muertes que ocurrieron en un período de tres o cuatro días en Londres en 1952. Eso despertó el interés de los epidemiólogos en saber cuál era la causa del asesinato. |
| |
En las otras tres diapositivas o tres imágenes no se ha informado de ningún aumento de muertes durante esos períodos de tiempo. |
| |
El problema es que en Londres estaban quemando carbón. |
| |
Para calefacción y todo lo demás. Hubo una inversión térmica y se sostiene que el ácido del aire fue transportado por partículas a la parte inferior de los pulmones y que las personas susceptibles, generalmente las ancianas y débiles, murieron en mayor número, pero eso no está sucediendo ahora. |
| |
En todo el mundo. Hay todo tipo de contaminación y no vemos picos de mortalidad asociados a ella. |
| |
¿Estafas? Ja, ja. Me encantan las estafas. |
| |
¿Son estafas? La contaminación del aire mata. Cualquier afirmación de un estudio de FFQ, por ejemplo, que si bebes café, tienes más probabilidades de tener cáncer de páncreas, probablemente sea falsa. |
| |
¿Los niveles naturales de ozono son mortales? Creo que eso tampoco es cierto. Estrógenos ambientales. ¿Alguna afirmación derivada de un metaanálisis basado en estudios observacionales? |
| |
Tenga en cuenta que la evidencia en la literatura pública es que el 80% de todas las afirmaciones científicas, generalmente provenientes de universidades, no se replicaron cuando se probaron rigurosamente, por ejemplo en ensayos clínicos aleatorios. |
| |
Emoción y miedo. El objetivo de la política práctica es mantener a la población amenazada, asustada y, por lo tanto, clamando por ser llevada a un lugar seguro, amenazándola con una serie interminable de duendes, todos imaginarios. |
| |
Engaños, estafas, juegos de confianza que implican... que implican persuasión hábil o manipulación astuta de la víctima. Así, HL Mencken, en la década de 1930, dijo que la política práctica es, en gran medida, política del miedo. |
| |
Terminamos con los autores de esta charla. Soy Stan Young y pueden contactarme en genetree@bellsouth.net. Warren Kindzierski es un epidemiólogo canadiense que ha estado trabajando muy estrechamente conmigo durante los últimos dos años en artículos que... |
| |
Se basan en lo que hemos visto hoy aquí. Paul Fogel es un estadístico muy interesante, vive en París y fue responsable de la redacción del... |
| |
Complementos y scripts que podemos usar. Diría que los scripts te permitirán pasar de un metaanálisis a una evaluación en poco menos de una hora. |
| |
Me gustaría recomendar el informe de la Asociación Nacional de Académicos, Informe Shifting Sands 1, esta URL lo llevará allí. |
| |
Este informe es largo y complejo, pero a la vez sencillo, y trata sobre estadísticas de la calidad del aire y sus efectos sobre la salud. |
| |
Y con eso también haré la siguiente afirmación, si alguien que mira esto quiere probar lo que está pasando, le daremos los scripts y complementos para JMP y luego incluso lo ayudaré. |
| |
Analice e interprete su análisis particular de un metaanálisis. Con esto, me detengo y estoy listo para responder cualquier pregunta. Gracias. |
