Vocero | Transcripción |
| Stan Young | ja ja. |
| Sara Doudt | permitirte hacerlo. |
| Stan Young | ver todo ahora. |
| Vale, oh no. Voy a pasar las diapositivas desde mi lado. |
| Sara Doudt | Sí, sí, como lo harías en una reunión normal. |
| Ahí vamos, está bien, genial, asegúrate de tener todo si estoy cerca. Está bien, estamos grabando. Necesito. Voy a apagar mi cámara para tu información y luego. |
| Bueno. |
| Stan Young | Para hacer esto en pantalla completa, ahora simplemente ordene. |
| de cómo hacerlo el segundo. |
| Sara Doudt | es ese fondo como en ese, donde dice notas sobre su conducta al 34% es el que parece a. |
| Al final del barco, sí, lo siento por eso, al otro lado de la persona eso. |
| Uno sí, ese tipo. |
| Stan Young | ja ja. |
| Sara Doudt | Tú vas, y quiero decir, voy a ir, vamos a comenzar en solo un segundo, pero me reuniré conmigo mismo, ¿tienes alguna pregunta antes de comenzar? |
| Stan Young | o no realmente me vas a grabar a mí además de las diapositivas. |
| Sara Doudt | Sí, sí, te pidieron que tuvieras el. |
| La cámara aquí arriba. |
| Por encima de eso está bien. |
| Bien. |
| Está bien. |
| Stan Young | Estoy listo para irme. |
| Sara Doudt | Me silenciaré y, si tienes preguntas o necesitas detenerte, házmelo saber; de lo contrario, te lo haré. |
| Stan Young | Ir. |
| Hoy presentaré complementos y scripts de JMP para la evaluación de múltiples estudios. O puedes llamar a esto cómo atrapar a los p-hackers, a las personas que hacen trampa con las estadísticas o por qué la mayoría de las afirmaciones científicas son erróneas. |
| Primero voy a describir las piezas del rompecabezas y cómo encajan. En realidad, la mayoría de las afirmaciones no logran replicarse. Estas son afirmaciones científicas. |
| Yo sostengo, y mis coautores también, que esto se debe al p-hacking y que es un problema importante. Usaremos metanálisis y gráficos de valor P para atraparlos, así es como atrapar a un delincuente. |
| Los complementos y scripts de JMP son valores P de índices de riesgo y límites de confianza. Provienen de un metaanálisis. |
| Y luego la combinación de valores P de Fisher, una técnica antigua que es similar a la tecnología de metaanálisis. Y luego vamos a presentar un gráfico de valor p y tenemos un pequeño guión que lo limpiará y lo convertirá en un gráfico presentable. |
| imagen. |
| Bueno, vemos un conejito en el cielo. Hay muchas nubes en el cielo, y si te sientas en un día agradable y miras a tu alrededor, probablemente puedas encontrar un conejito. |
| Entonces este es un evento aleatorio. Por supuesto, los conejitos no están realmente en el cielo. |
| Gelman y Loken de hecho publicaron un pequeño artículo y dijeron que la crisis estadística en la ciencia, por lo que la gente está usando las estadísticas, dicen, incorrectamente y de eso hablaremos hoy. |
| Hagamos un experimento epidemiológico. |
| Disponemos de dados de 10 caras, rojo, blanco y azul. Se convertirán en dígitos (.046 en este caso particular). De hecho, veamos cómo sucede esto frente a nuestros ojos. |
| Ahora tenemos un valor P. Es aleatorio. Lo hiciste tú mismo. Es muy divertido, ¿por qué no lo hacemos una vez más? |
| Rojo blanco, |
| y azul. |
| Ahora, si haces eso 60 veces, puedes completar la tabla aquí. Esta es una simulación que hice con dados de 10 caras. Y puede ver los valores P en cuatro columnas y 15 filas. Entonces son 60 valores P. Mi valor P más pequeño es 0,004. |
| Y con 60 valores P, puedes calcular las probabilidades. Aproximadamente el 95% de las veces, tendrá al menos un valor P inferior a 0,05. |
| Aquí uno hecho por mi hija. Tenía tres valores de P inferiores a 0,05; están rodeados aquí. Y luego realizar un experimento epidemiológico es muy fácil |
| que incluso mi esposa Pat puede hacerlo, y ella tiene tres artículos potenciales aquí que podría escribir tirando dados y contando una buena historia. |
| Los valores p tienen un valor esperado asociado. Entonces, a la derecha, tenemos valores P de 0,004, 0,016 y 0,012. A cada valor P se adjunta una desviación normal. Puedes ver que mi .004 tendría una desviación normal de 2,9 y así sucesivamente. Y a la izquierda tenemos |
| el tamaño de la muestra, la desviación esperada y el valor P esperado para el valor P más pequeño y luego la desviación. Entonces si tuviéramos 400 |
| En las preguntas que estábamos analizando, el valor P esperado sería 0,00487 y la desviación sería 2,968. Ahora bien, es esta desviación la que se traslada de los experimentos básicos a los cálculos de un metanálisis, y lo veremos a medida que avancemos. |
| ¿Cuántas afirmaciones en epidemiología son ciertas? Publiqué un artículo en 2011 y tomé afirmaciones que se habían hecho en estudios observacionales. |
| Y para cada afirmación en los estudios observacionales, encontré un ensayo clínico aleatorio que analizaba exactamente la misma pregunta. Entonces, en los 12 estudios, hubo |
| 52 afirmaciones que podrían hacerse y probarse. |
| Si observa la columna positiva, cero de esas 52 afirmaciones se replicaron en la dirección correcta. |
| Así que los epidemiólogos habían obtenido 0 de 52 en términos de sus reclamaciones. En realidad, hubo cinco afirmaciones que fueron estadísticamente significativas, pero iban en la dirección opuesta a lo que se había afirmado en... en los estudios observacionales. |
| Vamos a mirar un |
| pregunta loca. ¿Los cereales determinan el género humano? Entonces, si desayunas cereales, ¿tienes más probabilidades de tener un bebé varón? Bueno, eso es lo que decía el primer periódico. |
| Este artículo fue publicado en la Royal Society B, que es su principal revista de biología. Entonces, estos tres coautores afirmaron que si comes cereal para el desayuno, es más probable que tengas un bebé varón, come cereal para el desayuno en el momento de la concepción y alrededor de esa fecha. |
| Dos de mis compañeros y yo miramos esto y pedimos los datos. Obtuvimos los datos y luego publicamos una respuesta al primer artículo que decía que la selección de género inducida por cereales es muy probablemente un falso positivo en múltiples pruebas. |
| en el momento justo antes de la concepción... concepción predicha, y justo alrededor del momento de la concepción. Y había 131 alimentos en cada uno de esos cuestionarios, haciendo un total de 262 pruebas estadísticas. |
| Calcula los valores P para esas pruebas, los clasifica de menor a mayor y los traza contra los números enteros (ese es el rango en la parte inferior), |
| Ves lo que parece una línea bastante buena de 45 grados. Entonces estamos viendo una distribución uniforme. Ahora su reclamo vino desde la parte inferior izquierda y dijeron, bueno, aquí hay un valor P pequeño. El pequeño valor P dice que comer cereal...el cereal para el desayuno producirá más |
| bebés varones. |
| Claramente se trata de un falso positivo estadístico. |
| Gráficos de valor P. Así que usaremos mucho los gráficos de valores P. A la izquierda, vemos un gráfico del valor P para una hipótesis nula probablemente verdadera. |
| El entrenamiento físico prolongado en personas mayores no produce mortalidad ni riesgo de mortalidad. A la derecha tenemos el tabaquismo y el cáncer de pulmón. |
| Y vemos una gran cantidad de valores P que se acercan bastante a cero, a lo largo de toda la página y algunos rezagados a la derecha. Entonces, la imagen de la derecha es evidencia de un efecto real y la imagen de la izquierda es un respaldo de la hipótesis nula, ningún efecto. |
| hablemos de un metanálisis porque los usaré durante el transcurso de esta conferencia. A la izquierda, vemos un embudo y vemos muchos papeles cayendo en él. |
| El epidemiólogo o quien esté haciendo el metanálisis elige lo que cree que son artículos de alta calidad y los utiliza para análisis posteriores. A la derecha, vemos el... tipo de |
| Jerarquía de pruebas. Se considera un metanálisis de muchos estudios. |
| información de alto nivel y luego hacia abajo, opinión de expertos, etc., etc. Entonces, cuanto más alto subas en la pirámide, |
| la gente sostiene que la evidencia es mejor. |
| Vamos a ver dos ejemplos de artículos de metaanálisis. El primer artículo es de Orellano. |
| óxido nítrico, ozono, |
| pequeñas partículas, etc. Y recopiló datos de todo el... de todo el |
| mundo, y esto fue patrocinado por el |
| OMS, entonces se trata de financiación de alta calidad, documento de alta calidad. |
| Y es un metaanálisis. Vamos a ver si las afirmaciones de ese metanálisis se sostienen. |
| El de abajo fue realmente divertido. Patrones de consumo de carnes rojas y procesadas y riesgo de cáncer de pulmón y ataques cardíacos básicamente. |
| Ha habido mucha literatura sobre nutrición que dice que realmente no deberías comer carne roja. Vamos a ver si eso... si tiene sentido. |
| Volvamos atrás y miremos las piezas del rompecabezas y luego veamos cómo encajan. |
| Sabemos por la literatura abierta que la mayoría de las afirmaciones no logran replicarse. A esto se le llama crisis de la ciencia. El P-hacking es un problema. P-hacking está realizando muchas pruebas probando esto y aquello y luego, cuando encuentras un valor P inferior a 0,05, |
| puedes escribir un artículo. |
| Vamos a utilizar metanálisis y gráficos de valor P para detectar a las personas que básicamente están haciendo P-hacking, y yo llamo P-hacking una especie de trampa con estadísticas. |
| Otros, ya sabes, son pequeños... lo describen de manera un poco diferente. Usaremos complementos JMP. Estos complementos JMP fueron escritos por Paul Fogle. |
| Y nos permiten comenzar con un artículo de metanálisis y producir rápida y fácilmente una gráfica del valor P. También vamos a describir la combinación de valores P de Fisher y luego vamos a... |
| Tengo un pequeño guión que tomará la trama bidireccional que sale de JMP y luego la limpiará, para que los márgenes izquierdo y derecho sean más... más atractivos. |
| Bueno, aquí está la exposición a largo plazo a la contaminación del aire y |
| causando asma, eso dicen. A la izquierda tenemos lo que se llama diagrama de árbol. Eso es... |
| parece una especie de árbol de Navidad. |
| Los valores medios se dan como puntos y luego los límites de confianza son los bigotes que salen a cada lado. A la izquierda están los nombres de los artículos... artículos que fueron seleccionados por estos autores y a la derecha están los |
| ratios de riesgo y los límites de confianza. Ahora bien, a menudo es posible simplemente eliminar los índices de riesgo y los límites de confianza y colocarlos en un |
| Conjunto de datos JMP, por lo que vemos el conjunto de datos JMP a la derecha. |
| Ahora la gráfica del valor P. |
| Lo escrito por Paul Fogle va a convertir esos índices de riesgo y P... y los límites de confianza en valores P. |
| Aquí vemos que se ha hecho. |
| Los límites de confianza pueden darte el error estándar. |
| Con el índice de riesgo y el error estándar, se puede calcular una estadística Z. Y luego puedes tomar el estadístico Z y obtener un valor P. Aquí a la derecha, vemos que aparece un gráfico de valor P, tal como ocurre con un par de clics en JMP. |
| Aquí nuevamente, a la izquierda, tenemos el gráfico aproximado del valor P, y a la derecha, después de usar un pequeño script, agregamos la línea cero, agregamos la línea de puntos para .05 y limpiamos y expandimos el números en el |
| Ejes X e Y. Y ahora podemos mirar y juzgar todos los estudios que había en esa cosa, pero vemos algo bastante extraño. Vemos que el |
| En todo esto aquí, hay algunos valores P por debajo de 0,05 y luego muchos valores P subiendo, por lo que tenemos una situación ambigua. |
| Algunos de los valores P parecen ser correctos y otros parecen ser simplemente hallazgos aleatorios. |
| Echemos un vistazo a la combinación de valores P de Fisher. A la izquierda tenemos la fórmula. Se toma el valor P, se toma el registro natural, que los suma por -2. |
| Y eso te da un Chi cuadrado. Busca el Chi cuadrado en la tabla. Entonces en este... este metanálisis, tenemos los valores P. Bajo valor P, tenemos -2ln, y verá que hay pocos valores P que sean pequeños y que agreguen sustancialmente a la suma. |
| Si piensas un poco, la suma es como todas las sumas, está sujeta a valores atípicos manipulados... cambiando el equilibrio considerablemente. |
| Y así, los pocos valores P pequeños (0,0033, 0,0073) se suman dramáticamente a la suma del Chi cuadrado. De hecho, la suma no es sólida. Un valor atípico... un valor atípico extremo puede inclinar el conjunto... toda la ecuación. |
| Ahora tenga en cuenta que el pirateo de P puede generar valores de P pequeños y además, |
| Los científicos a menudo, si un estudio no resulta significativo, simplemente ni siquiera lo publican. |
| Y si encuentran algo significativo, normalmente lo harán. Entonces hay un sesgo de publicación. Toda la literatura está plagada de valores P pequeños. |
| y esto probablemente...esa es la punta del iceberg. Bajo el iceberg están todas las publicaciones que pudieron haber ocurrido, pero no fueron estadísticamente significativas. |
| Ahora vamos a ver un estudio de contaminación del aire. Mustafic en 2012 |
| publicó un artículo en JAMA y analizó los seis problemas típicos de contaminación del aire. |
| monóxido de carbono, óxido nitroso, partículas pequeñas (es decir, PM 2,5), dióxido de azufre, etc. |
| Si nos fijamos en estos gráficos de valor P, todos parecen esencialmente palos de hockey. Hay varios valores de P inferiores a 0,05. |
| Pero luego hay un número sustancial de valores P que aumentan a lo largo de una línea de 45 grados, lo que indica que no hay ningún efecto. |
| Sostenemos que estamos ante una mezcla. Estamos ante una combinación de estudios significativos y estudios no significativos. |
| Y además sostenemos que los estudios importantes provienen en gran medida del P-hacking. Pueden surgir otras formas, pero creemos que el P-hacking es la solución. Entonces, si miras aquí hacia el lado izquierdo, |
| en el cuadro rojo, damos el número mediano |
| de modelos o pruebas que podrían realizarse en un estudio, los estudios que estaban en el artículo de Mustafic. |
| Contamos el número de |
| resultados, predictores y covariables, y si lo multiplica todo, el número mediano, que llamamos espacio de búsqueda, el espacio de búsqueda mediano es 12,288. |
| Eso significa que los autores, en promedio, tuvieron 12... en la mediana, tuvieron 12.000 oportunidades para obtener un valor P inferior a 0,05. Tenían un margen de maniobra sustancial para obtener un resultado estadísticamente significativo. |
| Aquí veremos el conteo simple para los estudios de nutrición. Entonces tenemos aquí 15 estudios. Los autores, o los primeros autores del artículo. |
| Y luego, en la parte superior, verá resultados, predictores, covariables, pruebas, modelos y espacio de búsqueda. Los resultados, si observaran tres resultados de salud, por ejemplo, Dixon, y si tuvieran 51 |
| alimentos en su estudio, eso será... esos serían predictores. Ahora, si usan covariables, |
| eso aumentaría sustancialmente el espacio de búsqueda. Y se puede ver que Dixon, en teoría, tenía 20 millones de análisis posibles que podría haber realizado. |
| Y si mira hacia abajo en la columna del espacio de búsqueda, podrá ver una cantidad sustancial de posibles análisis que podrían realizarse. |
| Los estudios de nutrición se realizaron con cohortes. Una cohorte es un grupo de personas que se reúne, |
| inicialmente se miden en preguntas, luego esperan con el tiempo y luego analizan los efectos sobre la salud. |
| Cada una de estas cohortes tiene el nombre de un conjunto de datos que utiliza la cohorte. |
| Y las cohortes, una vez reunidas, pueden usarse para hacer, ya sabes, millones de preguntas. |
| Si |
| el valor P para una de esas preguntas resulta significativo |
| y sienten que pueden escribir un artículo, y muy a menudo lo hacen. |
| Entonces, en las dos últimas columnas, vemos el número de artículos. |
| que pudiera surgir. Eso es más... utilizamos Google Scholar y de hecho lo comprobamos. Esta es la cantidad de artículos que han aparecido en la literatura. |
| asociados con cada una de estas cohortes. Agregaré que hemos analizado muchos de estos artículos y en ninguno de ellos hay algún ajuste para pruebas múltiples o modelos múltiples. |
| Epidemiología nutricional, epidemiología ambiental, esas son de las que hablamos aquí. La epidemiología nutricional utiliza un cuestionario, el cuestionario de frecuencia alimentaria (FFQ). |
| En un FFQ, puede tener una cierta cantidad de alimentos. |
| Inicialmente, comenzaron con 61 alimentos y he visto algunos estudios de FFQ en los que había 800 alimentos. No me gustaría ser yo quien rellene ese cuestionario. |
| Pero aquí se muestra la cantidad de artículos que utilizan FFQ a lo largo del tiempo. |
| Desde 1985... la técnica se inventó en 1986... desde 1985, ha habido 74.000 artículos de FFQ y, según nuestro análisis, ninguno de estos artículos se ajustó para pruebas múltiples y todos tenían espacios de búsqueda estadística sustancialmente grandes. . |
| Epidemiología ambiental, simplemente hice una búsqueda en Google sobre la palabra "contaminación del aire" en el título del artículo. |
| Y aquí vemos que a lo largo del tiempo se han escrito entre 28.000 y 29.000 artículos sobre la contaminación del aire. |
| Hasta donde yo sé, basándose en muchas investigaciones, ninguno de estos artículos se ajusta a pruebas múltiples o modelos múltiples, y todos estos artículos tienen grandes... esencialmente todos estos artículos tienen espacios de búsqueda muy grandes. |
| El metanálisis recibe el nombre de revisión sistemática y metaanálisis y, recientemente, a partir de 2005, |
| las revistas tienen |
| utilizó ese término en el título del artículo. Entonces, a partir de 2005, pregunté si las palabras "revisión sistemática" y "metaanálisis" aparecían en el título del artículo, y pueden ver que empezó con poco, 1.500 artículos al año. |
| 1.500 artículos en ese quinquenio y finalmente en 2021, hay |
| Se han producido un total de 27.000 artículos, por lo que se trata de una industria artesanal. Estos documentos se pueden editar con relativa facilidad. |
| Un equipo, a menudo en China de 10 o 5 a 15 personas, puede realizar un metanálisis por semana. |
| Y su salario se clasifica según la cantidad de artículos que publican, etc., etc. |
| Hasta donde yo sé, estos son todos... la mitad de estos estudios son estudios observacionales y la otra mitad son... provienen de ensayos clínicos aleatorios. |
| Prácticamente ninguno de estos y en todos los que hemos analizado, hasta ahora, particularmente en estudios observacionales, tienen esta apariencia de palo de hockey, como si hubiera algunos valores P que son pequeños y hay un montón de valores P que parecen completamente aleatorio. |
| Diré que todos... esencialmente todos estos estudios están financiados por el dinero de nuestros impuestos o por el dinero de los impuestos de alguien. Están generosamente financiados por el erario público, es una forma de decirlo. |
| Muchas afirmaciones no tienen respaldo estadístico. Los artículos base no corrigen las pruebas múltiples ni los modelos múltiples. Los artículos base cuentan con amplios espacios de búsqueda de análisis. |
| Y hemos visto ejemplos de epidemiología ambiental y epidemiología nutricional en los que yo diría que, según la evidencia, la mayoría de las personas no son confiables. |
| Yo digo, y otros también lo han dicho, que tenemos un desastre científico y estadístico y el uso de metanálisis y gráficos de valor P, estas afirmaciones pueden verificarse como verdaderas o no. |
| Aquí tenemos cuatro situaciones de smog. Arriba a la izquierda está Londres 1952; |
| la derecha es Los Ángeles 1948. |
| La parte inferior izquierda es Singapur y no estoy seguro... No recuerdo el año exacto. Y luego tenemos Beijing. Esos son recientes. |
| En el caso de la niebla de Londres, el análisis estadístico de muertes... muertes diarias y todo indica que hubo más de 4.000 muertes ocurridas en un período de tres o cuatro días en Londres en 1952. Eso instigó el interés de los epidemiólogos por saber cuál era el asesino. |
| En las otras tres diapositivas u otras tres imágenes, no se ha informado de un aumento de muertes durante esos períodos de tiempo. |
| El timbre es que en Londres estaban quemando carbón. |
| para calefacción y todo lo demás. Hubo una inversión de temperatura y el argumento es que el ácido del aire fue transportado por partículas hacia la parte inferior de los pulmones y las personas susceptibles, generalmente las ancianas y débiles, murieron en mayor número, pero eso no está sucediendo ahora. |
| alrededor del mundo. Hay todo tipo de contaminación en todo el mundo y no vemos picos en las tasas de mortalidad asociadas con ella. |
| ¿Estafas? Ja ja. Me encantan las estafas. |
| ¿Son estas estafas? La contaminación del aire mata. Cualquier afirmación de un estudio FFQ, por ejemplo, si bebes café, tienes más probabilidades de tener cáncer de páncreas. Esa es una de las afirmaciones que probablemente no sea cierta. |
| Niveles naturales de ozono, ¿matan? Creo que eso tampoco es cierto. Estrógenos ambientales. Cualquier afirmación proveniente de metanálisis utilizando estudios observacionales. |
| Tenga en cuenta que la evidencia en la literatura pública es que el 80% de todas las afirmaciones científicas, generalmente provenientes de la universidad, no lograron replicarse cuando se probaron rigurosamente, por ejemplo, en ensayos clínicos aleatorios. |
| Emoción y susto. Todo el objetivo de la política práctica es mantener a la población amenazada, asustada y, por tanto, clamando por ser conducida a un lugar seguro, amenazando a la población con una serie interminable de duendes, todos ellos imaginarios. |
| Fraudes, engaños, juegos de confianza que implican... que implican persuasión hábil o manipulación inteligente de la víctima. Entonces HL Mencken dijo en la década de 1930 que la política práctica es en gran medida política del miedo. |
| Terminamos con los autores de esta charla. Soy Stan Young y pueden contactarme en genetree@bellsouth.net. Warren Kindzierski es un epidemiólogo canadiense y ha estado trabajando muy estrechamente conmigo durante los últimos años en artículos que |
| se basan en las cosas que hemos visto hoy aquí. Paul Fogel es un estadístico muy interesante, vive en París y fue el responsable de la redacción del |
| complementos y scripts que podemos utilizar. Diré que los guiones te permitirán pasar de un metaanálisis a una evaluación probablemente en poco menos de una hora. |
| Me gustaría recomendar el informe de la Asociación Nacional de Académicos, Informe 1 de Shifting Sands, esta URL lo llevará allí. |
| Este informe es un informe estadístico largo y complicado, pero simple, que habla sobre la calidad del aire y los efectos sobre la salud. |
| Y con eso también haré el siguiente reclamo: si alguien que esté viendo esto quiere probar lo que está pasando, le daremos los scripts y complementos para JMP y luego incluso lo ayudaré. |
| Mire e interprete su análisis particular de un metanálisis. Así que con eso me detendré y estoy preparado para responder cualquier pregunta. Gracias. |
