Altavoz | Transcripción |
| stan joven | ja ja. |
| Sara Doudt | permitirte. |
| stan joven | ver todo ahora. |
| Está bien, oh no. ¿Voy a correr las diapositivas desde mi lado? |
| Sara Doudt | sí, sí, como lo harías en una reunión normal. |
| Ahí vamos, está bien, genial, asegúrate de tener todo si tengo una perspectiva cercana. Está bien, estamos grabando. Necesito. Voy a. Voy a apagar mi cámara solo para tu información y luego. |
| Bueno. |
| stan joven | Para hacer esta pantalla completa, ahora solo ordene. |
| de cómo hacer eso el segundo. |
| Sara Doudt | es ese fondo como en ese, donde dice notas sobre su conducta al 34% es el que parece a. |
| Abajo del bote, sí, lo siento por eso, del otro lado de la persona. |
| Uno sí, ese tipo. |
| stan joven | ja ja. |
| Sara Doudt | Vas, y quiero decir voy voy a ir vamos a empezar en un segundo pero voy a encontrarme conmigo mismo, ¿tienes alguna pregunta antes de que empecemos? |
| stan joven | o no realmente vas a estar grabándome así como las diapositivas. |
| Sara Doudt | sí, sí, te pidieron que tuvieras el. |
| La cámara aquí arriba. |
| Eso está bien. |
| Derecha. |
| Está bien. |
| stan joven | Estoy listo para irme. |
| Sara Doudt | Voy a silenciarme, y si tienes preguntas o necesitas detenerte, házmelo saber, pero de lo contrario te lo haré saber. |
| stan joven | Vamos. |
| Voy a presentar hoy los complementos y scripts de JMP para la evaluación de múltiples estudios. O puede llamar a esto cómo atrapar p-hackers, personas que hacen trampa con estadísticas o por qué la mayoría de las afirmaciones científicas son incorrectas. |
| Primero voy a describir las partes del rompecabezas y cómo encajan entre sí. La mayoría de las afirmaciones en realidad no se replican. Estas son afirmaciones científicas. |
| Estoy sosteniendo, y mis coautores están sosteniendo, que esto se debe a la piratería informática y es un problema importante. Vamos a utilizar metaanálisis y gráficas de valor P para atraparlos, así es como atrapar a un ladrón. |
| Los complementos y scripts de JMP son valores P de índices de riesgo y límites de confianza. Provienen de un metaanálisis. |
| Y luego la combinación de valores P de Fisher, una técnica antigua que es similar a la tecnología de metaanálisis. Y luego vamos a presentar un diagrama de valor p, y tenemos un pequeño script que lo limpiará y lo convertirá en un formato presentable. |
| imagen. |
| Bueno, vemos un conejito en el cielo. Hay muchas nubes en el cielo, y si te sientas en un buen día y miras a tu alrededor, probablemente puedas encontrar un conejito. |
| Así que este es un evento aleatorio. Los conejitos no están realmente en el cielo, por supuesto. |
| Gelman y Loken en realidad publicaron un pequeño artículo y dijeron que la crisis estadística en la ciencia, por lo que la gente está usando las estadísticas, dicen, incorrectamente y eso es de lo que hablaremos hoy. |
| Hagamos un experimento de epidemiología. |
| Tenemos dados de 10 caras, rojo, blanco y azul. Se convertirán en dígitos (.046 en este caso particular). Veamos realmente cómo sucede esto frente a nuestros ojos. |
| Ahora tenemos un valor P. es aleatorio Lo hiciste tú mismo. Es muy divertido, ¿por qué no lo hacemos una vez más? |
| Rojo blanco, |
| y azul. |
| Ahora, si haces eso 60 veces, puedes completar la tabla aquí. Esta es una simulación que hice con dados de 10 caras. Y puede ver los valores P en cuatro columnas y 15 filas. Así que eso es 60 valores P. Mi valor P más pequeño es .004. |
| Y con 60 valores P, puedes calcular las probabilidades. Alrededor del 95 % de las veces, tendrá al menos un valor P inferior a 0,05. |
| Aquí uno hecho por mi hija. Tenía tres valores de P inferiores a 0,05; están encerrados aquí. Y luego ejecutar un experimento epidemiólogo es tan fácil |
| que incluso mi esposa Pat puede hacerlo, y ella tiene tres artículos potenciales aquí que podría escribir basándose en tirar dados e inventar una buena historia. |
| Los valores P tienen un valor esperado adjunto. Entonces, a la derecha, tenemos valores P de .004, .016 y .012. Adjunto a cada valor P hay una desviación normal. Puede ver que mi .004 tendría una desviación normal de 2.9 y así sucesivamente. Y a la izquierda tenemos |
| el tamaño de la muestra, la desviación esperada y el valor P esperado para el valor P más pequeño y luego la desviación. Así que si tuviéramos 400 |
| preguntas que estábamos viendo, el valor P esperado sería .00487 y la desviación sería 2.968. Ahora bien, es esta desviación la que se traslada de los experimentos base a los cálculos de un metaanálisis, y lo veremos a medida que avancemos. |
| ¿Cuántas afirmaciones en epidemiología son verdaderas? Publiqué un artículo en 2011 y tomé afirmaciones que se habían hecho en estudios observacionales. |
| Y para cada afirmación en los estudios observacionales, encontré un ensayo clínico aleatorizado que analizó exactamente la misma pregunta. Entonces, en los 12 estudios, había |
| 52 afirmaciones que podrían hacerse y probarse. |
| Si observa la columna en positivo, cero de esos 52 reclamos se replicaron en la dirección correcta. |
| Así que los epidemiólogos habían ido 0 por 52 en términos de sus reclamos. En realidad, hubo cinco afirmaciones que fueron estadísticamente significativas, pero iban en la dirección opuesta a lo que se había afirmado en los... en los estudios observacionales. |
| vamos a mirar un |
| pregunta loca ¿El cereal determina el género humano? Entonces, si desayuna cereales, ¿es más probable que tenga un bebé varón? Bueno, eso es lo que decía el primer papel. |
| Este artículo fue publicado en la Royal Society B, que es su principal revista de biología. Entonces, estos tres coautores afirmaron que si comes cereal en el desayuno, es más probable que tengas un bebé varón, come cereal en el desayuno y alrededor del momento de la concepción. |
| Dos de mis cohortes y yo miramos esto, pedimos los datos. Obtuvimos los datos y luego publicamos un contraataque al primer artículo que decía que la selección de género inducida por cereales probablemente sea un falso positivo múltiple. |
| en el momento justo antes de la concepción... la concepción predicha, y justo alrededor del momento de la concepción. Y había 131 alimentos en cada uno de esos cuestionarios, haciendo un total de 262 pruebas estadísticas. |
| Usted calcula los valores P para esas pruebas, los ordena de menor a mayor y los representa frente a los números enteros (ese es el rango en la parte inferior), |
| ves lo que parece una buena línea de 45 grados. Así que estamos viendo una distribución uniforme. Ahora su reclamo provino de la parte inferior izquierda de eso y dijeron, bueno, aquí hay un valor P pequeño. El pequeño valor P dice que comer cereal... el cereal del desayuno conducirá a más |
| bebés varones. |
| Bastante claramente un falso positivo estadístico. |
| Gráficas de valor p. Así que vamos a usar mucho las gráficas de valor P. A la izquierda, vemos una gráfica de valor P para una probable hipótesis nula verdadera. |
| El entrenamiento físico a largo plazo de los ancianos no conduce a la mortalidad o al riesgo de mortalidad. A la derecha, tenemos el tabaquismo y el cáncer de pulmón. |
| Y vemos una gran cantidad de valores P que se acercan bastante a cero, a lo largo de la página y algunos rezagados a la derecha. Entonces, la imagen de la derecha es evidencia de un efecto real y la imagen de la izquierda es el apoyo de la hipótesis nula, sin efecto. |
| hablemos de un metaanálisis porque los voy a utilizar durante el curso de esta lección. A la izquierda, vemos un embudo y vemos muchos papeles cayendo en el embudo. |
| El epidemiólogo o quienquiera que esté haciendo el metanálisis elige lo que cree que son documentos de alta calidad y los usa para análisis posteriores. A la derecha, vemos la... especie de |
| jerarquía de la evidencia. Se considera un metanálisis de muchos estudios |
| información de alto nivel y luego en la parte inferior, opinión de expertos y así sucesivamente. Así que cuanto más alto subas en la pirámide, |
| la gente sostiene que la evidencia es mejor. |
| Vamos a ver dos artículos de metaanálisis de ejemplo. El primer artículo es de Orellano. |
| óxido nítrico, ozono, |
| pequeñas partículas y así sucesivamente. Y reunió datos de todo el... todo el |
| mundo, y esto fue patrocinado por la |
| OMS, así que esto es financiamiento de alta calidad, papel de alta calidad. |
| Y es un metaanálisis. Vamos a ver si las afirmaciones de ese metaanálisis se mantienen. |
| El de abajo fue muy divertido. Patrones de consumo de carnes rojas y procesadas y riesgo básicamente de cáncer de pulmón y ataques al corazón. |
| Ha habido mucha literatura en la literatura de nutrición que dice que realmente no deberías comer carne roja. Vamos a ver si eso... si eso tiene sentido. |
| Regresemos y veamos las partes del rompecabezas y luego veamos cómo encajan. |
| Sabemos por la literatura abierta que la mayoría de las afirmaciones no se replican. Esto se llama una crisis en la ciencia. La piratería informática es un problema. P-hacking está ejecutando muchas pruebas probando esto y probando eso y luego, cuando encuentra un valor P menor que .05, |
| puedes escribir un papel. |
| Vamos a utilizar metaanálisis y gráficas de valor P para atrapar a las personas que básicamente están hackeando P, y yo llamo hacking P a una especie de trampa con estadísticas. |
| Otros son, ya sabes, pequeños... lo describieron un poco diferente. Vamos a utilizar complementos JMP. Estos complementos de JMP fueron escritos por Paul Fogle. |
| Y nos permiten comenzar con un documento de metaanálisis y producir rápida y fácilmente un gráfico de valor P. También vamos a describir la combinación de valores P de Fisher y luego vamos a... |
| tenga un pequeño script que tomará la trama bidireccional que sale de JMP y luego la limpiará, para que los márgenes izquierdo y derecho sean más... más atractivos. |
| Bueno, aquí está la exposición a largo plazo a la contaminación del aire y |
| causando asma, por lo que dicen. A la izquierda, tenemos lo que se llama un diagrama de árbol. Eso es... |
| parece una especie de árbol de Navidad. |
| Los valores medios se dan como puntos y luego los límites de confianza son los bigotes que salen a ambos lados. A la izquierda están los nombres de los artículos... artículos que fueron seleccionados por estos autores y a la derecha están los |
| ratios de riesgo y los límites de confianza. Ahora, a menudo puede raspar los índices de riesgo y los límites de confianza y colocarlos en un |
| Conjunto de datos JMP, por lo que vemos el conjunto de datos JMP a la derecha. |
| Ahora la gráfica del valor P. |
| Lo escrito por Paul Fogle va a convertir esos índices de riesgo y P... y límites de confianza en valores P. |
| Aquí vemos que se ha hecho. |
| Los límites de confianza pueden darte el error estándar. |
| Con la razón de riesgo y el error estándar, puede calcular una estadística Z. Y luego puedes tomar la estadística Z y obtener un valor P. Aquí a la derecha, vemos que aparece un gráfico de valor P, tal como lo hace con un par de clics en JMP. |
| Aquí nuevamente, a la izquierda, tenemos el gráfico de valor P aproximado, y a la derecha, después de usar un pequeño script, agregamos la línea cero, agregamos la línea punteada para .05, y limpiamos y expandimos el números en el |
| ejes X e Y. Y entonces podemos mirar ahora y juzgar todos los estudios que hubo en esa cosa, pero vemos algo bastante extraño. Vemos que el |
| todo esto aquí, hay algunos valores P por debajo de 0,05 y luego muchos valores P subiendo, por lo que tenemos una situación ambigua. |
| Algunos de los valores P parecen que la afirmación es correcta, y otros parecen ser simplemente resultados aleatorios. |
| Echemos un vistazo a la combinación de valores P de Fisher. A la izquierda, tenemos la fórmula. Tomas el valor P, tomas el logaritmo natural, eso los suma por -2. |
| Y eso te da un Chi cuadrado. Buscas el Chi al cuadrado en la tabla. Así que este... este metaanálisis, tenemos los valores P. Debajo del valor P, tenemos -2ln, y verá que hay pocos valores P pequeños que se suman sustancialmente a la suma. |
| Si piensa un poco, la suma es como todas las sumas, está sujeta a la manipulación de valores atípicos... cambiando el equilibrio considerablemente. |
| Y así, los pocos valores P pequeños (.0033, .0073) se suman dramáticamente a la suma del Chi cuadrado. De hecho, la suma no es robusta. Un valor atípico... un valor atípico extremo puede inclinar el todo... toda la ecuación. |
| Ahora tenga en cuenta que la piratería informática puede conducir a valores P pequeños y también, |
| los científicos muy a menudo, si un estudio no resulta significativo, simplemente ni siquiera lo publican. |
| Y si encuentran algo significativo, normalmente lo harán. Así que hay sesgo de publicación. Toda la literatura está plagada de pequeños valores P |
| y esto probablemente... esa es la punta del iceberg. Debajo del iceberg están todas las publicaciones que pudieron haber ocurrido, pero no fueron estadísticamente significativas. |
| Ahora vamos a ver un estudio de contaminación del aire. Mustafic en 2012 |
| publicó un artículo en JAMA y analizó los seis tipos típicos de contaminación del aire |
| monóxido de carbono, óxido nitroso, partículas pequeñas (eso es PM 2.5), dióxido de azufre, etc. |
| Si observa estas gráficas de valor P, todas parecen esencialmente palos de hockey. Hay una serie de valores P inferiores a 0,05. |
| Pero luego hay una cantidad sustancial de valores P que suben a lo largo de una línea de 45 grados, lo que indica que no hay efecto. |
| Estamos afirmando que estamos viendo una mezcla. Estamos viendo una mezcla de estudios significativos y estudios no significativos. |
| Y además, afirmamos que los estudios significativos provienen en gran medida de la piratería informática. Hay otras formas que pueden surgir, pero creemos que la piratería informática es la clave. Así que si miras en el lado izquierdo aquí, |
| en el cuadro rojo, damos el número mediano |
| de modelos o pruebas que podrían llevarse a cabo en un estudio, los estudios que estaban en el artículo de Mustafic. |
| Contamos el número de |
| resultados, predictores y covariables, y si lo multiplica todo, el número mediano, que llamamos el espacio de búsqueda, el espacio de búsqueda mediano es 12,288. |
| Eso significa que los autores, en promedio, tuvieron 12... en la mediana, tuvieron 12 000 oportunidades para obtener un valor P de menos de 0,05. Tenían un margen sustancial para obtener un resultado estadísticamente significativo. |
| Vamos a ver el conteo simple aquí para los estudios de nutrición. Así que tenemos aquí 15 estudios. Los autores, o los primeros autores en el artículo. |
| Y luego, en la parte superior, verá los resultados, los predictores, las covariables, las pruebas, los modelos y el espacio de búsqueda. Los resultados, si observaran tres resultados de salud, por ejemplo, Dixon, y si tuvieran 51 |
| alimentos en su estudio, eso... esos serían predictores. Ahora, si usan covariables, |
| eso agregaría sustancialmente al espacio de búsqueda. Y se puede ver para Dixon, en teoría, tenía 20 millones de análisis posibles que podría haber hecho. |
| Y si mira hacia abajo en la columna del espacio de búsqueda, puede ver un número considerable de posibles análisis que se podrían realizar. |
| Los estudios de nutrición se realizaron con cohortes. Una cohorte es un grupo de personas que se reúne, |
| se miden en preguntas, inicialmente, luego esperan con el tiempo y luego observan los efectos en la salud. |
| Cada una de estas cohortes tiene el nombre de un conjunto de datos que utiliza la cohorte. |
| Y las cohortes, una vez que están reunidas, pueden usarse para hacer, ya sabes, un millón de preguntas. |
| Si |
| el valor P para una de esas preguntas resulta significativo |
| y sienten que pueden escribir un artículo, muy a menudo lo hacen. |
| Entonces, en las dos últimas columnas, vemos el número de artículos |
| que pudiera surgir. Eso es más... usamos Google Scholar y de hecho lo verificamos. Así que estos son el número de artículos que han aparecido en la literatura. |
| asociados con cada una de estas cohortes. Agregaré que hemos analizado muchos de estos documentos y en ninguno de estos documentos hay ningún ajuste para pruebas múltiples o modelado múltiple. |
| Epidemiología nutricional, epidemiología ambiental, esas son de las que hablamos aquí. La epidemiología nutricional utiliza un cuestionario, cuestionario de frecuencia de alimentos (FFQ). |
| En un FFQ, puede tener una cierta cantidad de alimentos. |
| Inicialmente, comenzaron con 61 alimentos y he visto algunos estudios de FFQ en los que había 800 alimentos. No me gustaría ser yo quien llene ese cuestionario. |
| Pero aquí se muestra la cantidad de artículos que usan FFQ a lo largo del tiempo. |
| Desde 1985... la técnica se inventó en 1986... desde 1985, ha habido 74 000 artículos FFQ y, según los examinamos, ninguno de estos artículos se ajustó para múltiples pruebas y todos tenían espacios de búsqueda estadística sustancialmente grandes. . |
| Epidemiología ambiental, simplemente hice una búsqueda en Google de la palabra "contaminación del aire" en el título del artículo. |
| Y aquí vemos que con el tiempo, se han escrito entre 28 y 29 000 artículos sobre la contaminación del aire. |
| Hasta donde yo sé, en base a muchas búsquedas, ninguno de estos documentos se ajusta a múltiples pruebas o modelos múltiples, y todos estos documentos tienen grandes... esencialmente todos estos documentos tienen espacios de búsqueda muy grandes. |
| El metaanálisis pasa al nombre de revisión sistemática y metaanálisis y, recientemente, a partir de 2005, |
| las revistas tienen |
| utilizó ese término en el título del artículo. Entonces, a partir de 2005, pregunté si las palabras "revisión sistemática" y "metaanálisis" aparecían en el título del artículo, y pueden ver que comenzó bajo, 1500 artículos al año. |
| 1.500 trabajos en ese quinquenio y finalmente en 2021, hay |
| Han sido un total de 27.000 trabajos, por lo que se trata de una industria artesanal. Estos papeles se pueden convertir con relativa facilidad. |
| Un equipo, a menudo en China de 10 o de cinco a 15 personas, puede generar un metaanálisis por semana. |
| Y su salario se calcula según la cantidad de artículos que publican, etc., etc. |
| Hasta donde yo sé, estos son todos... la mitad de estos estudios son estudios observacionales y la mitad son... provienen de ensayos clínicos aleatorizados. |
| Prácticamente ninguno de estos y en todos los que hemos visto, hasta ahora, particularmente en estudios de observación, tienen este aspecto de palo de hockey, como si hubiera algunos valores de P que son pequeños y hay un montón de valores de P que parecen completamente al azar. |
| Diré que todos... esencialmente todos estos estudios están financiados con el dinero de sus impuestos o con el dinero de los impuestos de alguien. Están generosamente financiados por el erario público, es una forma de decirlo. |
| Muchas afirmaciones no tienen respaldo estadístico. Los documentos base no corrigen las pruebas múltiples y el modelado múltiple. Los artículos base tienen grandes espacios de búsqueda de análisis. |
| Y hemos visto ejemplos de la epidemiología ambiental y la epidemiología nutricional que la mayoría de las personas, diría según la evidencia, no son confiables. |
| Yo digo y otros también han dicho, tenemos un desastre científico y estadístico y el uso de metaanálisis y gráficos de valor P, estas afirmaciones pueden verificarse como verdaderas o no. |
| Aquí tenemos cuatro situaciones de smog. Arriba a la izquierda está Londres 1952; |
| el de la derecha es Los Ángeles 1948. |
| La esquina inferior izquierda es Singapur y no estoy seguro... No recuerdo el año exacto para eso. Y luego tenemos Pekín. Esos son recientes. |
| En el caso de la niebla de Londres, el análisis estadístico de la muerte... muertes diarias y todo indica que hubo más de 4.000 muertes que ocurrieron en un período de tres o cuatro días en Londres en 1952. Eso instigó el interés del epidemiólogo en lo que fue el asesino. |
| En las otras tres diapositivas u otras tres imágenes, no se ha informado un aumento de muertes durante esos períodos de tiempo. |
| El timbre es que en Londres estaban quemando carbón |
| para calefacción y todo lo demás. Hubo una inversión de temperatura y el argumento es que el ácido en el aire fue transportado por partículas a la parte inferior de los pulmones y las personas susceptibles, por lo general los ancianos y débiles, murieron en mayor número, pero eso no está sucediendo ahora. |
| alrededor del mundo. Hay todo tipo de contaminación en todo el mundo y no vemos picos en las tasas de mortalidad asociadas con ella. |
| ¿Estafas? Jaja. Me encantan las estafas. |
| ¿Son estas estafas? La contaminación del aire mata. Cualquier afirmación de un estudio FFQ, por ejemplo, si bebe café, es más probable que tenga cáncer de páncreas. Esa es una de las afirmaciones que probablemente no sea cierta. |
| Niveles naturales de ozono, ¿matan? Creo que eso tampoco es cierto. Estrógenos ambientales. Cualquier afirmación que provenga de un metanálisis utilizando estudios observacionales. |
| Tenga en cuenta que la evidencia en la literatura pública es que el 80% de todas las afirmaciones científicas, generalmente provenientes de la universidad, no se replicaron cuando se probaron rigurosamente, por ejemplo, en ensayos clínicos aleatorios. |
| Emoción y miedo. Todo el objetivo de la política práctica es mantener a la población amenazada, asustada y, por lo tanto, clamando por ser conducida a un lugar seguro, amenazándola con una serie interminable de duendes, todos ellos imaginarios. |
| Flim flam, engaño, juegos de confianza que involucran... que involucran persuasión hábil o manipulación inteligente de la víctima. Así que HL Mencken en la década de 1930 dijo que la política práctica es en gran medida política de miedo. |
| Terminamos con los autores de esto en este de esta charla. Soy Stan Young y me pueden contactar en genetree@bellsouth.net. Warren Kindzierski es un epidemiólogo canadiense y ha estado trabajando muy de cerca conmigo durante los últimos dos años en documentos que |
| se basan en las cosas que hemos visto aquí hoy. Paul Fogel es un estadístico muy interesante, vive en París y fue el responsable de la redacción del |
| complementos y scripts que podemos utilizar. Diré que los guiones le permitirán pasar de un metaanálisis a una evaluación probablemente en poco menos de una hora. |
| Me gustaría recomendar el informe de la Asociación Nacional de Académicos, Shifting Sands Report 1, esta URL lo llevará allí. |
| Este informe es un informe estadístico largo y complicado, pero simple, que habla sobre la calidad del aire y los efectos sobre la salud. |
| Y con eso también haré el siguiente reclamo, si alguien que está viendo esto quiere probar lo que está pasando, le daremos los scripts y complementos para JMP y luego incluso lo ayudaré. |
| mire e interprete su análisis particular de un metaanálisis. Así que me detendré y estoy preparado para responder cualquier pregunta. Gracias. |
