Altoparlante | Trascrizione |
| Stan Young | ahah. |
| Sara Doudt | permetterti di farlo. |
| Stan Young | vedi tutto adesso. |
| Ok, oh no, farò le diapositive dalla mia parte. |
| Sara Doudt | sì sì, proprio come faresti per un normale incontro. |
| Eccoci qua, okay, bello, assicurati di avere tutto se sono vicino alla prospettiva. Okay, stiamo registrando, devo farlo, per tua informazione, spengo la fotocamera e poi. |
| Va bene. |
| Stan Young | Per renderlo a schermo intero, quindi ora basta ordinare. |
| di come farlo il secondo. |
| Sara Doudt | è quel fondo come quello, dove dice note sulla loro condotta al 34% è quello che assomiglia a. |
| Giù in barca sì, mi dispiace per quello brutto, dall'altra parte della persona quello. |
| Uno sì, quel ragazzo. |
| Stan Young | ahah. |
| Sara Doudt | Vai, e voglio dire, sto andando, inizieremo tra un secondo, ma incontrerò me stesso, hai qualche domanda prima di iniziare. |
| Stan Young | oppure no, registrerai me insieme alle diapositive. |
| Sara Doudt | sì sì, ti hanno chiesto di avere il. |
| La telecamera quassù. |
| Oltre va bene. |
| Giusto. |
| Va bene. |
| Stan Young | Sono pronto per andare. |
| Sara Doudt | Mi disattiverò e, se hai domande o hai bisogno di fermarti, fammelo sapere, altrimenti te lo permetterò. |
| Stan Young | Andare. |
| Oggi presenterò i componenti aggiuntivi e gli script di JMP per la valutazione di più studi. Oppure puoi chiamarlo così come catturare i p-hacker, le persone che imbrogliano con le statistiche o perché la maggior parte delle affermazioni scientifiche sono sbagliate. |
| Per prima cosa descriverò le parti del puzzle e il modo in cui si incastrano. La maggior parte delle affermazioni in realtà non riescono a replicarsi. Queste sono affermazioni scientifiche. |
| Io sostengo, e i miei coautori lo sostengono, che ciò sia dovuto al p-hacking e che sia un grosso problema. Utilizzeremo la meta analisi e i grafici del valore P per catturarli, quindi ecco come catturare un truffatore. |
| I componenti aggiuntivi e gli script di JMP sono valori P ricavati dai rapporti di rischio e dai limiti di confidenza. Provengono da una meta-analisi. |
| E poi la combinazione dei valori P di Fisher, un'antica tecnica simile alla tecnologia di meta-analisi. E poi presenteremo un grafico del valore p, e abbiamo un piccolo script che lo ripulirà e lo renderà presentabile |
| immagine. |
| Bene, vediamo un coniglio nel cielo. Ci sono molte nuvole nel cielo e se ti siedi in una bella giornata e ti guardi intorno, probabilmente puoi trovare un coniglio. |
| Quindi questo è un evento casuale. I conigli non sono realmente nel cielo, ovviamente. |
| Gelman e Loken in realtà hanno pubblicato un piccolo articolo e hanno parlato della crisi statistica nella scienza, quindi le persone usano le statistiche, dicono, in modo errato ed è di questo che parleremo oggi. |
| Facciamo un esperimento epidemiologico. |
| Abbiamo dadi a 10 facce, rosso, bianco e blu. Diventeranno cifre (.046 in questo caso particolare). Guardiamo semplicemente questo accadere davanti ai nostri occhi. |
| Ora abbiamo un valore P. È casuale. L'hai fatto tu stesso. È così divertente, perché non lo facciamo ancora una volta? |
| Rosso bianco, |
| e blu. |
| Ora, se lo fai 60 volte, puoi compilare la tabella qui. Questa è una simulazione che ho fatto con i dadi a 10 facce. E puoi vedere i valori P in quattro colonne e 15 righe. Quindi sono 60 valori P. Il mio valore P più piccolo è .004. |
| E con 60 valori P puoi calcolare le probabilità. Circa il 95% delle volte, avrai almeno un valore P inferiore a 0,05. |
| Eccone uno fatto da mia figlia. Aveva tre valori P inferiori a 0,05; sono cerchiati qui. E poi condurre un esperimento epidemiologo è così facile |
| che anche mia moglie Pat può farlo, e ha tre potenziali articoli qui che potrebbe scrivere lanciando un dado e inventando una bella storia. |
| Ai valori P è associato un valore atteso. Quindi a destra abbiamo valori P di .004, .016 e .012. A ogni valore P è associata una deviazione normale. Puoi vedere che il mio .004 avrebbe una deviazione normale di 2,9 e così via. E a sinistra, abbiamo |
| la dimensione del campione, la deviazione prevista e il valore P previsto per il valore P più piccolo e quindi la deviazione. Quindi se ne avessimo 400 |
| domande che stavamo esaminando, il valore P atteso sarebbe 0,00487 e la deviazione sarebbe 2,968. Ora è questa deviazione che viene trasferita dagli esperimenti di base ai calcoli di una meta-analisi, e lo vedremo man mano che procediamo. |
| Quante affermazioni in epidemiologia sono vere? Ho pubblicato un articolo nel 2011 e ho preso in considerazione le affermazioni che erano state fatte in studi osservazionali. |
| E per ciascuna affermazione negli studi osservazionali, ho trovato uno studio clinico randomizzato che esaminava esattamente la stessa domanda. Quindi nei 12 studi ce n'erano |
| 52 affermazioni che potrebbero essere fatte e testate. |
| Se guardi la colonna sotto positivo, zero di quelle 52 affermazioni sono state replicate nella direzione corretta. |
| Quindi gli epidemiologi avevano dato 0 su 52 in termini di affermazioni. In realtà c'erano cinque affermazioni statisticamente significative, ma erano nella direzione opposta a quanto affermato negli... studi osservazionali. |
| Guarderemo a |
| domanda pazzesca. I cereali determinano il genere umano? Quindi se mangi cereali per la colazione, hai maggiori probabilità di avere un maschio? Ebbene, questo è ciò che diceva il primo articolo. |
| Questo articolo è stato pubblicato sulla Royal Society B, che è la loro principale rivista di biologia. Quindi questi tre coautori hanno affermato che se mangi cereali per la colazione, è più probabile che tu abbia un bambino maschio, mangia cereali per la colazione durante e intorno al momento del concepimento. |
| Due dei miei colleghi e io abbiamo guardato questo, abbiamo chiesto i dati. Abbiamo ottenuto i dati e poi abbiamo pubblicato una risposta contraria al primo articolo in cui si affermava che la selezione di genere indotta dai cereali è molto probabilmente un test multiplo falso positivo. |
| al momento appena prima del concepimento... concepimento previsto, e proprio nel momento del concepimento. Ciascuno di questi questionari conteneva 131 alimenti, per un totale di 262 test statistici. |
| Si calcolano i valori P per questi test, li si ordina dal più piccolo al più grande e li si traccia rispetto ai numeri interi (questo è il rango in basso), |
| vedi quella che sembra una linea di 45 gradi piuttosto buona. Quindi stiamo osservando una distribuzione uniforme. Ora la loro affermazione proveniva dall'angolo in basso a sinistra e hanno detto, beh, ecco un piccolo valore P. Il piccolo valore P dice che mangiare cereali... i cereali per la colazione porteranno a qualcosa di più |
| bambini maschi. |
| Chiaramente un falso positivo statistico. |
| Grafici del valore P. Quindi utilizzeremo molto i grafici del valore P. A sinistra, vediamo un grafico del valore P per un'ipotesi nulla probabilmente vera. |
| L'allenamento fisico a lungo termine negli anziani non porta a mortalità o rischio di mortalità. A destra abbiamo il fumo e il cancro ai polmoni. |
| E vediamo un'intera serie di valori P che si avvicinano molto allo zero, lungo tutta la pagina e alcuni ritardatari in alto a destra. Quindi questa immagine a destra è la prova di un effetto reale e l'immagine a sinistra supporta l'ipotesi nulla, nessun effetto. |
| parliamo di meta analisi perché le utilizzerò nel corso di questa lezione. A sinistra vediamo un imbuto e vediamo molti fogli cadere nell'imbuto. |
| L'epidemiologo o chiunque esegua la meta-analisi sceglie quelli che ritiene siano documenti di alta qualità e li utilizza per ulteriori analisi. Sulla destra, vediamo il...tipo di |
| gerarchia delle prove. Viene presa in considerazione una meta-analisi su molti studi |
| informazioni di alto livello e poi dal basso, opinioni di esperti e così via. Quindi più si sale nella piramide, |
| le persone sostengono che le prove siano migliori. |
| Esamineremo due esempi di documenti di meta analisi. Il primo articolo è di Orellano. |
| ossido nitrico, ozono, |
| piccole particelle e così via. E raccoglieva dati da ogni parte... dappertutto |
| mondo, e questo è stato sponsorizzato da |
| OMS, quindi si tratta di finanziamenti di alta qualità, carta di alta qualità. |
| Ed è una meta-analisi. Vedremo se le affermazioni contenute in quella meta-analisi reggeranno. |
| Quello in basso era davvero divertente. Modelli di consumo di carne rossa e lavorata e rischio di cancro ai polmoni e attacchi di cuore. |
| C'è molta letteratura in campo nutrizionale che afferma che in realtà non dovresti mangiare carne rossa. Vedremo se... se ha senso. |
| Torniamo indietro e guardiamo le parti del puzzle e poi vediamo come si incastrano. |
| Sappiamo dalla letteratura aperta che la maggior parte delle affermazioni non riescono a replicarsi. Questa si chiama crisi della scienza. Il P-hacking è un problema. Il P-hacking sta eseguendo molti test provando questo e provando quello e poi, quando trovi un valore P inferiore a 0,05, |
| puoi scrivere un articolo. |
| Utilizzeremo la meta analisi e i grafici del valore P per catturare le persone che fondamentalmente fanno P-hacking, e io chiamo P-hacking una sorta di imbroglio con le statistiche. |
| Altri sono, sai, piccoli... lo hanno descritto in modo leggermente diverso. Utilizzeremo i componenti aggiuntivi JMP. Questi componenti aggiuntivi di JMP sono stati scritti da Paul Fogle. |
| E ci consentono di iniziare con un documento di meta-analisi e di produrre rapidamente e facilmente un grafico del valore P. Descriveremo anche la combinazione dei valori P di Fisher e poi... |
| avere un piccolo script che prenderà la trama a doppio senso che esce da JMP e poi la ripulirà, in modo che i margini sinistro e destro siano più... più attraenti. |
| Bene, ecco l'esposizione a lungo termine all'inquinamento atmosferico e |
| causando asma, così dicono. A sinistra abbiamo quello che viene chiamato diagramma ad albero. Quello è il... |
| sembra una specie di albero di Natale. |
| I valori medi sono dati come punti e poi i limiti di confidenza sono i baffi che escono su entrambi i lati. A sinistra ci sono i nomi degli articoli...articoli selezionati da questi autori e a destra ci sono i |
| rapporti di rischio e limiti di confidenza. Ora spesso puoi semplicemente eliminare i rapporti di rischio e i limiti di confidenza e inserirli in a |
| Set di dati JMP, quindi vediamo il set di dati JMP sulla destra. |
| Ora il grafico del valore P. |
| cosa scritta da Paul Fogle convertirà questi rapporti di rischio e P... e i limiti di confidenza in valori P. |
| Qui vediamo che è stato fatto. |
| I limiti di confidenza possono darti l'errore standard. |
| Con il rapporto di rischio e l'errore standard, puoi calcolare una statistica Z. E poi puoi prendere la statistica Z e ottenere un valore P. Qui a destra vediamo emergere un grafico del valore P, proprio come avviene con un paio di clic in JMP. |
| Anche in questo caso, a sinistra, abbiamo il grafico approssimativo del valore P, e a destra, dopo aver utilizzato un piccolo script, aggiungiamo la linea zero, aggiungiamo la linea tratteggiata per .05, e ripuliamo ed espandiamo il numeri sul |
| Assi X e Y. E quindi ora possiamo guardare e giudicare tutti gli studi che c'erano su quella cosa, ma vediamo una cosa piuttosto strana. Vediamo che il |
| In tutto questo qui, ci sono alcuni valori P inferiori a 0,05 e poi molti valori P che aumentano, e quindi abbiamo una situazione ambigua. |
| Alcuni dei valori P sembrano che l'affermazione sia corretta, mentre altri sembrano essere semplicemente risultati casuali. |
| Diamo un'occhiata alla combinazione dei valori P di Fisher. A sinistra abbiamo la formula. Prendi il valore P, prendi il logaritmo naturale, che li somma per -2. |
| E questo ti dà un Chi quadrato. Guardi il Chi quadrato nella tabella. Quindi questa... questa meta analisi, abbiamo i valori P. Sotto il valore P, abbiamo -2ln, e vedi che ci sono pochi valori P piccoli che si aggiungono sostanzialmente alla somma. |
| Se ci pensi un po', la sommatoria è come tutte le somme, è soggetta a manipolazioni di valori anomali... spostando considerevolmente l'equilibrio. |
| E così i pochi piccoli valori P (.0033, .0073) si aggiungono drammaticamente alla somma del Chi quadrato. In realtà la somma non è robusta. Un valore anomalo... un valore anomalo estremo può ribaltare l'intera... l'intera equazione. |
| Ora tieni presente che il P-hacking può portare a piccoli valori P e anche, |
| Gli scienziati molto spesso, se uno studio risulta non significativo, semplicemente non lo pubblicano nemmeno. |
| E se trovano qualcosa di significativo, in genere lo fanno. Quindi c'è un bias di pubblicazione. Tutta la letteratura è disseminata di piccoli valori P |
| e questa probabilmente... è la punta dell'iceberg. Sotto l'iceberg ci sono tutte le pubblicazioni che sarebbero potute accadere, ma non erano statisticamente significative. |
| Ora esamineremo uno studio sull'inquinamento atmosferico. Mustafic nel 2012 |
| ha pubblicato un articolo su JAMA e ha esaminato i sei tipici inquinamenti atmosferici |
| monossido di carbonio, protossido di azoto, piccole particelle (ovvero PM 2,5), anidride solforosa, ecc. |
| Se guardi questi grafici del valore P, sembrano tutti essenzialmente mazze da hockey. Esistono numerosi valori P inferiori a 0,05. |
| Ma poi c’è un numero considerevole di valori P che salgono lungo una linea di 45 gradi, indicando che non c’è alcun effetto. |
| Stiamo sostenendo che stiamo guardando una miscela. Stiamo esaminando una miscela di studi significativi e studi non significativi. |
| E sosteniamo inoltre che gli studi significativi provengono in gran parte dal P-hacking. Ci sono altri modi che possono verificarsi, ma pensiamo che il P-hacking sia la cosa giusta. Quindi se guardi qui sul lato sinistro, |
| nel riquadro rosso indichiamo il numero mediano |
| di modelli o test che potrebbero essere condotti in uno studio, gli studi contenuti nell'articolo di Mustafic. |
| Abbiamo contato il numero di |
| risultati, predittori e covariate, e se moltiplichi tutto questo, il numero mediano, che chiamiamo spazio di ricerca, lo spazio di ricerca mediano è 12.288. |
| Ciò significa che gli autori, in media, ne avevano 12... in mediana, avevano 12.000 opportunità di ottenere un valore P inferiore a 0,05. Avevano un margine sostanziale per ottenere un risultato statisticamente significativo. |
| Qui esamineremo il semplice conteggio per gli studi sulla nutrizione. Quindi abbiamo qui 15 studi. Gli autori, o i primi autori dell'articolo. |
| E poi in alto vedi risultati, predittori, covariate, test, modelli e spazio di ricerca. I risultati, se esaminassero tre esiti sanitari, ad esempio Dixon, e se ne avessero 51 |
| cibi nel loro studio, che... quelli sarebbero predittori. Ora, se usano le covariate, |
| ciò aggiungerebbe sostanzialmente allo spazio di ricerca. E potete vedere che Dixon, in teoria, aveva 20 milioni di possibili analisi che avrebbe potuto fare. |
| E se guardi in basso nella colonna dello spazio di ricerca, puoi vedere un numero considerevole di possibili analisi che potrebbero essere eseguite. |
| Gli studi sulla nutrizione sono stati condotti su coorti. Una coorte è un gruppo di persone che si riunisce, |
| inizialmente vengono misurati tramite domande, poi si attende nel tempo e infine si esaminano gli effetti sulla salute. |
| Ognuna di queste coorti ha il nome di un set di dati utilizzato dalla coorte. |
| E i gruppi, una volta riuniti, possono essere usati per porre un'infinità di domande. |
| Se |
| il valore P per una di queste domande risulta significativo |
| e hanno la sensazione di poter scrivere un articolo, molto spesso lo fanno. |
| Quindi, nelle ultime due colonne, vediamo i numeri delle carte |
| che potrebbe sorgere. E c'è di più... abbiamo usato Google Scholar e l'abbiamo effettivamente verificato. Quindi questo è il numero di articoli apparsi in letteratura |
| associati a ciascuna di queste coorti. Aggiungerò che abbiamo esaminato molti di questi documenti e in nessuno di essi vi è alcun aggiustamento per test multipli o modelli multipli. |
| Epidemiologia nutrizionale, epidemiologia ambientale, queste sono quelle di cui abbiamo parlato qui. L'epidemiologia nutrizionale utilizza un questionario, il questionario sulla frequenza alimentare (FFQ). |
| In un FFQ, puoi avere un certo numero di alimenti. |
| Inizialmente, si è iniziato con 61 alimenti e ho visto alcuni studi FFQ in cui erano presenti 800 alimenti. Non vorrei essere io a compilare quel questionario. |
| Ma ecco il numero di documenti che utilizzano FFQ nel tempo. |
| Dal 1985...la tecnica è stata inventata nel 1986...dal 1985, ci sono stati 74.000 articoli FFQ e, in base alla nostra analisi, nessuno di questi articoli è stato adattato per test multipli e tutti avevano spazi di ricerca statistica sostanzialmente ampi . |
| Epidemiologia ambientale, ho semplicemente fatto una ricerca su Google sulla parola "inquinamento atmosferico" nel titolo dell'articolo. |
| E qui vediamo che nel tempo sono stati scritti dai 28 ai 29.000 articoli sull'inquinamento atmosferico. |
| Per quanto ne so, in base a molte ricerche, nessuno di questi documenti si adatta a test multipli o modelli multipli, e tutti questi documenti hanno ampi... essenzialmente tutti questi documenti hanno spazi di ricerca molto ampi. |
| La metaanalisi prende il nome di revisione sistematica e metaanalisi e, recentemente, a partire dal 2005, |
| i giornali hanno |
| usò quel termine nel titolo dell'articolo. Quindi, a partire dal 2005, ho chiesto se le parole "revisione sistematica" e "meta analisi" apparissero nel titolo dell'articolo, e potete vedere che l'inizio era basso, 1.500 articoli all'anno. |
| 1.500 carte in quel quinquennio e finalmente nel 2021, ecco |
| ci sono stati un totale di 27.000 documenti, quindi questa è un'industria artigianale. Questi documenti possono essere rilasciati con relativa facilità. |
| Un team, spesso in Cina composto da 10 o da 5 a 15 persone, può eseguire una meta-analisi a settimana. |
| E la loro paga è valutata in base a quanti articoli pubblicano e così via. |
| Per quanto ne so, questi sono tutti... metà di questi studi sono studi osservazionali e l'altra metà... provengono da studi clinici randomizzati. |
| Praticamente nessuno di questi e in tutti quelli che abbiamo esaminato finora, in particolare negli studi osservazionali, hanno l'aspetto di un bastone da hockey, come se ci fossero alcuni valori P che sono piccoli e ci sono un sacco di valori P che sembrano del tutto casuale. |
| Dirò che tutti... essenzialmente tutti questi studi sono finanziati dai soldi delle vostre tasse o dai dollari delle tasse di qualcuno. Sono generosamente finanziati dalle casse pubbliche, è un modo per dirlo. |
| Molte affermazioni non hanno supporto statistico. I documenti di base non correggono i test multipli e la modellazione multipla. I documenti di base hanno ampi spazi di ricerca di analisi. |
| E abbiamo visto esempi dall'epidemiologia ambientale e dall'epidemiologia nutrizionale che la maggior parte delle persone, direi sulla base delle prove, sono inaffidabili. |
| Io dico e anche altri lo hanno detto, abbiamo un disastro scientifico e statistico e l'uso di meta analisi e grafici del valore P, queste affermazioni possono essere verificate come vere o meno. |
| Qui abbiamo quattro situazioni di smog. In alto a sinistra è Londra 1952; |
| quella a destra è Los Angeles 1948. |
| In basso a sinistra è Singapore e non ne sono sicuro...non ricordo l'anno esatto. E poi abbiamo Pechino. Quelli sono recenti. |
| Nel caso della nebbia di Londra, l'analisi statistica della morte... le morti giornaliere e tutto il resto indicano che ci sono stati più di 4.000 decessi avvenuti in un periodo di tre o quattro giorni a Londra nel 1952. Ciò ha suscitato l'interesse dell'epidemiologo su quale fosse l'assassino. |
| Nelle altre tre diapositive o altre tre immagini non è stato segnalato alcun aumento dei decessi in quei periodi di tempo. |
| Il fatto è che a Londra bruciavano carbone |
| per il riscaldamento e tutto il resto. Si è verificata un'inversione di temperatura e la tesi è che l'acido nell'aria è stato trasportato da particelle nella parte inferiore dei polmoni e gli individui sensibili, di solito anziani e deboli, sono morti in numero crescente, ma ciò non sta accadendo ora |
| Intorno al mondo. C’è ogni tipo di inquinamento nel mondo e non vediamo picchi nei tassi di mortalità ad esso associati. |
| Fregature? Ah ah. Adoro le truffe. |
| Sono truffe? L’inquinamento atmosferico uccide. Qualsiasi affermazione da uno studio FFQ, ad esempio, se bevi caffè, hai maggiori probabilità di avere un cancro al pancreas. Questa è una delle affermazioni che probabilmente non è vera. |
| Livelli naturali di ozono uccidono? Penso che non sia vero neanche questo. Estrogeni ambientali. Qualsiasi affermazione derivante da meta-analisi utilizzando studi osservazionali. |
| Tieni presente che l’evidenza nella letteratura pubblica è che l’80% di tutti, di solito provenienti dall’università, le affermazioni scientifiche non sono riuscite a replicarsi se testate rigorosamente, ad esempio in studi clinici randomizzati. |
| Emozione e spavento. L’intero scopo della politica pratica è quello di mantenere la popolazione minacciata, spaventata e quindi reclamante per essere portata in salvo minacciandola con una serie infinita di hobgoblin, tutti immaginari. |
| Flim flam, inganno, giochi di fiducia che implicano... un'abile persuasione o un'abile manipolazione della vittima. Quindi HL Mencken negli anni ’30 disse che la politica pratica è in gran parte una politica della paura. |
| Concludiamo con gli autori di questo in questo di questo discorso. Sono Stan Young e posso essere contattato a genetree@bellsouth.net. Warren Kindzierski è un epidemiologo canadese e ha lavorato a stretto contatto con me negli ultimi due anni su articoli che |
| sono basati sulle cose che abbiamo visto qui oggi. Paul Fogel è uno statistico molto interessante, vive a Parigi ed è stato responsabile della stesura del |
| componenti aggiuntivi e script che possiamo utilizzare. Dirò che gli script ti permetteranno di passare da una meta-analisi a una valutazione probabilmente in poco meno di un'ora. |
| Vorrei raccomandare il rapporto della National Association of Scholars, Shifting Sands Report 1, questo URL ti porterà lì. |
| Questo rapporto è un rapporto statistico lungo e complesso, ma semplice, che parla della qualità dell'aria e degli effetti sulla salute. |
| E con ciò farò anche la seguente affermazione, se qualcuno che guarda questo video vuole provare cosa sta succedendo, ti forniremo gli script e i componenti aggiuntivi per JMP e poi ti aiuterò anche |
| guarda e interpreta la tua particolare analisi di una meta analisi. Quindi con questo mi fermo e sono pronto a rispondere a qualsiasi domanda. Grazie. |
