Relatore | Trascrizione |
| Stan Young | ahah. |
| Sara Doudt | permetterti di farlo. |
| Stan Young | vedi tutto ora. |
| Ok, oh no Farò scorrere le diapositive dalla mia parte. |
| Sara Doudt | yeah yeah, proprio come faresti con un normale incontro. |
| Ecco, andiamo bene, bene, assicurati di avere tutto se ho una prospettiva ravvicinata Ok, stiamo registrando, ne ho bisogno Spegnerò la mia videocamera solo per piacere e poi. |
| Bene. |
| Stan Young | Per rendere questo schermo intero così ora basta ordinare. |
| di come farlo il secondo. |
| Sara Doudt | è quel fondo così, dove dice note sulla loro condotta al 34% è quello che sembra un. |
| Giù per la barca, sì, mi dispiace per quello cattivo, dall'altra parte della persona che. |
| Uno sì, quel ragazzo. |
| Stan Young | ahah. |
| Sara Doudt | Vai, e voglio dire, io vado, inizieremo tra un secondo, ma mi incontrerò, hai qualche domanda prima di iniziare. |
| Stan Young | o no, registrerai me e le diapositive. |
| Sara Doudt | yeah yeah hanno chiesto di avere il. |
| La telecamera quassù. |
| Oltre va bene. |
| Destra. |
| Tutto bene. |
| Stan Young | Sono pronto per andare. |
| Sara Doudt | Mi metterò in muto, e se hai domande o hai bisogno di fermarti, fammi sapere, ma altrimenti te lo farò. |
| Stan Young | Andare. |
| Oggi presenterò i componenti aggiuntivi e gli script di JMP per la valutazione di più studi. Oppure puoi chiamarlo come catturare p-hacker, persone che barano con le statistiche o perché la maggior parte delle affermazioni scientifiche sono sbagliate. |
| Per prima cosa descriverò le parti del puzzle e come si incastrano. La maggior parte delle affermazioni in realtà non riesce a replicarsi. Queste sono affermazioni scientifiche. |
| Sto sostenendo, e i miei coautori stanno sostenendo, che ciò sia dovuto al p-hacking ed è un grosso problema. Utilizzeremo la meta analisi e i grafici del valore P per catturarli, quindi ecco come catturare un truffatore. |
| I componenti aggiuntivi e gli script JMP sono valori P da rapporti di rischio e limiti di confidenza. Provengono da una meta analisi. |
| E poi la combinazione di P-value di Fisher, un'antica tecnica simile alla tecnologia di meta analisi. E poi presenteremo una trama con valore p, e avremo un piccolo script che lo ripulirà e lo trasformerà in un presentabile |
| immagine. |
| Bene, vediamo un coniglietto nel cielo. Ci sono molte nuvole nel cielo e se ti siedi in una bella giornata e ti guardi intorno, probabilmente puoi trovare un coniglio. |
| Quindi questo è un evento casuale. I conigli non sono effettivamente nel cielo, ovviamente. |
| Gelman e Loken in realtà hanno pubblicato un piccolo articolo e hanno detto che la crisi statistica nella scienza, quindi le persone usano le statistiche, dicono, in modo errato ed è di questo che parleremo oggi. |
| Facciamo un esperimento di epidemiologia. |
| Abbiamo dadi a 10 facce, rossi, bianchi e blu. Diventeranno cifre (.046 in questo caso particolare). Guardiamolo accadere davanti ai nostri occhi. |
| Ora abbiamo un valore P. È casuale. L'hai fatto tu stesso. È così divertente, perché non lo facciamo ancora una volta? |
| Rosso bianco, |
| e blu. |
| Ora, se lo fai 60 volte, puoi compilare la tabella qui. Questa è una simulazione che ho fatto con dadi a 10 facce. E puoi vedere i valori P in quattro colonne e 15 righe. Quindi sono 60 valori P. Il mio valore P più piccolo è .004. |
| E con 60 valori P, puoi calcolare le probabilità. Circa il 95% delle volte, avrai almeno un valore P inferiore a 0,05. |
| Qui uno fatto da mia figlia. Aveva tre valori P inferiori a 0,05; sono cerchiati qui. E poi condurre un esperimento epidemiologico è così facile |
| che anche mia moglie Pat può farlo, e lei ha tre potenziali articoli qui che potrebbe scrivere basandosi sul lancio di dadi e sulla trama di una bella storia. |
| Ai valori P è associato un valore atteso. Quindi, sulla destra, abbiamo valori P di .004, .016 e .012. Attaccato a ciascun valore P è una deviazione normale. Puoi vedere che il mio .004 avrebbe una deviazione normale di 2,9 e così via. E a sinistra, abbiamo |
| la dimensione del campione, la deviazione prevista e il valore P atteso per il valore P più piccolo e quindi la deviazione. Quindi se ne avessimo 400 |
| domande che stavamo esaminando, il valore P previsto sarebbe .00487 e la deviazione sarebbe 2,968. Ora è questa deviazione che viene trasferita dagli esperimenti di base ai calcoli di una meta analisi, e lo vedremo man mano che procediamo. |
| Quante affermazioni in epidemiologia sono vere? Ho pubblicato un articolo nel 2011 e ho accettato le affermazioni che erano state fatte in studi osservazionali. |
| E per ogni affermazione negli studi osservazionali, ho trovato uno studio clinico randomizzato che esaminava esattamente la stessa domanda. Quindi nei 12 studi c'erano |
| 52 affermazioni che potrebbero essere fatte e testate. |
| Se guardi la colonna sotto positivo, zero di quelle 52 affermazioni replicate nella direzione corretta. |
| Quindi gli epidemiologi erano andati 0 su 52 in termini di clalim. In realtà c'erano cinque affermazioni che erano statisticamente significative, ma erano nella direzione opposta a quanto era stato affermato negli... negli studi osservazionali. |
| Guarderemo a |
| domanda pazza. I cereali determinano il genere umano? Quindi, se mangi cereali a colazione, hai maggiori probabilità di avere un bambino maschio? Bene, questo è ciò che diceva il primo giornale. |
| Questo articolo è stato pubblicato sulla Royal Society B, che è la loro principale rivista di biologia. Quindi questi tre coautori hanno affermato che se mangi cereali per la colazione, è più probabile che tu abbia un bambino maschio, che mangi cereali per la colazione durante e intorno al momento del concepimento. |
| Io e due delle mie coorti abbiamo guardato questo, abbiamo chiesto i dati. Abbiamo ottenuto i dati e quindi abbiamo pubblicato un contro al primo articolo dicendo che la selezione di genere indotta dai cereali è molto probabilmente un test multiplo falso positivo. |
| al momento appena prima del concepimento... il concepimento previsto, e proprio intorno al momento del concepimento. E c'erano 131 alimenti in ciascuno di quei questionari, per un totale di 262 test statistici. |
| Calcoli i valori P per quei test, li ordini dal più piccolo al più grande e li tracci rispetto ai numeri interi (questo è il rango in basso), |
| vedi quella che sembra una linea di 45 gradi piuttosto buona. Quindi stiamo osservando una distribuzione uniforme. Ora la loro affermazione proveniva dalla parte inferiore sinistra di quello e hanno detto, beh, ecco un piccolo valore P. Il piccolo valore P dice che mangiare cereali... cereali per la colazione porterà a di più |
| bambini maschi. |
| Abbastanza chiaramente un falso positivo statistico. |
| Grafici del valore P. Quindi useremo molto i grafici del valore P. A sinistra, vediamo un grafico del valore P per una probabile ipotesi nulla vera. |
| L'allenamento fisico a lungo termine degli anziani non porta a mortalità o rischio di mortalità. A destra, abbiamo il fumo e il cancro ai polmoni. |
| E vediamo un'intera serie di valori P che si seguono abbastanza vicino allo zero, lungo tutta la pagina e alcuni ritardatari in alto a destra. Quindi questa l'immagine a destra è la prova di un effetto reale e l'immagine a sinistra è il supporto dell'ipotesi nulla, nessun effetto. |
| parliamo di una meta analisi perché le userò nel corso di questa lezione. Sulla sinistra, vediamo un imbuto e vediamo molti fogli che cadono nell'imbuto. |
| L'epidemiologo o chiunque stia facendo la meta analisi sceglie quelli che pensano siano documenti di alta qualità e li usa per ulteriori analisi. Sulla destra, vediamo il... tipo di |
| gerarchia delle prove. Viene considerata una meta analisi su molti studi |
| informazioni di alto livello e poi in fondo, opinioni di esperti e così via. Quindi più sali sulla piramide, |
| le persone sostengono che l'evidenza è migliore. |
| Esamineremo due documenti di meta analisi di esempio. Il primo articolo è di Orellano. |
| ossido nitrico, ozono, |
| piccole particelle e così via. E ha raccolto dati da tutto il... dappertutto |
| mondo, e questo è stato sponsorizzato dal |
| OMS, quindi questo è un finanziamento di alta qualità, carta di alta qualità. |
| Ed è una meta analisi. Vedremo se le affermazioni in quella meta analisi reggono. |
| Quello in basso era davvero divertente. Modelli di consumo di carne rossa e lavorata e rischio fondamentalmente di cancro ai polmoni e attacchi di cuore. |
| C'è stata molta letteratura nella letteratura sulla nutrizione, dicendo che non dovresti davvero mangiare carne rossa. Vedremo se questo... se ha senso. |
| Torniamo indietro e guardiamo le parti del puzzle e poi vediamo come si incastrano. |
| Sappiamo dalla letteratura aperta che la maggior parte delle affermazioni non riesce a replicare. Questa si chiama crisi della scienza. Il P-hacking è un problema. P-hacking sta eseguendo molti test provando questo e quello e poi, quando trovi un valore P inferiore a .05, |
| puoi scrivere un foglio. |
| Utilizzeremo la meta analisi e i grafici del valore P per catturare le persone che fondamentalmente stanno facendo P-hacking, e io chiamo P-hacking una sorta di truffa con le statistiche. |
| Altri sono, sai, piccoli... l'hanno descritto in modo leggermente diverso. Utilizzeremo i componenti aggiuntivi JMP. Questi componenti aggiuntivi JMP sono stati scritti da Paul Fogle. |
| E ci consentono di iniziare con un documento di meta analisi e di produrre rapidamente e facilmente un grafico del valore P. Descriveremo anche la combinazione di P-value di Fisher e poi... |
| avere una piccola sceneggiatura che prenderà una trama bidirezionale che esce da JMP e poi la ripulirà, in modo che i margini sinistro e destro siano più... più attraenti. |
| Bene, ecco l'esposizione a lungo termine all'inquinamento atmosferico e |
| causando l'asma, così si dice. Sulla sinistra, abbiamo quello che viene chiamato diagramma ad albero. Quello è il... |
| sembra una specie di albero di Natale. |
| I valori medi sono dati come punti e quindi i limiti di confidenza sono i baffi che escono su entrambi i lati. A sinistra ci sono i nomi del paper... i paper che sono stati selezionati da questi autori e a destra i |
| rapporti di rischio e limiti di confidenza. Ora puoi spesso raschiare i rapporti di rischio e i limiti di fiducia e lasciarli cadere in a |
| set di dati JMP, quindi vediamo il set di dati JMP sulla destra. |
| Ora il grafico del valore P. |
| cosa scritta da Paul Fogle convertirà quei rapporti di rischio e P... e limiti di confidenza in valori P. |
| Qui vediamo che è stato fatto. |
| I limiti di confidenza possono darti l'errore standard. |
| Con il rapporto di rischio e l'errore standard, puoi calcolare una statistica Z. E poi puoi prendere la statistica Z e ottenere un valore P. Qui a destra, vediamo uscire un grafico del valore P, proprio come accade con un paio di clic in JMP. |
| Anche in questo caso, a sinistra, abbiamo il grafico approssimativo del valore P, e a destra, dopo aver utilizzato un piccolo script, aggiungiamo la linea zero, aggiungiamo la linea tratteggiata per .05 e ripuliamo ed espandiamo il numeri sul |
| Assi X e Y. E quindi ora possiamo guardare e giudicare tutti gli studi che c'erano in quella cosa, ma vediamo una cosa piuttosto strana. Vediamo che il |
| tutto questo qui, ci sono alcuni valori P sotto .05 e poi molti valori P che salgono, e quindi abbiamo una situazione ambigua. |
| Alcuni dei valori P sembrano che l'affermazione sia corretta e altri sembrano semplicemente risultati casuali. |
| Diamo un'occhiata alla combinazione di P-value di Fisher. A sinistra abbiamo la formula. Prendi il valore P, prendi il log naturale, che li somma per -2. |
| E questo ti dà un Chi al quadrato. Guardi il Chi al quadrato sul tavolo. Quindi questa... questa meta analisi, abbiamo i valori P. Sotto valore P, abbiamo -2ln, e si vede che ci sono pochi valori P piccoli che si sommano sostanzialmente alla somma. |
| Se pensi solo un po', la somma è come tutte le somme, è soggetta a valori anomali manipolati... spostando considerevolmente l'equilibrio. |
| E così i pochi piccoli valori P (.0033, .0073) si stanno sommando drammaticamente alla somma del Chi al quadrato. In effetti la somma non è robusta. Un valore anomalo... un valore anomalo estremo può ribaltare l'intero... l'intera equazione. |
| Ora tieni presente che P-hacking può portare a piccoli valori P e anche, |
| gli scienziati molto spesso, se uno studio risulta non significativo, semplicemente non lo pubblicano. |
| E se trovano qualcosa di significativo, in genere lo faranno. Quindi c'è un pregiudizio di pubblicazione. L'intera letteratura è disseminata di piccoli valori P |
| e questa probabilmente... è la punta dell'iceberg. Sotto l'iceberg ci sono tutte le pubblicazioni che sarebbero potute accadere, ma non erano statisticamente significative. |
| Ora esamineremo uno studio sull'inquinamento atmosferico. Mustafic nel 2012 |
| ha pubblicato un articolo su JAMA e ha esaminato i sei tipici inquinamento atmosferico |
| monossido di carbonio, protossido di azoto, piccole particelle (ovvero PM 2,5), anidride solforosa, ecc. |
| Se guardi questi grafici del valore P, tutti sembrano essenzialmente mazze da hockey. Ci sono un certo numero di valori P inferiori a .05. |
| Ma poi c'è un numero sostanziale di valori P che salgono lungo una linea di 45 gradi, indicando che non vi è alcun effetto. |
| Stiamo sostenendo che stiamo guardando una miscela. Stiamo esaminando un misto di studi significativi e studi non significativi. |
| E stiamo inoltre sostenendo che gli studi significativi provengono in gran parte da P-hacking. Ci sono altri modi in cui possono sorgere, ma pensiamo che il P-hacking sia la cosa giusta. Quindi, se guardi qui a sinistra, |
| nella casella rossa diamo il numero mediano |
| di modelli o test che potrebbero essere condotti in uno studio, gli studi che erano nell'articolo di Mustafic. |
| Abbiamo contato il numero di |
| risultati, predittori e covariate, e se moltiplichi tutto, il numero mediano, che chiamiamo spazio di ricerca, lo spazio di ricerca mediano è 12.288. |
| Ciò significa che gli autori, in media, avevano 12... nella mediana, avevano 12.000 opportunità di ottenere un valore P inferiore a 0,05. Avevano un ampio margine di manovra per ottenere un risultato statisticamente significativo. |
| Daremo un'occhiata al semplice conteggio qui per gli studi sulla nutrizione. Quindi abbiamo qui 15 studi. Gli autori, o i primi autori sulla carta. |
| E poi nella parte superiore puoi vedere risultati, predittori, covariate, test, modelli e spazio di ricerca. I risultati, se esaminassero tre esiti sulla salute, ad esempio Dixon, e se ne avessero 51 |
| alimenti nel loro studio, quello sarà... quelli sarebbero predittori. Ora se usano le covariate, |
| che aggiungerebbe sostanzialmente allo spazio di ricerca. E puoi vedere per Dixon, in teoria, aveva 20 milioni di possibili analisi che avrebbe potuto fare. |
| E se guardi in basso nella colonna dello spazio di ricerca, puoi vedere un numero considerevole di possibili analisi che potrebbero essere fatte. |
| Gli studi nutrizionali sono stati condotti con coorti. Una coorte è un gruppo di persone che viene raccolto, |
| vengono misurati in domande, inizialmente, poi aspettano nel tempo e poi esaminano gli effetti sulla salute. |
| Ciascuna di queste coorti ha il nome di un set di dati utilizzato dalla coorte. |
| E le coorti, una volta assemblate, possono essere usate per fare, sai, un milione di domande. |
| Se |
| il valore P per una di queste domande risulta significativo |
| e si sentono come se potessero scrivere un foglio, abbastanza spesso lo fanno. |
| Quindi, nelle ultime due colonne, vediamo i numeri delle carte |
| che potrebbe sorgere. Questo è altro... abbiamo usato Google Scholar e l'abbiamo verificato. Quindi questo è il numero di articoli che sono apparsi in letteratura |
| associati a ciascuna di queste coorti. Aggiungo che abbiamo esaminato molti di questi documenti e in nessuno di questi documenti sono presenti aggiustamenti per test multipli o modellazione multipla. |
| Epidemiologia nutrizionale, epidemiologia ambientale, queste sono quelle di cui abbiamo parlato qui. L'epidemiologia nutrizionale utilizza un questionario, il questionario sulla frequenza degli alimenti (FFQ). |
| In un FFQ, puoi avere un certo numero di cibi. |
| Inizialmente, hanno iniziato con 61 alimenti e ho visto alcuni studi FFQ in cui c'erano 800 alimenti. Non vorrei essere io a compilare quel questionario. |
| Ma ecco il numero di documenti che utilizzano gli FFQ nel tempo. |
| Dal 1985...la tecnica è stata inventata nel 1986...dal 1985, ci sono stati 74.000 documenti FFQ e, in base al nostro esame, nessuno di questi documenti è stato adattato per test multipli e tutti avevano spazi di ricerca statistica sostanzialmente ampi . |
| Epidemiologia ambientale, ho semplicemente fatto una ricerca su Google sulla parola "inquinamento atmosferico" nel titolo del documento. |
| E qui vediamo che nel tempo sono stati scritti 28-29.000 articoli sull'inquinamento atmosferico. |
| Per quanto ne so, sulla base di molte ricerche, nessuno di questi documenti si adatta a test multipli o modellazione multipla e tutti questi documenti hanno grandi ... essenzialmente tutti questi documenti hanno spazi di ricerca molto ampi. |
| La meta analisi prende il nome di revisione sistematica e meta analisi e, di recente, a partire dal 2005, |
| i giornali hanno |
| usato quel termine nel titolo del saggio. Quindi, a partire dal 2005, ho chiesto se le parole "revisione sistematica" e "meta analisi" apparissero nel titolo del documento, e puoi vedere che è iniziato basso, 1.500 articoli all'anno. |
| 1.500 documenti in quel quinquennio e infine nel 2021 lì |
| sono stati un totale di 27.000 documenti, quindi questa è un'industria artigianale. Questi documenti possono essere girati in modo relativamente semplice. |
| Un team, spesso in Cina composto da 10 o da 5 a 15 persone, può produrre una meta analisi a settimana. |
| E la loro paga è valutata in base a quanti giornali pubblicano e così via. |
| Per quanto ne so, questi sono tutti... la metà di questi studi sono studi osservazionali e la metà sono... provengono da studi clinici randomizzati. |
| Praticamente nessuno di questi e in tutti quelli che abbiamo esaminato, finora, in particolare negli studi osservazionali, ha questa mazza da hockey come se ci fossero alcuni valori P piccoli e ci sono un sacco di valori P che sembrano completamente casuale. |
| Dirò che tutti... essenzialmente tutti questi studi sono finanziati dai soldi delle tue tasse o dai soldi delle tasse di qualcuno. Sono molto generosamente finanziati dalla borsa pubblica, è un modo per dirlo. |
| Molte affermazioni non hanno supporto statistico. I documenti di base non sono corretti per test multipli e modellazione multipla. I documenti di base hanno ampi spazi di ricerca di analisi. |
| E abbiamo visto esempi dall'epidemiologia ambientale e dall'epidemiologia nutrizionale che la maggior parte delle persone, direi sulla base dell'evidenza, è inaffidabile. |
| Dico e anche altri hanno detto, abbiamo un disastro scientifico e statistico e l'uso della meta analisi e dei grafici del valore P, queste affermazioni possono essere verificate o meno. |
| Qui abbiamo quattro situazioni di smog. In alto a sinistra è Londra 1952; |
| la destra è Los Angeles 1948. |
| In basso a sinistra c'è Singapore e non ne sono sicuro... non ricordo l'anno esatto. E poi abbiamo Pechino. Quelli sono recenti. |
| Nel caso della nebbia londinese, l'analisi statistica della morte... i decessi giornalieri e tutto il resto indicano che ci sono oltre 4.000 decessi avvenuti in un periodo di tre o quattro giorni a Londra nel 1952. Ciò ha suscitato l'interesse dell'epidemiologo per quello che era l'assassino. |
| Le altre tre diapositive o altre tre immagini, non è stato segnalato un aumento della morte durante quei periodi di tempo. |
| Il fatto è che a Londra bruciavano carbone |
| per il riscaldamento e tutto il resto. C'è stata un'inversione di temperatura e la tesi è che l'acido nell'aria è stato trasportato da particelle nei polmoni inferiori e gli individui suscettibili, di solito i vecchi e deboli, sono morti in numero maggiore, ma questo non sta accadendo ora |
| Intorno al mondo. Ci sono tutti i tipi di inquinamento in tutto il mondo e non vediamo picchi nei tassi di mortalità ad esso associati. |
| Fregature? Ah ah. Adoro le truffe. |
| Queste sono truffe? L'inquinamento atmosferico uccide. Qualsiasi affermazione da uno studio FFQ, ad esempio, se bevi caffè, è più probabile che tu abbia il cancro al pancreas. Questa è una delle affermazioni che probabilmente non è vera. |
| Livelli naturali di ozono, uccidono? Penso che anche questo non sia vero. Estrogeni ambientali. Qualsiasi affermazione proveniente da meta analisi utilizzando studi osservazionali. |
| Tieni presente che l'evidenza nella letteratura pubblica è che l'80% di tutte le affermazioni scientifiche, di solito provenienti dall'università, non sono riuscite a replicarsi quando testate rigorosamente, ad esempio in studi clinici randomizzati. |
| Emozione e paura. L'intero scopo della politica pratica è di mantenere la popolazione minacciata, spaventata e quindi clamorosa per essere portata in salvo minacciando la popolazione con una serie infinita di hobgoblin, tutti immaginari. |
| Flim flam, inganno, giochi di fiducia che coinvolgono... che coinvolgono un'abile persuasione o un'abile manipolazione della vittima. Quindi HL Mencken negli anni '30 disse che la politica pratica è in gran parte una politica spaventosa. |
| Concludiamo con gli autori di questo in questo discorso. Sono Stan Young e posso essere contattato all'indirizzo genetree@bellsouth.net. Warren Kindzierski è un epidemiologo canadese e ha lavorato con me a stretto contatto negli ultimi due anni su documenti che |
| sono basati sulle cose che abbiamo visto qui oggi. Paul Fogel è uno statistico molto interessante, vive a Parigi ed è stato responsabile della stesura del |
| componenti aggiuntivi e script che possiamo utilizzare. Dirò che gli script ti permetteranno di passare da una meta analisi a una valutazione probabilmente in poco meno di un'ora. |
| Vorrei raccomandare il rapporto della National Association of Scholars, Shifting Sands Report 1, questo URL ti porterà lì. |
| Questo rapporto è un rapporto statistico lungo e coinvolgente, ma semplice che parla della qualità dell'aria e degli effetti sulla salute. |
| E con ciò farò anche la seguente affermazione, se qualcuno che sta guardando questo vuole provare cosa sta succedendo, ti forniremo gli script e i componenti aggiuntivi per JMP e poi ti aiuterò anche |
| guarda e interpreta la tua particolare analisi di una meta analisi. Quindi con questo mi fermo e sono pronto a rispondere a qualsiasi domanda. Grazie. |
