| Oratore |
Trascrizione |
| Stan Young |
ahah. |
| Sara Doudt |
ti permettono di. |
| Stan Young |
vedi tutto adesso. |
| |
Okay, oh no. Farò scorrere le diapositive dal mio lato? |
| Sara Doudt |
sì sì, proprio come faresti in una riunione normale. |
| |
Ecco fatto, ok, fantastico, assicurati di aver preso tutto, se sono vicino a Outlook. Ok, stiamo registrando. Devo... Spegnerò la telecamera, solo per tua informazione, e poi. |
| |
Va bene. |
| Stan Young |
Per visualizzarlo a schermo intero, basta semplicemente ordinare. |
| |
di come farlo il secondo. |
| Sara Doudt |
è quel fondo come quello, dove dice note sulla loro condotta al 34% è quello che sembra un. |
| |
Giù per la barca, sì, mi dispiace per quello brutto, dall'altra parte della persona che. |
| |
Uno sì, quel tizio. |
| Stan Young |
ahah. |
| Sara Doudt |
Tu vai, e intendo dire che io, io andrò, inizieremo tra un secondo, ma incontrerò me stesso, hai qualche domanda prima di iniziare? |
| Stan Young |
o non mi registrerai davvero, così come le diapositive. |
| Sara Doudt |
sì sì ti hanno chiesto di avere il. |
| |
La telecamera qui sopra. |
| |
Va bene così. |
| |
Giusto. |
| |
Va bene. |
| Stan Young |
Sono pronto a partire. |
| Sara Doudt |
Ora mi disattivo e se avete domande o dovete fermarvi, fatemelo sapere, altrimenti ve lo farò fare. |
| Stan Young |
Andare. |
| |
Oggi presenterò componenti aggiuntivi e script JMP per la valutazione di studi multipli. In alternativa, potreste intitolare questo articolo "Come catturare i p-hacker", ovvero chi bara con le statistiche, o perché la maggior parte delle affermazioni scientifiche sono sbagliate". |
| |
Per prima cosa, descriverò i pezzi del puzzle e come si incastrano tra loro. La maggior parte delle affermazioni in realtà non si replica. Queste sono affermazioni scientifiche. |
| |
Io e i miei coautori sosteniamo che ciò sia dovuto al p-hacking e che si tratti di un problema serio. Useremo meta-analisi e grafici del valore p per individuarli, quindi ecco come scovare un truffatore. |
| |
I componenti aggiuntivi e gli script di JMP sono valori di p ricavati dai rapporti di rischio e dai limiti di confidenza. Provengono da una meta-analisi. |
| |
E poi la combinazione dei valori p di Fisher, una tecnica antica simile alla tecnologia della meta-analisi. E poi presenteremo un grafico del valore p, e abbiamo un piccolo script che lo pulirà e lo renderà presentabile. |
| |
immagine. |
| |
Beh, vediamo un coniglio nel cielo. Ci sono molte nuvole nel cielo, e se vi sedete fuori in una bella giornata e vi guardate intorno, probabilmente potete vedere un coniglio. |
| |
Quindi si tratta di un evento casuale. I conigli non sono effettivamente in cielo, ovviamente. |
| |
Gelman e Loken hanno pubblicato un breve articolo in cui hanno parlato della crisi statistica nella scienza, quindi le persone usano le statistiche in modo errato, dicono, ed è di questo che parleremo oggi. |
| |
Facciamo un esperimento epidemiologico. |
| |
Abbiamo dei dadi a 10 facce, rosso, bianco e blu. Diventeranno delle cifre (0,046 in questo caso particolare). Osserviamolo accadere davanti ai nostri occhi. |
| |
Ora abbiamo un valore P. È casuale. L'hai fatto tu stesso. È così divertente, perché non lo ripetiamo ancora una volta? |
| |
Rosso, bianco, |
| |
e blu. |
| |
Ora, se lo fai 60 volte, puoi compilare la tabella qui. Questa è una simulazione che ho fatto con un dado a 10 facce. E puoi vedere i valori P in quattro colonne e 15 righe. Quindi sono 60 valori P. Il mio valore P più piccolo è 0,004. |
| |
E con 60 valori di P, puoi calcolare le probabilità. Circa il 95% delle volte, avrai almeno un valore di P inferiore a 0,05. |
| |
Eccone uno fatto da mia figlia. Aveva tre valori P inferiori a 0,05; sono cerchiati qui. E poi, condurre un esperimento epidemiologico è così facile. |
| |
che persino mia moglie Pat può farlo, e ha qui tre potenziali elaborati che potrebbe scrivere basandosi sul lancio di dadi e sulla creazione di una bella storia. |
| |
Ai valori p è associato un valore atteso. Quindi, a destra, abbiamo valori p di 0,004, 0,016 e 0,012. A ciascun valore p è associata una deviazione normale. Potete vedere che il mio 0,004 avrebbe una deviazione normale di 2,9 e così via. E a sinistra, abbiamo |
| |
la dimensione del campione, la deviazione attesa e il valore P atteso per il valore P più piccolo e poi la deviazione. Quindi se avessimo 400 |
| |
Per quanto riguarda le domande che stavamo esaminando, il valore P atteso sarebbe stato 0,00487 e la deviazione sarebbe stata 2,968. Ora è questa deviazione che viene trasferita dagli esperimenti di base ai calcoli di una meta-analisi, e lo vedremo man mano che procediamo. |
| |
Quante affermazioni epidemiologiche sono vere? Ho pubblicato un articolo nel 2011 e ho preso in considerazione affermazioni provenienti da studi osservazionali. |
| |
E per ogni affermazione negli studi osservazionali, ho trovato uno studio clinico randomizzato che ha esaminato esattamente la stessa domanda. Quindi nei 12 studi, c'erano |
| |
52 affermazioni che potrebbero essere fatte e verificate. |
| |
Se si osserva la colonna sotto "positivo", nessuna di queste 52 affermazioni è stata replicata nella direzione corretta. |
| |
Quindi gli epidemiologi avevano fatto 0 su 52 nelle loro affermazioni. In realtà c'erano cinque affermazioni statisticamente significative, ma andavano nella direzione opposta a quanto affermato negli studi osservazionali. |
| |
Daremo un'occhiata a |
| |
Domanda folle. I cereali determinano il sesso umano? Quindi, se mangi cereali a colazione, hai più probabilità di avere un figlio maschio? Beh, questo è ciò che diceva il primo articolo. |
| |
Questo articolo è stato pubblicato sulla Royal Society B, la loro principale rivista di biologia. Quindi, questi tre coautori hanno sostenuto che se si mangiano cereali a colazione, è più probabile avere un figlio maschio, a patto che si mangino cereali a colazione durante e intorno al momento del concepimento. |
| |
Io e due dei miei colleghi abbiamo analizzato la questione, abbiamo chiesto i dati. Li abbiamo ottenuti e poi abbiamo pubblicato una controreplica al primo articolo, affermando che la selezione del genere indotta dai cereali è molto probabilmente un falso positivo da test multipli. |
| |
al momento appena prima del concepimento... previsto per il concepimento, e subito dopo il concepimento. E c'erano 131 alimenti in ciascuno di quei questionari, per un totale di 262 test statistici. |
| |
Si calcolano i valori P per quei test, si ordinano dal più piccolo al più grande e si rappresentano graficamente rispetto agli interi (quella è la posizione in basso), |
| |
Vedete quella che sembra una linea a 45 gradi piuttosto precisa. Quindi stiamo osservando una distribuzione uniforme. Ora, la loro affermazione proveniva dall'angolo in basso a sinistra e dicevano: "Bene, ecco un piccolo valore P". Il piccolo valore P dice che mangiare cereali... cereali per la colazione porterà a più... |
| |
bambini maschi. |
| |
Si tratta chiaramente di un falso positivo statistico. |
| |
Grafici del valore p. Quindi useremo molto i grafici del valore p. A sinistra, vediamo un grafico del valore p per un'ipotesi nulla verosimilmente vera. |
| |
L'allenamento fisico a lungo termine negli anziani non comporta mortalità o rischio di mortalità. A destra, fumo e cancro ai polmoni. |
| |
E vediamo un'intera serie di valori P che si avvicinano molto allo zero, in tutta la pagina e alcuni isolati sulla destra. Quindi, l'immagine a destra è la prova di un effetto reale e l'immagine a sinistra supporta l'ipotesi nulla, ovvero nessun effetto. |
| |
Parliamo di meta-analisi perché la userò nel corso di questa lezione. Sulla sinistra, vediamo un imbuto e vediamo molti articoli che vi scorrono dentro. |
| |
L'epidemiologo o chiunque si occupi della meta-analisi seleziona quelli che ritiene siano articoli di alta qualità e li usa per ulteriori analisi. Sulla destra, vediamo...una specie di |
| |
gerarchia delle prove. Si considera una meta-analisi su molti studi |
| |
informazioni di alto livello e poi, in basso, opinioni di esperti e così via. Quindi, più si sale nella piramide, |
| |
la gente sostiene che le prove siano migliori. |
| |
Esamineremo due esempi di articoli di meta-analisi. Il primo articolo è di Orellano. |
| |
ossido nitrico, ozono, |
| |
piccole particelle e così via. E ha raccolto dati da tutto il...tutto il |
| |
mondo, e questo è stato sponsorizzato dal |
| |
OMS, quindi questo è un finanziamento di alta qualità, un documento di alta qualità. |
| |
Ed è una meta-analisi. Vedremo se le affermazioni contenute in quella meta-analisi sono fondate. |
| |
Quello in basso era davvero divertente. Modelli di consumo di carne rossa e lavorata e rischio di cancro ai polmoni e infarto. |
| |
Ci sono molti studi in ambito nutrizionale che sostengono che non si dovrebbe mangiare carne rossa. Vedremo se... se ha senso. |
| |
Torniamo indietro e diamo un'occhiata ai pezzi del puzzle, poi vediamo come si incastrano. |
| |
Sappiamo dalla letteratura scientifica che la maggior parte delle affermazioni non riesce a replicarsi. Questo si chiama crisi scientifica. Il P-hacking è un problema. Il P-hacking consiste nell'eseguire molti test, provando questo e quello e poi, quando si trova un valore P inferiore a 0,05, |
| |
puoi scrivere un articolo. |
| |
Utilizzeremo la meta-analisi e i grafici del valore P per individuare le persone che praticano fondamentalmente il P-hacking, e io definisco il P-hacking una sorta di imbroglio con le statistiche. |
| |
Altri, sai, lo hanno descritto in modo un po' diverso. Useremo i componenti aggiuntivi JMP. Questi componenti aggiuntivi JMP sono stati scritti da Paul Fogle. |
| |
E ci permettono di partire da un articolo di meta-analisi e di produrre rapidamente e facilmente un grafico del valore di p. Descriveremo anche la combinazione dei valori di p di Fisher e poi... |
| |
avere un piccolo script che prenderà il grafico bidirezionale che esce da JMP e poi lo pulirà, in modo che i margini sinistro e destro siano più...più accattivanti. |
| |
Bene, ecco l'esposizione a lungo termine all'inquinamento atmosferico e |
| |
causa l'asma, così dicono. A sinistra, abbiamo quello che viene chiamato un diagramma ad albero. Questo è... |
| |
sembra un po' un albero di Natale. |
| |
I valori medi sono indicati dai punti e i limiti di confidenza sono i baffi che si estendono su entrambi i lati. A sinistra ci sono i nomi degli articoli...articoli selezionati da questi autori e a destra ci sono... |
| |
rapporti di rischio e limiti di confidenza. Ora spesso è possibile semplicemente raschiare i rapporti di rischio e i limiti di confidenza e inserirli in un |
| |
Set di dati JMP, quindi vediamo il set di dati JMP sulla destra. |
| |
Ora il grafico del valore P. |
| |
La cosa scritta da Paul Fogle convertirà quei rapporti di rischio e P... e i limiti di confidenza in valori P. |
| |
Qui vediamo che è stato fatto. |
| |
I limiti di confidenza possono fornire l'errore standard. |
| |
Con il rapporto di rischio e l'errore standard, è possibile calcolare una statistica Z. E poi si può prendere la statistica Z e ottenere un valore P. Qui a destra, vediamo un grafico del valore P, proprio come accade con un paio di clic in JMP. |
| |
Anche qui, a sinistra, abbiamo il grafico approssimativo del valore P e, a destra, dopo aver utilizzato un piccolo script, aggiungiamo la linea zero, aggiungiamo la linea tratteggiata per .05 e puliamo ed espandiamo i numeri sul |
| |
Assi X e Y. E quindi ora possiamo guardare e giudicare tutti gli studi che erano in quella cosa, ma vediamo una cosa piuttosto strana. Vediamo che |
| |
tutto questo qui, ci sono alcuni valori P inferiori a 0,05 e poi molti valori P che salgono, e quindi abbiamo una situazione ambigua. |
| |
Alcuni valori P sembrano indicare che l'affermazione è corretta, mentre altri sembrano semplicemente risultati casuali. |
| |
Diamo un'occhiata alla combinazione dei valori P di Fisher. A sinistra, abbiamo la formula. Prendiamo il valore P, prendiamo il logaritmo naturale, che li somma moltiplicato per -2. |
| |
E questo vi dà un Chi quadrato. Cercate il Chi quadrato nella tabella. Quindi, in questa... questa meta-analisi, abbiamo i valori P. Sotto il valore P, abbiamo -2ln, e vedete che ci sono pochi valori P piccoli che contribuiscono in modo sostanziale alla sommatoria. |
| |
Se ci pensi un attimo, la sommatoria è come tutte le somme: è soggetta a manipolazioni di valori anomali, che spostano notevolmente l'equilibrio. |
| |
E quindi i pochi piccoli valori di P (0,0033, 0,0073) contribuiscono notevolmente alla sommatoria del Chi quadrato. In effetti, la sommatoria non è robusta. Un valore anomalo... un valore anomalo estremo può ribaltare l'intera equazione. |
| |
Ora tieni presente che il P-hacking può portare a piccoli valori P e anche, |
| |
Molto spesso gli scienziati, se uno studio non risulta significativo, semplicemente non lo pubblicano. |
| |
E se trovano qualcosa di significativo, in genere lo fanno. Quindi c'è un bias di pubblicazione. L'intera letteratura è disseminata di valori di p bassi. |
| |
E questa probabilmente... è solo la punta dell'iceberg. Sotto l'iceberg ci sono tutte le pubblicazioni che avrebbero potuto verificarsi, ma non sono state statisticamente significative. |
| |
Ora esamineremo uno studio sull'inquinamento atmosferico. Mustafic nel 2012 |
| |
ha pubblicato un articolo su JAMA e ha esaminato i sei tipici inquinamenti atmosferici |
| |
monossido di carbonio, protossido di azoto, piccole particelle (PM 2.5), anidride solforosa, ecc. |
| |
Osservando questi grafici dei valori di p, si nota che assomigliano tutti a mazze da hockey. Ci sono diversi valori di p inferiori a 0,05. |
| |
Ma poi c'è un numero considerevole di valori P che salgono lungo una linea di 45 gradi, il che indica che non c'è alcun effetto. |
| |
Sosteniamo di avere di fronte un mix di studi significativi e non significativi. |
| |
E sosteniamo inoltre che gli studi significativi derivino in gran parte dal P-hacking. Possono verificarsi anche altri casi, ma pensiamo che il P-hacking sia quello più diffuso. Quindi, se guardate a sinistra, |
| |
nel riquadro rosso, diamo il numero mediano |
| |
di modelli o test che potrebbero essere condotti in uno studio, gli studi che erano presenti nell'articolo di Mustafic. |
| |
Abbiamo contato il numero di |
| |
risultati, predittori e covariate, e se moltiplichiamo tutto, il numero mediano, che chiamiamo spazio di ricerca, lo spazio di ricerca mediano è 12.288. |
| |
Ciò significa che gli autori, in media, avevano 12...nella mediana, avevano 12.000 opportunità di ottenere un valore P inferiore a 0,05. Avevano un margine di manovra considerevole per ottenere un risultato statisticamente significativo. |
| |
Esamineremo il conteggio semplice per gli studi nutrizionali. Quindi abbiamo 15 studi. Gli autori, o i primi autori dell'articolo. |
| |
E poi, in alto, vedi risultati, predittori, covariate, test, modelli e spazio di ricerca. I risultati, se considerassero tre risultati di salute, ad esempio Dixon, e se avessero 51 |
| |
alimenti nel loro studio, che...quelli sarebbero predittori. Ora, se usano le covariate, |
| |
Ciò aumenterebbe notevolmente lo spazio di ricerca. E come potete vedere, Dixon, in teoria, avrebbe potuto effettuare 20 milioni di analisi possibili. |
| |
E se si guarda in basso nella colonna dello spazio di ricerca, si possono vedere un numero considerevole di possibili analisi che potrebbero essere eseguite. |
| |
Gli studi nutrizionali sono stati condotti su coorti. Una coorte è un gruppo di persone che viene raccolto, |
| |
inizialmente vengono misurati tramite domande, poi si attende nel tempo e infine si esaminano gli effetti sulla salute. |
| |
Ciascuna di queste coorti ha il nome di un set di dati che la coorte utilizza. |
| |
E le coorti, una volta assemblate, possono essere utilizzate per porre, sapete, un'infinità di domande. |
| |
Se |
| |
il valore P per una di queste domande risulta significativo |
| |
e pensano di poter scrivere un articolo, e molto spesso ci riescono. |
| |
Quindi, nelle ultime due colonne, vediamo il numero di documenti |
| |
che potrebbero sorgere. Ce ne sono altri... abbiamo usato Google Scholar e lo abbiamo effettivamente verificato. Quindi questo è il numero di articoli apparsi in letteratura. |
| |
associati a ciascuna di queste coorti. Aggiungo che abbiamo esaminato molti di questi articoli e in nessuno di essi è presente alcun aggiustamento per test multipli o modelli multipli. |
| |
Epidemiologia nutrizionale, epidemiologia ambientale, sono quelle di cui abbiamo parlato qui. L'epidemiologia nutrizionale utilizza un questionario, il Food Frequency Questionnaire (FFQ). |
| |
In un FFQ è possibile inserire un certo numero di alimenti. |
| |
Inizialmente, hanno iniziato con 61 alimenti e ho visto alcuni studi FFQ in cui ce n'erano 800. Non vorrei essere io a compilare quel questionario. |
| |
Ma ecco il numero di documenti che hanno utilizzato gli FFQ nel corso del tempo. |
| |
Dal 1985...la tecnica è stata inventata nel 1986...dal 1985 sono stati pubblicati 74.000 articoli FFQ e, in base alla nostra analisi, nessuno di questi articoli è stato adattato per test multipli e tutti avevano spazi di ricerca statistica sostanzialmente ampi. |
| |
Epidemiologia ambientale: ho semplicemente fatto una ricerca su Google sulla parola "inquinamento atmosferico" nel titolo dell'articolo. |
| |
E qui vediamo che nel corso del tempo sono stati scritti 28-29.000 articoli sull'inquinamento atmosferico. |
| |
Per quanto ne so, in base a molte ricerche, nessuno di questi documenti è compatibile con test multipli o modelli multipli, e tutti questi documenti hanno ampi... in sostanza tutti questi documenti hanno spazi di ricerca molto ampi. |
| |
La meta-analisi è chiamata revisione sistematica e meta-analisi e, di recente, a partire dal 2005, |
| |
le riviste hanno |
| |
Ho usato quel termine nel titolo dell'articolo. Quindi, a partire dal 2005, ho chiesto se le parole "revisione sistematica" e "meta-analisi" comparissero nel titolo dell'articolo, e come potete vedere, all'inizio erano piuttosto basse: 1.500 articoli all'anno. |
| |
1.500 articoli in quel periodo di cinque anni e infine nel 2021, ci sono |
| |
Sono stati prodotti in totale 27.000 giornali, quindi si tratta di un'attività artigianale. Questi giornali possono essere prodotti con relativa facilità. |
| |
Un team, spesso composto in Cina da 10 o da 5-15 persone, può realizzare una meta-analisi a settimana. |
| |
E il loro stipendio è calcolato in base al numero di articoli pubblicati e così via. |
| |
Per quanto ne so, questi sono tutti...metà di questi studi sono studi osservazionali e metà...provengono da studi clinici randomizzati. |
| |
Praticamente nessuno di questi e in tutti quelli che abbiamo esaminato finora, in particolare negli studi osservazionali, ha questo aspetto a mazza da hockey, come se ci fossero alcuni valori P che sono piccoli e un mucchio di valori P che sembrano completamente casuali. |
| |
Direi che tutti... essenzialmente tutti questi studi sono finanziati con i soldi delle vostre tasse o con i soldi delle tasse di qualcun altro. Sono finanziati in modo molto generoso dal denaro pubblico, per dirla in breve. |
| |
Molte affermazioni non hanno alcun supporto statistico. Gli articoli di base non correggono i test e le modellazioni multiple. Gli articoli di base presentano ampi spazi di ricerca per l'analisi. |
| |
E abbiamo visto esempi di epidemiologia ambientale e nutrizionale che, sulla base delle prove, direi che la maggior parte delle persone non è affidabile. |
| |
Io dico, e anche altri hanno detto, che ci troviamo di fronte a un disastro scientifico e statistico e che, con l'uso di meta-analisi e grafici del valore P, queste affermazioni possono essere verificate come vere o meno. |
| |
Qui abbiamo quattro situazioni di smog. In alto a sinistra: Londra 1952; |
| |
a destra Los Angeles 1948. |
| |
In basso a sinistra c'è Singapore, ma non ne sono sicuro... non ricordo l'anno esatto. E poi c'è Pechino. Sono foto recenti. |
| |
Nel caso della nebbia di Londra, l'analisi statistica dei decessi... decessi giornalieri e tutto il resto indicano che nel 1952 a Londra si verificarono più di 4.000 decessi in un periodo di tre o quattro giorni. Ciò suscitò l'interesse degli epidemiologi su quale fosse la causa scatenante. |
| |
Nelle altre tre diapositive o nelle altre tre immagini non è stato segnalato alcun aumento dei decessi durante quei periodi di tempo. |
| |
Il fatto è che a Londra bruciavano carbone |
| |
per il riscaldamento e tutto il resto. C'è stata un'inversione di temperatura e si sostiene che l'acido presente nell'aria sia stato trasportato dalle particelle nella parte inferiore dei polmoni e che gli individui suscettibili, di solito anziani e deboli, siano morti in numero maggiore, ma questo non sta accadendo ora. |
| |
in tutto il mondo. Ci sono tutti i tipi di inquinamento nel mondo e non vediamo picchi nei tassi di mortalità ad esso associati. |
| |
Truffe? Ah ah. Adoro le truffe. |
| |
Sono truffe? L'inquinamento atmosferico uccide. Qualsiasi affermazione derivante da uno studio FFQ, ad esempio, secondo cui se bevi caffè, hai più probabilità di avere un cancro al pancreas, è probabilmente falsa. |
| |
I livelli naturali di ozono uccidono? Credo che non sia vero nemmeno questo. Estrogeni ambientali. Qualsiasi affermazione provenga da meta-analisi basate su studi osservazionali. |
| |
Tenete presente che le prove presenti nella letteratura pubblica dimostrano che l'80% di tutte le affermazioni scientifiche, solitamente provenienti dalle università, non sono state replicate quando testate rigorosamente, ad esempio in studi clinici randomizzati. |
| |
Emozione e paura. L'obiettivo principale della politica pratica è mantenere la popolazione minacciata, spaventata e quindi desiderosa di essere condotta in salvo, minacciandola con una serie infinita di folletti, tutti immaginari. |
| |
Flim flam, inganno, giochi di prestigio che coinvolgono... che coinvolgono un'abile persuasione o un'astuta manipolazione della vittima. Così H. L. Mencken negli anni '30 affermò che la politica pratica è in gran parte politica della paura. |
| |
Concludiamo con gli autori di questo articolo. Sono Stan Young e potete contattarmi all'indirizzo genetree@bellsouth.net. Warren Kindzierski è un epidemiologo canadese e ha collaborato a stretto contatto con me negli ultimi due anni su articoli che |
| |
si basano sulle cose che abbiamo visto qui oggi. Paul Fogel è uno statistico molto interessante, vive a Parigi ed è stato responsabile della stesura del |
| |
Componenti aggiuntivi e script che possiamo utilizzare. Posso dire che gli script ti permetteranno di passare da una meta-analisi a una valutazione in poco meno di un'ora. |
| |
Vorrei consigliarvi il rapporto della National Association of Scholars, Shifting Sands Report 1, a cui potrete accedere tramite questo URL. |
| |
Questo rapporto è un resoconto statistico lungo e articolato, ma semplice, che parla della qualità dell'aria e degli effetti sulla salute. |
| |
E con questo farò anche la seguente affermazione, se qualcuno che sta guardando questo vuole provare cosa sta succedendo, ti forniremo gli script e i componenti aggiuntivi per JMP e poi ti aiuterò anche |
| |
Esamina e interpreta la tua particolare analisi di una meta-analisi. Quindi, con questo mi fermo e sono pronto a rispondere a qualsiasi domanda. Grazie. |
