Rinomato statistico, educatore e autore, David Hand, ha il dono di rendere l'astratto più concreto e rendere visibile l'invisibile. Nel suo ultimo libro, Dark Data: perché ciò che non sai è importante , classifica i diversi tipi di "dati che non vediamo" e le conseguenze di ignorarli .
Mi è piaciuto molto questo libro e lo consiglio vivamente. Il capitolo "Science and Dark Data: The Nature of Discovery ", era di particolare interesse e spiegherò perché, ma prima un po 'di background ...
Nel 2014 ho intervistato David per Parlando analiticamente , poco dopo essere stato insignito dell'Ordine dell'Impero Britannico per la ricerca e l'innovazione, e l'uscita del suo libro molto popolare, Il principio dell'improbabilità: perché coincidenze, miracoli ed eventi rari accadono ogni giorno (cosa che mi è piaciuta molto e che consiglio). Quando gli ho chiesto cosa lo avesse portato alla statistica, ha detto che quando era giovane era affascinato dalla scienza e voleva diventare uno scienziato. Ha trasmesso che da giovane, pensava che essere uno scienziato significasse che potresti andare in una spedizione archeologica al mattino, trovare una cura per il cancro nel pomeriggio e scoprire una nuova stella la sera. Alla fine, David si rese conto che se voleva essere uno scienziato, doveva specializzarsi, ma non voleva restringere la sua attenzione.
Per fortuna, David ha scoperto "accidentalmente" le statistiche, che considera un'infrastruttura - per altre scienze, per il governo e essenzialmente per "il cortile di casa di tutti". Attraverso le statistiche, David potrebbe essere lo scienziato che desiderava essere, lavorando in collaborazione con altri scienziati portando la sua esperienza statistica a sostenere un'ampia varietà di cose.
Perché gli utenti di JMP sono principalmente scienziati e ingegneri, molti dei quali stanno facendo un lavoro fenomenale lavorando su questioni tempestive legate alla pandemia (dove ci sono molte sfide sui dati oscuri!) - JMP è felice di offrire il estratto "Dark Data and the Big Picture" dal capitolo "Science and Dark Data: The Nature of Discovery".
In questo estratto, David esplora la questione della riproducibilità, sottolineando che la scienza è un processo e, nonostante le sfide, il processo non viene interrotto (sebbene tutti ne trarremmo certamente beneficio "se inizialmente venissero tratte meno conclusioni errate"). Naturalmente, ci sono molti fattori che contribuiscono all'irriproducibilità, che David copre bene prima di discutere alcuni strumenti per evitare di trarre conclusioni errate. Tra questi strumenti vi sono una migliore progettazione degli studi e strumenti più recenti, come il lavoro di Yoav Benjamini e Yosef Hochberg sul tasso di false scoperte.
(A proposito, John Sall ha un bel post sul blog su questo argomento, Non solo filtraggio delle coincidenze: tasso di false scoperte e a breve video (vedere il segmento 2: 30–8: 50). John ha usato il termine "dati fantasma" nel suo Discorso del vertice sulla scoperta del 2017 e ha fatto un intervista sul blog circa quattro categorie di dati di livello superiore che non sono presenti.)
David fa un lavoro molto approfondito nella classificazione più granulare di 11 tipi di dati che non ci sono. È importante sapere che tipo di dati oscuri potresti avere, quindi speriamo che tu riceva il capitolo Dati oscuri estratto e il libro per aiutarti ad affrontare le sfide dei tuoi dati oscuri. Perché, come dice David, "i dati oscuri sono ovunque". Per ulteriori esempi, vedere il blog Dark Data di David, Come i dati oscuri ci portano fuori strada .
