Statisticien, éducateur et auteur de renom, David Hand a le don de rendre l'abstrait plus concret et de rendre visible l'invisible. Dans son dernier livre, Dark Data: pourquoi ce que vous ne savez pas est important , il catégorise les différents types de «données que nous ne voyons pas» et les conséquences de les ignorer .
J'ai beaucoup apprécié ce livre et je le recommande vivement. Le chapitre, «Science et Dark Data: La nature de la découverte », était d'un intérêt particulier, et je vais vous expliquer pourquoi, mais d'abord un peu de contexte ...
En 2014, j'ai interviewé David pour Parlant analytiquement , peu de temps après avoir reçu l'Ordre de l'Empire britannique pour la recherche et l'innovation, et la sortie de son livre très populaire, Le principe d'improbabilité: pourquoi des coïncidences, des miracles et des événements rares se produisent chaque jour (que j'ai également beaucoup apprécié et recommandé). Quand je lui ai demandé ce qui l’avait conduit aux statistiques, il a dit que quand il était jeune, il était fasciné par la science et voulait devenir scientifique. Il a raconté qu'en tant que jeune, il pensait qu'être scientifique signifiait que vous pouviez partir en expédition archéologique le matin, trouver un remède contre le cancer l'après-midi et découvrir une nouvelle étoile le soir. Finalement, David s'est rendu compte que s'il voulait devenir scientifique, il devait se spécialiser, mais il ne voulait pas restreindre son champ d'action.
Heureusement, David a découvert «accidentellement» des statistiques, qu'il considère comme une infrastructure - pour d'autres sciences, pour le gouvernement et essentiellement pour «la cour de tout le monde». Grâce aux statistiques, David pourrait être le scientifique qu'il voulait être, travaillant en collaboration avec d'autres scientifiques en apportant son expertise statistique à une grande variété de choses.
Parce que les utilisateurs de JMP sont principalement des scientifiques et des ingénieurs - dont beaucoup font un travail phénoménal sur des questions d'actualité liées à la pandémie (où il y a beaucoup de défis de données obscures!) - JMP est heureux d'offrir le extrait "Dark Data et vue d'ensemble" du chapitre "Science et Dark Data: La nature de la découverte".
Dans cet extrait, David explore la question de la reproductibilité, soulignant que la science est un processus, et malgré les défis, le processus n'est pas interrompu (bien que nous en tirerions tous certainement avantage «si moins de conclusions incorrectes étaient initialement tirées»). Bien sûr, il existe de nombreux facteurs contribuant à l'irreproductibilité, que David couvre bien avant de discuter de certains outils pour éviter de tirer des conclusions erronées. Parmi ces outils figurent une meilleure conception des études et des outils plus récents, comme les travaux de Yoav Benjamini et Yosef Hochberg sur le taux de fausses découvertes.
(Au fait, John Sall a un joli billet de blog sur ce sujet, Pas seulement filtrer les coïncidences: taux de fausses découvertes et un courte vidéo (voir le segment 2: 30–8: 50). John a utilisé le terme «données fantômes» dans son Conférence du Sommet Découverte 2017 et a fait un entretien de blog environ quatre catégories de données de niveau supérieur qui n'existent pas.)
David fait un travail très approfondi de catégorisation plus granulaire de 11 types de données qui ne sont pas là. Il est important de savoir quel type de données sombres vous pourriez avoir, nous espérons donc que vous obtiendrez le chapitre sur les données sombres extrait et le livre pour vous aider à relever vos défis de dark data. Parce que, comme le dit David, «les données sombres sont partout.» Pour plus d'exemples, consultez le blog Dark Data de David, Comment les données sombres nous induisent en erreur .
