著名的統計學家，教育家和作家戴維·漢德（David Hand）有天賦使抽象更具體，使看不見的東西可見。在他的最新著作中黑暗數據：為什麼您不知道重要 ，他對不同種類的“我們看不到的數據”以及忽略它們的後果進行了分類 。
我非常喜歡這本書，並強烈推薦它。一章“科學與黑暗數據： 發現的本質”特別令人感興趣，我將解釋原因，但首先要介紹一下背景知識...
2014年，我採訪了大衛分析性地講 ，在他因研究和創新而被授予大英帝國勳章並發行了非常受歡迎的書後不久，不可能原則：為什麼巧合，奇蹟和稀有事件每天都會發生 （我也非常喜歡並推薦）。當我問他是什麼促使他進行統計時，他說他年輕時就對科學著迷，想成為一名科學家。他表示，作為一個年輕人，他認為當科學家意味著您可能會在早上進行考古考察，在下午找到治療癌症的方法，並在晚上發現一顆新星。最終，大衛意識到如果他想成為一名科學家，他必須專攻，但他不想縮小自己的研究範圍。
值得慶幸的是，大衛“偶然地”發現了統計數據，他認為統計數據是其他科學，政府乃至“每個人的後院”的基礎設施。通過統計，David可以成為他想成為的科學家，通過將他的統計專業知識運用到各種各樣的事情上，與其他科學家合作。
由於JMP用戶主要是科學家和工程師-他們中的許多人在解決與大流行相關的及時問題（其中存在許多黑暗數據挑戰！）方面做得非常出色。 JMP 很高興提供摘抄 “科學與黑暗數據：發現的本質”一章中的“黑暗數據與全局”。
在此摘錄中，David探索了可重複性問題，強調科學是一個過程，儘管面臨挑戰，但過程並沒有中斷（儘管“如果最初得出的錯誤結論較少，我們所有人當然都會受益”）。當然，造成不可重複性的因素很多，在討論一些避免得出錯誤結論的工具之前，David對此進行了詳盡介紹。這些工具中包括更好的研究設計和更新的工具，例如Yoav Benjamini和Yosef Hochberg的錯誤發現率研究。
（順便說一句，約翰·薩爾（John Sall）在這個主題上有一篇不錯的博客文章，不只是過濾巧合：錯誤發現率和一個短片 （請參見2：30–8：50片段）。約翰在他的數據中使用了“鬼”數據一詞 2017探索峰會演講並做了一個博客採訪大約不存在的四個更高級別的數據類別。）
David做了非常徹底的工作，對不存在的11種數據進行了更細緻的分類。重要的是要知道您可能擁有哪種暗數據，因此我們希望您能獲得“暗數據”一章。摘抄和書幫助您應對暗數據挑戰。因為正如David所說，“黑暗數據無處不在。” 有關更多示例，請參閱David的Dark Data博客，黑暗數據如何使我們誤入歧途 。
