著名的统计学家，教育家和作家戴维·汉德（David Hand）有天赋使抽象更具体，使看不见的东西可见。在他的最新著作中黑暗数据：为什么您不知道重要 ，他对不同种类的“我们看不到的数据”以及忽略它们的后果进行了分类 。
我非常喜欢这本书，并强烈推荐它。一章“科学与黑暗数据： 发现的本质”特别令人感兴趣，我将解释原因，但首先要介绍一下背景知识...
2014年，我采访了大卫分析性地讲 ，在他因研究和创新而被授予大英帝国勋章并发行了非常受欢迎的书后不久，不可能原则：为什么巧合，奇迹和稀有事件每天都会发生 （我也非常喜欢并推荐）。当我问他是什么促使他进行统计时，他说他年轻时就对科学着迷，想成为一名科学家。他表示，作为一个年轻人，他认为当科学家意味着您可能会在早上进行考古考察，在下午找到治疗癌症的方法，并在晚上发现一颗新星。最终，大卫意识到如果他想成为一名科学家，他必须专攻，但他不想缩小自己的研究范围。
值得庆幸的是，大卫“偶然地”发现了统计数据，他认为统计数据是其他科学，政府乃至“每个人的后院”的基础设施。通过统计，David可以成为他想成为的科学家，通过将他的统计专业知识运用到各种各样的事情上，与其他科学家合作。
由于JMP用户主要是科学家和工程师-他们中的许多人在解决与大流行相关的及时问题（其中存在许多黑暗数据挑战！）方面做得非常出色。 JMP 很高兴提供摘抄 “科学与黑暗数据：发现的本质”一章中的“黑暗数据与全局”。
在此摘录中，David探索了可重复性问题，强调科学是一个过程，尽管面临挑战，但过程并没有中断（尽管“如果最初得出的错误结论较少，我们所有人当然都会受益”）。当然，造成不可重复性的因素很多，在讨论一些避免得出错误结论的工具之前，David对此进行了详尽介绍。这些工具中包括更好的研究设计和更新的工具，例如Yoav Benjamini和Yosef Hochberg的错误发现率研究。
（顺便说一句，约翰·萨尔（John Sall）在这个主题上有一篇不错的博客文章，不只是过滤巧合：错误发现率和一个短片 （请参见2：30–8：50片段）。约翰在他的数据中使用了“鬼”数据一词 2017探索峰会演讲并做了一个博客采访大约不存在的四个更高级别的数据类别。）
David做了非常彻底的工作，对不存在的11种数据进行了更细致的分类。重要的是要知道您可能拥有哪种暗数据，因此我们希望您能获得“暗数据”一章。摘抄和书帮助您应对暗数据挑战。因为正如David所说，“黑暗数据无处不在。” 有关更多示例，请参阅David的Dark Data博客，黑暗数据如何使我们误入歧途 。
