John Sall explains why we need not be afraid of ghost data.John Sall 解释了为什么我们不必害怕幽灵数据。
定量和定性数据。 数字和字符数据。 表达式和非结构化文本数据。 这些都是您可能已经知道并知道如何处理的所有类型的数据。
但是还有另一类数据你可能还没有听说过：幽灵数据. 不，这不是我为万圣节编造的东西。
SAS 的联合创始人兼执行副总裁 John Sall 一直在考虑幽灵数据，即实际上并不存在的数据。 他说我们应该理解和欣赏幽灵数据。
作为 SAS 的 JMP 部门负责人，他与客户交谈并帮助开发软件。 他还阅读和思考很多关于数据、统计和技术的知识。 你可能读过他的博客文章关于为什么统计是必不可少的和为什么台式电脑没死. 他是美国统计学会和美国科学促进会的会员。他是在2017 年圣路易斯探索峰会，在那里他将谈论幽灵数据。继续阅读他对我关于幽灵数据的问题的回答（包括一个愚蠢的问题）。
告诉我关于幽灵数据的事情。
鬼数据是任何不存在的数据，类型很多。 例如，有虚拟数据，直到您查看它才存在。 它表面上看起来足够真实，但它只是在需要时才具体化。 有稀疏的数据，其缺失意味着零。 稀疏性是多种分析中的关键计算促成因素。 还有数据缺失。 这个数据有一个槽来保存一个值，但是那个值是未知的，所以这个槽是空的。 另一种类型的幽灵数据是假数据，它是组成的数据。 这种数据对于模拟很重要，可以回答“如果怎么办？”。 鬼数据的种类比较多，但是这四种对于数据分析很重要JMP .
我们应该害怕幽灵数据吗？
没有必要害怕幽灵数据。 只是不存在的数据。 它与真实数据一样自然。 正如我们欣赏我们拥有的数据一样，我们也需要欣赏不存在的数据。 我们需要知道如何处理它，知道如何用它建模，并让它发挥作用。 正确处理幽灵数据非常重要。
处理幽灵数据的一种方法是什么？
让我们看看缺失的数据。 过去，我们过去常常跳过缺少分析变量之一的行。 问题是如果缺失值不是完全随机的，这种方法会在结果中引入偏差。 现在，我们将缺失值直接合并到模型中，假设缺失是可预测的。 这被称为“信息缺失”。 2008 年金融危机前几年的抵押贷款数据就是信息缺失的一个很好的例子。 在对抵押贷款违约概率进行建模时，如果“收入”和“债务与收入比率”等变量的缺失值的所有行都已删除，则结果会出现偏差。 贷款申请人通常知道提供这些值会导致无法获得贷款资格，因此省略了这些值。 在我们提供的样本数据的数据表中，债务收入比的缺失是抵押贷款违约最重要的预测指标。
如果你想成为万圣节的幽灵数据，你的服装会是什么样子？
要么是隐形人，要么是使用隐形斗篷的哈利波特，或者是它的超材料版本。
@jon_stallings虽然 DOE 有许多策略来处理幽灵数据……我认为阻塞是一种处理实验过程中潜伏因素的一种方法……在执行设计的实验后也会看到缺失...由于 DOE 中的各种原因，我们有多少次看到缺少响应值？
这就是为什么每个数据分析师都需要在实验设计方面进行培训。 随机化的重点是减轻幻影数据的影响。
