John Sall explains why we need not be afraid of ghost data.John Sall explains why we need not be afraid of ghost data.John Sall explains why we need not be afraid of ghost data.John Sall explains why we need not be afraid of ghost data.约翰·萨尔 (John Sall) 解释了为什么我们不必害怕幽灵数据。
定量和定性数据。 数字和字符数据。 表达式和非结构化文本数据。 这些都是您可能已经了解并知道如何处理的所有类型的数据。
但还有另一类数据您可能还没有听说过：幽灵数据。 不，这不是我为万圣节编造的东西。
SAS 联合创始人兼执行副总裁 John Sall 一直在思考幽灵数据，即实际不存在的数据。 他说我们应该理解并欣赏幽灵数据。
作为 SAS JMP 部门的负责人，他与客户交谈并帮助开发软件。 他还阅读并思考了很多有关数据、统计和技术的内容。 你可能读过他的博客文章关于为什么统计数据至关重要和为什么台式电脑还没有消亡。 他是美国统计协会和美国科学促进会的会员。他是2017 年圣路易斯探索峰会，他将在这里谈论幽灵数据。请继续阅读他对我有关幽灵数据的问题的回答（包括一个愚蠢的问题）。
告诉我有关幽灵数据的事情。
幽灵数据是任何不存在的数据，并且有很多种类型。 例如，有虚拟数据，除非您查看它，否则它们并不存在。 表面上看起来足够真实，但只有在需要时才会具体化。 数据稀疏，缺少数据就意味着为零。 稀疏性是多种分析中的关键计算推动因素。 还有数据缺失。 该数据有一个槽来保存一个值，但该值未知，因此该槽为空。 另一种类型的幽灵数据是假数据，即虚构的数据。 此类数据对于模拟非常重要，可以回答“如果？”。 幽灵数据的类型较多，但这四种对于数据分析很重要联合管理计划。
我们应该害怕幽灵数据吗？
没有必要害怕幽灵数据。 这只是不存在的数据。 它就像真实数据一样自然。 正如我们欣赏我们拥有的数据一样，我们也需要欣赏不存在的数据。 我们需要知道如何处理它，知道如何用它建模，并将其付诸实践。 正确处理幽灵数据非常重要。
处理幽灵数据的一种方法是什么？
让我们看看缺失的数据。 过去，我们常常跳过缺少其中一个分析变量的行。 问题在于，如果缺失值不是完全随机的，则该方法会在结果中引入偏差。 现在，我们将缺失值直接合并到模型中，假设缺失是可预测的。 这称为“信息缺失”。 2008 年金融危机前几年的抵押贷款数据就是信息缺失的一个很好的例子。 在对抵押贷款违约概率进行建模时，如果所有缺少“收入”和“债务收入比”等变量值的行都被删除，结果就会有偏差。 通常，贷款申请人知道提供这些值将导致无法获得贷款资格，因此省略了这些值。 在我们提供的样本数据表中，债务收入比的缺失是抵押贷款违约最重要的预测指标。
如果你想成为万圣节的幽灵数据，你的服装会是什么样子？
要么是隐形人，要么是使用隐形斗篷的哈利·波特，或者是它的超材料版本。
@jon_stallings虽然能源部有很多策略来处理幽灵数据...我认为阻塞是处理实验过程中潜在因素的一个来源的一种手段...在执行设计的实验后也可以看到缺失...我们有多少次看到由于 DOE 中的各种原因导致响应值缺失？
这就是为什么每个数据分析师都需要接受实验设计培训。 随机化的全部目的是减轻幽灵数据的影响。
