Virtual, sparse, missing or pretend data -- it's ghost data. Don't be spooked by it, says John Sall. Learn how to deal with it.Virtual, sparse, missing or pretend data -- it's ghost data. Don't be spooked by it, says John Sall. Learn how to deal with it.Virtual, sparse, missing or pretend data -- it's ghost data. Don't be spooked by it, says John Sall. Learn how to deal with it.Virtual, sparse, missing or pretend data -- it's ghost data. Don't be spooked by it, says John Sall. Learn how to deal with it.虚拟的、稀疏的、丢失的或假装的数据——它们是幽灵数据。 约翰·萨尔说，不要被它吓到。 了解如何处理它。
数据无处不在，其速度、数量和多样性给试图进行统计发现的科学家或工程师带来了越来越大的挑战。
但还有一种完全不同类型的数据约翰·索尔SAS 执行副总裁兼联合创始人认为数据探索者应该意识到：幽灵数据–不存在的数据。
幽灵数据是约翰在会上的主题演讲的主题2017 年探索峰会在密苏里州圣路易斯。 John 领导 JMP 开发团队，并仍然是该项目的首席架构师桌面统计发现软件。
他说，科学家和工程师经常处理四种类型的幽灵数据。 以下是它们的含义以及如何处理它们。
1. 虚拟数据
虚拟数据是指在您查找或需要它之前并不存在的数据。 这种类型的幻影数据非常有用，因为它不会弄乱您的数据表。 两个例子是变换列和虚拟连接联合管理计划。 转换列可让您及时具体化列的转换版本（例如，采用对数转换或两列的比率）以生成图形，而无需实际生成新列。 这可以保持数据表干净并节省内存。
虚拟联接允许您通过键链接表，这使您可以从主表访问辅助表中的列，而无需实际进行联接。 这有助于表的可维护性和内存使用，特别是当物理连接涉及宽高或高宽数据表情况时。
2. 稀疏数据
稀疏数据是指数据点不存在意味着为零的情况。 它也是一种幽灵数据，当有效利用时，算法可以跳过它，从而大大加快计算速度。 稀疏数据的一个例子是文本分析中的文档术语矩阵 (DTM)。 DTM 很稀疏，因为单个单词在文档语料库中很少使用。 （我觉得这里有一个关于幽灵数据语料库的笑话。）
主成分分析 (PCA) 等多变量方法可以利用这种稀疏性，当在 JMP 的 PCA 平台内选择稀疏方法时，在 2,000 个单词的 DTM 上运行分析的时间从 10 分钟缩短到约 1 秒。 JMP 中遍布稀疏方法，包括 PCA、判别分析、文本浏览器和混合模型。
3. 缺失数据
许多科学家和工程师报告定期处理丢失的数据。 这种幽灵数据是我们不知道或不存在的数据。 数据丢失的原因有很多——传感器故障、网络故障或受试者拒绝回答调查问题。 但仅仅因为数据丢失并不意味着它没有用处。 JMP 中的许多建模平台可以利用这种“缺失”来构建更好的模型，而不是简单地丢弃观察结果。 例如，分区平台、拟合模型和神经网络都可以通过利用所谓的信息缺失来使用缺失作为预测变量。 除了在建模中使用信息缺失之外，您还可以利用两个建模实用程序：探索离群值和缺失值。 通过这些，您可以将数据中应被视为缺失的值（如机器错误代码）更改为缺失，这样它们就不会影响模型预测。 或者您甚至可以估算缺失值以估计可能的值。 通过适当地分类和处理缺失值，您最终不会错过关键见解。
4. 假装数据
最后一种幽灵数据是我们编造的数据。 假装或模拟数据可用于检验假设，确定实验设计是否有足够的能力来检测响应，或帮助使过程对因素变化具有鲁棒性。 JMP 中的多个位置都提供了用于创建数据来回答关键问题的模拟工具。 Profiler 内置了蒙特卡洛模拟。 您可以使用 DOE 平台中的模拟响应选项联合管理计划以及预期的效应大小和误差估计，以查看实验中是否有足够的运行来检测效应。 您可以使用右键模拟功能JMP专业版深入挖掘分层贝叶斯中的功效分析或 MCMC，以了解每个单独的主题以及他们根据偏好结构与其他个体有何不同。
对于探索数据的科学家和工程师，约翰有这样的指导：“我们是数据世界中的侦探。 我们需要学会如何处理不存在的幽灵数据。 如果我们不这样做，我们的效率可能会很低，我们可能会得出错误的结论，或者我们可能会错过发现。”
您可以观看一个约翰演讲录音请访问 JMP 用户社区。
