虚拟，稀疏，丢失或伪装数据-它是幻影数据。约翰·萨尔（John Sall）说，不要被它吓到。了解如何处理。
数据无处不在，速度，数量和多样性对试图进行统计发现的科学家或工程师提出了越来越多的挑战。
但是还有其他类型的数据约翰·萨尔SAS执行副总裁兼联合创始人认为数据浏览器应注意：幻影数据–不存在的数据。
幽灵数据是约翰在演讲中的主题2017探索峰会在密苏里州圣路易斯市。John领导JMP开发团队，并一直是JMP的首席架构师。桌面统计发现软件。
他说科学家和工程师经常处理四种类型的幻影数据。它们是什么以及如何处理它们。
1。虚拟数据
虚拟数据是在您寻找或需要它之前不存在的数据。这种类型的幻影数据很有用，因为它不会使数据表混乱。两个示例是转换列和中的虚拟联接JMP 。转换列使您可以及时地实现列的转换版本（例如，采用对数转换或两列的比率）来生成图形，而无需实际生成新列。这样可以保持数据表干净，还可以节省内存。
虚拟联接使您可以通过键链接表，从而无需实际进行联接就可以从主表访问辅助表中的列。这有助于提高表的可维护性和内存使用率，尤其是在物理连接涉及到一个高个或高个的数据表的情况下。
2。稀疏数据
稀疏数据是指数据点不存在意味着零。这也是一种幻影数据，当有效利用时，可以被算法跳过，从而大大加快了计算速度。稀疏数据的一个示例是文本分析中的文档术语矩阵（DTM）。DTM是稀疏的，因为在文档集中很少使用单个单词。（我觉得这里有一个关于虚幻数据集的笑话。）
诸如主成分分析（PCA）之类的多变量方法可以利用这种稀疏性，并且在JMP的PCA平台中选择了稀疏方法时，在2,000个单词的DTM上运行分析需要10分钟到大约1秒。在整个JMP中，稀疏方法包括PCA，判别分析，文本资源管理器和混合模型。
3。缺失数据
许多科学家和工程师报告说定期处理丢失的数据。这种幻影数据是我们不知道或不存在的数据。数据丢失的原因有很多-传感器故障，网络故障或受试者拒绝回答调查问题。但是仅仅因为数据丢失并不意味着它就没有用。JMP中的许多建模平台都可以利用这种“缺失”来构建更好的模型，而不是简单地放弃观察。例如，Partition平台，Fit Model和Neural都可以通过利用所谓的信息性缺失来将缺失用作预测因子。除了在建模中使用信息缺失外，您还可以利用两个建模实用程序：探索异常值和缺失值。借助这些，您可以将数据中的值更改为丢失（如机器错误代码），以便将其更改为丢失，以免影响模型预测。或者，您甚至可以估算缺少的值以估算可能的值。通过适当地分类和处理缺失的值，您不会最终错过重要的见解。
4。假装数据
幻影数据的最后一种类型是我们组成的数据。假装的或模拟的数据可用于测试假设，确定实验设计是否具有足够的能力来检测响应或帮助使过程变得健壮以应对变化。在JMP的许多地方都可以找到用于创建数据以回答关键问题的仿真工具。Profiler具有内置的Monte Carlo模拟。您可以在以下网站的DOE平台中使用“模拟响应”选项JMP以及预期的效果大小和误差估计值，以查看实验中是否有足够的运行来检测效果。您可以在以下位置使用右键单击仿真功能JMP专业版在“能力分析”或“层次贝叶斯”中的MCMC方面进行更深入的研究，以了解每个个体以及他们根据偏好结构与其他个体的区别。
对于科学家和工程师探索数据，约翰有以下指导：“我们是数据世界中的侦探。我们需要学习与不存在的鬼数据配合使用。如果我们不这样做，我们可能效率低下，可能得出错误的结论，或者我们可能错过发现。”
你可以看一个记录约翰的讲话在JMP用户社区中。
