您想了解有关 Python 和 JMP 集成的更多信息。首先,如果您还没有看过相关视频,请先观看相关视频,确保您已经跟上进度。
一组 JMP SE 开发了一系列博客,展示了 JMP 和 Python 可以轻松集成以处理日常任务,例如清理数据以及更高级的分析和建模。特别感谢 Yasmine Hajar ( @yasmine_hajar ) 和 Wendy Tseng ( @wendytseng ) 对视频和博客中使用的 Python 编码提供的帮助。
在视频中,我们展示了如何仅使用鼠标和眼睛找到潜在的异常值,然后将其从数据表中删除。您还将学习如何分析缺失值,并在必要时将值作为替代值来查看数据是否缺失时的结果分析。
JMP 和 Python 已经相辅相成好几年了,随着 JMP 18 的发布,将 Python 分析与 JMP 中出色的数据可视化集成起来变得更加容易。然而,我在这里非常有偏见,JMP 中的数据清理比 Python 中的数据清理容易得多,原因很简单:编码。
例如,使用 JMP,您可以在单变量模式下在“分布”平台中直观地扫描异常值,也可以在多变量模式下在“多变量”平台中直观地扫描异常值。使用“模型驱动多元控制图”平台,可以扫描所有感兴趣的数据的 Hoteling T2 异常值,但我们将留到下次再讲。同样,请观看随附的视频,了解所有这些功能的实际应用。
与此同时,这里列出了 Python 中的一些数据清理选项:
- 从文本数据中提取特定模式,例如电子邮件地址、电话号码或日期。
- 从文本数据中删除不需要的字符或子字符串。
- 用新值替换特定模式或子字符串。
- 通过将所有字符转换为小写或大写来标准化文本数据。
- 根据文本数据识别并删除重复项。
- 将列重命名为更易于识别的标签。
- 删除 DataFrame 中不必要的列。
- 更改 DataFrame 的索引。
前五个选项可以通过 JMP 的重新编码选项快速完成。此外,使用 Cols 菜单下拉菜单下的 Column Names 选项,只需单击几下即可重命名列。
删除数据表里不必要的列很简单,只需选择感兴趣的列,然后右键单击任意选定的列标题并选择删除列即可。
在查找缺失值和填补缺失数据方面,JMP 处于领先地位。在 JMP 中查找和隔离异常值也很简单,如下所示。
下面是打开 JMP 表并探索异常值和缺失值的 Python 代码。下面是数据框的图像以及异常值和缺失值的部分输出。请注意,Python 中的异常值是使用绝对值大于 3 的 Z 分数确定的。根据此标准,Python 几乎为数据表中的每一列都找到了异常值。




要在 JMP 中解析异常值,请按照此示例操作,该示例使用 JMP 样本数据索引中的 Arrythmia.jmp。转到分析 > 筛选 > 探索异常值。




您可以确定哪些数据是真正的异常值,只需单击几下即可轻松重新计算异常值范围。JMP 建议您永远不要从数据集中完全删除数据,因为可能会有审计线索。您始终可以在 JMP 中隐藏和排除数据,以将其排除在分析之外,而无需将其从数据集中删除。在 Python 中隐藏数据需要更多编码,并且很可能意味着任何人都看不到数据。
要在 JMP 中探索缺失值,请打开数据表,转到分析 > 筛选 > 探索缺失值。