Building predictive models from data tables? Watch out for these 10 villains. Image courtesy of prettysleepy on Pixaby.从数据表构建预测模型？ 当心这10个恶棍。 图片由 Pixaby 上的 Prettysleepy 提供。
我一直沉浸在数据科学竞赛的世界中，在这些竞赛中，在盲目坚持的情况下，你和你的队友的预测表现将你和你的队友排在排行榜上，并获得奖品和街头信誉。 为了在这些比赛中取得成功，你必须非常高效和聪明地利用你的时间，因为在此过程中你可以做出数百个小决定和不同的方向。如果你搞砸或浪费时间，有人会超过你。 有时，甚至感觉有危险故意试图绊倒你。 听起来有点像现实生活，不是吗？
对于我学到的每一个良好的实践和熟练的数据，我可能犯了 10 倍的错误。 随着时间的推移，我收集了一份清单，列出了 10 种需要不断提防和应对的危险。 正如我在以前的帖子，数据永远不会干净，而这些麻烦总是潜伏着。 虽然该列表侧重于表格数据，但许多问题都存在于图像、文本和其他类型的结构数据中。
这些危险是如此真实和普遍，以至于他们可以扮演自己的邪恶角色，事实上，为了好玩，我将每个人都与一个超级恶棍联系在一起。 在下表中，看看您是否可以在您的数据表中描绘这些邪恶的人在他们的危险中狡猾地拟人化。
危险
|
超级反派
|
问题
|
答案
|
JMP平台
|
1. 形状不当
|
神秘主义，来自X战警
|
一个。桌子是宽的、不高的或堆叠的吗？
湾。行是否对应于要训练和/或预测的不同观察，以及目标和特征的列？
|
1. 目视检查
2. 根据需要执行数据操作和重塑
|
转置、拆分、堆叠、连接、更新
|
2. 不正确的值
|
小丑从蝙蝠侠, 总是想对你玩坏把戏
|
一个。数据值是否正确？
湾。什么可能导致错误？
|
1. 视觉扫描
2. 单变量、双变量、多变量图和统计
3. 必要时检查和验证原始数据源
|
分布、图形生成器、多变量
|
3. 缺失值
|
伏地魔从哈利波特, 不能命名的人可以神秘地删除应该存在的价值观
|
一个。是随机缺失值，还是存在系统模式？
湾。缺失值模式是否具有预测性？
|
1. 仔细研究缺失的程度和模式；根据需要设计新功能
2. 创建缺失值指标并检查它们是否与响应相关
3. 注意：梯度提升树通常不需要插补
|
分析 > 屏幕 > 探索缺失值、列 > 重新编码、图形生成器
|
4. 无效的预测器
|
伯恩斯先生从辛普森一家, 自私地策划和策划使你的生活变得悲惨
|
一个。是否有任何列不可行或不适合用于未来的预测？
湾。所有潜在的预测因素在科学和伦理上都有意义吗？
|
1. 浏览所有栏目，了解每一栏的含义
2.要么删除无效列，要么将它们移动到表的开头或结尾，这样以后就不会被选中
|
Cols > Delete, Cols > Reorder, 在左侧面板中用鼠标移动列
|
5. 高基数
|
万磁王从X战警，控制任何含有金属的东西，可以一次向你扔很多东西
|
一个。哪些分类预测变量具有大量级别？
湾。什么样的数字编码有意义？
C。低频类别应该折叠吗？
|
1.检查次数和频率
级别数
2. 酌情重新编码级别
3. 计算数值编码，如果他们使用目标信息要特别小心以避免过拟合
|
分布，列 > 重新编码
|
6. 内点和异常点
|
有翅膀的猴子从绿野仙踪，不断地内外飞舞，执行着邪女巫的邪恶命令
|
一个。极端值是否在合理范围内？
湾。是否有任何值意外重复太频繁？
|
1. 检查直方图和分位数
2.验证异常值是否正确
3. 使用对数变换来评估真正偏斜的连续分布
4. 马氏距离
|
分布、多变量、分析 > 筛选 > 探索异常值
|
7. 重复数据
|
暹罗猫从女士和流浪汉，带着双重邪恶的意图和一首令人讨厌的朗朗上口的歌曲
|
一个。是否有任何行或列意外重复？
湾。任何列是否同构？
C。每行的 ID 值是否唯一？
|
1. 视觉扫描
2. 双向聚类散点图矩阵
|
摘要、排序、聚类（用于行）、多变量（用于列）
|
8. 反应失衡
|
赫特人贾巴从星球大战，很高兴在他令人作呕的鲸脂下压扁你
|
一个。这是一种什么样的反应？
湾。对于二元或名义，比例是否代表您要预测的总体？
C。对于连续，它的分布有意义吗？
|
1. 检查响应分布
2.考虑加权、过采样、欠采样；可以取决于所需的性能指标
|
Distribution, Cols > New Columns 以创建权重变量
|
9. 训练-测试不一致
|
索伦之眼从指环王，一直看着你发现你内心的矛盾并加以利用
|
一个。响应和预测变量在训练、验证和测试拆分中的分布是否相似？
湾。未来的测试集会保持在范围内，还是真的需要外推？
|
1.创建一个新的变量表示拆分；然后用它来动态探索分布
2.使用低维投影来比较子集的结构
|
用 X 拟合 Y，其中 Y 是所有变量，X 是拆分指标，为名义变量创建马赛克图，为连续变量创建经验累积分布比较，多变量
|
10. 数据泄露
|
乌苏拉从小美人鱼，可以用她乌黑的墨水完全弄瞎你，把它漏到不受欢迎的地方
|
一个。训练、验证和测试拆分中的任何功能是否不恰当地使用来自响应的信息？
湾。 ID 列是否具有预测性？
|
1. 寻找意料之外的关系以及任何可能表明某个功能有漏洞的线索
2. 设计具有简单功能的新功能，以进一步检查泄漏
|
用 X 拟合 Y、图形生成器、多变量、聚类、选择列 > 右键单击 > 新建公式列
|
我们到底如何才能有效地处理这些麻烦的问题起因，尤其是当他们合谋而我们没有足够的时间编写和调试自定义代码时？ 最后一列包含JMP我每天用来处理它们的例程——这是我的秘密，不可或缺的武器。灵感来自著名的小超级英雄从 1950 年代和 Apple MacIntosh 永远改变游戏规则的用户界面开始， JMP在鼠标驱动的统计和图形超紧密集成的主要指导理念下，30年来一直在稳步改进。
