Building predictive models from data tables? Watch out for these 10 villains. Image courtesy of prettysleepy on Pixaby.Building predictive models from data tables? Watch out for these 10 villains. Image courtesy of prettysleepy on Pixaby.Building predictive models from data tables? Watch out for these 10 villains. Image courtesy of prettysleepy on Pixaby.Building predictive models from data tables? Watch out for these 10 villains. Image courtesy of prettysleepy on Pixaby.从数据表构建预测模型？ 小心这10个恶棍。 图片由 Pixaby 上的 Prettysleepy 提供。
我一直沉浸在数据科学竞赛的世界中，在盲态测试中的预测表现会将你和你的队友排在排行榜上，并赢得奖品和街头信誉。 为了在这些比赛中取得成功，你必须非常高效和聪明地利用你的时间，因为一路上你可以做出数百个小决定和不同的方向。如果你搞砸了或者浪费了时间，就会有人超越你。 有时，甚至感觉有危险故意绊倒你。 听起来有点像现实生活，不是吗？
对于我学到的每一次良好的实践和对数据的熟练运用，我可能犯的错误数量是这个数字的十倍。 随着时间的推移，我列出了 10 种需要不断警惕和应对的危险。 正如我所描述的以前的帖子，数据永远不会干净地来到我们面前，而这些麻烦总是潜伏着。 虽然该列表重点关注表格数据，但许多问题也适用于图像、文本和其他类型的结构数据。
这些危险是如此真实和普遍，以至于它们可以呈现出自己邪恶的性格，事实上，为了好玩，我将每一个危险都与一个超级恶棍联系在一起。 在下表中，看看您是否能想象出这些作恶者在您的数据表上巧妙地体现了他们的危险。
危险
|
超级反派
|
问题
|
答案
|
联合管理计划平台
|
1.形状不当
|
魔形女，来自诱人的欺骗性变形者X战警
|
A。桌子是否宽、不高或堆叠？
b.行是否对应于要训练和/或预测的不同观察结果，列是否对应于目标和特征？
|
1.目视检查
2. 根据需要执行数据操作和重塑
|
转置、拆分、堆叠、连接、更新
|
2. 错误的价值观
|
小丑从蝙蝠侠，总是想对你恶作剧
|
A。数据值是否正确？
b.可能是什么导致了错误？
|
1.目视扫描
2. 单变量、双变量、多变量图和统计数据
3.必要时检查和验证原始数据来源
|
分布、图形生成器、多元
|
3. 缺失值
|
伏地魔从哈利·波特，连名字都不能提的人可以神秘地删除应该存在的值
|
A。值是随机缺失的，还是存在系统模式？
b.缺失值模式是否具有预测性？
|
1.认真研究缺失程度和模式；根据需要设计新功能
2. 创建缺失值指标并检查它们是否与响应相关
3. 注意：梯度提升树通常不需要插补
|
分析 > 屏幕 > 探索缺失值、列 > 重新编码、图形生成器
|
4. 无效的预测变量
|
伯恩斯先生从辛普森一家，自私地策划和密谋，让你的生活变得悲惨
|
A。是否有任何列不可行或不适合用于未来预测？
b.所有潜在的预测因素在科学和伦理上都有意义吗？
|
1. 浏览所有栏并理解每一栏的含义
2. 删除无效列或将它们移动到表的开头或结尾，这样以后就不会选择它们
|
列 > 删除、列 > 重新排序、在左侧面板中用鼠标移动列
|
5. 高基数
|
万磁王从X战警，控制任何含有金属的物体，并且可以同时向你扔很多碎片
|
A。哪些分类预测变量具有较高的级别？
b.什么样的数字编码才有意义？
C。低频类别是否应该折叠？
|
1、检查数量和频率
级别数
2. 根据需要重新编码级别
3. 计算数字编码，如果使用目标信息，请特别小心，以避免过度拟合
|
分布、列 > 重新编码
|
6. 异常值和异常值
|
带翅膀的猴子从绿野仙踪，不断地内外飞行，执行着邪恶女巫的邪恶命令
|
A。极值是否在合理范围内？
b.是否有任何值意外地重复得太频繁？
|
1. 检查直方图和分位数
2. 验证异常值是否正确
3. 使用对数变换来评估真正偏斜的连续分布
4. 马氏距离
|
分布、多变量、分析 > 筛选 > 探索异常值
|
7. 重复数据
|
暹罗猫从女士和流浪汉，带着双重邪恶的意图和一首令人恼火的朗朗上口的歌曲
|
A。是否有任何行或列意外重复？
b.是否有任何列同构？
C。每行的 ID 值是否唯一？
|
1.目视扫描
2. 双向聚类散点图矩阵
|
摘要、排序、聚类（针对行）、多元（针对列）
|
8. 反应不平衡
|
赫特人贾巴从星球大战，很乐意用他那恶心的鲸脂压扁你、粘你
|
A。是什么样的回应？
b.对于二元或名义，比例是否代表您想要预测的总体？
C。对于连续的，它的分布有意义吗？
|
1. 检查响应分布
2.考虑加权、过采样、欠采样；可以取决于所需的性能指标
|
分布、列 > 新列以创建权重变量
|
9. 训练与测试的不一致
|
索伦之眼从指环王，一直看着你发现你内心最矛盾并利用它们
|
A。在训练、验证和测试分组中，响应和预测变量的分布是否相似？
b.未来的测试集是否会留在范围内，或者是否确实需要进行推断？
|
1.新建一个变量，表示分裂；然后用它来动态探索分布
2. 使用低维投影来比较子集的结构
|
通过 X 拟合 Y，其中 Y 是所有变量，X 是分割指标，为名义变量创建马赛克图，为连续变量创建经验累积分布比较，多变量
|
10. 数据泄露
|
乌苏拉从小美人鱼，可以用她漆黑的墨水完全让你失明，并将其泄漏到不想要的地方
|
A。训练、验证和测试分割中是否有任何功能不恰当地使用了响应中的信息？
b. ID 列是否具有预测性？
|
1. 寻找意想不到的关系以及任何可能表明某个功能存在漏洞的线索
2. 设计具有简单功能的新功能，以进一步检查泄漏
|
通过 X 拟合 Y、图形生成器、多元、聚类、选择列 > 右键单击 > 新建公式列
|
我们到底如何才能有效地处理这些麻烦的问题根源，尤其是当它们一起密谋而我们没有足够的时间来编写和调试自定义代码时？ 最后一列包含联合管理计划我每天用来处理这些问题的例程——这是我的秘密、不可或缺的武器。灵感来自一位著名人物小超级英雄从 20 世纪 50 年代开始，Apple MacIntosh 永远改变游戏规则的用户界面，联合管理计划30 年来，在由鼠标驱动的统计和图形超紧密集成的主要指导思想下，我们一直在稳步改进。
