在最近从统计学上讲关于揭开机器学习和人工智能的神秘面纱，著名作家、统计学家和教育家 David Hand 的开幕全体会议为与我们的专家小组成员进行了一些非常有趣的讨论奠定了基础：WL 的统计学家 Cameron Willden 血块; Wildstats Consulting 创始人 Sam Gardner； JMP 高级系统工程师 Jason Wiggins。
在里面上一篇，我们的小组成员回答了我们在直播活动中收到的有关专业知识和培训的问题。在这篇文章中，他们分享了他们对数据和建模问题的看法。第一个问题恰如其分地与暗数据有关，这是 David Hand 最新一本书的名字，暗数据：为什么你不知道的很重要（强烈推荐）。
暗数据的对立面是亮数据。 那不是很稀有吗？
山姆：通常在组织数据科学之旅的早期阶段，他们发现他们有很多暗数据问题。首要要解决的问题是如何得到正确的数据。 真正想要解决问题——并很好地解决它们——的组织将拥有让他们生成和收集“明亮”和良好数据的方法、策略和系统。
JMP 能否仅“拟合”缺失数据，例如，使用支持向量机或 GenReg？ 以某种方式使用缺失数据的结构和现有数据来拟合它——有点像逆拟合？这与“信息缺失”不同。
杰森：我会在“探索缺失值”实用程序中检查多元 SVD 插补和自动数据插补，看看它们是否能满足您的期望。
山姆：和JMP临可以根据数据的相关结构进行多重插补。请参阅联机帮助估算缺失数据和探索缺失值.
我们可以使用什么样的机器学习模型来处理不互斥的多标签数据？
卡梅伦：如果我对你的理解是正确的，你可以简单地通过多个响应来完成。例如，模型可能会处理和成像以将某人分类为年老或年轻，并分别区分为男性和女性。
对过程数据具有高可变性的过程输出进行预测建模的最佳方法是什么？
卡梅伦：克服高可变性的最佳方法是使用大量数据，例如，均值的标准误差在分母中具有样本大小的平方根。
杰森：识别过程变异的来源；投资于持续测量和收集数据。 在您的过程中测量了多少关键过程输入？ 是否足以充分描述输出的变化？ 我参与并领导了旨在理解此类问题的项目。它们可能很棘手，但它们是必要的。建模不是魔术。 你需要好的信息才能成功。 在深入研究深奥的模型之前，我会先在这里投资。
当想要在小数据集上训练一个新模型以便更快地获得回报（省钱）时，有什么好的、实用的技巧可以做到这一点——即使是使用一个不太完美的模型，但它是“够好了。”
卡梅伦：在深度学习领域，迁移学习提供了一种事半功倍的方法。设计实验是获取有关每个数据点关系的更多信息的另一种方法，因为您以最小化冗余信息量的方式规划这些点。也就是说，因子之间的相关性通常很小，因此方差膨胀因子等于或非常接近 1。
杰森：在较小的数据集上训练模型以避免过度拟合时，诸如“留一法”或 k 折交叉验证之类的策略可能很有用。我在使用两种交叉验证策略的小数据集上的惩罚回归模型上取得了成功。当您构建模型时，您多久检查一次实际值与预测值？ 如果您的预测适合做出业务决策，则该模型可能“足够好”。
根据您的经验，您需要应用持续/迭代学习模型与离线/一次性模型来解决问题的时间百分比是多少？各自的优缺点是什么？
卡梅伦：这将因应用领域而有很大差异。 如果我根据领先指标对产品需求建模，我绝对应该期望这些关系会随着时间的推移而发展。 让我的生产模型随着时间的推移而发展和适应将是非常有利的。 如果我根据一堆物理属性对机器输出建模，那么随着时间的推移，这些关系可能会保持稳定，而且我不需要太担心在线学习。 例外情况可能是，如果我希望我的模型的参数估计随着更多数据的输入而随着时间的推移变得更加精确。
当您不在场调查/观看过程时，您可能会错过问题的原因；此外，COVID 使这变得复杂。 作为研究人员/问题解决者/数据科学家，当我们不能“在那里”收集数据时，我们该怎么办？
卡梅伦：好问题，我唯一能真正想说的就是弄清楚如何让收集数据的人参与数据分析。 即使他们没有分析背景，他们也可能能够很好地理解图形分析以参与讨论，并从他们的第一手经验中提出见解，为讨论和解释做出贡献。
杰森：这是困难的一个！是否有可用于查看流程的虚拟工具？ 谁在运行这个过程？ 是否可以训练他们对可以解释数据中出现的问题的过程进行观察？你能做虚拟流程走动吗？
数据的丰富性可能导致数据不偏不倚的虚假安全。在新的反事实数据到来时使用大量有偏见的数据的缓解步骤是什么？
山姆：测试你的模型。始终查看您开发的模型是否仍能很好地预测。确保模型的“支持”（用于构建模型的预测变量的范围）得到很好的理解，并进行检查以查看使用该模型的新情况是否预测超出“支持”范围。当您收集到足够多的新数据时，可以重新训练模型，因此您应该将旧模型与新模型进行比较，看看它们是否做出了相似或不同的预测。
处理 AI/ML 模型需要什么类型的计算机/机器？ 可以在具有充足 RAM 的笔记本电脑上完成吗？
卡梅伦：这真的取决于你在做什么。 并非所有 ML 都是使用包含数百万个参数的庞大数据集和模型完成的。 你的智能手机可能有足够的处理能力来做大量的人工智能/机器学习。 一旦您开始处理大小为数十 GB 的数据集，那么您可能会开始遇到在 PC 上可以执行的操作的限制，即使您正在批量处理数据也是如此。 如果你在做图像或视频的深度学习，那么并行和 GPU 计算就变得非常重要；那时，您可能正在使用组织内的共享计算资源或使用基于云的服务。 Google Colaboratory 是访问用于深度学习的 GPU 计算的一种免费且简单的方法。您也可以付费访问该服务上更高层的 GPU 计算能力。
杰森：您想要使用哪种类型的 ML 模型？你有多少数据？ 我完成的许多建模练习都是在笔记本电脑工作站上进行的：四核处理器、32 GB RAM 等。 我参与了一个缺陷检测项目，我们使用了卷积神经网络从过程中的相机馈送中识别制造缺陷。 我们构建了高端定制游戏 PC 来解决这个问题，并且在我离开该项目之前正在研究服务器部署。 我的笔记本电脑工作站和游戏机之间最大的区别是显卡。 如果您计划进行图像分析和/或 GPU 计算，笔记本电脑显卡可能不够用。 如果速度和内存是个问题，您可能需要使用服务器或研究分布式计算。
对您的职业发展帮助最大的工具/技术（清理、组合、建模或其他）是什么？
卡梅伦：好奇心、尝试困难事物的意愿、找出克服障碍的方法的顽强决心以及边做边学比任何特定的工具和技术都重要得多。 一路上你可以买到你需要的东西。
杰森：前JMP有 Recode 实用程序，我认为对我有帮助的一个工具是利用数组和矩阵进行数据清理。令人惊奇的是，脚本中的一点矩阵数学、矩阵操作和/或逻辑索引可以用来查找和修复数据中的问题。 正则表达式是另一种工具，它在清理/修改文本数据方面对我的职业生涯产生了重大影响。 现在我们有了 Recode，这是我最喜欢的数据清理工具！它支持文本的正则表达式，它可以很容易地发现数字数据中的问题。 由于您可以将结果另存为公式，因此重新编码会自动执行我以前编写的大部分脚本。Explore Outliers 和 Explore Patterns 实用程序也做了很多我过去用脚本处理数据清理的事情。 所有这些都可以节省大量时间！最重要的是，我想说在分析工作流程的所有阶段利用数据即解开数据背后的故事对我的职业生涯产生了最大的影响。
山姆：老实说，制作好的数据图表可能是我能做的最有效的事情。 如果你把它放在一张图片中，它会讲述数据和问题的故事。 第二个最重要的工具是写作：交流分析结果，总结所学知识，并为进一步行动提出建议。 如果你不把它写下来，人们就不会记得或不知道发生了什么。
您如何说服将其过程（操作和控制）建立在机械模型上的化学或制药行业跳入黑盒替代方案？混合方法是第一步吗？
卡梅伦：机械模型是否以某种方式阻碍了他们？ 对我来说，当机械模型触手可及时，它总是更可取。 就像你不需要接受物理教育就可以了解当你扔球时会发生什么一样，计算机可以通过查看大量示例来了解事物的工作原理。 但是，如果您了解所有的物理计算和参数值，则几乎不需要任何数据就可以做出准确的预测。 你越能将情况分解为第一原则，你需要的数据就越少，你也就越不必担心外推。数据驱动模型（我将使用它而不是“黑匣子”）对于解决知识差距或跨复杂性进行近似非常有用。 如果获得 100% 的答案需要几个月的时间，但您现在可以使用数据驱动模型获得 95% 的答案，您会选择什么？ 第一个选项的机会成本是多少（想想你可以用所有额外的时间做什么）？
我们对 Sam 使用的是什么耳机（Plantronics 655 DSP）以及如何获得他的书有疑问。电子书可以直接从SAS出版社和硬拷贝可在亚马逊.第二版正在进行中，应该会在 2021 年面世！
您可以观看本期节目的点播版从统计学上讲并阅读摘抄从科学章节暗数据。能够分类并更好地处理所有暗数据将使您的模型更加有用。 感谢观众提出如此好的问题，感谢 Cameron、Sam 和 Jason 分享他们的更多专业知识！
