利用信息质量 (InfoQ) 和 JMP® (2021-EU-45MP-750) 最大化数据科学成功 Ron Kenett，KPA集团和以色列理工学院塞缪尔·尼曼研究所主席
Christopher Gotwalt，SAS 统计研发部 JMP 总监
数据分析——从设计实验、广义回归到机器学习——正在加速部署。与此同时，对研究结果可重复性和p值解释缺陷的担忧表明，即使是出于好意的统计分析也可能导致错误的结论和糟糕的决策。为了使数据分析项目能够正确实现其目标，必须评估基于现有数据和工具得出结论的范围和强度。这种对统计策略的关注需要一个框架来隔离项目的各个组成部分：目标、数据收集程序、数据属性、提供的分析等等。InfoQ框架提供了进行此类评估的结构化程序。此外，在JMP中操作InfoQ也非常简单。在本演讲中，我们将概述InfoQ，并提供来自消费者研究和制药行业的用例，以说明如何使用JMP进行InfoQ评估，并重点介绍InfoQ水平高和低的情况。我们还将提供一些技巧，展示如何通过增强研究设计来使用JMP来提高信息质量，而无需获取更多数据。本次演讲针对的是统计学家、机器学习专家和数据科学家，他们的工作是将数字转化为信息。
自动生成的成绩单...
| 扬声器 |
抄本 |
| |
你好。 |
| |
我叫 Ron Kenett。 |
| |
与克里斯的联合谈话 |
| |
Gotwalt 和我们基本上 |
| |
有两条消息 |
| |
应该从 |
| |
谈话。一是我们应该 |
| |
真正关心 |
| |
信息和信息 |
| |
质量。人们倾向于谈论 |
| |
关于数据和数据质量，但是 |
| |
数据实际上不是问题。 |
| |
我们是统计学家。我们是 |
| |
数据科学家。我们把数字， |
| |
数据转化为信息， |
| |
我们的目标应该是确保 |
| |
我们生产高质量的 |
| |
信息。另一条消息 |
| |
JMP 可以帮助您 |
| |
实现这一点，这就是 |
| |
实际上是 |
| |
令人惊讶的方式。因此，通过结合 |
| |
Chris 的专业知识和 |
| |
信息介绍 |
| |
质量，我们希望这两个 |
| |
信息将会传达 |
| |
显然。所以如果我必须 |
| |
总结一下我们 |
| |
毕竟， |
| |
一切都与信息有关 |
| |
质量。我曾在 |
| |
在布拉格峰会上四年 |
| |
之前，那次谈话很普通。 |
| |
它谈到了移动 |
| |
从设计开始，品质之旅。 |
| |
我的信息之旅 |
| |
质量。在本次演讲中，我们重点关注 |
| |
关于如何做到这一点 |
| |
JMP。这是一个更详细的 |
| |
和技术讨论比 |
| |
我在布拉格发表的一般性演讲。 |
| |
你可以观看那次演讲。 |
| |
这里有一个链接。你可以 |
| |
在 JMP 社区上找到它。 |
| |
所以我们要讨论 |
| |
信息质量 |
| |
数据集的潜力， |
| |
特定的数据集，实现 |
| |
特定目标，具体目标， |
| |
采用给定的经验方法。 |
| |
所以在这个定义中我们有 |
| |
三个组成部分 |
| |
列出。一个是某些数据 |
| |
集。这是数据。 |
| |
第二个是目标， |
| |
分析的目的是什么 |
| |
这是我们想要实现的目标。 |
| |
第三个问题是我们将如何 |
| |
做那个，也就是说，用什么 |
| |
我们将要生成的方法 |
| |
信息，以及潜在的 |
| |
将与 |
| |
效用函数。我会 |
| |
首先介绍 |
| |
信息质量，然后 |
| |
克里斯将接任， |
| |
讨论案例研究和 |
| |
向你展示如何进行 |
| |
信息质量评估。 |
| |
最终这应该 |
| |
回答 JMP 如何 |
| |
支持 InfoQ， |
| |
将是要点 |
| |
你可以...带走的要点 |
| |
来自谈话。 |
| |
这是我们鼓励 |
| |
我称之为生命周期视图 |
| |
统计。换句话说， |
| |
不仅仅是数据分析。 |
| |
我们应该知道...我们应该成为其中的一部分 |
| |
问题引出 |
| |
阶段。此外，目标 |
| |
制定阶段，值得 |
| |
讨论。我们应该 |
| |
显然参与 |
| |
数据收集方案 |
| |
通过实验或通过 |
| |
调查或通过观察 |
| |
数据。那么我们还应该 |
| |
制定 |
| |
发现，而不仅仅是拉出来 |
| |
打印报告 |
| |
回归系数 |
| |
估计和及其 |
| |
意义重大，但我们应该 |
| |
还讨论了 |
| |
发现？操作化 |
| |
研究结果意味着，好吧，我们能做什么 |
| |
这些发现有什么用？ |
| |
的影响 |
| |
发现？这应该应该…… |
| |
需要传达给 |
| |
用正确的方式找到正确的人， |
| |
最后我们应该做一个 |
| |
影响评估来弄清楚， |
| |
好的，我们做了所有这些； |
| |
增加了我们的价值 |
| |
工作？我谈论了生活 |
| |
你的统计周期是几年 |
| |
之前。这是先决条件， |
| |
视角 |
| |
我要谈论的是。所以我 |
| |
提及的信息 |
| |
品质是 |
| |
特定的数据集来实现 |
| |
使用给定的特定目标 |
| |
实证分析方法。这 |
| |
通过四个来识别 |
| 成分 |
目标、数据、 |
| |
分析方法，以及 |
| |
效用度量。因此，在 |
| |
数学表达式， |
| |
将 f 应用于 x 的效用， |
| |
目标的条件是我们如何 |
| |
识别 InfoQ，信息 |
| |
质量。本文发表于 |
| |
英国皇家统计学会 |
| |
2013 年 A 轮融资，共有 8 人 |
| |
讨论者，因此 |
| |
讨论过。有些人认为 |
| |
这太棒了，有些 |
| |
人们对 |
| |
这个想法，所以这是一个更广泛的 |
| |
范围考虑什么 |
| |
统计是关于。我们也 |
| |
2006年写的，我们见面了 |
| |
和 Galit Shmueli 的一本书，名为 |
| |
信息质量。 |
| |
信息背景 |
| |
我们做到了所谓的 |
| |
解构主义。David Hand 有 |
| |
一篇名为《解构》的论文 |
| |
统计学。这是 |
| |
信息解构 |
| |
质量分为八个维度。我 |
| |
将涵盖这八个维度。 |
| |
这就是我的演讲内容 |
| |
然后克里斯将展示如何 |
| |
在特定情况下实施 |
| |
案例研究。 |
| |
另一个方面涉及 |
| |
这是我的另一本书。 |
| |
这是最近的事，一年前 |
| |
标题为《数据的真正作用》 |
| |
科学和我们谈论什么 |
| |
数据的作用 |
| |
组织中的科学家和 |
| |
在此背景下，我们强调 |
| |
对数据科学家的需求 |
| |
参与这一代 |
| |
信息作为...信息 |
| |
质量满足目标 |
| |
组织。所以让我 |
| |
覆盖八个维度。也就是 |
| |
这就是我的介绍。 |
| |
第一个是数据解析。我们 |
| |
有一个目标。好的，我们会的 |
| |
想知道流感的严重程度 |
| |
因为在该国或在 |
| |
我们居住的地区，因为 |
| |
将影响我们的决定 |
| |
是否去公园 |
| |
我们可以去见人或者 |
| |
去听一场爵士音乐会。 |
| |
音乐会是明天。 |
| |
如果我们查阅 CDC 数据 |
| |
流感的程度，这些数据 |
| |
每周更新，以便我们能够 |
| |
图中的红线 |
| |
摆在你面前，所以我们 |
| |
可以获取几天的数据 |
| |
以前，也许好，也许不好 |
| |
足够我们买黄金了。谷歌流感， |
| |
基于搜索 |
| |
与流感有关，已更新 |
| |
暂时更新 |
| |
在线，它可能会给 |
| |
给我们提供更好的信息。因此对于 |
| |
我们的目标，蓝线， |
| |
谷歌趋势……谷歌流感 |
| |
趋势指标，可能是 |
| |
更合适。第二个 |
| |
维度是数据结构。 |
| |
为了实现我们的目标，我们将 |
| |
看看数据。我们应该……我们 |
| |
应该识别数据来源 |
| |
以及这些数据的结构 |
| |
来源。因此一些数据可能 |
| |
文本，一些可能是视频，一些 |
| |
例如， |
| |
推荐网络。这 |
| |
亚马逊图片是怎样的？ |
| |
你看这本书，你 |
| |
去买一些 |
| |
其他推荐的书籍。如果 |
| |
你去看其他的书， |
| |
你将获得更多数据 |
| |
推荐。因此数据 |
| |
结构可以有多种形式 |
| |
形状和形式，这可以 |
| |
是文本。这可以是功能性的 |
| |
数据。这可以是图像。我们 |
| |
现在不再局限于我们过去 |
| |
调用数据，这就是你 |
| |
在 Excel 电子表格中查找。 |
| |
数据可能已损坏， |
| |
可能有缺失值，可能 |
| |
有不寻常的图案 |
| |
这将是 |
| |
一些值得研究的东西。一些 |
| |
模式，事物所在的地方 |
| |
重复。也许一些数据 |
| |
这只是复制和粘贴，我们 |
| |
希望得到警告 |
| |
这样的选项。第三个 |
| |
维度是数据集成。 |
| |
当我们考虑来自 |
| |
这些不同的来源，我们 |
| |
将它们整合起来，所以我们 |
| |
可以做一些分析链接 |
| |
通过 ID。例如，我们 |
| |
会这么做，但这么做的时候， |
| |
我们可能会制造一些问题，因为 |
| |
例如，在披露数据时 |
| |
通常应该 |
| |
匿名化。数据 |
| |
整合，是的，那将会 |
| |
让我们做奇妙的事情， |
| |
但如果数据被认为 |
| |
有一定的隐私暴露 |
| |
问题，那么可能是质量 |
| |
来自 |
| |
我们将要进行的分析 |
| |
将会是 |
| |
受到影响。因此数据集成 |
| |
应该非常非常仔细地调查 |
| |
小心谨慎。这就是人们 |
| |
可能用来调用 ETL |
| |
提取、转换和加载。我们 |
| |
现在有更好的方法 |
| |
这样做。对于 |
| |
例如，在 JMP 中将提供 |
| |
执行此操作的选项。 |
| |
时间相关性。好的，这是 |
| |
非常清楚。我们有数据。 |
| |
盖章。如果我们要去 |
| |
稍后再进行分析 |
| |
数据收集后， |
| |
如果我们的部署 |
| |
考虑是甚至更晚，那么 |
| |
数据可能不是暂时的 |
| |
相关。在一个共同的 |
| |
情况，如果我们要比较 |
| |
现在发生了什么，我们会 |
| |
喜欢能够做到这一点 |
| |
与最近的数据进行比较或 |
| |
疫情前的数据 |
| |
开始，但不是 10 年 |
| |
早些时候。官方统计数据 |
| |
在健康记录上曾经有两个 |
| |
或落后三年 |
| |
时机，这使得它非常 |
| |
难以使用官方 |
| |
评估中的统计 |
| |
发生了什么事 |
| |
大流行。数据和 |
| |
目标与决策相关 |
| |
这是我们 |
| |
目标。例如，如果我们的 |
| |
目标是预测空气质量， |
| |
我们将使用一些 |
| |
空中预测模型 |
| |
质量指数报告 |
| |
每天。这给了我们一个 |
| |
六个等级从危险到 |
| |
很好。有一些价值观 |
| |
代表着 |
| |
健康问题。0-50 是好的； |
| |
300-500 是危险的， |
| |
数据和目标的时间顺序 |
| |
意味着我们应该能够 |
| |
每日预测 |
| |
基础。所以我们使用的方法 |
| |
应该每天更新 |
| |
基础。另一方面，如果 |
| |
我们的目标是弄清楚 |
| |
这个 AQI 指数计算出来后，我们 |
| |
并不真正受 |
| |
分析的及时性。 |
| |
你知道，我们可以 |
| |
时间。没有紧迫感 |
| |
完成分析 |
| |
日常。普遍性， |
| |
第六维度，大约是 |
| |
采取我们的调查结果并 |
| |
考虑到这可能 |
| |
更普遍地应用， |
| |
其他人群，所有 |
| |
情况。这可以做到 |
| |
直觉上。营销经理 |
| |
看过一项关于 |
| |
市场，我们称之为 A，可能 |
| |
已经了解什么是 |
| |
对市场 B 的影响 |
| |
没有数据。 |
| |
物理学家将能够 |
| |
根据以下因素做出预测 |
| |
第一性原理力学 |
| |
没有没有数据。 |
| |
因此，一些普遍性 |
| |
用数据完成。这是 |
| |
统计基础 |
| |
概括，我们从哪里开始 |
| |
样本到总体。 |
| |
统计推断是关于 |
| |
概括。我们概括 |
| |
从样本到 |
| |
人口。有些可以 |
| |
基于领域，换句话说， |
| |
利用专业知识、领域 |
| |
专业知识，不一定 |
| |
数据。我们必须认识到 |
| |
普遍性不仅仅是 |
| |
用统计方法完成。 |
| |
第七维度是 |
| |
构造操作化， |
| |
这实际上是关于它是什么 |
| |
我们测量的。我们想要 |
| |
评估行为、情绪、什么 |
| |
我们可以测量， |
| |
将为我们提供反映 |
| |
行为或情绪。 |
| |
我在这里给出的例子 |
| |
通常是疼痛。 |
| |
我们知道什么是痛苦。 |
| |
我们测量一下吗？如果你去 |
| |
医院，你问护士， |
| |
你如何评估疼痛，他们 |
| |
会告诉你，我们有一个秤， |
| |
1 到 10。这非常 |
| |
质量不太好 |
| |
我想说，科学。如果我们 |
| |
想要衡量 |
| |
司机体内的酒精含量…… |
| |
这条路，将会很困难 |
| |
测量。所以我们可以测量 |
| |
速度作为替代指标。 |
| |
另一部分 |
| |
操作化是另一个 |
| |
故事结束了。换句话说 |
| |
单词，第一部分， |
| |
构造就是我们测量的， |
| |
这反映了我们的目标。 |
| |
结束...最终的结果是 |
| |
我们有发现，并且我们想要 |
| |
对他们做些什么。我们想要 |
| |
来实现我们的发现。 |
| |
这就是行动 |
| |
操作化即将到来。 |
| |
这取决于你如何处理 |
| |
发现，然后 |
| |
呈现在讲台上。我们 |
| |
用来问三个问题。 |
| |
这些非常重要 |
| |
问题。一旦你 |
| |
做了一些分析，你已经 |
| |
你面前的某个人 |
| |
说，哦，非常感谢， |
| |
你完成了……你，统计学家 |
| |
或者数据科学家。所以这 |
| |
这需要你多走一步， |
| |
让你问你的客户 |
| 这些简单的问题 |
做什么 |
| |
你想实现什么目标？ |
| |
你这样做了，你又将如何 |
| |
知道你是否已经完成 |
| |
那？我们可以帮忙回答，或者 |
| |
至少支持其中一些 |
| |
我们已经回答过的问题。 |
| |
第八维度是 |
| |
沟通。我给你一个 |
| |
一个非常著名的古老例子 |
| |
19 世纪的地图， |
| |
正在展示 |
| |
拿破仑军队从法国到 |
| |
莫斯科到俄罗斯。你看 |
| |
数字是宽度 |
| |
路径表示大小 |
| |
军队，然后继续 |
| |
黑色你看到发生了什么 |
| |
他们正在回来的路上。 |
| |
所以基本上这是一个 |
| |
灾难性的游行。我们我们我们我们 |
| |
可以将这张旧地图与 |
| |
现有的地图，并且有一个 |
| |
JMP 插件，您可以 |
| |
在 JMP 社区上查找 |
| |
用气泡图展示， |
| |
动态气泡图 |
| |
看起来。所以我已经涵盖了 |
| |
很快八个信息 |
| |
质量维度。我的最后一个 |
| |
幻灯片就是我所说的 |
| |
从历史角度来看 |
| |
角度来看，确实有一些 |
| |
与我所说的成比例。 |
| |
我认为我们确实处于 |
| |
信息质量。我们使用 |
| |
关注产品 |
| |
18 世纪的质量， |
| |
17世纪。然后我们搬到了 |
| |
流程质量和服务 |
| |
质量。这是一份简短的备忘录 |
| |
在提出控制图时， |
| |
我认为是 1924 年。 |
| |
然后我们转向管理 |
| |
质量。这是朱兰 |
| |
设计、改进三部曲 |
| |
和控制。六西格玛（定义， |
| |
测量、分析、改进） |
| |
控制过程是 |
| |
朱兰改进过程， |
| |
朱兰是祖父 |
| |
从这个意义上来说，六西格玛。 |
| |
然后在 80 年代，Taguchi 来了 |
| |
在。他谈到了强大的 |
| |
设计。我们该如何处理 |
| |
通过适当的 |
| |
设计决策？现在我们 |
| |
在信息时代 |
| |
质量。我们有传感器。我们 |
| |
拥有灵活的系统。我们 |
| |
取决于人工智能和机器 |
| |
学习和数据挖掘，我们 |
| |
正在聚集大大大大 |
| |
数字，但我们称之为大 |
| |
数据。对信息的兴趣 |
| |
质量应该是首要的 |
| |
兴趣。我会尝试 |
| |
说服你，借助 |
| |
克里斯的那个。 |
| |
我们在这里，JMP 可以 |
| |
帮助我们实现这一目标 |
| |
确实很不寻常。 |
| |
您将在最后看到 |
| |
Chris 将进行的案例研究 |
| |
展示也是如何做的 |
| |
信息质量评估和 |
| |
在一项具体的研究中，基本上 |
| |
产生信息质量 |
| |
得分。所以如果我们从上往下，我 |
| |
可以告诉你这项研究，这个 |
| |
工作，这个分析可能是80%或 |
| |
可能是 30% 也可能是 95%。 |
| |
通过这个例子你将 |
| |
看看怎么做。有一个 |
| |
JMP插件提供此功能 |
| |
评估。这实际上是 |
| |
相当容易。有 |
| |
没什么特别复杂的东西 |
| |
关于这个。所以我完成了， |
| |
克里斯，你先请。谢谢，罗恩。所以 |
| |
现在我要讲一下 |
| |
以某种方式分析数据集 |
| |
明确指出 |
| |
各方面的信息 |
| |
质量，并展示 JMP 如何 |
| |
用于评估改进 |
| |
为 InfoQ 撰稿。首先，我 |
| |
去浏览 InfoQ |
| |
组件。第一篇 InfoQ |
| |
组件是目标，所以在 |
| |
本例中的问题陈述 |
| |
那是一家化学公司吗 |
| |
想要一种配方 |
| |
最大化产品产量，同时 |
| |
尽量减少有害杂质 |
| |
这是由反应产生的。 |
| |
这就是高层次的目标。 |
| |
从统计学角度来说，我们希望 |
| |
找到一个能够准确 |
| |
预测了对数据的响应 |
| |
设置，以便我们可以找到一个 |
| |
成分组合和 |
| |
处理步骤将导致 |
| |
来生产更好的产品。 |
| |
数据设置为 100 |
| |
实验配方 |
| |
一种主要成分 X1，以及 |
| |
10 种添加剂。还有 |
| |
处理因子 13 |
| |
响应。数据是 |
| |
完全捏造，但 |
| |
模拟说明相同 |
| |
的优势和劣势 |
| |
原始数据。数据 |
| |
配方也 |
| |
记录。我们将关注 |
| |
这些数据，所以我想 |
| |
详细说明 |
| |
它们被收集在一个 |
| |
临时的方式，改变一两个 |
| |
添加剂而不是 |
| |
作为设计或随机 |
| |
实验。有很多 |
| |
分析这些数据的方法 |
| |
最典型的是最少的 |
| |
正向平方建模 |
| |
对选定的响应进行选择。 |
| |
这就是我的初衷 |
| |
但当我展示 |
| |
数据给罗恩，他立即 |
| |
识别响应列 |
| |
作为分析的时间序列 |
| |
化学。即使数据 |
| |
被模拟，他可以看到 |
| |
结构。他能看到东西 |
| |
在我没有看到的数据中 |
| |
读到它不是。我发现 |
| |
这是惊人的 |
| |
令人印象深刻。它超越了 |
| |
这次谈话的范围，但 |
| |
更好的方法 |
| |
使用集成建模 |
| |
分数加权 |
| |
引导。Phil Ramsey， |
| |
韦恩·莱文和我还有另一个 |
| |
讨论此方法论 |
| |
欧洲大发现 |
| |
今年的会议。 |
| |
这种方法很有前景，因为它 |
| |
可以使用以下方法将模型与数据进行拟合 |
| |
比更积极的互动 |
| |
有跑垒。第四次也是最后一次 |
| |
信息质量组成部分 |
| |
是效用，也就是我们如何 |
| |
能够评估我们的目标。或者 |
| |
我们如何衡量我们的表现 |
| |
评估我们的目标？有一个 |
| |
领域方面 |
| |
如果我们想要一个 |
| |
公式化导致 |
| |
最大化产量并最小化 |
| |
后处理过程中产生的废弃物 |
| |
材料。统计 |
| |
分析实用程序是指 |
| |
我们适合的模型。我们 |
| |
去那里至少 |
| |
我们的模型的平方准确率 |
| |
就我们能够 |
| |
预测...会发生什么 |
| |
候选人的结果 |
| |
配方的组合...的 |
| |
混合因子。现在我要 |
| |
回答一系列问题 |
| |
构成详细的 InfoQ |
| |
评估组织成 |
| |
信息的八个维度 |
| |
质量。我想指出 |
| |
并非所有问题都会 |
| |
同样相关于不同的 |
| |
数据科学和统计学 |
| |
项目，而这不是 |
| |
旨在成为严格的教条，但 |
| |
而是一系列 |
| |
问问自己是个好主意。 |
| |
这些问题代表了一种 |
| |
数据分析智慧 |
| |
看起来比仅仅 |
| |
特定应用 |
| |
统计技术。副本 |
| |
包含这些内容的电子表格 |
| |
问题以及指向 |
| |
JMP 最强大的功能 |
| |
有助于回答 |
| |
将会上传 |
| |
前往 JMP 社区 |
| |
供大家使用。作为 |
| |
我继续回答这些问题， |
| |
我将演示 |
| |
JMP 中的数据。所以问题 1 |
| 是 |
所用的数据尺度是 |
| |
与既定目标一致吗？那么 |
| |
我们拥有的 X 包括 |
| |
单个分类变量 |
| |
处理和11个连续 |
| |
输入。这些是测量 |
| |
以百分比表示，并且 |
| |
记录到百分之零点五。我们 |
| |
没有总金额 |
| |
成分，只有 |
| |
百分比。总计为 |
| |
信息丢失 |
| |
或者从未被记录下来。 |
| |
其他潜在重要 |
| |
信息 |
| |
这里缺少。 |
| |
配制批次和 |
| |
测量已经消失 |
| |
也可能有其他 |
| |
协变量水平信息 |
| |
这里缺少的是 |
| |
描述的条件 |
| |
发生了反应。 |
| |
没有比我更多的信息 |
| |
我无法形容它有多重要 |
| |
这种协变量信息 |
| |
本来可以。我们确实有 |
| |
当天的信息 |
| |
批次，因此可以用作 |
| |
可能是代孕妈妈。总的来说，我们 |
| |
拥有最 |
| |
重要的投入，以及 |
| |
我们测量的反应 |
| |
希望优化。我们可以 |
| |
有更多信息，但是这个 |
| |
看起来很有希望尝试 |
| |
并进行分析。第二个 |
| |
与数据相关的问题 |
| |
分辨率是可靠性和 |
| |
测量设备非常精确 |
| |
和数据来源。事实上 |
| |
我们没有很多 |
| |
具体信息请点击此处。 |
| |
统计员内部 |
| |
公司将会有更多 |
| |
信息。在这种情况下，我们 |
| |
别无选择，只能相信 |
| |
化学家们制定了 |
| |
很好地记录了混合物。 |
| |
第三个问题与数据有关 |
| 分辨率是 |
是数据 |
| |
适合数据的分析 |
| |
聚合级别？ |
| |
答案是肯定的，假设 |
| |
他们的测量系统是 |
| |
准确且数据 |
| |
足够干净。我们要 |
| |
最终实际上是 |
| |
我们将使用 |
| |
功能数据探索器 |
| |
提取函数主元 |
| |
组件，即数据 |
| |
派生数据 |
| |
聚合。然后我们 |
| |
将会塑造这些 |
| |
功能主成分 |
| |
使用输入变量。所以 |
| |
现在我们来看数据 |
| |
结构维度和 |
| |
我们问的第一个问题是 |
| |
使用的数据与 |
| |
既定目标？我认为 |
| |
答案是肯定的。我们 |
| |
试图最大化 |
| |
产量。我们已经测量了 |
| |
并且输入是 |
| |
记为Xs。第二个数据 |
| |
结构问题是 |
| |
事情真的开始变得 |
| |
对我来说很有趣。所以这是 |
| |
是完整性细节 |
| |
（异常值、缺失值、数据 |
| |
腐败）问题描述和 |
| |
处理得当吗？所以从 |
| |
这里我们可以使用 JMP 来 |
| |
了解异常值在哪里 |
| |
是，制定策略 |
| |
如何处理缺失值 |
| |
观察它们的模式， |
| |
上。所以这就是 |
| |
事情会变得有点 |
| |
更有趣一点。第一个 |
| |
我们要做的是 |
| |
要确定是否有 |
| |
我们 |
| |
需要关注。所以 |
| |
为了做到这一点，我们要 |
| |
进入探索异常值 |
| |
放映厅外的平台 |
| |
菜单。我们将加载 |
| |
响应变量，并且因为 |
| |
这是一个多变量设置， |
| |
我们将使用一项新功能 |
| |
在 JMP Pro 16 中称为“Robust” |
| |
PCA异常值。所以我们看到 |
| |
较大的残差位于那些 |
| |
一种帕累托类型的图。 |
| |
这里有一张快照显示 |
| |
有一些潜在的 |
| |
异常大的观测值。我 |
| |
我不觉得这看起来 |
| |
对我来说太不寻常或太令人担忧。 |
| |
我们可以保存较大的异常值 |
| |
到数据表，然后查看 |
| |
他们在分布中 |
| |
平台以及我们所看到的 |
| |
看起来像正态分布 |
| |
把中间的部分去掉。所以我 |
| |
认为这是 |
| |
来自某种相同 |
| |
人口，什么也没有 |
| |
真的不用担心， |
| |
离群值。所以一旦我们 |
| |
处理异常值 |
| |
我们进入并探索的情况 |
| |
缺失值。所以我们 |
| |
我们首先要做的是 |
| |
将 Y 加载到... |
| |
平台，然后我们 |
| |
使用缺失值 |
| |
快照来查看模式 |
| |
他们是我们失踪的人 |
| |
值。它看起来像 |
| |
缺失值通常出现在 |
| |
水平集群，还有 |
| |
缺失值也相同 |
| |
跨行。所以你可以看到 |
| |
这里有黑色斑点。 |
| |
然后我们将应用 |
| |
自动数据归纳， |
| |
继续前进并保存 |
| |
归纳公式列 |
| |
新中缺失的值 |
| |
使用回归类型的列 |
| |
由开发的算法 |
| |
我的博士生米洛 |
| |
北卡罗来纳州立大学的页面。这样我们就可以玩了 |
| |
稍微转一下，得到一个 |
| |
感觉就像 ADI |
| |
算法正在运行。所以 |
| |
创建了这些公式列 |
| |
正在剥离元素 |
| |
ADI 估算列 |
| |
向量公式列，以及 |
| |
评分归因函数 |
| |
正在计算预期 |
| |
缺失单元格的值 |
| |
非缺失细胞，无论何时 |
| |
它有一个缺失值。而且它 |
| |
只是进行非 |
| |
缺失值。所以你可以看到 207 |
| |
在 YO...Y6 那里。它最初 |
| |
207 但后来我把它改成了 |
| |
失踪了，现在 |
| |
估算为 234。 |
| |
所以我会这样做几次 |
| |
你可以大致看到它是如何 |
| |
工作。所以在这里我要说的是 |
| |
Y7 的值，这就是现在的值。 |
| |
被替换了。如果我们 |
| |
我们添加一行， |
| |
那么所有缺失值都存在 |
| |
最初，列意味着 |
| |
被替换为 |
| |
归咎。如果我去 |
| |
并为一些 |
| |
那些缺失的细胞，它会 |
| |
开始做条件 |
| |
对仍然失踪的人的期望 |
| |
细胞利用信息 |
| |
那是在缺失的那一... |
| |
不缺失的。所以我们的下一个 |
| |
关于数据结构的问题是 |
| |
分析方法 |
| |
适合数据结构吗？ |
| |
所以我们有 11 个混合输入 |
| |
以及一个处理变量 |
| |
分类。这些将会 |
| |
至少输入 |
| |
正方形模型。我们有 |
| |
13 个连续响应和 |
| |
我们可以使用...对它们进行建模 |
| |
单独使用最少 |
| |
正方形。或者我们可以建模 |
| |
功能主体 |
| |
组件。现在有 |
| |
问题。X 是…… |
| |
输入变量尚未 |
| |
完全随机。这非常 |
| |
清楚他们会弄脏 |
| |
周围有一个或多个 |
| |
化合物然后移动 |
| |
到另一个。所以 |
| |
顺序 |
| |
输入变量多种多样 |
| |
有点随意。这是一个 |
| |
明显缺乏随机性，并且 |
| |
这将产生负面影响 |
| |
影响我们的……普遍性 |
| |
以及我们结论的力度。 |
| |
数据集成是第三个 |
| |
InfoQ 维度。这些数据 |
| |
手动输入实验室笔记 |
| |
主要由混合物组成 |
| |
百分比和设备 |
| |
读数。我们只能假设 |
| |
数据已输入 |
| |
正确，并且 X 是 |
| |
与响应正确对齐。 |
| |
如果不是这样，那么 |
| |
模型将存在严重偏差 |
| |
问题和 |
| |
普遍性问题。 |
| |
整合是一个更大的问题 |
| |
观察数据 |
| |
机器中的科学问题 |
| |
学习练习，而不是实验室 |
| |
像这样的实验。虽然 |
| |
这不适用于这里，我会 |
| |
指出隐私和 |
| |
保密问题可能 |
| |
通过建模确定 |
| |
敏感数据部分使用 |
| |
待发布的组件 |
| |
数据。如果结果 |
| |
模型预测，那么 |
| |
应该关注隐私 |
| |
担忧没有得到满足。时间 |
| |
相关性指的是 |
| |
操作时间排序 |
| |
数据收集、分析和 |
| |
部署以及是否存在差距 |
| |
这些阶段之间导致了 |
| |
实用性下降 |
| |
研究中的信息。 |
| |
在这种情况下，我们只能简单地 |
| |
希望材料供应 |
| |
相当一致，并且 |
| |
测试设备 |
| |
相当准确，这是一个 |
| |
目前无法验证的假设 |
| |
点。我们 |
| |
当数据收集时 |
| |
在日级，这意味着 |
| |
没有多少办法 |
| |
我们可以确认是否有时间 |
| |
每天的变化。 |
| |
数据和目标的时间顺序是 |
| |
关于可用性 |
| |
相关变量 |
| |
变量是否 |
| |
数据中不存在或 |
| |
是否正确的信息 |
| |
将在模型 |
| |
已部署。对于预测 |
| |
模型，这与模型有关 |
| |
适合于类似数据 |
| |
当时会出现什么 |
| |
模型将进行评估 |
| |
新数据。这样，我们的数据 |
| |
设置当然没问题。对于 |
| |
然而，建立因果关系 |
| |
我们的情况不太好 |
| |
形状，因为缺乏 |
| |
随机化意味着时间 |
| |
效应和因素效应可能 |
| |
感到困惑，导致偏见 |
| |
在我们的估计中。内生性， |
| |
或者相反的因果关系，可能 |
| |
显然是一个问题，因为 |
| |
温度等变量 |
| |
反应时间显然 |
| |
影响了回应，但 |
| |
未被记录。总体而言， |
| |
还有很多我们不知道的事情 |
| |
关于这个维度 |
| |
信息质量意识。 |
| |
InfoQ 的其余部分 |
| |
评估将 |
| |
取决于类型 |
| |
我们所做的分析。所以在这个 |
| |
我要继续 |
| |
对这些数据进行分析 |
| |
使用功能数据 |
| |
JMP Pro中的Explorer平台 |
| |
这让我能够跨模型 |
| |
同时显示所有列 |
| |
以某种方式基于 |
| |
功能主成分， |
| |
包含最大数量 |
| |
所有这些信息 |
| |
列表示为 |
| |
最有效的格式。 |
| |
我将致力于 |
| |
列的估算版本 |
| |
我之前计算过的 |
| |
演讲。我将 |
| |
指出我将 |
| |
努力寻找 |
| |
实现混合因素 |
| |
尽可能接近 |
| |
最小二乘意义上的理想 |
| |
曲线由 |
| |
从业者最大限度地 |
| |
潜在产品数量 |
| |
可以分批 |
| |
尽量减少 |
| |
杂质 |
| |
现实地认为一批 |
| |
可以容纳。所以我开始 |
| |
通过分析 |
| |
菜单，调出功能 |
| |
数据资源管理器。其行如下 |
| |
函数。我要加载我的 |
| |
估算行，然后我要 |
| |
在我的公式中 |
| |
组件和我的处理 |
| |
作为补充 |
| |
变量。我们有一个 ID |
| |
函数，即批次 ID。在这里我 |
| |
进去。我可以看到函数， |
| |
两者完全叠加， |
| |
我可以看到各个功能。 |
| |
然后我可以加载目标 |
| |
函数，这是理想的。 |
| |
这将改变 |
| |
一旦我 |
| |
开始进入模特行业 |
| |
步骤。这些很漂亮 |
| |
简单的功能，所以我只是 |
| |
用它们来建模 |
| |
B 样条线。 |
| |
然后我要进入我的 |
| |
功能性DOE分析。 |
| |
这将适合模型 |
| |
将输入连接到 |
| |
功能性原则 |
| |
然后连接所有组件 |
| |
通过 |
| |
特征函数来实现 |
| |
我们能够恢复 |
| |
整体功能 |
| |
改变，因为我们正在改变 |
| |
混合因子。 |
| |
功能主成分 |
| |
分析表明 |
| |
有四个维度 |
| |
这些反应的变化 |
| |
函数。要理解什么 |
| |
他们的意思是，让我们继续吧 |
| |
使用 FPC 分析器进行探索。 |
| |
因此请观看此处的窗格 |
| |
我调整了 FPC 1，我们可以看到 |
| |
与此 FPC 相关的 |
| |
峰值高度。FPC2，看起来 |
| |
就像是一座山峰 |
| |
狭窄。这几乎就像一个 |
| |
决议原则 |
| |
组件。第三个是 |
| |
与膝盖有关 |
| |
主峰的左侧。 |
| |
而 4 号山峰看起来 |
| |
主要与 |
| |
杂质，所以这就是 |
| |
潜在含义是 |
| |
这四个功能 |
| |
主要成分。 |
| |
因此，我们确定了我们的目标 |
| |
最大化产品和 |
| |
尽量减少杂质，以及 |
| |
我们已经将这一情况传达给了 |
| |
通过这个理想或 |
| |
我们提供的黄金曲线 |
| |
FDE 的起源 |
| |
我们正在做的练习。为了尽可能 |
| |
尽可能接近理想 |
| |
曲线，我们转向可取性 |
| |
函数。然后我们就可以 |
| |
并最大化愿望。 |
| |
我们发现最佳 |
| |
输入的组合是 |
| |
4.5% |
| |
成分四，2% |
| |
成分 6. 2.2% |
| |
成分 8 和 1.24% |
| |
成分 9 使用加工 |
| |
方法二。让我们回顾一下 |
| |
我们已经到了这里。我们首先 |
| |
计算缺失的响应 |
| |
列。然后我们发现 B 样条 |
| |
适合这些功能的模型 |
| |
在 FDE 平台上表现良好。 |
| |
功能主成分 |
| |
分析确定 |
| |
有四个特征函数 |
| |
表征变化 |
| |
这些数据。这四个 |
| |
确定了本征函数 |
| |
通过FPC分析器对每个 |
| |
有一个合理的主题 |
| |
物质意义。功能 |
| |
DOE分析包括 |
| |
应用向前修剪 |
| |
选择每一个 |
| |
个人 FPC 评分使用 |
| |
DOE 因素作为输入变量。 |
| |
我们在这里看到这些 |
| |
发现了 |
| |
相互作用和主效应 |
| |
最能预测 |
| |
每个功能主体 |
| |
各部分单独得分。 |
| |
功能性 DOE 轮廓仪 |
| |
优雅地捕捉到了所有 |
| |
多个方面整合为一个表述 |
| |
这使我们能够找到 |
| |
配方加工步骤 |
| |
预计会有理想的 |
| |
性能通过高 |
| |
产量高、杂质少。 |
| |
所以现在我们可以做一个 InfoQ |
| |
评估 |
| |
数据的普遍性 |
| |
分析。所以在这种情况下， |
| |
我们更感兴趣的是 |
| |
科学的普遍性， |
| |
实验者是一个深刻的 |
| |
知识渊博的化学家工作 |
| |
有了这种化合物。所以我们 |
| |
将更多地依赖 |
| |
他们的专业知识 |
| |
然后根据统计原理 |
| |
以及假设检验等工具 |
| |
等等。目标是 |
| |
主要具有预测性，但 |
| |
普遍性是一种 |
| |
有问题，因为 |
| |
实验没有经过设计。我们的 |
| |
估计相互作用的能力 |
| |
被削弱的技术如下 |
| |
前向选择和不可能 |
| |
通过最小二乘分析 |
| |
完整模型。因为 |
| |
研究不是随机的， |
| |
可能是未记录的时间 |
| |
顺序效应。我们没有 |
| |
潜在重要的协变量 |
| |
温度等信息 |
| |
反应时间。这会产生 |
| |
又一个大问号 |
| |
关于普遍性。 |
| |
重复性和 |
| |
研究的可重复性 |
| |
这里还有一个未知数，正如我们 |
| |
没有关于 |
| |
变异性 |
| |
测量系统。幸运的是， |
| |
我们确实有像 JMP 这样的工具 |
| |
评估设计以了解 |
| |
现有的设计以及 |
| |
增强设计可以大大 |
| |
增强概括性 |
| |
分析的表现。 |
| |
Augment 可以改善信息 |
| |
关于主要影响和 |
| |
互动，以及第二轮 |
| |
实验可能是 |
| |
随机也增强 |
| |
普遍性。所以现在我 |
| |
将会经历一些 |
| |
简单的步骤来展示如何 |
| |
提高泛化能力 |
| |
我们的研究使用 |
| |
JMP 中的设计工具。在我 |
| |
这样做，我想指出 |
| |
我必须获取数据并 |
| |
将其转换为 |
| |
比例而不是 |
| |
百分比。否则设计 |
| |
工具并没有真正达成一致 |
| |
数据处理得很好。所以我们 |
| |
进入评估设计器 |
| |
然后我们加载 Y 和 |
| |
我们的 Xs。我请求能够 |
| |
处理二阶相互作用。 |
| |
然后...是的，我收到了这个警报 |
| |
说，嘿，我做不到 |
| |
因为我们无法 |
| |
估计所有相互作用 |
| |
一次只考虑一个因素 |
| |
我们拥有的数据。所以我支持 |
| |
起来。我们去增强 |
| |
设计师，加载所有东西， |
| |
设置增强。我们会选择，然后我- |
| |
最佳设计，因为我们 |
| |
真正关心 |
| |
预测此处的表现。 |
| |
我 |
| |
将运行次数设置为 148。 |
| |
定制设计师要求 |
| |
141 至少，但我去了 |
| |
148 只是为了确保 |
| |
我们有能力 |
| |
估计我们所有的互动 |
| |
相当好。之后， |
| |
大约需要 20 秒 |
| |
构建设计。现在 |
| |
我们有设计，我 |
| |
将会展示两个最 |
| |
重要的诊断工具 |
| |
增强设计师 |
| |
评估设计。在 |
| |
剩下的，我们有 |
| |
设计空间图。这是 |
| |
显示 50% 的音量 |
| |
设计有 |
| |
预测方差为 |
| |
小于 1。所以 1 是 |
| |
相当于残差 |
| |
错误。所以我们能够得到 |
| |
优于测量误差 |
| |
质量预测 |
| |
大部分的设计。在 |
| |
我们有颜色图 |
| |
相关性。这表明 |
| |
我们能够估计 |
| |
一切都很好。有 |
| |
有些……因为混合 |
| |
约束，我们得到了一些 |
| |
之间的强相关性 |
| |
相互作用和主要影响。 |
| |
总体来说，效果相当 |
| |
干净。而且交互 |
| |
与一个完全分离 |
| |
另一个，以及主要影响 |
| |
与 |
| |
彼此也一样。之后 |
| |
看看设计 |
| |
诊断，我们可以 |
| |
表格。在这里，我展示了 |
| |
前 13 次增强跑 |
| |
我们看到我们已经得到了...我们 |
| |
有更多的随机性。我们没有 |
| |
具有相同的主要效果 |
| |
一遍又一遍地条纹。 |
| |
这是更好的证据 |
| |
随机化和总体 |
| |
设计将能够 |
| |
更好地估计主要 |
| |
效果和相互作用 |
| |
获得更好、更高质量的 |
| |
第二阶段的信息 |
| |
实验。因此输入 |
| |
变量 X 是准确的 |
| |
混合物的表示 |
| |
比例，所以这是一个明确的 |
| |
客观利益。 |
| |
回应是接近的替代品 |
| |
产品数量 |
| |
以及其中的杂质含量 |
| |
批次。我们非常擅长 |
| |
7.1. 理由 |
| |
很清楚。经过研究，我们 |
| |
当然可以去准备一个 |
| |
批次即配方 |
| |
这是 FDOE 推荐的 |
| |
分析器。尝试一下，看看是否 |
| |
我们得到的是 |
| |
我们所期待的表现 |
| |
很明显 |
| |
就是我们可以 |
| |
评估我们取得的成就 |
| |
我们的学习目标。所以现在 |
| |
InfoQ 的最后一个维度 |
| |
沟通。通过描述 |
| |
理想曲线作为目标 |
| |
功能，功能性 DOE |
| |
Profiler 制定目标，并且 |
| |
分析结果晶体 |
| |
清楚。但这可以表达 |
| |
很容易 |
| |
由化学家解释 |
| |
研发机构的经理。 |
| |
正如我们所做的详细 |
| |
信息质量评估， |
| |
我们已经坦诚 |
| |
的优势和劣势 |
| |
研究设计和数据 |
| |
集合。如果结果确实 |
| |
不一概而论，我们当然 |
| |
知道在哪里寻找 |
| |
问题。一旦你成为 |
| |
熟悉这些概念， |
| |
有一个很好的插件 |
| |
由 Ian Cox 撰写，您可以使用 |
| |
做一个快速量化的 InfoQ |
| |
评估。该插件具有 |
| |
上下滑块 |
| |
每个 InfoQ 维度的界限。 |
| |
这些维度被组合起来 |
| |
使用意愿函数 |
| |
总体间隔的方法 |
| |
请参阅左侧的 InfoQ。 |
| |
以下是对 |
| |
我所涵盖的数据和分析 |
| |
此演示文稿。该插件是 |
| |
也是一个有用的思维工具 |
| |
会让你考虑每一个 |
| |
InfoQ 维度。它也是一个 |
| |
实用的沟通方式 |
| |
InfoQ 评估 |
| |
客户或管理层 |
| |
它提供了 |
| |
信息质量无 |
| |
使用大量技术 |
| |
概念和术语。插件 |
| |
也可用作 |
| |
InfoQ 的比较。我的 |
| |
最初的希望是 |
| |
演示有点 |
| |
更有野心。我曾希望 |
| |
涵盖我所做的分析 |
| |
刚刚经历，以及 |
| |
另一个更简单的，我跳过 |
| |
输入答案并执行 |
| |
简单的多元线性 |
| |
响应的回归模型 |
| |
专栏。今天，我只能 |
| |
对此做出最终评估 |
| |
方法。正如你所见， |
| |
InfoQ 的一些 |
| |
尺寸受到很大影响 |
| |
无需更复杂的 |
| |
分析。很明显的是 |
| |
简单的分析可以得出 |
| |
InfoQ 得分低得多。 |
| |
简单 |
| |
分析并没有那么高 |
| |
比下限更多 |
| |
精致的。 |
| |
经验，你将获得 |
| |
关于什么是好的 InfoQ |
| |
分数是针对数据科学的 |
| |
您所在行业的项目以及 |
| |
养成更好的习惯 |
| |
将不再对 |
| |
信息瓶颈 |
| |
数据收集、分析和 |
| |
模型部署。信息 |
| |
高品质且易于使用 |
| |
界面。这是我的第一个 |
| |
正式信息质量 |
| |
评估。就我个人而言， |
| |
信息质量 |
| |
框架给出了词语和 |
| |
我做很多事情的结构 |
| |
本能地已经知道了。 |
| |
已经改变了我 |
| |
方法新数据分析 |
| |
项目。我鼓励你去 |
| |
亲自完成这个过程 |
| |
您自己的数据，即使该数据 |
| |
并且分析已经非常 |
| |
对你来说很熟悉。我保证 |
| |
你会变得更聪明， |
| |
更高效的数据科学家 |
| |
因为它。谢谢。 |
高级统计建模基础数据分析与建模消费者和市场研究内容组织实验设计预测模型和机器学习质量与工艺工程可靠性分析
