https://www.jmp.com/en_us/whitepapers/book-chapters/infoq-support-with-jmp.html
级别：中级
KPA集团主席Ron Kenett和Technion的Samuel Neaman Instiute
SAS统计研发JMP总监Christopher Gotwalt
数据分析-从设计的实验，广义回归到机器学习-的部署速度正在加快。 同时，对结果可重复性和错误的p值解释的关注表明，良好的统计分析可能会导致错误的结论和错误的决定。 为了使数据分析项目正确地实现其目标，必须评估从可用数据和工具得出的结论的范围和强度。 这种对统计策略的关注需要一个框架来隔离项目的各个组成部分：目标，数据收集过程，数据属性，提供的分析等。 InfoQ框架提供了进行此评估的结构化程序。 而且，在JMP中易于操作InfoQ。 在此演示文稿中，我们提供了InfoQ的概述以及来自消费者研究和制药生产的用例研究，以说明如何使用JMP进行InfoQ评估，并重点介绍了InfoQ的高低情况。 我们还将提供一些技巧，展示如何通过增强的研究设计而不必获取更多数据就可以使用JMP来提高信息质量。 这次演讲的对象是统计学家，机器学习专家和数据科学家，他们的工作是将数字转化为信息。
自动产生的笔录...
扬声器
|
成绩单
|
| |
你好。 |
| |
我叫罗恩·肯尼特（Ron Kenett）。 这 |
| |
是和克里斯的联合谈话 |
| |
Gotwalt，我们基本上 |
| |
有两条消息 |
| |
那应该从 |
| |
讲话。一是我们应该 |
| |
真的很在意 |
| |
信息和信息 |
| |
质量。人们倾向于说话 |
| |
关于数据和数据质量，但是 |
| |
数据确实不是问题。 |
| |
我们是统计学家。 我们是 |
| |
数据科学家。 我们把数字 |
| |
将数据转化为信息，以便 |
| |
我们的目标应该是确保 |
| |
我们产生高质量 |
| |
信息。 另一则讯息 |
| |
是JMP可以帮助您 |
| |
实现这一目标，这就是 |
| |
实际结果是 |
| |
令人惊讶的方式。 所以结合 |
| |
克里斯的专业知识和 |
| |
信息介绍 |
| |
质量，我们希望这两个 |
| |
消息会出现 |
| |
清楚地。所以如果我必须 |
| |
总结一下我们是什么 |
| |
毕竟想谈论 |
| |
一切都与信息有关 |
| |
质量。我在 |
| |
在四年的布拉格峰会上 |
| |
以前，那个话题很笼统。 |
| |
它谈到了移动 |
| |
从设计到质量的旅程。 |
| |
我的旅行过程中的信息 |
| |
质量。在本次演讲中，我们重点介绍 |
| |
关于如何做到这一点 |
| |
JMP。 这是更详细的 |
| |
和技术谈话比 |
| |
我在布拉格进行的一般性演讲。 |
| |
你可以看那个谈话。 |
| |
这里有一个链接。 你可以 |
| |
在JMP社区中找到它。 |
| |
所以我们要谈论 |
| |
信息质量 |
| |
数据集的潜力 |
| |
具体的数据集，以实现 |
| |
特定目标，特定目标， |
| |
用给定的经验方法。 |
| |
所以在这个定义中 |
| |
三个组成部分是 |
| |
列出。一是一定的数据 |
| |
放。这是数据。 这 |
| |
第二个是目标， |
| |
分析的目的是什么 |
| |
这是我们想要实现的。 |
| |
第三个是我们将如何 |
| |
用什么来做到这一点 |
| |
我们将要生成的方法 |
| |
信息，那潜力 |
| |
将与评估 |
| |
实用功能。 我会的 |
| |
首先介绍 |
| |
信息质量，然后 |
| |
克里斯将接任， |
| |
讨论案例研究，并 |
| |
告诉你如何进行 |
| |
信息质量评估。 |
| |
最终这应该 |
| |
回答JMP的问题 |
| |
支持InfoQ |
| |
是要点 |
| |
你可以...带走点 |
| |
从谈话中。 的设置 |
| |
这是我们我们鼓励的 |
| |
我所说的生命周期视图 |
| |
统计。 换一种说法， |
| |
不只是数据分析。 |
| |
我们应该知道...我们应该参与其中 |
| |
问题引发 |
| |
阶段。另外，目标 |
| |
制定阶段，值得 |
| |
讨论。 我们应该 |
| |
显然参与了 |
| |
数据收集方案（如果有） |
| |
通过实验或通过 |
| |
调查或通过观察 |
| |
数据。那我们也应该 |
| |
制定时间 |
| |
发现，而不仅仅是退出 |
| |
的印刷报告 |
| |
回归系数 |
| |
估计值及其 |
| |
意义，但我们应该 |
| |
还讨论什么是 |
| |
发现？ 的运营 |
| |
发现的意思，好的，我们能做什么 |
| |
这些发现如何？ 什么是 |
| |
的含义 |
| |
发现？ 这应该... |
| |
需要传达给 |
| |
正确的人，正确的方式， |
| |
最终我们应该做一个 |
| |
影响评估以找出， |
| |
好，我们做了所有这些；有什么 |
| |
是我们的附加值 |
| |
工作？ 我谈到生活 |
| |
您的统计周期数年 |
| |
前。这是前提条件， |
| |
对什么的看法 |
| |
我要说说。 所以像我 |
| |
提到的信息 |
| |
质量是一个潜在的 |
| |
特定数据集以实现 |
| |
使用给定的特定目标 |
| |
实证分析方法。 这 |
| |
通过四个来识别 |
| 成分 |
目标，数据， |
| |
分析方法，以及 |
| |
效用度量。 所以在一个 |
| |
数学表达式 |
| |
将f应用于x的效用 |
| |
目标的条件是我们如何 |
| |
识别InfoQ，信息 |
| |
质量。这是发表在 |
| |
皇家统计学会 |
| |
2013年的A系列有8个 |
| |
讨论者，所以很好 |
| |
讨论过。有人认为 |
| |
这太棒了，有些 |
| |
人们对 |
| |
这个想法，所以这是一个更广泛的 |
| |
范围考虑什么 |
| |
统计资料即将到来。 我们也 |
| |
写于2006年，我们见面了 |
| |
还有加利特·施穆里（Galit Shmueli）， |
| |
信息质量。 而在 |
| |
信息环境 |
| |
质量我们做了所谓的 |
| |
解构。大卫·汉德（David Hand） |
| |
一篇名为《解构》的论文 |
| |
统计。 这是 |
| |
解构信息 |
| |
质量分为八个维度。 一世 |
| |
将涵盖这八个方面。 |
| |
那是我在谈话中的角色， |
| |
然后克里斯将展示如何 |
| |
在特定的情况下实施 |
| |
案例分析。 |
| |
与另一方面有关 |
| |
这是我有一本书。 |
| |
这是最近的一年前 |
| |
标题为“真正的数据工作” |
| |
科学，我们谈论什么 |
| |
是数据的作用 |
| |
组织和 |
| |
在这种情况下，我们强调 |
| |
对数据科学家的需求 |
| |
参与这一代 |
| |
信息作为...信息 |
| |
达到目标的质量 |
| |
组织。 所以让我 |
| |
涵盖八个维度。 那是 |
| |
那就是我的介绍。 这 |
| |
第一个是数据解析。 我们 |
| |
有一个目标。 好，我们会 |
| |
想知道流感的程度 |
| |
因为在国家或地区 |
| |
我们居住的地区，因为 |
| |
将影响我们的决定 |
| |
是否去公园哪里 |
| |
我们可以见面或去 |
| |
参加爵士音乐会。 然后 |
| |
音乐会是明天。 |
| |
如果我们在CDC上查找数据 |
| |
流感的水平，该数据是 |
| |
每周更新一次，因此我们可以获得 |
| |
图中的红线 |
| |
在你面前，所以我们 |
| |
可以得到几天的数据 |
| |
以前，也许很好，也许不好 |
| |
足够我们的黄金。 Google流感， |
| |
基于搜索 |
| |
与流感有关，已更新 |
| |
暂时，因此已更新 |
| |
在线，它可能会给 |
| |
给我们更好的信息。 因此对于 |
| |
我们的目标，蓝线， |
| |
谷歌趋势...谷歌流感 |
| |
趋势指标，可能是 |
| |
更合适。 第二 |
| |
维是数据结构。 |
| |
为了实现我们的目标，我们将 |
| |
看数据。 我们应该...我们 |
| |
应该确定数据源 |
| |
以及这些数据中的结构 |
| |
资料来源。所以一些数据可能是 |
| |
文字，有些可能是视频，有些 |
| |
例如，可能是 |
| |
推荐网络。 这 |
| |
是亚马逊关于如何 |
| |
你看书，你就是 |
| |
会得到一些 |
| |
其他书籍推荐。 而如果 |
| |
你去看看这些其他的书， |
| |
您将拥有更多数据 |
| |
推荐的。所以数据 |
| |
结构可以有各种各样的形式 |
| |
形状和形式，这可以 |
| |
是文字。 这可以起作用 |
| |
数据。这可以是图像。 我们是 |
| |
现在不限于我们使用的 |
| |
调用数据，这就是你 |
| |
在Excel电子表格中查找。 |
| |
数据可能被破坏， |
| |
可能缺少值，可能 |
| |
有不寻常的模式 |
| |
那将是 |
| |
要研究的东西。 一些 |
| |
模式，事物在哪里 |
| |
重复。也许一些数据 |
| |
只是复制和粘贴而我们 |
| |
想被警告 |
| |
这样的选择。 第三 |
| |
维度是数据集成。 |
| |
当我们考虑来自 |
| |
这些不同的来源，我们 |
| |
要整合它们，所以我们 |
| |
可以做一些分析联动 |
| |
通过ID。 例如，我们 |
| |
会做到的，但是这样做 |
| |
我们可能会创建一些问题，因为 |
| |
例如，在披露数据中 |
| |
通常应该是 |
| |
匿名。数据 |
| |
是的，那将会 |
| |
让我们做奇妙的事情， |
| |
但是如果数据被认为 |
| |
有一些隐私暴露 |
| |
问题，然后也许是质量 |
| |
来自的信息 |
| |
我们要做的分析 |
| |
将会是 |
| |
做作的。所以数据整合 |
| |
应该被非常非常地研究 |
| |
小心。这就是人 |
| |
可能用来打电话给ETL |
| |
提取，转换和加载。 我们 |
| |
现在有更好的方法 |
| |
那样做。 连接选项，用于 |
| |
例如，在JMP中将提供 |
| |
这样做的选项。 |
| |
时间相关性。 好那是 |
| |
很清楚。 我们有数据。 它是 |
| |
以某种方式盖章。 如果我们要去 |
| |
以后再做分析 |
| |
在数据收集之后，以及 |
| |
如果我们 |
| |
考虑是甚至更晚，然后 |
| |
数据可能不是暂时的 |
| |
相关的。在一个共同点 |
| |
情况，如果我们想比较 |
| |
现在发生了什么，我们会 |
| |
喜欢能够做到这一点 |
| |
与最新数据比较或 |
| |
大流行之前的数据 |
| |
开始，但没有十年 |
| |
较早。官方统计 |
| |
在健康记录上曾经是两个 |
| |
或落后三年 |
| |
的时间，这使得它非常 |
| |
官方使用困难 |
| |
评估中的统计 |
| |
这是怎么回事 |
| |
大流行病。数据和时间顺序 |
| |
目标与决定有关 |
| |
由于我们而做出的 |
| |
目标。因此，例如，如果我们 |
| |
目的是预测空气质量， |
| |
我们将使用一些 |
| |
空中预测模型 |
| |
质量指标报告在 |
| |
每天 这给了我们一个 |
| |
从危险到六级 |
| |
好的。有一些价值 |
| |
代表了 |
| |
健康问题。 零至50很好； |
| |
300-500很危险， |
| |
数据和目标的时间顺序 |
| |
意味着我们应该能够 |
| |
每天做一个预测 |
| |
基础。所以我们使用的方法 |
| |
应该每天更新 |
| |
基础。另一方面，如果 |
| |
我们的目标是弄清楚 |
| |
计算出这个AQI指数，然后我们 |
| |
并不受束缚 |
| |
分析的及时性。 |
| |
你知道，我们可以拿走我们的 |
| |
时间。没有紧迫感 |
| |
进行分析 |
| |
每天 推广性 |
| |
第六维，大约 |
| |
根据我们的发现 |
| |
考虑在哪里可以 |
| |
更笼统地说， |
| |
所有其他人群 |
| |
情况。可以做到的 |
| |
凭直觉。 营销经理们 |
| |
看过关于 |
| |
市场，我们称它为A，可能 |
| |
已经了解了什么 |
| |
对市场B的影响 |
| |
没有数据。 谁是 |
| |
物理学家将能够 |
| |
根据 |
| |
第一原理的技工 |
| |
没有数据。 |
| |
因此，一些概论 |
| |
用数据完成。 这是 |
| |
统计基础 |
| |
概括，我们从哪里来 |
| |
样本给人口。 |
| |
统计推断是关于 |
| |
概括。我们概括 |
| |
从样本到 |
| |
人口。有些可以 |
| |
换句话说， |
| |
利用专业知识，领域 |
| |
专业知识，不一定具备 |
| |
数据。我们必须认识到 |
| |
概括性不只是 |
| |
完成统计。 |
| |
第七维是 |
| |
构建可操作性 |
| |
真的是关于它是什么 |
| |
我们测量的。 我们想 |
| |
评估行为，情绪，什么 |
| |
是我们可以衡量的 |
| |
会给我们反映出的数据 |
| |
行为或情感。 |
| |
我在这里给出的例子 |
| |
通常是痛苦。 |
| |
我们知道什么是痛苦。 怎么做 |
| |
我们可以衡量吗？ 如果你去 |
| |
医院，你问护士， |
| |
他们如何评估疼痛，他们 |
| |
会告诉你，我们有一个秤， |
| |
1至10 这是很 |
| |
定性的，不是很 |
| |
我会说科学的。 要是我们 |
| |
要测量的水平 |
| |
在...上的驱动程序中的酒精 |
| |
在路上，将很难 |
| |
措施。所以我们可以衡量 |
| |
速度作为替代指标。 |
| |
的另一部分 |
| |
运营化是另一个 |
| |
故事的结局。 其他 |
| |
话，第一部分， |
| |
结构就是我们要衡量的， |
| |
这反映了我们的目标。 的 |
| |
结束...最终结果是 |
| |
我们有发现，我们想 |
| |
跟他们做点事。 我们想要 |
| |
操作我们的发现。 |
| |
这是什么动作 |
| |
可操作化即将到来。 |
| |
这是关于您对 |
| |
发现然后被 |
| |
在讲台上呈现。 我们 |
| |
曾经问过三个问题。 |
| |
这些很重要 |
| |
要问的问题。 一旦有了 |
| |
做一些分析，你已经 |
| |
在你面前的人 |
| |
说，哦，非常感谢你， |
| |
完成...您，统计学家 |
| |
或数据科学家。 所以这 |
| |
这将使您跨出一步， |
| |
让你问你的顾客 |
| 这些简单的问题 |
做什么 |
| |
你想完成？ 怎么会 |
| |
你这样做，你将如何 |
| |
知道你是否完成了 |
| |
那？ 我们可以帮助您回答，或者 |
| |
至少支持，其中一些 |
| |
我们已经回答的问题。 |
| |
第八维是 |
| |
沟通。我给你 |
| |
一个非常有名的老人的例子 |
| |
19世纪的地图 |
| |
展示了 |
| |
拿破仑军队从法国到 |
| |
莫斯科飞往俄罗斯。 你看 |
| |
数字是宽度 |
| |
路径指示大小 |
| |
军队，然后继续 |
| |
黑色，你明白发生了什么事 |
| |
他们在回去的路上。 |
| |
所以基本上这是一个 |
| |
灾难性的游行。 我们我们我们我们 |
| |
可以将这张旧地图与 |
| |
现有的地图，并且有一个 |
| |
JMP加载项，您可以 |
| |
在JMP社区中找到 |
| |
向您展示泡泡图， |
| |
动态气泡图说明了什么 |
| |
看起来像。 所以我涵盖了 |
| |
很快的八个信息 |
| |
质量尺寸。 我最后一次 |
| |
幻灯片就是我所说的 |
| |
关于历史 |
| |
角度来看，真的放了一些 |
| |
与我所说的比例。 |
| |
我认为我们真的处在那个时代 |
| |
信息质量。 我们用了 |
| |
与产品有关 |
| |
在18世纪， |
| |
17世纪。 然后我们搬到 |
| |
流程质量和服务 |
| |
质量。这是一个简短的备忘录 |
| |
在提出控制图时， |
| |
我认为是1924年。 |
| |
然后我们转向管理 |
| |
质量。这是朱兰 |
| |
设计，改进三部曲 |
| |
和控制。 六西格码（定义为 |
| |
测量，分析，改进） |
| |
控制过程是 |
| |
Juran的改进过程， |
| |
朱兰是曾祖父 |
| |
从这个意义上讲是六个西格玛。 |
| |
然后在80年代，田口进来了 |
| |
在。 他谈到健壮 |
| |
设计。我们该如何处理 |
| |
适当地改变输入 |
| |
设计决策？ 现在我们是 |
| |
信息时代 |
| |
质量。我们有传感器。 我们 |
| |
拥有灵活的系统。 我们是 |
| |
取决于AI和机器 |
| |
学习和数据挖掘，我们 |
| |
大聚会大聚会 |
| |
数字，但我们称之为大数字 |
| |
数据。对信息的兴趣 |
| |
质量应该是首要的 |
| |
兴趣。 我要尝试 |
| |
在帮助下说服您 |
| |
克里斯的，那。 |
| |
我们在这里，JMP可以 |
| |
帮助我们在 |
| |
真的很不寻常。 |
| |
您将在...末尾看到什么 |
| |
克里斯将做的个案研究 |
| |
显示也是如何做到的 |
| |
信息质量评估和 |
| |
在特定的研究中，基本上 |
| |
产生信息质量 |
| |
分数。所以，如果我们自上而下，我 |
| |
可以告诉你这项研究，这 |
| |
工作，这种分析可能是80％或 |
| |
可能是30％或95％。 |
| |
通过该示例，您将 |
| |
看看该怎么做。 有一个 |
| |
JMP加载项提供了此功能 |
| |
评估。就是这样 |
| |
相当容易。 有 |
| |
没有什么真正复杂的 |
| |
关于那个。 这样我就完成了 |
| |
克里斯，在你之后。 谢谢，罗恩。 所以 |
| |
现在我要经历 |
| |
以某种方式分析数据集 |
| |
明确指出 |
| |
信息的各个方面 |
| |
质量并展示JMP的性能 |
| |
用于评估改善 |
| |
用于InfoQ。 所以首先，我是 |
| |
要通过InfoQ |
| |
成分。第一个InfoQ |
| |
组件是目标，所以在 |
| |
这种情况下的问题陈述 |
| |
那是一家化学公司 |
| |
想要一种配方 |
| |
产品产量最大化，同时 |
| |
减少有害杂质 |
| |
是反应引起的 |
| |
因此，这是高级目标。 |
| |
用统计的话，我们想要 |
| |
找到一个准确的模型 |
| |
预测对数据的响应 |
| |
设置以便我们可以找到一个 |
| |
成分和 |
| |
可能导致的处理步骤 |
| |
更好的产品。 |
| |
数据设置在100 |
| |
实验配方 |
| |
一种主要成分X1和 |
| |
10种添加剂。 还有一个 |
| |
13的加工系数 |
| |
回应。数据是 |
| |
完全捏造，但被 |
| |
模拟以说明相同 |
| |
的优点和缺点 |
| |
原始数据。 数据 |
| |
也制定了 |
| |
记录下来。我们将看 |
| |
此数据紧密相关，所以我想 |
| |
详细指出 |
| |
他们被收集在一个 |
| |
临时更改一两个 |
| |
一次添加而不是添加 |
| |
作为设计的或随机的 |
| |
实验。有很多 |
| |
分析这些数据的方法， |
| |
最典型的是最少 |
| |
正方形正向建模 |
| |
选择选定的答案。 |
| |
那是我的初衷 |
| |
这个演讲，但是当我展示 |
| |
数据交给罗恩，他立即 |
| |
识别响应列 |
| |
作为分析的时间序列 |
| |
化学。即使数据 |
| |
被模拟，他可以看到 |
| |
结构体。他看得到的东西 |
| |
在我没有看到的数据中 |
| |
并没有读到它。 我发现 |
| |
这是惊人的 |
| |
感人的。 超越了 |
| |
讨论的范围，但是有 |
| |
一个更好的方法基于 |
| |
集成建模使用 |
| |
分数加权 |
| |
自举。菲尔·拉姆西（Phil Ramsey） |
| |
韦恩·莱文和我还有另一个 |
| |
在下面谈论这种方法 |
| |
欧洲发现 |
| |
今年的会议。 这 |
| |
这种方法很有希望，因为它 |
| |
可以使模型适合数据 |
| |
互动比 |
| |
有奔跑。 第四也是最后 |
| |
信息质量的组成部分 |
| |
是效用，这就是我们的水平 |
| |
能够评估我们的目标。 或者 |
| |
我们如何衡量我们的表现 |
| |
评估了我们的目标？ 有一个 |
| |
在这方面的领域 |
| |
情况下，我们想要一个 |
| |
导致 |
| |
最大化产量并最小化 |
| |
废物的后处理 |
| |
材料。统计 |
| |
分析实用程序是指 |
| |
我们适合的模型。 我们是什么 |
| |
至少要去 |
| |
我们模型的平方精度 |
| |
我们能够做到的条件 |
| |
预测...会发生什么 |
| |
候选人的结果 |
| |
...的组合 |
| |
混合因素。 现在我要去 |
| |
经历一系列问题 |
| |
构成详细的InfoQ |
| |
评估组织成 |
| |
信息的八个维度 |
| |
质量。我想指出 |
| |
并非所有问题都会 |
| |
同等相关 |
| |
数据科学与统计 |
| |
项目，这不是 |
| |
原本是僵硬的教条，但 |
| |
而是一组东西 |
| |
问自己一个好主意。 |
| |
这些问题代表一种 |
| |
数据分析的智慧 |
| |
看起来比仅仅 |
| |
特定的应用 |
| |
统计技术。 复印件 |
| |
这些的电子表格 |
| |
问题以及指向的指针 |
| |
最重要的JMP功能 |
| |
对于回答一个有用的 |
| |
特定的一个将被上传 |
| |
到JMP社区 |
| |
这个演讲供您使用。 作为 |
| |
我继续回答这些问题， |
| |
我将演示对 |
| |
JMP中的数据。 所以问题1 |
| 是 |
是使用的数据规模 |
| |
与既定目标保持一致？ 所以 |
| |
我们组成的X |
| |
单个类别变量 |
| |
处理和11连续 |
| |
输入。 这些被测量 |
| |
作为百分比，也 |
| |
记录到一半。 我们 |
| |
没有...的总金额 |
| |
成分，只有 |
| |
百分比。总数是 |
| |
丢失的信息 |
| |
或从未记录过。 有 |
| |
其他潜在的重要 |
| |
的一些信息是 |
| |
在这里失踪。 两次之间的时间 |
| |
制定批次和 |
| |
进行测量不见了 |
| |
可能还有其他 |
| |
协变量级信息 |
| |
在这里会丢失 |
| |
描述了条件 |
| |
反应发生了。 |
| |
没有比我更多的信息 |
| |
有，我不能说有多重要 |
| |
这种协变量信息 |
| |
本来可以。 我们确实有 |
| |
当天的信息 |
| |
批处理，因此可以用作 |
| |
可能是一个替代品。 总的来说，我们 |
| |
希望拥有最多的 |
| |
重要的投入，以及 |
| |
衡量我们的反应 |
| |
希望进行优化。 我们可以有 |
| |
有更多信息，但这 |
| |
看起来很有希望尝试 |
| |
和分析。 第二 |
| |
与数据有关的问题 |
| |
分辨率是多么可靠和 |
| |
精确的测量设备 |
| |
和数据源。 而事实 |
| |
是，我们没有很多 |
| |
具体信息在这里。 这 |
| |
统计学家内部 |
| |
公司本来会有更多 |
| |
信息。 在这种情况下，我们 |
| |
别无选择，只能相信 |
| |
化学家制定并 |
| |
很好地记录了混合物。 这 |
| |
有关数据的第三个问题 |
| 分辨率是 |
是数据 |
| |
适用于数据的分析 |
| |
聚合级别？ 和 |
| |
答案是肯定的，假设 |
| |
他们的测量系统是 |
| |
准确且数据准确 |
| |
足够干净。 我们要去的 |
| |
最终做的实际上是 |
| |
我们将使用 |
| |
功能数据浏览器 |
| |
提取功能主体 |
| |
组件，这是一个数据 |
| |
派生类型的数据 |
| |
聚合。然后我们 |
| |
将要建模的那些 |
| |
功能主要成分 |
| |
使用输入变量。 所以 |
| |
现在我们转到数据 |
| |
结构尺寸和 |
| |
我们要问的第一个问题是 |
| |
所使用的数据与 |
| |
既定目标？ 我认为 |
| |
答案是肯定的。 是 |
| |
试图最大化 |
| |
屈服。我们有测量 |
| |
那，输入是 |
| |
记录为Xs。 第二个数据 |
| |
结构问题在哪里 |
| |
事情开始真正开始 |
| |
对我来说很有趣 所以这是 |
| |
是完整性的细节 |
| |
（异常值，缺失值，数据 |
| |
腐败）问题，以及 |
| |
处理得当吗？ 所以从 |
| |
在这里我们可以使用JMP |
| |
了解异常值在哪里 |
| |
是，找出策略 |
| |
缺失值怎么办， |
| |
观察他们的模式等等 |
| |
在。所以这就是这里 |
| |
事情会变得有点 |
| |
更有意思。 首先 |
| |
我们要做的是 |
| |
要确定是否有 |
| |
我们在数据中的任何异常值 |
| |
需要关注。 所以 |
| |
为此，我们要去 |
| |
进入探索异常值 |
| |
筛选平台 |
| |
菜单。我们将加载 |
| |
响应变量，并且因为 |
| |
这是一个多变量设置， |
| |
我们将使用一个新功能 |
| |
在JMP Pro 16中称为Robust |
| |
PCA离群值。 所以我们看哪里 |
| |
大的残差在那些 |
| |
种帕累托类型的情节。 |
| |
有一个快照显示 |
| |
有一些潜在的 |
| |
异常大的观察结果。 一世 |
| |
真的不觉得这看起来 |
| |
对我来说太不寻常或令人担忧。 |
| |
我们可以保存较大的离群值 |
| |
到数据表，然后查看 |
| |
他们在分发中 |
| |
平台以及我们所看到的 |
| |
看起来像正态分布 |
| |
中间取出。 所以我 |
| |
认为这是 |
| |
来自相同的 |
| |
人口，什么都没有 |
| |
我真的很担心这里 |
| |
异常值。 所以一旦我们 |
| |
照顾异常值 |
| |
我们去探索的情况 |
| |
缺失值。 所以我们是 |
| |
首先要做的是我们要 |
| |
将Ys加载为... |
| |
平台，然后我们要去 |
| |
使用缺失值 |
| |
快照看什么模式 |
| |
他们是我们的失踪者 |
| |
价值观。 看起来像 |
| |
缺少值往往发生在 |
| |
水平簇，还有 |
| |
缺失值也一样 |
| |
跨行。 所以你可以看到 |
| |
黑色斑点在这里。 |
| |
然后我们去申请 |
| |
自动数据插补 |
| |
前进并节省 |
| |
估算的公式列 |
| |
在新值中缺少值 |
| |
使用回归类型的列 |
| |
由...开发的算法 |
| |
我的博士生米洛（Milo） |
| |
位于NC State的页面。 这样我们就可以玩 |
| |
大约一点，并得到一个 |
| |
ADI的感觉如何 |
| |
算法正在运行。 所以是 |
| |
创建了这些公式列 |
| |
剥落的元素 |
| |
ADI估算列 |
| |
向量公式栏， |
| |
评分归因函数 |
| |
正在计算预期 |
| |
给定的缺失单元格的值 |
| |
不丢失的单元格，无论何时 |
| |
它有一个缺失的值。 这是 |
| |
只是通过一个非 |
| |
缺失值。 这样你就可以看到207 |
| |
在YO ... Y6那里。 最初是 |
| |
207但后来我将其更改为 |
| |
失踪了，现在正在 |
| |
推测是234。 |
| |
所以我会做几次 |
| |
你可以看一下它是怎么回事 |
| |
在职的。所以在这里我会放一个大 |
| |
Y7的值，就是现在。 |
| |
被替换了。 如果我们下去 |
| |
然后添加一行 |
| |
然后所有缺失值都在那里 |
| |
最初，列的意思是 |
| |
被替换为 |
| |
归因。 如果我要去 |
| |
并为其中一些增加价值 |
| |
那些丢失的细胞，它将 |
| |
开始做有条件的 |
| |
对仍然缺少的期望 |
| |
单元格使用信息 |
| |
那是在失踪的那个... |
| |
不容错过的。 所以我们的下一个 |
| |
关于数据结构的问题是 |
| |
是分析方法 |
| |
是否适合数据结构？ |
| |
所以我们有11个混合输入 |
| |
还有一个处理变量 |
| |
绝对的。那些要去 |
| |
至少要投入 |
| |
方型模型。 我们有 |
| |
13个持续响应和 |
| |
我们可以使用...进行建模 |
| |
单独使用最少 |
| |
方块。或者我们可以建模 |
| |
功能主体 |
| |
成分。 ...现在有 |
| |
问题。 X是... |
| |
输入变量尚未 |
| |
完全随机。 这是很 |
| |
清楚他们会烂掉 |
| |
与一个或多个 |
| |
化合物然后移动 |
| |
到另一个。 所以 |
| |
顺序 |
| |
输入变量是变化的 |
| |
有点偶然。 它是 |
| |
明显缺乏随机性，并且 |
| |
这将带来负面影响 |
| |
影响我们的...概论 |
| |
和我们结论的力量。 |
| |
数据集成是第三 |
| |
InfoQ维度。 这些数据 |
| |
手动输入的实验记录 |
| |
主要由混合物组成 |
| |
百分比和设备 |
| |
读数。我们只能假设 |
| |
输入数据 |
| |
正确的，X是 |
| |
与回应保持一致。 |
| |
如果不是这种情况，那么 |
| |
模式将有严重的偏见 |
| |
问题和有 |
| |
普遍性问题。 |
| |
集成更成问题 |
| |
带有观测数据 |
| |
机器中的科学问题 |
| |
学习练习，而不是实验室 |
| |
这样的实验。 虽然 |
| |
它不适用于这里，我会 |
| |
指出隐私和 |
| |
保密问题可以是 |
| |
通过建模确定 |
| |
数据的敏感部分使用 |
| |
要发布的组件 |
| |
在数据上。 如果产生 |
| |
模型是预测的，那么一个 |
| |
应关注隐私 |
| |
担心没有得到满足。 颞 |
| |
相关性是指 |
| |
的操作时间排序 |
| |
数据收集，分析和 |
| |
部署以及是否存在差距 |
| |
在这些阶段之间导致 |
| |
降低了 |
| |
研究中的信息。 |
| |
在这种情况下，我们只能 |
| |
希望物资供应 |
| |
合理地一致并且 |
| |
测试设备是 |
| |
相当准确，这是 |
| |
不可验证的假设 |
| |
观点。时间分辨率我们 |
| |
有什么时候收集数据的 |
| |
在一天的水平上，这意味着 |
| |
没有太多的方法 |
| |
我们可以验证是否有时间 |
| |
每天都有变化。 |
| |
按时间顺序排列的数据和目标是 |
| |
关于...的可用性 |
| |
相关变量 |
| |
变量是否为 |
| |
存在于数据中或 |
| |
信息是否正确 |
| |
当模型 |
| |
已部署。 为了预测 |
| |
模型，这与模型有关 |
| |
适合于类似于 |
| |
当时会出现什么 |
| |
该模型将在 |
| |
新数据。 这样，我们的数据 |
| |
设置当然很好。 为了 |
| |
建立因果关系， |
| |
我们的表现差强人意 |
| |
形状因为缺乏 |
| |
随机化意味着时间 |
| |
影响和因素影响 |
| |
感到困惑，导致偏见 |
| |
在我们的估计中。 内生性 |
| |
或反向因果关系，可能 |
| |
显然在这里是一个问题，因为 |
| |
像温度和温度这样的变量 |
| |
反应时间显然可以是 |
| |
影响响应，但有 |
| |
未被记录。 全面的， |
| |
有很多我们不知道的 |
| |
关于这个尺寸 |
| |
信息质量意识。 |
| |
其余的InfoQ |
| |
评估将是 |
| |
取决于类型 |
| |
我们所做的分析。 所以在这个 |
| |
点，我要继续前进， |
| |
对这些数据进行分析 |
| |
使用功能数据 |
| |
JMP Pro中的Explorer平台 |
| |
这使我可以跨模型 |
| |
所有列同时 |
| |
以某种方式 |
| |
功能主要成分， |
| |
其中包含最大数量 |
| |
所有这些中的信息 |
| |
如中所示的列 |
| |
最有效的格式。 |
| |
我要去做 |
| |
列的估算版本 |
| |
我之前在 |
| |
介绍。我要去 |
| |
指出我将成为 |
| |
努力寻找以下的组合 |
| |
达到的混合因素 |
| |
尽可能紧密地 |
| |
最小二乘感，理想 |
| |
由创建的曲线 |
| |
最大限度地提高 |
| |
潜在产品的数量 |
| |
可能会批量 |
| |
最小化 |
| |
他们的杂质 |
| |
现实地认为一批 |
| |
可能包含。 所以我开始 |
| |
通过分析来进行分析 |
| |
菜单，调出功能 |
| |
数据浏览器。 这具有作为的行 |
| |
功能。我要装我的 |
| |
估算行，然后我要去 |
| |
把我的公式 |
| |
组件和我的处理 |
| |
专栏作为补充 |
| |
多变的。 我们有一个ID |
| |
功能，即批次ID。 我在这 |
| |
进来。 我可以看到这些功能， |
| |
完全覆盖 |
| |
我可以看到各个功能。 |
| |
然后我可以加载目标 |
| |
功能，这是理想的。 |
| |
这将改变 |
| |
一旦我分析结果 |
| |
开始进入建模 |
| |
脚步。所以这些很漂亮 |
| |
简单的功能，所以我只是 |
| |
要用它们来建模 |
| |
B样条。 |
| |
然后我要进入我的 |
| |
功能DOE分析。 |
| |
这将适合模型 |
| |
将输入连接到 |
| |
功能主体 |
| |
组件，然后连接所有 |
| |
通过的方式 |
| |
本征函数使其如此 |
| |
我们能够恢复 |
| |
整体功能 |
| |
改变了，因为我们正在改变 |
| |
混合因素。 这 |
| |
功能主要成分 |
| |
分析表明 |
| |
有四个维度 |
| |
这些反应的差异 |
| |
功能。要了解什么 |
| |
他们的意思是，让我们继续前进， |
| |
使用FPC分析器进行探索。 |
| |
因此，请在此处观看此窗格 |
| |
我调整了FPC 1，我们可以看到 |
| |
该FPC与之相关联 |
| |
峰高。 FPC2，看起来 |
| |
就像是一个高峰 |
| |
狭窄。几乎就像一个 |
| |
决议负责人 |
| |
成分。第三个是 |
| |
与膝关节有关 |
| |
主导峰的左侧。 |
| |
峰4看起来像是 |
| |
主要与 |
| |
杂质，这就是 |
| |
潜在的意思是 |
| |
这四个功能 |
| |
主要成分。 |
| |
因此，我们已经确定了我们的目标 |
| |
作为最大化产品和 |
| |
尽量减少杂质，以及 |
| |
我们已经将其传达给了 |
| |
通过这种理想进行分析或 |
| |
我们提供的黄金曲线 |
| |
FDE的开始 |
| |
我们正在做的运动。 为了得到 |
| |
尽可能接近理想 |
| |
曲线，我们打开期望 |
| |
功能。然后我们可以去 |
| |
并最大程度地提高需求。 |
| |
我们发现最优 |
| |
输入的组合大约是 |
| |
4.5％的 |
| |
成分四，占2％ |
| |
成分6.的2.2％ |
| |
成分8和1.24％ |
| |
成分9使用处理 |
| |
方法二。 让我们回顾一下 |
| |
我们到了这里。 我们先 |
| |
计算了丢失的响应 |
| |
列。然后我们发现了B样条 |
| |
符合这些功能的模型 |
| |
在FDE平台上很好。 一种 |
| |
功能主要成分 |
| |
分析确定那里 |
| |
有四个本征函数 |
| |
表征变化 |
| |
这个数据。 这四个 |
| |
确定本征函数 |
| |
通过FPC分析器向每个 |
| |
有一个合理的主题 |
| |
物质意义。 功能性 |
| |
DOE分析包括 |
| |
申请修剪 |
| |
选择每个 |
| |
使用 |
| |
DOE因子作为输入变量。 |
| |
我们在这里看到这些 |
| |
找到的组合 |
| |
相互作用和主要作用 |
| |
最能预测的 |
| |
每个功能主体 |
| |
组件分别得分。 |
| |
功能DOE Profiler |
| |
优雅地捕捉了所有 |
| |
方面合而为一 |
| |
这样我们就可以找到 |
| |
配方加工步骤 |
| |
预计有理想的 |
| |
性能由高 |
| |
产量高，杂质少。 |
| |
所以现在我们可以做一个InfoQ |
| |
评估 |
| |
数据的通用性 |
| |
分析。 所以在这种情况下 |
| |
我们对 |
| |
科学概论 |
| |
实验者是一个很深的 |
| |
知识渊博的化学家的工作 |
| |
与这个化合物。 所以我们 |
| |
将会更多地依靠 |
| |
他们的学科专长 |
| |
然后根据统计原理 |
| |
和假设检验之类的工具 |
| |
等等。 目标是 |
| |
主要是预测性的，但 |
| |
概括性是一种 |
| |
有问题的，因为 |
| |
实验不是设计好的。 我们的 |
| |
估计互动的能力 |
| |
对于诸如 |
| |
前向选择和不可能 |
| |
通过最小二乘分析 |
| |
完整的模型。 因为 |
| |
研究不是随机的， |
| |
可能是未记录的时间 |
| |
订单效果。 我们没有 |
| |
潜在重要的协变量 |
| |
诸如温度和 |
| |
反应时间。 这创造了 |
| |
另一个大问号 |
| |
关于可概括性。 |
| |
重复性和 |
| |
研究的可重复性是 |
| |
这里也是一个未知数 |
| |
没有有关的信息 |
| |
由于 |
| |
测量系统。 幸运的是， |
| |
我们确实有像JMP这样的工具 |
| |
评估设计以了解 |
| |
现有设计以及 |
| |
增强设计，可以大大 |
| |
增强泛化 |
| |
分析性能。 |
| |
增强可以改善信息 |
| |
关于主要效果和 |
| |
互动和第二轮 |
| |
实验的可能是 |
| |
随机化也增强 |
| |
概括性。所以现在我 |
| |
要经历几个 |
| |
简单的步骤来展示如何 |
| |
提高泛化 |
| |
我们的研究表现 |
| |
JMP中的设计工具。 于我之前 |
| |
这样做，我想指出 |
| |
我必须要拿数据 |
| |
转换它，以便 |
| |
比例而不是 |
| |
个百分比。否则设计 |
| |
工具并没有真正达成共识 |
| |
数据非常好。 所以我们 |
| |
进入评估设计师 |
| |
然后加载Ys和 |
| |
我们的Xs。 我要求有能力 |
| |
处理二阶互动。 |
| |
然后...是的，我收到了此警报 |
| |
说，嘿，我做不到 |
| |
因为我们无法 |
| |
估计所有互动 |
| |
一次给出一个因素 |
| |
我们拥有的数据。 所以我支持 |
| |
向上。我们去增援 |
| |
设计师，加载所有内容， |
| |
设置增强。 我们会选择，而我- |
| |
最佳设计，因为我们 |
| |
真的关心 |
| |
此处的预期效果。 |
| |
和我 |
| |
将运行次数设置为148。 |
| |
定制设计师要求 |
| |
最少141，但我去了 |
| |
148只是为了确保 |
| |
我们有能力 |
| |
估计我们所有的互动 |
| |
挺好的。 之后，它 |
| |
大约需要20秒 |
| |
构建设计。 所以现在 |
| |
我们有设计，我是 |
| |
要显示两个最 |
| |
重要的诊断工具 |
| |
的扩充设计师 |
| |
评估设计。 在 |
| |
左，我们有分数 |
| |
设计空间图。 这是 |
| |
显示出50％的音量 |
| |
设计有 |
| |
预测方差为 |
| |
小于1。 所以1将是 |
| |
等于剩余 |
| |
错误。这样我们就可以 |
| |
优于测量误差 |
| |
的质量预测 |
| |
大部分的设计。 在 |
| |
好的，我们有颜色图 |
| |
相关性。这表明 |
| |
我们能够估计 |
| |
一切都很好。 有 |
| |
一些...因为混合 |
| |
约束，我们得到一些 |
| |
两者之间有很强的相关性 |
| |
相互作用和主要影响。 |
| |
总体来说，效果还算不错 |
| |
干净的。互动是 |
| |
很好地与一个人分开 |
| |
另一个，主要的影响 |
| |
与 |
| |
彼此之间也是如此。 后 |
| |
看设计 |
| |
诊断，我们可以使 |
| |
桌子。在这里，我展示了 |
| |
增程的前13个 |
| |
我们看到我们有...我们 |
| |
有更多的随机性。 我们不 |
| |
具有相同的主要作用 |
| |
一遍又一遍的条纹。 |
| |
那是更好的证据 |
| |
随机和整体 |
| |
设计将能够 |
| |
更好地估计主要 |
| |
具有的影响和相互作用 |
| |
收到更好，更高的质量 |
| |
第二阶段的信息 |
| |
实验。 所以输入 |
| |
变量Xs是准确的 |
| |
混合物的表示 |
| |
比例，所以这很明显 |
| |
客观利益。 这 |
| |
回应接近 |
| |
产品的数量 |
| |
和其中的杂质含量 |
| |
批次。 我们在 |
| |
7.1。那里。 理由 |
| |
很清楚 学习之后，我们 |
| |
当然可以去准备一个 |
| |
配方即批次 |
| |
FDOE的建议 |
| |
探查器。试试看，看是否 |
| |
我们得到了那种 |
| |
我们一直在寻找的表现 |
| |
为了。很明显， |
| |
就是我们可以的方式 |
| |
评估我们取得的成绩 |
| |
我们的学习目标。 所以现在在 |
| |
最后一个InfoQ维度 |
| |
沟通。 通过描述 |
| |
理想曲线为目标 |
| |
功能，功能DOE |
| |
Profiler制定了目标， |
| |
分析晶体的结果 |
| |
清除。但这可以表示 |
| |
轻松的水平 |
| |
由化学家解释和 |
| |
研发机构的经理。 |
| |
正如我们所做的那样，我们的详细信息 |
| |
信息质量评估， |
| |
我们一直在预先 |
| |
的优点和缺点 |
| |
研究设计和数据 |
| |
收藏。如果结果呢 |
| |
不能一概而论，我们当然 |
| |
知道在哪里寻找 |
| |
问题出在。 一旦你成为 |
| |
熟悉这些概念， |
| |
有一个不错的插件 |
| |
您可以使用伊恩·考克斯（Ian Cox）的作品 |
| |
快速进行定量的InfoQ |
| |
评估。加载项有 |
| |
上下滑块 |
| |
每个InfoQ维度的边界。 |
| |
这些尺寸组合在一起 |
| |
使用合意函数 |
| |
整体间隔法 |
| |
左侧的InfoQ。 |
| |
这是对 |
| |
我介绍的数据和分析 |
| |
此演示文稿。 加载项是 |
| |
也是一个有用的思维工具 |
| |
将使您考虑每个 |
| |
InfoQ维度。 这也是 |
| |
实用的交流方式 |
| |
InfoQ评估给您 |
| |
客户或您的管理层， |
| |
它提供了一个高层次的观点 |
| |
信息质量无 |
| |
使用很多技术 |
| |
概念和行话。 加载项 |
| |
也是有用的基础 |
| |
InfoQ比较。 我的 |
| |
对此的最初希望 |
| |
演讲要有点 |
| |
更有野心。 我曾希望 |
| |
涵盖我的分析 |
| |
刚刚经历了，以及 |
| |
另一个更简单的，我跳过的地方 |
| |
输入响应并做 |
| |
一个简单的多元线性 |
| |
响应的回归模型 |
| |
列。今天，我只能 |
| |
提供对此的最终评估 |
| |
方法。如你看到的， |
| |
几个InfoQ |
| |
尺寸受到很大影响 |
| |
没有更复杂的 |
| |
分析。很清楚 |
| |
简单的分析导致 |
| |
InfoQ得分要低得多。 |
| |
简单的上限 |
| |
分析没有那么高 |
| |
比下限的多 |
| |
精巧的一位。 和 |
| |
经验，你会得到 |
| |
关于什么是好的InfoQ的直觉 |
| |
分数适用于数据科学 |
| |
您所在行业的项目，以及 |
| |
当你养成更好的习惯 |
| |
将不再视而不见 |
| |
您的信息瓶颈 |
| |
数据收集，分析和 |
| |
模型部署。 信息 |
| |
易于使用的质量 |
| |
界面。 这是我的第一次 |
| |
正式信息质量 |
| |
评估。为我自己说话 |
| |
信息质量 |
| |
框架给出了文字和 |
| |
结构很多东西我 |
| |
已经本能地知道了。 它 |
| |
已经改变了我的方式 |
| |
进行新数据分析 |
| |
项目。我鼓励你去 |
| |
通过这个过程，你自己 |
| |
您自己的数据，即使该数据 |
| |
分析已经非常 |
| |
对你很熟悉。 我保证 |
| |
你会变得更聪明， |
| |
更高效的数据科学家 |
| |
因为它。 谢谢你。 |
