https://www.jmp.com/en_us/whitepapers/book-chapters/infoq-support-with-jmp.html
级别：中级
Ron Kenett，KPA 集团和以色列理工学院塞缪尔·尼曼研究所董事长
Christopher Gotwalt，SAS 统计研发部 JMP 总监
数据分析——从设计实验、广义回归到机器学习——正在加速部署。与此同时，对研究结果的可重复性和有缺陷的 p 值解释的担忧表明，善意的统计分析可能会导致错误的结论和错误的决策。为了使数据分析项目正确实现其目标，必须评估从可用数据和工具得出的结论的范围和强度。这种对统计策略的关注需要一个框架来隔离项目的各个组成部分：目标、数据收集过程、数据属性、提供的分析等。InfoQ 框架提供了用于进行此评估的结构化过程。此外，在 JMP 中操作 InfoQ 也很容易。在本次演示中，我们提供了 InfoQ 的概述以及来自消费者研究和药品制造的用例研究，以说明如何使用 JMP 进行 InfoQ 评估，突出显示 InfoQ 高和低的情况。我们还提供提示，展示如何使用 JMP 通过增强研究设计来提高信息质量，而无需获取更多数据。本次演讲针对的是统计学家、机器学习专家和数据科学家，他们的工作是将数字转化为信息。
自动生成的成绩单...
|
扬声器
|
成绩单
|
| |
你好。 |
| |
我的名字是罗恩·肯尼特。这 |
| |
是与克里斯的共同谈话 |
| |
戈特沃尔特和我们基本上 |
| |
有两条消息 |
| |
应该来自 |
| |
讲话。一是我们应该 |
| |
真正关心 |
| |
信息与信息 |
| |
质量。人们倾向于说话 |
| |
关于数据和数据质量，但是 |
| |
数据确实不是问题。 |
| |
我们是统计学家。我们是 |
| |
数据科学家。我们转动数字， |
| |
数据转化为信息，以便 |
| |
我们的目标应该是确保 |
| |
我们生产高质量的产品 |
| |
信息。另一条消息 |
| |
JMP 可以帮助您吗 |
| |
实现这一点，这就是 |
| |
实际上是在 |
| |
令人惊讶的方式。所以通过结合 |
| |
克里斯的专业知识和 |
| |
信息介绍 |
| |
质量，我们希望这两个 |
| |
消息将会遇到 |
| |
清楚地。所以如果我必须 |
| |
总结一下我们是什么 |
| |
毕竟想要谈谈 |
| |
一切都与信息有关 |
| |
质量。我发表了演讲 |
| |
布拉格峰会四年 |
| |
以前那次谈话很笼统。 |
| |
它谈到了移动 |
| |
从品质源于设计的旅程。 |
| |
我的信息之路 |
| |
质量。在这次演讲中我们重点关注 |
| |
关于如何做到这一点 |
| |
JMP。这是更详细的 |
| |
和技术谈话比 |
| |
我在布拉格做了一般性演讲。 |
| |
你可以看那个演讲。 |
| |
这里列出了一个链接。你可以 |
| |
在 JMP 社区上找到它。 |
| |
所以我们要谈谈 |
| |
信息质量，即 |
| |
数据集的潜力，a |
| |
具体数据集，实现 |
| |
特定的目标，特定的目标， |
| |
用给定的经验方法。 |
| |
所以在这个定义中我们有 |
| |
三个组成部分是 |
| |
列出。一是某个数据 |
| |
放。这是数据。这 |
| |
第二个是目标， |
| |
分析的目标是什么 |
| |
这是我们想要实现的目标。 |
| |
第三个是我们将如何 |
| |
这样做，即用什么 |
| |
我们要生成的方法 |
| |
信息和潜力 |
| |
将被评估为 |
| |
实用功能。我会的 |
| |
首先介绍 |
| |
信息质量，然后 |
| |
克里斯将接任， |
| |
讨论案例研究和 |
| |
向您展示如何进行 |
| |
信息质量评估。 |
| |
最终这应该 |
| |
回答JMP如何的问题 |
| |
支持 InfoQ，即 |
| |
将是要点 |
| |
你可以...带走积分 |
| |
从谈话中。设置为 |
| |
这就是我们鼓励的 |
| |
我所说的生命周期视图 |
| |
统计数据。换句话说， |
| |
不仅仅是数据分析。 |
| |
我们应该知道...我们应该参与其中 |
| |
问题引发的 |
| |
阶段。还有，目标 |
| |
制定阶段，值得 |
| |
讨论。我们应该 |
| |
显然参与 |
| |
数据收集方案，如果是 |
| |
通过实验或通过 |
| |
调查或通过观察 |
| |
数据。那么我们也应该采取 |
| |
制定的时间 |
| |
调查结果，而不仅仅是拉出来 |
| |
打印报告于 |
| |
回归系数 |
| |
估计和他们的 |
| |
意义重大，但我们应该 |
| |
还讨论了哪些 |
| |
发现？操作化 |
| |
调查结果意味着，好吧，我们能做什么 |
| |
这些发现有何作用？什么是 |
| |
的影响 |
| |
发现？这应该... |
| |
需要传达给 |
| |
对的人用对的方式， |
| |
最终我们应该做一个 |
| |
影响评估以确定， |
| |
好的，我们做到了这一切；什么有 |
| |
是我们的附加值 |
| |
工作？我谈到了生活 |
| |
统计周期几年 |
| |
前。这是前提， |
| |
对什么的看法 |
| |
我要谈谈。所以正如我 |
| |
提到的，信息 |
| |
质量是一个人的潜力 |
| |
特定的数据集来实现 |
| |
使用给定的特定目标 |
| |
实证分析方法。这 |
| |
是通过四项来识别 |
| 成分 |
目标、数据、 |
| |
分析方法，以及 |
| |
效用措施。所以在一个在一个 |
| |
数学表达式，即 |
| |
将 f 应用于 x 的效用， |
| |
目标的条件，就是我们如何 |
| |
识别 InfoQ、信息 |
| |
质量。这发表于 |
| |
英国皇家统计学会 |
| |
2013 年 A 轮融资，共 8 家 |
| |
讨论者，所以这是充分 |
| |
讨论过。有些人认为 |
| |
这太棒了，有些 |
| |
人们对此提出了很多批评 |
| |
这个想法，所以这是一个更广泛的 |
| |
范围 考虑什么 |
| |
统计是关于。我们也 |
| |
写于2006年，我们遇见了自己 |
| |
和 Galit Shmueli，有一本书叫 |
| |
信息质量。并且在 |
| |
信息的背景 |
| |
我们所做的就是所谓的质量 |
| |
解构。大卫·汉德有 |
| |
一篇名为《解构》的论文 |
| |
统计。这是 |
| |
信息解构 |
| |
质量分为八个维度。我 |
| |
将涵盖这八个维度。 |
| |
这就是我在演讲中的部分 |
| |
然后克里斯将展示如何 |
| |
是在具体实施的 |
| |
案例分析。 |
| |
另一个方面涉及到 |
| |
这是我的另一本书。 |
| |
这是最近的事，一年前 |
| |
标题为“数据的真正作用” |
| |
科学和我们谈论什么 |
| |
是数据的作用 |
| |
组织中的科学家和 |
| |
在这方面，我们强调 |
| |
对数据科学家的需求 |
| |
参与一代 |
| |
信息作为...信息 |
| |
质量作为满足目标 |
| |
该组织。所以让我 |
| |
覆盖八个维度。那是 |
| |
这就是我的介绍。这 |
| |
第一个是数据分辨率。我们 |
| |
有一个目标。好的，我们会 |
| |
想知道流感的程度 |
| |
因为在国内或者在 |
| |
我们居住的地区，因为 |
| |
将影响我们的决定 |
| |
是否去公园 |
| |
我们可以认识一些人或者去 |
| |
去爵士音乐会。然后 |
| |
音乐会是明天。 |
| |
如果我们查找 CDC 的数据 |
| |
流感的程度，该数据是 |
| |
每周更新，这样我们就可以得到 |
| |
图中的红线是你 |
| |
有在你面前，所以我们 |
| |
可以获得几天的数据 |
| |
以前，也许好，也许不好 |
| |
足够我们的黄金了。谷歌流感， |
| |
这是基于搜索的 |
| |
与流感相关，已更新 |
| |
暂时的，所以已经更新了 |
| |
在线，它可能会给 |
| |
我们更好的信息。因此对于 |
| |
我们的目标，蓝线， |
| |
谷歌趋势……谷歌流感 |
| |
趋势指标，可能是 |
| |
更合适。第二 |
| |
维度是数据结构。 |
| |
为了实现我们的目标，我们将 |
| |
看数据。我们应该...我们 |
| |
应确定数据源 |
| |
以及这些数据中的结构 |
| |
来源。所以一些数据可能是 |
| |
文字，有些可能是视频，有些 |
| |
例如，可以是 |
| |
推荐网络。这 |
| |
是一张亚马逊图片，说明如果 |
| |
你看书，你 |
| |
去拿一些 |
| |
其他书籍推荐。而如果 |
| |
你去读这些其他的书， |
| |
你将会获得更多数据 |
| |
受到推崇的。所以数据 |
| |
结构可以有各种各样 |
| |
形状和形式，这可以 |
| |
是文本。这可以是功能性的 |
| |
数据。这可以是图像。我们是 |
| |
现在不限于我们使用的 |
| |
调用数据，这就是你 |
| |
在 Excel 电子表格中查找。 |
| |
数据可能已损坏， |
| |
可能有缺失值，可能 |
| |
有不寻常的图案 |
| |
这将是 |
| |
需要调查的东西。一些 |
| |
模式，事物在哪里 |
| |
重复。或许有一些数据 |
| |
这只是复制和粘贴，我们 |
| |
希望收到警告 |
| |
这样的选择。第三 |
| |
维度是数据整合。 |
| |
当我们考虑来自的数据时 |
| |
这些不同的来源，我们 |
| |
将整合它们所以我们 |
| |
可以做一些分析联动 |
| |
通过身份证。例如，我们 |
| |
会这样做，但在这样做时， |
| |
我们可能会产生一些问题，因为 |
| |
例如，在披露数据时 |
| |
通常应该是 |
| |
匿名。数据 |
| |
整合，是的，那会 |
| |
让我们做奇妙的事情， |
| |
但如果数据被认为 |
| |
有一些隐私暴露 |
| |
问题，那么可能是质量 |
| |
的信息来自 |
| |
我们要做的分析 |
| |
将会 将会 将会 |
| |
做作的。所以数据整合 |
| |
应该非常非常地调查 |
| |
小心。这就是人们所 |
| |
可能用于调用 ETL |
| |
提取、转换和加载。我们 |
| |
现在有更好的方法 |
| |
这样做。加入选项，对于 |
| |
例如，在 JMP 中将提供 |
| |
这样做的选项。 |
| |
时间相关性。好的，那就是 |
| |
很清楚。我们有数据。这是 |
| |
以某种方式印记。如果我们要去的话 |
| |
稍后再分析 |
| |
数据收集后，以及 |
| |
如果我们的部署 |
| |
考虑得更晚，那么 |
| |
数据可能不是暂时的 |
| |
相关的。在一个共同的 |
| |
情况，如果我们要比较 |
| |
现在发生了什么，我们会 |
| |
喜欢能够做到这一点 |
| |
与最近的数据比较或 |
| |
疫情前的数据 |
| |
开始了，但不到10年 |
| |
早些时候。官方统计 |
| |
健康记录上曾经有两个 |
| |
或落后三年 |
| |
时机，这使得它非常 |
| |
官方使用困难 |
| |
评估中的统计 |
| |
这是怎么回事 |
| |
大流行。数据的年表和 |
| |
目标与决策相关 |
| |
我们因我们的 |
| |
目标。因此，例如，如果我们的 |
| |
目标是预测空气质量， |
| |
我们将使用一些 |
| |
空中预测模型 |
| |
质量指数报告 |
| |
每日基础。这给了我们一个 |
| |
从危险到六级 |
| |
好的。有一些值 |
| |
代表的水平 |
| |
健康问题。零 50 很好； |
| |
300-500 是危险的， |
| |
数据和目标的时间顺序 |
| |
意味着我们应该能够 |
| |
每天进行预测 |
| |
基础。所以我们使用的方法 |
| |
应该每天更新 |
| |
基础。另一方面，如果 |
| |
我们的目标是弄清楚如何 |
| |
计算出这个 AQI 指数，然后我们 |
| |
并不受真正的约束 |
| |
分析的及时性。 |
| |
你知道，我们可以把我们的 |
| |
时间。没有什么紧急的事 |
| |
完成分析 |
| |
每日基础。普遍性， |
| |
第六维度，大约是 |
| |
采取我们的发现和 |
| |
考虑到这可以在哪里 |
| |
适用于更一般的术语， |
| |
其他人群，所有 |
| |
情况。这可以做到 |
| |
直观地。营销经理谁 |
| |
看过一项研究 |
| |
市场，我们称之为A，可能 |
| |
已经明白什么是 |
| |
对市场 B 的影响 |
| |
没有数据。那些人 |
| |
物理学家将能够 |
| |
做出预测基于 |
| |
第一性原理力学 |
| |
没有没有数据。 |
| |
所以有一些普遍性 |
| |
是用数据完成的。这是 |
| |
统计基础 |
| |
概括，我们从哪里来 |
| |
样本到总体。 |
| |
统计推论是关于 |
| |
概括。我们概括 |
| |
从样本到 |
| |
人口。有些可以是 |
| |
基于域，换句话说， |
| |
使用专业知识、领域 |
| |
专业知识，不一定是 |
| |
数据。我们必须认识到 |
| |
普遍性不仅仅是 |
| |
完成统计。 |
| |
第七维是 |
| |
构建可操作化， |
| |
这才是真正的问题 |
| |
我们测量的。我们想 |
| |
评估行为、情绪、什么 |
| |
这是我们可以测量的 |
| |
将为我们提供反映 |
| |
行为或情绪。 |
| |
我在这里给出的例子 |
| |
通常是疼痛。 |
| |
我们知道什么是痛苦。怎么办 |
| |
我们测量那个？如果你去一个 |
| |
去医院，你问护士， |
| |
你如何评估疼痛，他们 |
| |
会告诉你，我们有一个秤， |
| |
1到10。非常 |
| |
质量，不是很 |
| |
我想说，科学。要是我们 |
| |
想要测量的水平 |
| |
司机体内酒精含量... |
| |
路，将很难 |
| |
措施。所以我们可以测量 |
| |
速度作为替代指标。 |
| |
另一部分 |
| |
运营化是另一个 |
| |
故事的结局。其他 |
| |
话，第一部分， |
| |
构造是我们测量的东西， |
| |
这反映了我们的目标。的 |
| |
结束...最终的结果是 |
| |
我们有发现并且我们想要 |
| |
和他们一起做点什么。我们想要 |
| |
将我们的发现付诸实践。 |
| |
动作是这样的 |
| |
操作化是关于。 |
| |
这是关于你用它做什么 |
| |
发现然后被 |
| |
在讲台上展示。我们 |
| |
用来问三个问题。 |
| |
这些非常重要 |
| |
要问的问题。一旦你有 |
| |
做了一些分析，你已经 |
| |
在你面前的某人 |
| |
说，哦，非常感谢你， |
| |
你完了……你，统计学家 |
| |
或数据科学家。所以这 |
| |
这需要你多走一步， |
| |
让你去询问你的客户 |
| 这些简单的问题 |
做什么 |
| |
你想完成什么？怎么会 |
| |
你会这样做，你会怎样做 |
| |
知道你是否已经完成 |
| |
那？我们可以帮忙解答，或者 |
| |
至少支持其中一些 |
| |
我们已经回答过的问题。 |
| |
第八维是 |
| |
沟通。我给你一个 |
| |
一个非常著名的老例子 |
| |
19世纪的地图，其中 |
| |
正展现着前进的步伐 |
| |
拿破仑军队从法国到 |
| |
莫斯科飞往俄罗斯。你看到 |
| |
数字是宽度 |
| |
路径表示大小 |
| |
军队，然后继续 |
| |
黑色你知道发生了什么 |
| |
他们正在回来的路上。 |
| |
所以基本上这是一个 |
| |
灾难性的行军。我们我们我们我们 |
| |
可以将这张旧地图与 |
| |
现有的地图，并且有一个 |
| |
JMP 插件，您可以 |
| |
在 JMP 社区上查找 |
| |
用气泡图向您展示， |
| |
动态气泡图这是什么 |
| |
好像。所以我已经涵盖了 |
| |
很快八个信息 |
| |
质量维度。我最后一次 |
| |
幻灯片就是我所说的 |
| |
大约来自历史 |
| |
观点，确实放了一些 |
| |
与我所说的成比例。 |
| |
我想我们真的处在这个时代 |
| |
的信息质量。我们用了 |
| |
关心产品 |
| |
18世纪的质量， |
| |
17世纪。然后我们搬到了 |
| |
流程质量和服务 |
| |
质量。这是一个简短的备忘录 |
| |
在提出控制图时， |
| |
我想是 1924 年。 |
| |
然后我们转向管理 |
| |
质量。这就是朱兰经 |
| |
设计、改进三部曲 |
| |
和控制。六西格码（定义， |
| |
测量、分析、改进） |
| |
控制过程是 |
| |
朱兰的改进过程， |
| |
朱兰是祖父 |
| |
从这个意义上说，是六西格码。 |
| |
然后到了 80 年代，田口来了 |
| |
他谈到了稳健 |
| |
设计。我们该如何处理 |
| |
通过适当的输入的可变性 |
| |
设计决策？现在我们是 |
| |
在信息时代 |
| |
质量。我们有传感器。我们 |
| |
拥有灵活的系统。我们是 |
| |
取决于人工智能和机器 |
| |
学习和数据挖掘，我们 |
| |
正在聚集大大大大 |
| |
数字，但我们称之为大 |
| |
数据。对信息的兴趣 |
| |
质量应该是首要的 |
| |
兴趣。我要尝试一下 |
| |
说服你，在帮助下 |
| |
克里斯，那个。 |
| |
我们在这里，JMP 可以 |
| |
帮助我们实现这一目标 |
| |
真是不寻常的方式。 |
| |
最后你会看到什么 |
| |
克里斯将进行的案例研究 |
| |
展示了如何做到这一点 |
| |
信息质量评估和 |
| |
就具体研究而言，基本上 |
| |
产生信息质量 |
| |
分数。所以如果我们自上而下，我 |
| |
可以告诉你这个研究，这个 |
| |
工作，这个分析可能是 80% 或 |
| |
也许是 30%，也许是 95%。 |
| |
通过这个例子你将会 |
| |
看看如何做到这一点。有一个 |
| |
JMP 插件可提供此功能 |
| |
评估。原来是这样 |
| |
相当相当容易。有 |
| |
没有什么真正复杂的 |
| |
关于那个。所以我完成了并且 |
| |
克里斯，在你之后。谢谢，罗恩。所以 |
| |
现在我要讲一下 |
| |
以某种方式分析数据集 |
| |
明确指出 |
| |
各个方面的信息 |
| |
质量并展示 JMP 的性能 |
| |
用于评估改进 |
| |
对于 InfoQ 来说。所以首先，我 |
| |
将会浏览 InfoQ |
| |
成分。第一期InfoQ |
| |
组件是目标，所以在 |
| |
这种情况下的问题陈述 |
| |
那是一家化学公司吗 |
| |
想要一个配方 |
| |
最大化产品产量，同时 |
| |
最大限度地减少有害杂质 |
| |
这是反应的结果。 |
| |
这就是高水平目标。 |
| |
从统计学的角度来说，我们想要 |
| |
找到一个准确的模型 |
| |
预测对数据的响应 |
| |
设置以便我们可以找到 |
| |
成分的组合和 |
| |
处理步骤会导致 |
| |
到更好的产品。 |
| |
数据设置为100 |
| |
实验配方 |
| |
一种主要成分 X1，和 |
| |
10 种添加剂。还有一个 |
| |
处理系数为 13 |
| |
回应。数据是 |
| |
完全捏造但被 |
| |
模拟来说明相同的 |
| |
的优点和缺点 |
| |
原始数据。数据 |
| |
还制定了配方 |
| |
记录了。我们将关注 |
| |
这些数据密切相关，所以我想 |
| |
超出指出范围的详细阐述 |
| |
他们被收集在一个 |
| |
临时方式，改变一两个 |
| |
一次添加而不是 |
| |
作为设计或随机 |
| |
实验。有很多 |
| |
分析这些数据的方法 |
| |
最典型的是最少的 |
| |
正向正方形建模 |
| |
对所选响应的选择。 |
| |
这就是我的初衷 |
| |
对于这次演讲，但是当我展示 |
| |
把数据传给罗恩，他立即 |
| |
识别响应栏 |
| |
作为分析的时间序列 |
| |
化学。尽管数据 |
| |
被模拟，他可以看到 |
| |
结构。他能看见东西 |
| |
在我没有看到的数据中 |
| |
读起来却并非如此。我发现 |
| |
这令人震惊 |
| |
感人的。它超出了 |
| |
本次演讲的范围，但有 |
| |
更好的方法基于 |
| |
集成建模使用 |
| |
分数加权 |
| |
引导。菲尔拉姆齐， |
| |
韦恩·莱文和我还有另一个 |
| |
谈论这种方法论 |
| |
欧洲发现号 |
| |
今年的会议。这 |
| |
方法很有前途，因为它 |
| |
可以将模型与数据拟合 |
| |
比更积极的互动 |
| |
有跑步。第四场也是最后一场 |
| |
信息质量的组成部分 |
| |
是效用，这就是我们的能力 |
| |
能够评估我们的目标。或者 |
| |
我们如何衡量我们做得如何 |
| |
评估我们的目标？有一个 |
| |
域方面在这 |
| |
如果我们想要一个 |
| |
公式导致 |
| |
最大化产量并最小化 |
| |
后处理过程中的浪费 |
| |
材料。统计 |
| |
分析效用是指 |
| |
我们适合的模型。我们是什么 |
| |
争取最少的 |
| |
我们模型的准确率平方 |
| |
就我们的能力而言 |
| |
预测...会发生什么 |
| |
候选人的结果 |
| |
配方...的组合 |
| |
混合因素。现在我要走了 |
| |
回答一系列问题 |
| |
构成详细的 InfoQ |
| |
评估被组织成 |
| |
信息的八个维度 |
| |
质量。我想指出 |
| |
并不是所有的问题都会 |
| |
与不同的事物同等相关 |
| |
数据科学和统计 |
| |
项目，并且这不是 |
| |
旨在成为僵化的教条，但是 |
| |
而是一组东西 |
| |
问问自己是个好主意。 |
| |
这些问题代表了一种 |
| |
数据分析智慧 |
| |
看起来比仅仅更广泛 |
| |
特定的应用 |
| |
统计技术。复印件 |
| |
包含这些的电子表格 |
| |
问题以及指向 |
| |
最常见的 JMP 功能 |
| |
对于回答一个有用 |
| |
将上传特定的一个 |
| |
前往 JMP 社区 |
| |
附此讲供您使用。作为 |
| |
我继续回答问题， |
| |
我将演示一个分析 |
| |
JMP 中的数据。所以问题1 |
| 是 |
是使用的数据规模 |
| |
与既定目标一致吗？所以 |
| |
我们的 X 包括 |
| |
单个分类变量 |
| |
处理和11连续 |
| |
输入。这些是测量的 |
| |
作为百分比，也 |
| |
记录为百分之半。我们 |
| |
没有总金额 |
| |
成分，仅 |
| |
百分比。总数为 |
| |
丢失的信息 |
| |
或从未记录过。有 |
| |
其他潜在重要的 |
| |
的信息是 |
| |
这里失踪了。之间的时间 |
| |
制定批次和 |
| |
测量消失了 |
| |
可能还有其他的 |
| |
协变量级别的信息 |
| |
这里缺少了 |
| |
描述了以下条件 |
| |
从而发生反应。 |
| |
没有比我更多的信息 |
| |
有，我不能说有多重要 |
| |
这种协变量信息 |
| |
本来可以。我们确实有 |
| |
当天的信息 |
| |
批处理，这样就可以用作 |
| |
可能是代理人。总的来说我们 |
| |
希望拥有最多的东西 |
| |
重要的投入，以及 |
| |
我们对反应的测量 |
| |
希望优化。我们可以有 |
| |
有更多信息，但是这个 |
| |
看起来很有希望尝试 |
| |
并分析与.第二 |
| |
与数据相关的问题 |
| |
分辨率是如何可靠和 |
| |
测量设备精确 |
| |
和数据源。而事实 |
| |
是，我们没有很多 |
| |
具体信息在这里。这 |
| |
统计学家内部 |
| |
公司本来会有更多 |
| |
信息。在这种情况下我们 |
| |
别无选择，只能相信 |
| |
化学家制定并 |
| |
很好地记录了混合物。这 |
| |
第三个问题与数据有关 |
| 分辨率是 |
是数据 |
| |
适合数据的分析 |
| |
聚合级别？还有 |
| |
这里的答案是肯定的，假设 |
| |
他们的测量系统是 |
| |
准确并且数据是 |
| |
够干净。我们要去什么 |
| |
最终实际做的是 |
| |
我们将使用 |
| |
功能数据浏览器 |
| |
提取功能原理 |
| |
组件，它们是数据 |
| |
派生数据类型 |
| |
聚合。然后我们就 |
| |
将会为那些建模 |
| |
功能主成分 |
| |
使用输入变量。所以 |
| |
现在我们继续讨论数据 |
| |
结构尺寸和 |
| |
我们问的第一个问题是 |
| |
使用的数据与 |
| |
既定目标？而且我认为 |
| |
这里的答案是明确的“是”。是 |
| |
试图最大化 |
| |
屈服。我们有测量数据 |
| |
那个，输入是 |
| |
记为 X。第二个数据 |
| |
结构问题是在哪里 |
| |
事情真的开始变得 |
| |
对我来说很有趣。所以这是 |
| |
是完整性细节 |
| |
（异常值、缺失值、数据 |
| |
腐败）所描述的问题和 |
| |
处理得当吗？所以从 |
| |
这里我们可以使用JMP来实现 |
| |
了解异常值在哪里 |
| |
是，找出策略 |
| |
对于缺失值该怎么办， |
| |
观察他们的模式等等 |
| |
在。所以这就是这就是这里 |
| |
事情会变得有点 |
| |
更有趣一点。首先 |
| |
我们要做的是 |
| |
来确定是否有 |
| |
我们发现数据中存在任何异常值 |
| |
需要关心。所以 |
| |
为了做到这一点，我们要去 |
| |
探索异常值 |
| |
屏幕外的平台 |
| |
菜单。我们要加载 |
| |
响应变量，并且因为 |
| |
这是一个多变量设置， |
| |
我们将使用一个新功能 |
| |
在 JMP Pro 16 中称为稳健 |
| |
PCA 异常值。所以我们看看哪里 |
| |
大的残差在那些 |
| |
一种帕累托型图。 |
| |
有一张快照显示了哪里 |
| |
有一些潜在的 |
| |
异常大的观察结果。我 |
| |
我真的不认为这看起来 |
| |
对我来说太不寻常或令人担忧。 |
| |
我们可以保存大的异常值 |
| |
到数据表，然后查看 |
| |
他们在分布中 |
| |
平台以及我们所看到的 |
| |
看起来像正态分布 |
| |
中间被取出。所以我 |
| |
认为这是数据 |
| |
来自相同的地方 |
| |
人口众多却什么都没有 |
| |
真的要担心这里， |
| |
离群值。所以一旦我们 |
| |
照顾异常值 |
| |
我们进入并探索的情况 |
| |
缺失值。那么我们是什么 |
| |
首先要做的是我们要去 |
| |
将 Ys 加载为...到 |
| |
平台，然后我们就去 |
| |
使用缺失值 |
| |
快照看看有什么模式 |
| |
他们是我们失踪的人之一 |
| |
价值观。它看起来像 |
| |
缺失值往往发生在 |
| |
水平簇，并且有 |
| |
也有相同的缺失值 |
| |
跨行。所以你可以看到 |
| |
这里有黑色斑点。 |
| |
然后我们去申请一个 |
| |
自动数据插补， |
| |
继续进行并节省 |
| |
插补的公式列 |
| |
新的缺失值 |
| |
使用回归类型的列 |
| |
开发的算法 |
| |
我的一个博士生叫米洛 |
| |
北卡罗来纳州的页面。这样我们就可以玩了 |
| |
绕一点，得到一个 |
| |
感觉ADI怎么样 |
| |
算法正在工作。所以就是 |
| |
创建了这些公式列 |
| |
正在剥落的元素 |
| |
ADI 估算列，即 |
| |
向量公式列，以及 |
| |
评分插补函数 |
| |
正在计算预期 |
| |
给定缺失单元格的值 |
| |
非缺失单元格，无论何时 |
| |
它有一个缺失值。这是 |
| |
只是进行非 |
| |
缺失值。所以你可以看到207 |
| |
在 YO...Y6 那里。最初是 |
| |
207 但后来我把它改为 |
| |
失踪了，现在正在 |
| |
估计为234。 |
| |
所以我会这样做几次 |
| |
你可以看看怎么样 |
| |
在职的。所以这里我会放一个大的 |
| |
Y7 的值，就是现在。 |
| |
被替换。如果我们下去 |
| |
我们添加一行， |
| |
那么所有缺失值都在那里 |
| |
最初，该列意味着 |
| |
被替换为 |
| |
估算。如果我要去的话 |
| |
并为其中一些添加值 |
| |
那些缺失的细胞，它会 |
| |
开始做条件 |
| |
对仍然失踪的人的期望 |
| |
使用信息的细胞 |
| |
那是失踪的那个…… |
| |
非失踪者。所以我们的下一个 |
| |
数据结构的问题是 |
| |
是分析方法 |
| |
适合数据结构吗？ |
| |
所以我们有 11 个混合输入 |
| |
和一个处理变量 |
| |
绝对的。那些正在去 |
| |
被输入到至少 |
| |
正方形类型模型。我们有 |
| |
13 连续响应和 |
| |
我们可以使用...对它们进行建模 |
| |
单独使用最少 |
| |
正方形。或者我们可以建模 |
| |
职能主体 |
| |
成分。 ……现在有 |
| |
问题。 X 是... |
| |
输入变量尚未 |
| |
完全随机化。这是很 |
| |
很明显他们会弄脏 |
| |
周围有一个或多个 |
| |
化合物然后移动 |
| |
到另一个。所以 |
| |
的顺序 |
| |
输入变量不同 |
| |
有点随意。它是 |
| |
明显缺乏随机化，并且 |
| |
这将会产生负面影响 |
| |
影响我们的……普遍性 |
| |
以及我们的结论的强度。 |
| |
数据整合是第三 |
| |
InfoQ 维度。这些数据 |
| |
手动输入实验室笔记 |
| |
主要由混合物组成 |
| |
百分比和装备 |
| |
读数。我们只能假设 |
| |
数据已输入 |
| |
正确并且 X 是 |
| |
与回应正确一致。 |
| |
如果情况并非如此，那么 |
| |
模型会有严重偏差 |
| |
问题并有 |
| |
普遍性问题。 |
| |
整合更是一个问题 |
| |
与观测数据 |
| |
机器中的科学问题 |
| |
学习练习，而不是实验室 |
| |
像这样的实验。虽然 |
| |
它不适用于这里，我会 |
| |
指出隐私和 |
| |
保密问题可能是 |
| |
通过建模来识别 |
| |
数据的敏感部分使用 |
| |
待发布的组件 |
| |
在数据上。如果由此产生的 |
| |
模型被预测，然后一 |
| |
应该关注隐私 |
| |
关切的问题没有得到解决。颞 |
| |
相关性是指 |
| |
操作时间排序 |
| |
数据收集、分析和 |
| |
部署情况及是否存在差距 |
| |
这些阶段之间导致 |
| |
的有用性下降 |
| |
研究中的信息。 |
| |
在这种情况下，我们只能简单地 |
| |
希望物资供应 |
| |
相当一致并且 |
| |
测试设备是 |
| |
相当准确，这是一个 |
| |
在此无法验证的假设 |
| |
观点。我们的时间分辨率 |
| |
当数据收集时有 |
| |
在日级别，这意味着 |
| |
没有太多办法 |
| |
我们可以核实一下是否有时间 |
| |
每天内的变化。 |
| |
数据和目标的时间顺序是 |
| |
关于可用性 |
| |
相关变量都在 |
| |
变量是否是 |
| |
全部存在于数据中或 |
| |
信息是否正确 |
| |
当模型可用时 |
| |
已部署。用于预测 |
| |
模型，这个与模型有关 |
| |
适合类似的数据 |
| |
当时会出现什么 |
| |
该模型将被评估 |
| |
新数据。这样我们的数据 |
| |
设置当然没问题。为了 |
| |
然而，建立因果关系 |
| |
我们的处境并不那么好 |
| |
因为缺乏形状 |
| |
随机化意味着时间 |
| |
效应和因素效应可能 |
| |
感到困惑，导致偏见 |
| |
在我们的估计中。内生性， |
| |
或者颠倒因果关系，可以 |
| |
显然这里是一个问题，因为 |
| |
温度等变量 |
| |
反应时间显然可以是 |
| |
影响反应，但有 |
| |
未被记录。全面的， |
| |
有很多我们不知道的事情 |
| |
关于这个维度 |
| |
信息质量意识。 |
| |
InfoQ 的其余部分 |
| |
评估将是 |
| |
取决于类型 |
| |
我们所做的分析。所以在这个 |
| |
我要继续 |
| |
对此数据进行分析 |
| |
使用功能数据 |
| |
JMP Pro 中的浏览器平台 |
| |
这让我可以跨模型 |
| |
所有列同时 |
| |
以一种基于的方式 |
| |
功能主成分， |
| |
其中包含最大数量 |
| |
所有这些的信息 |
| |
中所示的列 |
| |
最有效的格式可能。 |
| |
我将致力于 |
| |
列的估算版本 |
| |
我之前计算过的 |
| |
推介会。我要去 |
| |
指出我将会 |
| |
努力寻找组合 |
| |
达到的混合因素 |
| |
尽可能接近地 |
| |
最小二乘意义，理想 |
| |
所创建的曲线 |
| |
最大化的实践者 |
| |
潜在产品的数量 |
| |
可能是批量的 |
| |
最大限度地减少 |
| |
他们的杂质 |
| |
现实地想了一批 |
| |
可以包含。所以我开始 |
| |
通过进入分析进行分析 |
| |
菜单，调出功能 |
| |
数据浏览器。这有行作为 |
| |
功能。我要加载我的 |
| |
估算行，然后我要去 |
| |
放入我的公式中 |
| |
组件和我的处理 |
| |
专栏作为补充 |
| |
多变的。我们有身份证 |
| |
函数，即批次 ID。我在这 |
| |
进去。我可以看到功能， |
| |
两者都完全覆盖，并且 |
| |
我可以看到各个功能。 |
| |
然后我可以加载目标 |
| |
函数，这是理想的。 |
| |
这将改变 |
| |
分析结果一旦我 |
| |
开始进入建模阶段 |
| |
脚步。所以这些都很漂亮 |
| |
简单的功能，所以我只是 |
| |
将用它们建模 |
| |
B 样条线。 |
| |
然后我要进入我的 |
| |
功能 DOE 分析。 |
| |
这将适合模型 |
| |
将输入连接到 |
| |
功能主体 |
| |
组件，然后连接所有 |
| |
的方式通过 |
| |
特征函数使其如此 |
| |
我们能够恢复 |
| |
整体功能如它们 |
| |
改变了，因为我们正在改变 |
| |
混合因素。这 |
| |
功能主成分 |
| |
分析表明 |
| |
有四个维度 |
| |
这些反应的变化 |
| |
功能。要了解什么 |
| |
他们的意思是，让我们继续吧 |
| |
使用 FPC 分析仪进行探索。 |
| |
所以在这里观看这个窗格 |
| |
我调整FPC 1，我们可以看到 |
| |
该 FPC 关联的 |
| |
峰高。 FPC2，看起来 |
| |
就像是一个高峰 |
| |
狭窄性。这几乎就像一个 |
| |
决议主体 |
| |
成分。第三个是 |
| |
与膝盖的种类有关 |
| |
主峰的左侧。 |
| |
《巅峰4》看起来就像是 |
| |
主要与 |
| |
杂质，所以这就是 |
| |
其根本含义是 |
| |
这四个功能 |
| |
主要成分。 |
| |
所以我们已经描述了我们的目标 |
| |
最大化产品和 |
| |
最大限度地减少杂质，并且 |
| |
我们已将此传达给 |
| |
通过这个理想或分析 |
| |
我们提供的黄金曲线 |
| |
FDE的开始 |
| |
我们正在做的练习。为了得到 |
| |
尽可能接近那个理想 |
| |
曲线，我们打开意愿 |
| |
功能。然后我们就可以走了 |
| |
并最大化意愿。 |
| |
我们发现最优的 |
| |
输入的组合约为 |
| |
4.5%的 |
| |
成分四，2% |
| |
成分 6. 2.2% |
| |
成分 8 和 1.24% |
| |
成分9使用加工 |
| |
方法二。让我们回顾一下如何 |
| |
我们已经到了这里。我们首先 |
| |
计算缺失的响应 |
| |
列。然后我们找到B样条 |
| |
适合这些功能的模型 |
| |
在 FDE 平台上表现良好。 A |
| |
功能主成分 |
| |
分析确定有 |
| |
有四个特征函数 |
| |
表征变化 |
| |
这个数据。这四个 |
| |
确定了本征函数 |
| |
通过 FPC 分析仪到每个 |
| |
有一个合理的主题 |
| |
事的意义。功能性的 |
| |
DOE 分析包括 |
| |
应用前向剪枝 |
| |
选择每个 |
| |
个人 FPC 分数使用 |
| |
DOE 因素作为输入变量。 |
| |
我们在这里看到这些有 |
| |
找到的组合 |
| |
相互作用和主要影响 |
| |
最有预测性的是 |
| |
每个功能主体 |
| |
各组成部分单独评分。 |
| |
功能 DOE 分析器 |
| |
优雅地捕捉到了一切 |
| |
各方面转化为一种表示 |
| |
这使我们能够找到 |
| |
配方加工步骤 |
| |
预计有理想的 |
| |
通过高测量的特性 |
| |
收率高，杂质低。 |
| |
现在我们可以做一个 InfoQ |
| |
的评估 |
| |
数据的普遍性 |
| |
分析。所以在这种情况下， |
| |
我们更感兴趣的是 |
| |
科学普遍性，如 |
| |
实验者是一个深 |
| |
知识渊博的化学家工作 |
| |
与该化合物。所以我们是 |
| |
将会更加依赖 |
| |
他们的主题专业知识 |
| |
然后是统计原理 |
| |
以及假设检验等工具 |
| |
等等。目标是 |
| |
主要是预测性的，但是 |
| |
普遍性是一种 |
| |
有问题的，因为 |
| |
实验没有设计。我们的 |
| |
估计相互作用的能力 |
| |
对于像这样的技术被削弱 |
| |
前向选择和不可能 |
| |
通过最小二乘分析 |
| |
完整模型。因为 |
| |
研究不是随机的 |
| |
可能是未记录的时间 |
| |
秩序效应。我们没有 |
| |
潜在重要的协变量 |
| |
温度等信息 |
| |
反应时间。这创造了 |
| |
又一个大问号 |
| |
关于普遍性。 |
| |
重复性和 |
| |
研究的重现性是 |
| |
和我们一样，这里也是一个未知数 |
| |
没有关于的信息 |
| |
由于可变性 |
| |
测量系统。幸运的是， |
| |
我们确实有 JMP 等工具 |
| |
评估设计以理解 |
| |
现有的设计以及 |
| |
增强设计，可以大大 |
| |
增强概括性 |
| |
分析的性能。 |
| |
增强可以改善信息 |
| |
关于主效应和 |
| |
互动，第二轮 |
| |
实验可能是 |
| |
随机也增强 |
| |
普遍性。所以现在我 |
| |
将要经历几个 |
| |
简单的步骤来展示如何 |
| |
提高泛化能力 |
| |
我们的研究表现使用 |
| |
JMP 中的设计工具。于我之前 |
| |
这样做，我想指出 |
| |
我必须获取数据并 |
| |
将其转换为 |
| |
比例而不是按比例 |
| |
百分比。否则设计 |
| |
工具并没有真正达成一致 |
| |
数据很好。所以我们 |
| |
进入评估设计器 |
| |
然后我们加载 Ys 并 |
| |
我们的X。我请求能够 |
| |
处理二阶交互。 |
| |
然后...是的，我收到了这个警报 |
| |
说，嘿，我不能这么做 |
| |
因为我们无法 |
| |
估计所有的相互作用 |
| |
一次给定一个因素 |
| |
我们拥有的数据。所以我支持 |
| |
向上。我们去增强 |
| |
设计师，加载一切， |
| |
设置增强。我们会选择，然后我- |
| |
最佳设计，因为我们 |
| |
真正关心 |
| |
此处预测的性能。 |
| |
和我 |
| |
将运行次数设置为 148。 |
| |
定制设计师要求 |
| |
至少 141，但我去了 |
| |
148 只是为了确认一下 |
| |
我们有能力 |
| |
估计我们所有的互动 |
| |
很不错。之后，它 |
| |
大约需要 20 秒 |
| |
构建设计。所以现在 |
| |
我们有设计，我是 |
| |
将展示最多的两个 |
| |
重要的诊断工具 |
| |
增强设计师 |
| |
评估设计。上 |
| |
左边，我们有分数 |
| |
设计空间图。这是 |
| |
显示 50% 的体积 |
| |
设计的有 |
| |
预测方差为 |
| |
小于 1。所以 1 就是 |
| |
相当于残差 |
| |
错误。所以我们能够得到 |
| |
优于测量误差 |
| |
质量预测 |
| |
大部分设计。上 |
| |
对了，我们有彩色地图 |
| |
相关性。这是显示 |
| |
我们能够估计 |
| |
一切都很好。有 |
| |
有些...因为混合物 |
| |
约束，我们得到一些 |
| |
之间的强相关性 |
| |
相互作用和主要影响。 |
| |
总体来说效果还算可以 |
| |
干净的。并且交互作用是 |
| |
很好地与一个分开 |
| |
另一个，以及主要影响 |
| |
与 |
| |
彼此也是如此。后 |
| |
看设计 |
| |
诊断，我们可以使 |
| |
桌子。在这里，我已经展示了 |
| |
前 13 次增强运行 |
| |
我们看到我们已经......我们 |
| |
有更多的随机化。我们不 |
| |
使用相同的主效应 |
| |
一次又一次的条纹。 |
| |
这是更好的证据 |
| |
随机化和总体 |
| |
设计将能够 |
| |
更好地估计主要 |
| |
影响和相互作用有 |
| |
收到更好、更高的质量 |
| |
第二阶段的信息 |
| |
的实验。所以输入 |
| |
变量 X 是准确的 |
| |
混合物的表示 |
| |
比例，一目了然 |
| |
客观利益。这 |
| |
反应是接近的替代品 |
| |
对于产品的数量 |
| |
以及其中的杂质含量 |
| |
批次。我们很擅长 |
| |
7.1.那里。理由 |
| |
很清楚。研究结束后，我们 |
| |
当然可以去准备一个 |
| |
批次即配方 |
| |
FDOE 推荐的 |
| |
分析器。尝试一下，看看是否可以 |
| |
我们得到了那种 |
| |
我们正在寻找的性能 |
| |
为了。很明显的是 |
| |
这就是我们可以做到的方式 |
| |
评估我们取得的成绩 |
| |
我们的学习目标。所以现在在 |
| |
InfoQ 最后一个维度 |
| |
沟通。通过描述 |
| |
以理想曲线为目标 |
| |
功能，功能 DOE |
| |
Profiler 制定目标和 |
| |
晶体分析结果 |
| |
清除。但这可以表达 |
| |
在一个容易的水平 |
| |
由化学家解释和 |
| |
研发机构的经理。 |
| |
正如我们已经完成了详细的 |
| |
信息质量评估， |
| |
我们一直很坦率地谈论 |
| |
的优点和缺点 |
| |
研究设计和数据 |
| |
收藏。如果结果确实如此 |
| |
不是一概而论，我们当然 |
| |
知道去哪里寻找 |
| |
问题是。一旦你成为 |
| |
熟悉概念， |
| |
有一个很好的插件编写 |
| |
作者：Ian Cox，你可以用它来 |
| |
快速进行 InfoQ 定量分析 |
| |
评估。该插件有 |
| |
上部和下部滑块 |
| |
每个 InfoQ 维度的边界。 |
| |
这些尺寸组合起来 |
| |
使用意愿函数 |
| |
整体区间的方法 |
| |
左边是 InfoQ。 |
| |
这里有一个评估 |
| |
我涵盖的数据和分析 |
| |
这个演示。插件是 |
| |
也是一个有用的思维工具 |
| |
会让你考虑每一个 |
| |
InfoQ 的维度。这也是一个 |
| |
实用的沟通方式 |
| |
InfoQ 对您的评估 |
| |
客户或您的管理层，如 |
| |
它提供了一个高层次的视图 |
| |
信息质量无 |
| |
使用大量技术 |
| |
概念和术语。加载项 |
| |
也可用作基础 |
| |
InfoQ 的比较。我的 |
| |
最初的希望是这样的 |
| |
演示文稿有点 |
| |
更有野心一点。我曾希望 |
| |
涵盖我的分析 |
| |
刚刚经历过，还有 |
| |
另一个更简单的，我跳过的一个 |
| |
输入响应并执行 |
| |
一个简单的多元线性 |
| |
响应的回归模型 |
| |
列。今天我只能 |
| |
提供最终评估 |
| |
方法。如你看到的， |
| |
InfoQ 的几个 |
| |
尺寸受到严重影响 |
| |
没有更复杂的 |
| |
分析。很清楚的是 |
| |
简单的分析导致 |
| |
InfoQ 得分低得多。 |
| |
简单的上限 |
| |
分析并没有那么高 |
| |
比下限多 |
| |
复杂的一个。和 |
| |
经验，你将收获 |
| |
凭直觉知道 InfoQ 有多好 |
| |
分数用于数据科学 |
| |
您所在行业的项目以及 |
| |
养成更好的习惯 |
| |
将不再视而不见 |
| |
你的信息瓶颈 |
| |
数据收集、分析和 |
| |
模型部署。信息 |
| |
品质优良且易于使用 |
| |
界面。这是我的第一次 |
| |
正式信息质量 |
| |
评估。就我自己而言， |
| |
信息质量 |
| |
框架已经给出了文字和 |
| |
我对很多事情的结构 |
| |
已经本能地知道了。它 |
| |
已经改变了我的方式 |
| |
方法新数据分析 |
| |
项目。我鼓励你去 |
| |
自己通过这个过程 |
| |
您自己的数据，即使该数据 |
| |
并且分析已经很 |
| |
你很熟悉。我保证 |
| |
你将成为一个更明智和 |
| |
更高效的数据科学家 |
| |
因为它。谢谢。 |
