你好
每个人。
我是
卡罗尔
公司
我是 a 统计学家 在 债务。
今天， I 将要 讲话 关于 a 项目 我曾
在 创造 a 时间- 高效的 战略 为了 选择 a 测试 放
在 这 验证 的 一个 图像 检测 算法。
这 工作 曾是 完毕 在 与科学家合作
从 这 国家的 环境健康科学研究所，
病理学家 从 实验 病理实验室，
和 我的 同伴 同事 在 债务。
在 啮齿动物 毒理学， 进步 在数字领域 图像分析
提供 机会 为了 定量 组织病理学 评估。
一个 例子 的 在哪里 数字的 图像 分析 可以 是 有用
正在评估 测试 文章- 诱导的免疫毒性作用
在 啮齿动物 脾脏。
通常， 病理学家 使用 a 显微镜
到 评价 无论 那里 是 脾脏免疫毒性
和 制作 判断 在 无论 脾脏 从 接受治疗的动物
是 不同的 从 这 控制 团体。
这 工作流程 是 易于 到 间 和 评分者内部 变异性
在 表征 差异 之内 这 学习
和 还 穿过 不同的 研究。
这是 一个 例子 的 a 放大- 在 横截面 看法 的 a 啮齿动物 脾。
这里， 我是 只是 指向 出去
具体特征 的 兴趣 到 我们的 合作者 那 我们 想 到 捕获。
我们的 问题。
什么时候 我们 得到 涉及 在 这 项目，
我们的病理学家合作者已经接受过培训 一个 算法
那 措施 这些 特征 的 兴趣。
这 问题 那 曾是 摆姿势 到 我们 曾是 如何 做 我们 证实 这 算法？
验证 是 a 非常 广阔 学期。
到 狭窄的 我们的 重点，
我们 想法 关于 什么 是 一些 的 这 主要的 问题 那 我们 通缉 到 地址。
第一的， 这 算法 曾是 由少数人训练，
所以 我们 通缉 到 看 无论 不同实验室的不同病理学家
会 同意 和 这 算法 输出。
第二， 那里 是 多种的 特征
在哪里 这 算法 曾是 受过训练 到 措施。
我们 通缉 到 看 如果 那里 是 任何具体特征
在哪里 表现 是 更好的 或者 更糟。
然后， 我们 还 通缉 到 看
如果这个算法 能 抓住 向上 到 反对 a 宽的 范围 的 案例。
如果 那里 是 任何 瞎的 斑点， 能 我们 寻找 他们？
患病的 还 提到 那 从 这里 以后，
我会 参考 到 这 图像 算法 作为 这 人工智能。
一 解决方案 那 我们 想法 的 是同时拥有人类和人工智能
注释 这 相同的 图片 和 比较 这 输出。
这 是 如何 它 会 工作。
A 组织 样本 获取 扫描 所以 它 转弯 进入 a 数字的 图像
或整张幻灯片 WSI 的图像，
和 那 图像 获取 美联储 进入 这 人工智能 为了 加工。
然后 为了 人类， 他们 看法 这 图像 使用 一个 图像软件
在哪里 他们 能 手动 注释 特征 的 兴趣。
一 的 这 问题 我们 得到 问的是 如何 许多 图片 做 我们 需要 到 证实？
作为统计学家，
我们的 回答 是 总是 作为 许多 作为 你 能 或者 做 你 有 数百？
你 有 数千？
但 后 说 到 他们，
你知道有很多 操作 约束 到 实施 这。
这 第一的 约束 曾是 那
有一个 需要 为了 每个 图像 到 是 评估 经过 三 不同的 人们。
拥有 三 人们 曾是 有用
以便 我们 能 还 估计 这 变异性 之间 評估員。
它 还 转弯 出去 那 这 过程 的 注解 是 非常 时间- 消耗。
后 说 到 这 病理学家， 这 最大限度 数字 的 图片
他们愿意 到 注释 曾是 关于 24 每 人。
然后， 最后， 一 的 这 目标 的 这个项目
是 到 得到 买- 在 或者 支持 从 病理学家 从 其他 实验室。
它 意味着 我们 需要 多个实验室的参与
和 多种的 人们 从 每个 实验室。
在 这 学习， 我们 得到 三个中心的参与
和 我们 有 三 病理学家 代表 每个 中心。
在 全部的， 我们 有 九 病理学家 招募 在 这 学习。
基于 在 全部 的 这些 约束，
我们已经 决定 那 我们 能 证实 仅有的 72 图像。
这 采样 计划。
现在 我们 知道 我们的 样本 尺寸。
如何 做 我们 选择 这 72？
随机的 选择 是 好的， 但 能 我们 做 更好的？
什么 我们 来了 向上 和 曾是
自从 这 成本 每 图像 为了 这 人工智能 相对较低，
我们 得到 这 人工智能 到 过程 a 更大 放 的 图片
然后从那里，
使用 信息 从 这 AI输出 到 更好的 选择 我们的 72 样品。
我们 使用 a 回复 服务 模型 到 选择 我们的 点
RSM 将选择点
向 这 边界 和 中心 的 这 输入 空间。
它是 a 模型 包含 你的 主要的 二- 方式 相互作用 效果 和 二次函数 效果。
这 模型 曾是 特别 有用 到 我们的 验证 问题
因为我们想要 到 看 为了 区域 在哪里 协议 失败 之间 人类 和 人工智能。
一般来说， 错误 趋向 到 发生 在 这 边界 和 边缘 的 这 空间。
这 类型 的 模型 适合 这 问题 那 我们 有。
现在， 我们 有 a 计划 到 选择 这 图像。
这 问题 现在 是 如何 做 我们 分配 这些 72 图片 穿过 九 评分者？
我们 预计 这 样品 到 有 a 宽的 范围 的 复杂。
我们 通缉 到 制作 当然 那 每个人 得到 a 均衡 混合 的 幻灯片。
这 复杂 或者 这 案件 混合
已确定 经过 这 输出 那 我们 得到 从 这 人工智能。
我们 还 需要 到 满足约束
的 制作 当然 那 每个 图像 是 见过 经过 三 不同的 人们。
这里 是 我的 工作流程。
I 将要 展示 你 如何 I 创建 这 满足的抽样计划
全部 的 我们的 操作 约束 在 JMP 中。
I 有 三 步骤 在 这 工作流程。
第一的， 我是 去 到 展示 你 如何 我们 已选择 这 72 图片
从 a 更大 放。
第二 是 如何 我们 复制 这 72 图片 三 次，
所以我们 有 216 运行。
我们需要这样做
因为我们希望每张图片 是 见过 经过 三 評級者。
这 最后的 步，
患病的 展示 你 如何 我们将 216 次运行分配给 9 位评分员
所以 那 每个 人 有 确切地 24 图像。
在 每个 的 这些 步骤， I 将要 实际上 是 使用 这 美国能源部 平台。
现在， 我是 只是 去 到 移动 超过 到 跳转。
I 有 我的 跳转 文件 在 那里。
我的 JMP 日志。
I 是 去 到 打开 a 样本 数据 放，
和 I 说 样本 因为 我们的 数据 有 不是 到过 已发布 然而。
为了 这 目的 的 这 示范， I 将要 是 使用 a 伪造的 数据 放。
这 数据 放 有 这 相同的 特征 到 这 原来的 数据 那 我们 集。
这 是 什么 这 数据 看起来 喜欢。
I 有 我的 滑动 ID， 哪个 是 只是 a 数字 多变的 去 从 1 到 100.
去 从 1 到 100 正确的 这里。
I 有 四 变量 那 我是 寻找 为了。
那是 到过 集 经过 这 人工智能。
特征 1、 2、 3、以及 4.
三 的 他们 是 连续的 和 一 是 帐户 多变的。
如果 你 看 在 在下面 分析， 多变量 方法，多变量，
如果 我们 只是 展示 这 散点图 你将看到的所有变量的矩阵，
全部 的 他们 是 不相关。
这 是 这 传播 的 这 范围 的 我们的 变量。
步 一。
在下面 美国能源部， 有 a 风俗 设计，这就是我所点击的。
我们 能 离开 这 回应 Y 这里。 只是 离开 它 独自的。
这 因素 这里， 有 实际上 二 方法 到 做 这。
一 方式 是 到 点击 在 这 按钮 这里 那 说 添加 因素。
I 思考 关于 第五 的 这 方式 和 有 a 协变量 选择。
如果 你 点击 那，
它会 问 你 哪个 列 协变量 你 想 到 包括 在 这 设计。
在 我的 案件， 它是 这些 四 特征。
我是 只是 选择 他们 和 你 点击 好的。
跳转 将要 自动地 填充最小值和最大值
为了 每个 的 这些 变量。
你会 看 这里 那 他们是 全部 治疗 作为 协变量。
那 看起来 好的。
患病的 只是 迅速地 关闭 这
和 然后 展示 你 其他 方式 的 正在做 这 相同的 事物。
再次， 在 美国能源部 风俗 设计。
什么 I 显示 你 曾是 添加 它 使用 这 方式 这里。
其他 方式 到 做 它 是 到 只是 使用 这 按钮 正确的 这里
其中说选择协变量 因素
和 它会 给 你 这 精确的 相同的 事物。
再次， 我是 采摘 这 因素 那 我是 感兴趣的 在
并且它自动 人口稠密 这 因素 窗户。
我是 只是 滚动 向下 到 这 底部 和 点击 继续。
这 是 在哪里 我们 能 放 在 这 模型 那 我们 想。
为了 我们， 我们 通缉 一个 RSM 或者 回复 服务 模型。
那里 是 再次 a 捷径 按钮 正确的 这里。
我是 只是 去 到 点击 那。
什么 那 做过 是 它 额外...
我们 已经 有 我们的 主要的 因素 在 那里，
但 它 额外 我们的 二次方程 和 二- 方式 相互作用 效果。
然后， 最后， 在 这 底部 这里 在哪里 它 说 数字 的 跑步，
我们 不 想 100 因为 我们 实际上 只是 想 到 选择 72 出去 的 100.
我是 只是 去 到 改变 这 到 72.
这 全部 看起来 好的 到 我。
患病的 点击 制作 设计。
让我们 只是 给 跳转 a 很少 秒 到 创造 这 设计 为了 我们。
这里 我们 去。
这 是 这 设计 那 它 创建 为了 我们。
作为 你 能 看， 如果 你 滚动 向下，
它 仅有的 给了 我们 72 行， 哪个 是 什么 我们 有 问 为了。
我是 只是 去 到 说， 转动 这 进入 a 数据 桌子。
我是 只是 去 到 打 制作 桌子 正确的 这里 在 这 底部 左边。
我是 去 到 关闭 这 为了 现在。
现在， 前 I 展示 你 什么 这 设计 看起来 喜欢，
I 实际上 想 到 去 后退 到 这 原来的 桌子，
只是 所以 你 可以 看...
我们 能 比较 什么 发生在所选择的观察结果上
相对 观察 那 是 不是 摘了。
如果 你 去 后退 到 这 原来的 数据 桌子， 这 一 那 是 被选中，
那 72 是 实际上 突出显示。
什么 ID 喜欢 到 做 在 这 观点 是 ID 喜欢 到 创造 a 新的 柱子
那 会 确认 哪个 行 是 已选择 和 哪个 一 不是。
到 做 那， 你 去 在下面 行。
在下面 排 选择，
那里 是 这 最后的 选项 在 这里 说 姓名 选择 在 柱子。
什么 它会 做 它会 标签 这 当前选定的行
和 节省 任何 价值观 你 分配 为了 那 柱子。
我是 去 到 点击 那。
这 柱子 姓名。
Y 或者 得到 到 创造 a 该列的名称。
T 他 行 那 是 突出显示， 我是 将赋予它们 1 的值。
这 一 那 是 不是 选定， I 想 到 给 他们 a 价值 的 零。
我是 去 到 按 O 因为， 和 那 创建 这 柱子 正确的 这里。
全部 的 我的 想要， 有 72……
有 72 行 为了 这 一 那 被选中
和 然后 二十八 为了 这 一 那 是 不是 選擇。
I 想 到 去 后退 到 我的 散点图 矩阵 到 看 回应
或者 到 看 哪个 观察 是 挑选 和 哪个 一 不是。
但 前 我们 做 我确实想用颜色编码它们
所以 那 什么时候 你 看 在 这 图形，
I 能 立即地 点 哪个 一 是 挑选 和 哪个 一 不是。
快速 方式 的 正在做 那 是 到 做 行， 颜色 或者 标记 经过 柱子。
然后， 这里， I 想 到 使用 这 名为“选定”的列
所以 那 全部 这 零 将要 是 以橙色圆圈标识
和 全部 这 一 将要 是 已识别 经过 a 蓝色的 圆圈。
我们 使用 a 标记 作为 出色地。
那 可能 制作 它 更轻松 到 确认 这 观察结果。
患病的 只是 点击O 因为。
现在， 全部 的 我的 行 是 标记 经过 这 加 或者 这 界。
如果我回到我的...
如果 I 去 后退 到 我的 散点图 矩阵，
再次， 它是 在下面 多变量 方法， 多变量， 和 I 只是 打 记起。
我是 正在做 这 相同的 事物 作为 I 做过 最初。
让 我 单击“确定”。
我是 只是 去 到 制作 这 a 小的 少量 大。
你会 现在 看 那 这 蓝色的 优点 是 这 观察 那 是 选定，
和 橙子 界 是 这 一 那 不是。
这 一 那 是 已选择
倾向于 发生 更多的 在 这 边界 和 边缘 的 我们的 空间。
这 是 确切地 什么 我们 通缉。
这 看起来 伟大的 到 我。
让我们结束这个吧。
只是 到 说服 你自己
那 这 模型 是 正在做 什么 它是 假定 到 是 正在做，
I 实际上 做过 这 相同的 设置，
但 这 时间， 反而 的 采摘 72， 我是 仅有的 采摘 24.
让我们 制作 它 a 小的 少量 更多的 极端。
只是 到 展示 你 一个 例子 的 什么 那 看起来 喜欢。
再次， 现在 我的 选择。
现在， 有 仅有的 24 行 那 是 已选择 在 这里。
让我们 做 这 相同的 事物。
制作 这 a 小的 少量 大。
现在， 你 看 更少 蓝色的 优点 因为 那里 应该 仅有的 是 24.
但 然后 你会 看 如何 那些 观察结果正在被采纳
相对 这 一 那 是 不是 摘了。
他们 做 趋向 到 发生 更多的 在 外部边界，
但 仍然 一些 在 这 中心。
让我们 去 后退 到 我们的 原来的 问题。 出色地 只是 关闭 这。
这 曾是 我们的 原来的 数据 桌子。
由 这 设计 是 这 一。
什么 做 我们 有 这里？
是 仍然 保持 这 相同的 变量 那 我们 问 跳转到 包括。
我们 有 我们的 特征 1 2、 3、以及 4.
为什么 我们的 回复 是 仍然 丢失的？
我们 现在 有 这 新的 柱子 那 说 协变量 排 指数。
基本上， 这 只是 链接 你 后退 到 你的 原来的 桌子。
如果 这 说 88， 它 会 是 排 88 在 你的 原来的 桌子 那 得到 被捕获。
这 一。
这 排 这里 应该 是 这 相同的 作为 这 排 正确的 这里。
前 我们 移动， 我是 实际上 只是 去 到 重命名 这 到 我的 滑动 ID。
在 我的 案件， 这 滑动 ID， 哪个 是 只是 a 数字 从 1 到 100，
它是 实际上 只是 这 相同的 作为 这 协变量行 指数。
那 曾是 全部 为了 步 一。
步 二 是 现在 复制 这 72 图像。
如何 做 我们 做 那？
A 快的 方式 的 正在做 那 是 到 去 到 美国能源部。
这 第二 选择 是 增强 设计。
然后 这 窗户 将要 流行音乐 向上 询问 你 什么 是 你的 回应 和 因素？
I 知道 为什么 我们 不 真的 得到回应，
但 I 思考 你 仍然 需要 到 放 在 某物 在 这里。
那是 好的。
你 只是 放 它 在 那里 甚至 尽管 它是 全部 丢失的 值。
然后， 为了 这 因素， 是 去 到 选择 我们的 特征 1 到 4.
这 时间， 我们 会 还 需要 到 选择 我们的 滑动 ID。
点击 好的。
这 新的 窗户 爆米花 向上 和 全部 的 我们的 因素 .
再次，JMP 汽车- 填充 这 范围 的 全部 的 我们的 变量。
在 这 底部 这里， 在下面 增强 选择，
有 a 复制 按钮， 和 那是 确切地 什么 我们 需要。
点击 那 和 然后 他们会 问 你，
如何 许多 数字 的 次 做 你 想 到 履行 每个 跑步？
这 默认 是 二， 但 我们 实际上 想 它 到 是 三
因为 我们 需要 每个 图像 到 展示 向上 三 次 在 我们的 设计。
然后 我们 点击 好的。
现在， 什么 你会 看 是 那 在 我们的设计，
反而 的 只是 72， 我们 现在 有 72 次 三。
出色地 只是 滚动 全部 这 方式 到 这 底部。
我们 现在 有 216 行。
患病的 只是 点击 制作 桌子 到 转动 那 进入 a 数据 桌子。
出色地 关闭 这。
A 很少 更多的 事物 那 I 想 到 查看。
A 夫妻 更多的 事物 I 想 到 查看 前 我们 移动 在 到 步 三。
那 是， 每一个 时间 你是 正在做 这些 步骤，
你 想 到 制作 当然 那 它是 实际上 正在做 什么 你 思考 它 应该 是 正在做。
在 这 案件，
I 通缉 到 查看 那 每个 滑动 ID 实际上 发生 三 次。
是 去 到 使用 制表 到 做 那。
制表，S 遭受 ID， 和 I 应该 有 a 数数 的 三 为了 每个 ID。
那是 什么 我们 有。
那 看起来 伟大的。
那是 它 为了 步 二。
让我们 移动 在 到 这 最后的 步， 哪个 是 这 最多 令人兴奋的 步。
现在， 我们 有 216 行 和 我们 有 这 滑动 身份证。
现在， 我们 想 到 分发 这 到 九 不同的 人们。
如何 会 我们 做 那 在 a 方式 那 每个 人 获取 a 均衡 混合？
A 凉爽的 方式 到 做 它 是 使用 美国能源部 再次。
DOE，点击 在 DOE定制 设计。
喜欢 什么 我们 做过 前，
是 仍然 去 到 使用 我们的 协变量 作为 因素。
只是 选择 特征 1 到 4 和 我们的 滑动 ID。
跳转 将要 汽车- 填充 这 分钟 和 最大限度。
现在， 全部 的 这 排 这里 是 他们是 全部 上市 作为 协变量。
但 在 这 观点， I 实际上 想 到 添加 二 更多的 因素。
一 因素 是 a 分类 具有三个水平的因素，
和 那 是 这 中心 或者 这 实验室 因为你 有 九 病理学家，
但 他们是 全部 未来 从 三 不同的 中心。
我是 只是 去 到 重命名 他们 一个， B 和 C.
然后 I 想 到 做...
在每个中心，我们 还 有 三 不同的 人们 參加。
I 想 到 添加 其他 分类 因素 再次 和 三 水平。
这 是 去 到 是 我们的 評級者。
这些 是 喜欢 这 人们。
让我们 姓名 他们 1、 2、以及 3.
基本上， 什么 我是 说 是 那 中心 A 将要 有 评分者 1、2 和 3，
中心 B 有 评分者 1、 2、以及 3、以及 所以 在。
在 全部的， 我们 有 九 不同的 人们，
九 不同的 组合 的 中心 和 评分者 在 这里。
我是 去 到 最小化 这。
这 实际上 只是 节目 这 数据 桌子 在哪里 我们 拉 我们的 协变量 从。
然后 打 继续 这里。
现在， 我们 得到 到 告诉 JMP什么 种类 的 模型 做 我们 想。
有 a 夫妻 的 事物 在 这里。
第一的， I 实际上 通缉 到 添加 在。
跳转 将要 自动地 放 在 你的 主要的 效果。
这些 是 全部 这 因素 那 是 在 我的 模型。
I 通缉 到 放 在 一个 相互作用 学期 之间 中心 和 评分者，
和 那是 因为 I 通缉 到 制作 当然 那
所有组合 的 中心 和 评分者 出现 在 我们的 设计。
那 担保 那。
这 其他 事物 到 知道 是 那
我们实际上 不 有 足够的 运行 到 估计 滑动 ID。
记住， 滑动 ID 去 从...
有 72 清楚的 滑动 ID 在 这里，
但 我们 实际上 不 想 一个 影响， a 滑动 ID 影响。
我们 只是 想要 JMP 到 拿 那 进入 帐户 什么时候 它是 构建 这 设计。
我们 不 真的 想 到 估计 滑动 ID。
不被尊重 能力 这里， 你 能 改变...
这 可估计性 为了 滑动 ID，
从必要起，你 能 改变 它 到 如果 可能的。
然后， 最后， 这 数字 的 运行。
I 思考 t 他 数字 的 运行 他们 计算 为了 我 曾是 18.
但 我们 实际上 通缉 到 使用 向上 全部 的 我们的 运行
因为 我们 有 216 运行 和 现在 是 只是 寻找 到 看...
我们想要 到 得到 跳转到 告诉 我们 如何 做 我们 分配 这些 216.
制作 设计。
它 只是 可能 拿 a 小的 少量 更长。
患病的 去 进入 比如，我们如何检查设计
和 然后 讲话 a 小的 少量 关于 这 跑步 命令。
这 是 什么 这 设计 看起来 喜欢。
我们 有 我们的 原来的 特征， 特征 1 到 4 在 这里， 这 滑动 ID，
现在它又添加了 中心 和 评分者 已分配 为了 每个 滑动 ID。
什么 这 是 说 是 那 评分者 B1 必须注释幻灯片编号 27，
A1 将要 注释 滑动 96， 和 所以 在。
那里 应该 是 216 运行 在 这里。
那 看起来 好的。
这 最后的 部分 这里 在下面 数据 桌子 选项，
那里 是 a 查看 标记 为了 包括运行顺序列。
我是 去 到 点击 是的 因为 在 我们的案例
为了 注解， 如果 你 预计 那里 到 是 一些 类型 的 时间 影响
在 任何 过程 那 你是 正在做。
在 我们的 案件， 我们 是 或许 担心 关于
将要 那里 是 a 学习 曲线， 将要 那里 是 a 疲劳 影响？
我们 想 到 制作 当然 那 并非每个人都从幻灯片 ID 开始
那是 喜欢 较低编号的幻灯片 ID
和 结束 和 这 更高- 编号 滑动 身份证。
我是 只是 去 到 点击“制作” 桌子。
我是 去 到 关闭 这 窗户 为了 现在。
这 是 什么 现在 我们的 设计 看起来 喜欢。
前 我们 做 我们的 检查， 我是 只是 去 到 创造 a 新的 柱子
在哪里 I 能 连接 这 中心 和 評級者。
我是 只是 突出显示 这些 二 列，右键单击。
根据新 F 公式 特点，
I 只是 想 到 连接 他们 和 a 逗号。
这 是 去 到 是 我们的 中心，评分者 多变的。
那里 你 去。
三 事物 那 是 检查 这里。
第一的 是 让我们 做 制表。
我们 想 到 制作 当然 那 每个 人 有 确切地 24 图像。
那是 我的 中心，R ater，这里有 24 个。
那是 伟大的。
这 其他 事物 那 我们 想 到 查看 为了 是 那 那里 是 不 重复。
我们 不 想...
为了 例子， 我们 不 想 滑动 ID 1 存在 已分配 到 这 相同的 人 两次
因为 那 会 不是 是 乐趣 为了 那 人。
如果 I 做 a 交叉表 的 滑动 按中心、评估者、
I 应该 看 只是 a 柱子 的 1秒。
那 方法 每个 滑动 ID 曾是 已分配 到 三 不同的 人们。
我是 只是 滚动 通过 这里
和 寻找 在 这 桌子 到 看 那 那里 是 不 2秒或3秒 在 这里。
那 看起来 伟大的。
然后， 最后， I 做 想 到 查看，
如何 做 这 案件 混合 看 喜欢 穿过 这些 九 评分者？
一 方式 的 想法 的 在 至少检查一下视觉
是 到 只是 做 a 平行线 阴谋 使用 图形 建造者。
我要延长 这。
我是 去 到 强调 特征 1、2、3 和 4
因为 那些 是 我的 原来的 变量。
然后， 我的 中心 和 评分者， I 是 拖拽 它 到 这里 在 我的 x- 轴。
我是 去 到 打 这 平行线 阴谋 选项 正确的 这里 在 这 顶部 正确的 图标。
I 得到 那。
A 事实上， 你 不 想 中心，评分者 在 那里。
我是 只是 去 到 转动 那 离开。
或许 什么 I 想 是 中心，大鼠 是 和 它是 自己的 控制板。
什么 这 节目 我们 是 我们 有 这 作业 从 这 九 人们，
所以 A1 全部 这 方式 到 C3。
这 是 这 案件 混合 的 这 图片 那 他们 得到 已分配 到。
A 获得， 是 只是 正在做 这 视觉上。
什么 我是 寻找 为了 是没有...
什么时候 你 看 在 他们 总计 那 他们 全部 看 差不多，
那 他们是 有些 混合 和 没有发生结块
和 他们 看 到 是 好的。
其他 方式 到 做 它 是 到， I 猜测 你 能 覆盖。
它 获取 a 小的 少量 难的 因为 I 做 有 九 不同的 颜色 在 这里。
但 再次， 你是 只是 寻找 为了...
你 不 想 那里 到 是 任何 模式 在 这里。
你 不 想 那里 到 是 团块 的 这里是绿色还是这里是绿色
或者 无论 在 这 空间。
你 可以 还 查看 它 经过 中心。
我猜 我的 颜色 是 不是 这 最好的。
你 有 黄色的， 布鲁斯， 和 青菜。
他们 全部 看 到 是 出色地- 混合。
然后， I 做过 提到 关于 这 跑步 命令。
什么 它 是， 是 那 你 只是 想确定
那 什么时候 你是 告诉 人们 如何 到 做 他们的 注解，
你 想 到 制作 当然 那 那 是 还 随机
所以如果有时间效应， 那是 采取 进入 帐户 已经。
什么 我是 密谋 这里 是 这 滑动 ID。
A 获得， 这 是 顺序的。从 1 到 100。
然后 这 是 这 跑步 命令，
这 顺序 的 什么时候 这 病理学家 会 速度 这些 图像。
这 看起来 随机的。
我们 可以 还 阴谋 它 经过 中心 和 評級者。
这 是 为了 每个 个人 人。
他们 看 好的。
我只是 去 到 关闭 那。
现在， 患病的 只是 去 返回我的 PowerPoint 幻灯片
和 只是 结尾 和 一些 结论 这里。
我们 能 使用 美国能源部 在 选择 样品 或者 测试 案例
在哪里 你 有 先前的信息。
如果 你 有 数据 或者 协变量 那 你可以用它来指导选择，
为什么 不是 使用 他们？
回应 表面 模型 是有利的
如果 你是 感兴趣的 在 这 边界 或者 边缘 案例。
第二 观点 是 那 你 能 使用 增强 DOE复制
如果 你 有 a 情况 在哪里 你 每个样本需要多名评估员。
这 工作 或者 这 设计 已经 给你一个机会
到 因素 跑步 命令 在 你的 计划。
那 可以 是 真的 有用 如果 你预计会有时间效应
这样的 作为 a 学习 曲线 或者 疲劳。
我有 a 夫妻 的 链接 这里 到 a 博客
那 讲话 更多的 或者 讨论 更多的 关于 什么 是 a 协变量 在 设计 的 实验。
请 查看 那 出去 如果 你 想 到 学习 更多的 关于 这 技术。
然后， 最后， I 只是 通缉 到 说
感谢 你 到 全部 我的 合作者 WHO 帮助 制作 这 项目 可能的。
谢谢。
