你好每个人。 我是卡罗尔公司。
我是A统计员在DLH。
今天，我将要讲话关于A项目我曾从事过
在创造A时间-高效的战略为了选择A测试放
在这验证的一个图像检测算法。
这工作曾是完毕在与科学家的合作
从这国家的环境健康科学研究所，
病理学家从实验性的病理实验室，
和我的同胞合作伙伴在DLH。
在啮齿动物毒理学，进步在数字中图像分析
提供机会为了定量的组织病理学评估。
一个例子的在哪里数字的图像分析可以是有用
正在评估中测试文章-诱导免疫毒性作用
在啮齿动物脾脏。
通常，病理学家使用A显微镜
到评价无论那里是脾脏免疫毒性
和制作判断在无论脾脏从接受治疗的动物
是不同的从这控制团体。
这工作流程是易于到间和评价者内部变化性
在表征差异之内这学习
和还穿过不同的学习。
这是一个例子的A放大-在横截面看法的A啮齿动物脾。
这里，我是只是指点出去
具体特征的兴趣到我们的合作者那我们想到捕获。
我们的问题。
什么时候我们得到涉及在这项目，
我们的病理学家合作者已经接受过培训一个算法
那措施这些特征的兴趣。
这问题那曾是摆出姿势到我们曾是如何做我们证实这算法？
验证是A非常广阔学期。
到狭窄的我们的重点，
我们想法关于什么是一些的这主要的问题那我们通缉到地址。
第一的，这算法曾是由少数人进行培训，
所以我们通缉到看无论来自不同实验室的不同病理学家
会同意和这算法输出。
第二，那里是多种的特征
在哪里这算法曾是训练有素的到措施。
我们通缉到看如果那里是任何具体功能
在哪里表现是更好的或者更差。
然后，我们还通缉到看
如果这个算法能抓住向上到反对A宽的范围的案例。
如果那里是任何瞎的斑点,能我们寻找他们？
患病的还提到那从这里向前，
我会参考到这图像算法作为这人工智能。
一解决方案那我们想法的是同时拥有人类和人工智能
注释这相同的图片和比较这输出。
这是如何它会工作。
A组织样本得到扫描的所以它轮流进入A数字的图像
或整张幻灯片图像 WSI，
和那图像得到美联储进入这人工智能为了加工。
然后为了人类，他们看法这图像使用一个图像软件
在哪里他们能手动注释特征的兴趣。
一的这问题我们得到问的是如何许多图片做我们需要到证实？
作为统计学家，
我们的回答是总是作为许多作为你能或者做你有数百？
你有数千？
但后说到他们，
你意识到有很多操作限制条件到实施这。
这第一的约束曾是那
有一个需要为了每个图像到是评价的经过三不同的人们。
拥有三人们曾是有用
以便我们能还估计这变化性之间评估者。
它还轮流出去那这过程的注解是非常时间-消耗。
后说到这病理学家，这最大限度数字的图片
他们愿意到注释曾是关于24每人。
然后，最后，一的这目标的这个项目
是到得到买-在或者支持从病理学家从其他实验室。
它意思是我们需要的多个实验室的参与
和多种的人们从每个实验室。
在这学习，我们得到三个中心的参与
和我们有三病理学家代表每个中心。
在全部的，我们有九病理学家被招募在这学习。
基于在全部的这些约束条件，
我们已经决定那我们能证实仅有的72图片。
这采样计划。
现在我们知道我们的样本尺寸。
如何做我们选择这72？
随机的选择是好的，但能我们做更好的？
什么我们来了向上和曾是
自从这成本每图像为了这人工智能相对较低，
我们得到这人工智能到过程A更大放的图片
然后从那里，
使用信息从这人工智能输出到更好的选择我们的72样品。
我们使用A回复服务模型到选择我们的点
RSM 将选择点
向这边界和中心的这输入空间。
它是A模型含有你的主要的二-方式相互作用效果和二次的影响。
这模型曾是特别有用到我们的验证问题
因为我们想要到看为了地区在哪里协议失败之间人类和人工智能。
一般来说，虫子趋向到发生在这边界和边缘的这空间。
这类型的模型适合这问题那我们有。
现在，我们有A计划到选择这图片。
这问题现在是如何做我们分配这些72图片穿过九评估者？
我们预计这样品到有A宽的范围的复杂。
我们通缉到制作当然那每个人得到A均衡混合的幻灯片。
这复杂或者这案件混合
决心，决意，决定经过这输出那我们得到从这人工智能。
我们还需要的到满足约束条件
的制作当然那每个图像是见过经过三不同的人们。
这里是我的工作流程。
我将要展示你如何我已创建这满意的抽样计划
全部的我们的操作限制条件在 JMP 中。
我有三脚步在这工作流程。
第一的，我是去到展示你如何我们已选择这72图片
从A更大放。
第二是如何我们复制的这72图片三次，
所以我们有216运行。
我们需要这样做
因为我们希望每张图片是见过经过三评估者。
这最后的步，
患病的展示你如何我们将 216 次运行分配给 9 个评分者
所以那每个人有确切地24图片。
在每个的这些脚步，我将要实际上是使用这美国能源部平台。
现在，我是只是去到移动超过到JMP。
我有我的联合管理计划文件在那里。
我的JMP 杂志。
我是去到打开A样本数据放，
和我说样本因为我们的数据有不是到过发表然而。
为了这目的的这示范，我将要是使用A伪造的数据放。
这数据放有这相同的特征到这原来的数据那我们集。
这是什么这数据看起来喜欢。
我有我的滑动ID，哪个是只是A数字多变的去从1到100.
去从1到100正确的这里。
我有四变量那我是看着为了。
那是到过集经过这人工智能。
特征1、 2、 3、和4.
三的他们是连续的和一是帐户多变的。
如果你看在在下面分析，多变量方法，多变量，
如果我们只是展示这散点图您将看到的所有变量的矩阵，
全部的他们是不相关的。
这是这传播的这范围的我们的变量。
步一。
在下面美国能源部，有A风俗设计，这就是我点击的。
我们能离开这回应是这里。 只是离开它独自的。
这因素这里，有实际上二方法到做这。
一方式是到点击在这按钮这里那说添加因素。
我思考关于第五的这方式和有A协变量选择。
如果你点击那，
它会问你哪个列协变量你想到包括在这设计。
在我的案件，它是这些四特征。
我是只是选择他们和你点击好的。
联合管理计划将要自动地填充最小值和最大值
为了每个的这些变量。
你会看这里那他们是全部治疗过的作为协变量。
那看起来好的。
患病的只是迅速地关闭这
和然后展示你其他方式的正在做这相同的事物。
再次，在美国能源部风俗设计。
什么我显示你曾是添加它使用这方式这里。
其他方式到做它是到只是使用这按钮正确的这里
上面写着“选择协变量”因素
和它会给你这精确的相同的事物。
再次，我是采摘这因素那我是感兴趣的在
它会自动人口稠密的这因素窗户。
我是只是滚动向下到这底部和点击继续。
这是在哪里我们能放在这模型那我们想。
为了我们，我们通缉一个RSM或者回复服务模型。
那里是再次A捷径按钮正确的这里。
我是只是去到点击那。
什么那做过是它添加...
我们已经有我们的主要的因素在那里，
但它添加我们的二次方程和二-方式相互作用影响。
然后，最后，在这底部这里在哪里它说数字的运行，
我们不想100因为我们实际上只是想到选择72出去的100.
我是只是去到改变这到72.
这全部看起来好的到我。
患病的点击制作设计。
让我们只是给联合管理计划A很少秒到创造这设计为了我们。
这里我们去。
这是这设计那它已创建为了我们。
作为你能看，如果你滚动向下，
它仅有的给了我们72行，哪个是什么我们有问为了。
我是只是去到说，转动这进入A数据桌子。
我是只是去到打制作桌子正确的这里在这底部左边。
我是去到关闭这为了现在。
现在，前我展示你什么这设计看起来喜欢，
我实际上想到去后退到这原来的桌子，
只是所以你可以看...
我们能比较什么发生在所选取的观察结果上
相对观察那是不是摘了。
如果你去后退到这原来的数据桌子，这那些那是选择的，
那72是实际上突出显示。
什么ID喜欢到做在这观点是ID喜欢到创造A新的柱子
那会确认哪个行是已选择和哪个那些不是。
到做那，你去在下面行。
在下面排选择，
那里是这最后的选项在这里说姓名选择在柱子。
什么它会做会吗标签这当前选定的行
和节省任何价值观你分配为了那柱子。
我是去到点击那。
这柱子姓名。
是欧得到到创造A该列的名称。
时间他行那是突出显示，我是给它们一个值 1。
这那些那是不是选定的，我想到给他们A价值的零。
我是去到按 O凯，和那已创建这柱子正确的这里。
全部的我的想要，有72...
有72行为了这那些那被选中
和然后28为了这那些那是不是已选择。
我想到去后退到我的散点图矩阵到看回应
或者到看哪个观察是挑选的和哪个那些不是。
但前我们做我确实想对它们进行颜色编码
所以那什么时候你看在这图形，
我能立即地点哪个那些是挑选的和哪个那些不是。
一个快速方式的正在做那是到做行，颜色或者标记经过柱子。
然后，这里，我想到使用这名为“选定”的列
所以那全部这零点将要是由橙色圆圈标识
和全部这那些将要是已确定经过A蓝色的圆圈。
我们使用A标记作为出色地。
那可能制作它更轻松到确认这观察。
患病的只是单击O凯。
现在，全部的我的行是标记的经过这加或者这界。
如果我回到我的...
如果我去后退到我的散点图矩阵，
再次，它是在下面多变量方法，多元，和我只是打记起。
我是正在做这相同的事物作为我做过最初。
让我单击“确定”。
我是只是去到制作这A小的少量大。
你会现在看那这蓝色的优点是这观察那是选定的，
和橙子界是这那些那不是。
这那些那是已选择
倾向于发生更多的在这边界和边缘的我们的空间。
这是确切地什么我们通缉。
这看起来伟大的到我。
让我们结束这个吧。
只是到说服你自己
那这模型是正在做什么它是应该到是正在做，
我实际上做过这相同的设置，
但这时间，反而的采摘72、我是仅有的采摘24.
让我们制作它A小的少量更多的极端。
只是到展示你一个例子的什么那看起来喜欢。
再次，现在我的选择。
现在，有仅有的24行那是已选择在这里。
让我们做这相同的事物。
制作这A小的少量大。
现在，你看更少蓝色的优点因为那里应该仅有的是24.
但然后你会看如何那些观察结果正在被挑选
相对这那些那是不是摘了。
他们做趋向到发生更多的在外部边界，
但仍然一些在这中心。
让我们去后退到我们的原来的问题。 出色地只是关闭这。
这曾是我们的原来的数据桌子。
被创建的那个这设计是这一。
什么做我们有这里？
是仍然保持这相同的变量那我们问JMP 至包括。
我们有我们的特征1 2、 3、和4.
为什么我们的回复是仍然丢失的？
我们现在有这新的柱子那说协变量排指数。
基本上，这只是链接你后退到你的原来的桌子。
如果这说88、它会是排88在你的原来的桌子那得到被捕获。
这一。
这排这里应该是这相同的作为这排正确的这里。
前我们移动，我是实际上只是去到改名这到我的滑动ID。
在我的案件，这滑动ID，哪个是只是A数字从1到100,
它是实际上只是这相同的作为这协变量行指数。
那曾是全部为了步一。
步二是现在复制这72图片。
如何做我们做那？
A快的方式的正在做那是到去到美国能源部。
这第二选择是增加设计。
然后这窗户将要流行音乐向上询问你什么是你的回应和因素？
我知道为什么我们不真的有回应，
但我思考你仍然需要到放在某物在这里。
那是好的。
你只是放它在那里甚至尽管它是全部丢失的价值观。
然后，为了这因素，是去到选择我们的特征1到4.
这时间，我们会还需要到选择我们的滑动ID。
点击好的。
这新的窗户持久性有机污染物向上和全部的我们的因素。
再次，JMP汽车-填充这范围的全部的我们的变量。
在这底部这里，在下面增强选择，
有A复制按钮，和那是确切地什么我们需要。
点击那和然后他们会问你，
如何许多数字的次做你想到履行每个跑步？
这默认是二，但我们实际上想它到是三
因为我们需要的每个图像到展示向上三次在我们的设计。
然后我们点击好的。
现在，什么你会看是那在我们的设计，
反而的只是72、我们现在有72次三。
出色地只是滚动全部这方式到这底部。
我们现在有216行。
患病的只是点击制作桌子到转动那进入A数据桌子。
出色地关闭这。
A很少更多的事物那我想到查看。
A夫妻更多的事物我想到查看前我们移动在到步三。
那是，每一个时间你是正在做这些脚步，
你想到制作当然那它是实际上正在做什么你思考它应该是正在做。
在这案件，
我通缉到查看那每个滑动ID实际上发生三次。
是去到使用制表到做那。
制表，S莱德ID，和我应该有A数数的三为了每个ID。
那是什么我们有。
那看起来伟大的。
那是它为了步二。
让我们移动在到这最后的步，哪个是这最多令人兴奋的步。
现在，我们有216行和我们有这滑动身份证。
现在，我们想到分发这到九不同的人们。
如何会我们做那在A方式那每个人得到A均衡混合？
A凉爽的方式到做它是使用美国能源部再次。
美国能源部，点击在美国能源部定制设计。
喜欢什么我们做过前，
是仍然去到使用我们的协变量作为因素。
只是选择特征1到4和我们的滑动ID。
联合管理计划将要汽车-填充这分钟和最大限度。
现在，全部的这排这里是他们是全部列出作为协变量。
但在这观点，我实际上想到添加二更多的因素。
一因素是A绝对的具有三个水平的因子，
和那是这中心或者这实验室因为你有九病理学家，
但他们是全部未来从三不同的中心。
我是只是去到改名他们A，乙和C。
然后我想到做...
在每个中心，我们还有三不同的人们参与。
我想到添加其他绝对的因素再次和三水平。
这是去到是我们的评估者。
这些是喜欢这人们。
让我们姓名他们1、 2和3.
基本上，什么我是说是那中心A将要有评分者1、2 和 3，
中心乙有评分者1、 2和3、和所以在。
在全部的，我们有九不同的人们，
九不同的组合的中心和评价者在这里。
我是去到最小化这。
这实际上只是节目这数据桌子在哪里我们拉我们的协变量从。
然后打继续这里。
现在，我们得到到告诉JMP什么种类的模型做我们想。
有A夫妻的事物在这里。
第一的，我实际上通缉到添加在。
联合管理计划将要自动地放在你的主要的影响。
这些是全部这因素那是在我的模型。
我通缉到放在一个相互作用学期之间中心和评估者,
和那是因为我通缉到制作当然那
所有组合的中心和评价者出现在我们的设计。
那保证那。
这其他事物到知道是那
我们实际上不有足够的运行到估计滑动ID。
记住，滑动ID去从...
有72清楚的滑动ID在这里，
但我们实际上不想一个影响， A滑动ID影响。
我们只是想要JMP到拿那进入帐户什么时候它是建造这设计。
我们不真的想到估计滑动ID。
低于估计能力这里，你能改变...
这可估计性为了滑动ID，
出于必要，你能改变它到如果可能的。
然后，最后，这数字的运行。
我思考t他数字的运行他们计算出的为了我曾是18.
但我们实际上通缉到使用向上全部的我们的运行
因为我们有216运行和现在是只是看着到看...
我们要到得到JMP 至告诉我们如何做我们分配这些216.
制作设计。
它只是可能拿A小的少量更长。
患病的去进入比如，我们如何检查设计
和然后讲话A小的少量关于这跑步命令。
这是什么这设计看起来喜欢。
我们有我们的原来的特征，特征1到4在这里，这滑动ID，
现在它添加了中心和评价者分配的为了每个滑动ID。
什么这是说是那评价者B1 必须对第 27 号幻灯片进行注释，
A1将要注释滑动96、和所以在。
那里应该是216运行在这里。
那看起来好的。
这最后的部分这里在下面数据桌子选项，
那里是A查看标记为了包括运行顺序列。
我是去到点击是的因为在我们的案例，
为了注解，如果你预计那里到是一些类型的时间影响
在任何过程那你是正在做。
在我们的案件，我们是或许担心关于
将要那里是A学习曲线，将要那里是A疲劳影响？
我们想到制作当然那并非每个人都以幻灯片 ID 开头
那是喜欢编号较低的幻灯片 ID
和结尾和这更高-编号的滑动身份证。
我是只是去到单击“制作”桌子。
我是去到关闭这窗户为了现在。
这是什么现在我们的设计看起来喜欢。
前我们做我们的检查，我是只是去到创造A新的柱子
在哪里我能连接这中心和评估者。
我是只是突出显示这些二列，右键单击。
新F下奥尔穆拉特点，
我只是想到连接他们和A逗号。
这是去到是我们的中心、评估者多变的。
那里你去。
三事物那是检查这里。
第一的是让我们做制表。
我们想到制作当然那每个人有确切地24图片。
那是我的中心，R吃饭了，这里有 24 个。
那是伟大的。
这其他事物那我们想到查看为了是那那里是不重复。
我们不想...
为了例子，我们不想滑动ID 1存在分配的到这相同的人两次
因为那会不是是乐趣为了那人。
如果我做A交叉表的滑动按中心、评估者 ID、
我应该看只是A柱子的1秒。
那方法每个滑动ID曾是分配的到三不同的人们。
我是只是滚动通过这里
和看着在这桌子到看那那里是不2秒或3秒在这里。
那看起来伟大的。
然后，最后，我做想到查看，
如何做这案件混合看喜欢穿过这些九评估者？
一方式的想法的在最少目视检查
是到只是做A平行线阴谋使用图形建造者。
我要延长这。
我是去到强调特征1、2、3 和 4
因为那些是我的原来的变量。
然后，我的中心和评估者,我是拖拽它到这里在我的X-轴。
我是去到打这平行线阴谋选项正确的这里在这顶部正确的图标。
我得到那。
A事实上，你不想中心、评估者在那里。
我是只是去到转动那离开。
或许什么我想是中心，老鼠呃和它是自己的控制板。
什么这节目我们是我们有这作业从这九人们，
所以A1全部这方式到C3。
这是这案件混合的这图片那他们得到分配的到。
A获得，是只是正在做这视觉上。
什么我是看着为了是没有...
什么时候你看在他们总共那他们全部看差不多，
那他们是有些混合和没有发生结块现象
和他们看到是好的。
其他方式到做它是到，我猜测你能覆盖。
它得到A小的少量难的因为我做有九不同的颜色在这里。
但再次，你是只是看着为了...
你不想那里到是任何图案在这里。
你不想那里到是团块的这里或下面绿色
或者无论在哪里在这空间。
你可以还查看它经过中心。
我猜我的颜色是不是这最好的。
你有黄色的，布鲁斯,和青菜。
他们全部看到是出色地-混合的。
然后，我做过提到关于这跑步命令。
什么它是，是那你只是想确定
那什么时候你是讲述人们如何到做他们的注解，
你想到制作当然那那是还随机化
因此，如果存在时间效应，那是采取进入帐户已经。
什么我是绘图这里是这滑动ID。
A获得，这是顺序的。 它从 1 到 100。
然后这是这跑步命令，
这顺序的什么时候这病理学家会速度这些图片。
这看起来随机的。
我们可以还阴谋它经过中心和评估者。
这是为了每个个人人。
他们看好的。
我只是去到关闭那。
现在，患病的只是去返回我的 PowerPoint 幻灯片
和只是结尾和一些结论这里。
我们能使用美国能源部在选择样品或者测试案例
在哪里你有先前的信息。
如果你有数据或者协变量那您可以用来通知选择，
为什么不是使用他们？
一个回应表面模型有优势
如果你是感兴趣的在这边界或者边缘案例。
第二观点是那你能使用增加美国能源部复制
如果你有A情况在哪里你每个样本需要多个评估者。
这工作或者这设计已经给你一个机会
到因素跑步命令在你的计划。
那可以是真的有用如果你预计会有时间效应
这样的作为A学习曲线或者疲劳。
我有A夫妻的链接这里到A博客
那讲话更多的或者讨论更多的关于什么是A协变量在设计的实验。
请查看那出去如果你想到学习更多的关于这技术。
然后，最后，我只是通缉到说
感谢你到全部我的合作者WHO帮助了制作这项目可能的。
谢谢。
