扬声器
|
成绩单
|
| 迈克·安德森 |
你好呀。 |
| |
让我们谈谈 JMP 16 中的新功能,即检测限。 |
| |
我今天要讨论的是检测限定义的背景。 |
| |
如果您忽略检测限,我想通过一些统计考虑。 |
| |
我环顾四周,发现了一些真实世界的证据,证明某些设计产品缺乏稳健性,特别是 COVID-19 诊断测试,这些产品包含检测限制。 |
| |
最后,我将向您展示如何在 JMP 中实际使用检测限,我将向您展示如何输入它们,如何在实验设计中进行设置,以及如何使用限制分析数据的检测。 |
| |
我们如何知道某物是否存在? |
| |
所以这听起来有点像一个深奥的问题,但是当你使用分析方法时,它不是一个深奥的问题,而是一个关于你的系统有多好的问题。 |
| |
因此,例如,如果我们试图在某物中找到非常少量的杂质,那么在某些时候,我们正在检测的系统将无法检测到低于某个水平的杂质,并且极限,称为检测极限。 |
| |
检测限有很多不同的定义。 |
| |
他们是, |
| |
它们因领域和分析方法而异,因此我在这里提出了一些,FDA 说,对于分子诊断测定,有限的检测是在 95% 的重复测量中可以检测到的目标的最低浓度。 |
| |
现在,如果我们去看看化学界怎么说,它定义了一种方法限制检测,即最小浓度或绝对量 |
| |
分析物的信号明显大于来自合适空白的信号。 所以在这两个定义中,它们本质上是关于一些不同的方法。 |
| |
我查阅了更多的文献,如果你正在做类似高效液相色谱的事情,当你查看曲线时,他们会谈论信噪比。 |
| |
如果您正在制作校准曲线,则有某些方法可以用于此,那里有许多不同的定义。 |
| |
关于检测限,所以我鼓励每个人去寻找最适合他们的分析方法的方法,然后也遵循您的行业特定指南。 |
| |
在 JMP 中, |
| |
我们定义了检测极限,因为...它是一个列属性,超过它 |
| |
响应无法衡量,所以它限制了它,当我们分析数据时,它实际上在做的是它会审查数据。 |
| |
所以我之前给出的例子是寻找极少量的杂质,这将是一个下限并且将被审查。 |
| |
但它也可能是一个上限,例如,如果您正在向一个物体施加压力,您的压力表可能会停在某个上限。 |
| |
您实际上可能会对其施加更大的压力,但您的仪表只是不会更高,这将是一个上限,并且这些数据将被正确审查,但它们在 JMP 中都以完全相同的方式处理. |
| |
所以,我想通过一个例子来说明如果我们在分析数据时忽略检测极限会发生什么。 |
| |
所以在这个例子中, |
| |
下面的直方图,你可以看到,我有一个真实的人口,这些都是我的绿色条,但假设我的检测有限。 |
| |
在 10 时,我无法获得低于该值的准确测量值,因此它不是零。 |
| |
我不知道我要测量的东西有多少,所以有多少粒子,所以正确的统计方法再次是审查,Michael Crotty 的演讲非常好2017 年发现中的 JMP |
| |
如果你想要更多的统计细节,你应该去看看他的演讲。 |
| |
好的,让我们来看看这个例子,假设我们有这个有限的检测 10 和 |
| |
我们要做的是把那部分人当作 |
| |
我们真的不知道它是什么,所以 |
| |
这里我有一个直方图,所以在右边这里是我的真实人口。 |
| |
我在这里有几个不同的场景,所以假设我的检测限是 10 |
| |
然后又是 11 点,然后是 12 点。 所以我在这里所做的是我正在获取这些数据,实际上我正在将它推向 10。 |
| |
让我告诉你这是什么样子的。 所以这不是检测极限自动发生的事情,这是我构建的一个例子。 |
| |
所以,如果你看一下,例如在第 7 行,我的真实值是 9.22。 |
| |
但是,如果我的检测限为 10。 |
| |
那我不是,我实际上不会知道 9.22 的值,我能做的最好的就是我可以把它写成 10。 |
| |
或者,我可以将其设为缺失或零,但我认为 10 可能更现实一些。 |
| |
现在,如果我的有限检测是 11,我必须将该数字移动到 11,同样,如果我的有限检测是 12,我将移动该数据点并将其变成 12。 |
| |
所以我们看到的是,特别是如果你在 12 点看这里,我真的把我的数据集中在这里。 |
| |
这对平均值的影响是,在我的真实人口中,我的平均值约为 10.5。 |
| |
至于 10,它达到 10.7,然后我的平均值越来越高,它达到 11.2,然后是 12,当我将所有这些值转换为下限时,实际上平均值处于检测限。 |
| |
所以我离我的真实平均值10.5还很远。 |
| |
但是看看我们的变异测量会发生什么;我的标准偏差是我真实人口中的一个, |
| |
如果检测限为 10,它会变为 0.8,然后在 11 处变为 0.4,然后一直下降到 0.2。 |
| |
所以我对变异的测量越来越小,所以我实际上对我实际进行的测量更有信心,这与真实人口的实际情况相去甚远。 |
| |
所以我总结了在下面中间的图表中,你可以看到,我有我的真实人口。 |
| |
我将这些手段与我强加了这种错误检测水平的其他手段联系起来,你可以看到这些手段正在急剧地变得越来越高,越来越远离真相。 |
| |
这里的条形是标准偏差,你可以看到,它们越来越小,然后橙色阴影是我名字的 95% 置信区间。 |
| |
在右边,在上图中,我实际上绘制了平均值和中位数,你可以看到,它们的行为方式相似, |
| |
这令人惊讶,因为您会认为中位数会更稳健一些,但并非在这种情况下它真的对您没有帮助。 |
| |
在此之下,我有我的变化度量,你可以看到随着我们施加越来越高的限制,它们变得越来越小。 |
| |
所以看起来我们做得很好,对吧? 我对自己测量平均值的信心真的越来越大, |
| |
很小,但事实是我离真正的人口价值越来越远,我越走越自信。 |
| |
所以这确实是一个问题,你不一定能够检测到真正发生的事情,你会对事情产生错误的信心。 |
| |
因此,当我们将检测限扩展到设计的实验中时, |
| |
稍后您将在 DEMO 中看到的是,我们不会找到我们的关键因素,我们也不会发现我们的因素之间的真正关系。 |
| |
现在,在我在 JMP 中向您展示这一点之前,我确实浏览了文献并试图找到一些真实世界的证据,我认为我可以发现缺乏稳健性 |
| |
与设计产品的检测限有关。 而且,我所做的是我发现与 COVID-19 诊断测试有很好的内部比较。 |
| |
所以,在 2020 年初, |
| |
FDA 授予了 20 多项紧急使用授权。 |
| |
它们都是实时 PCR 测试,它们正在测试病毒载量,所以你有多少病毒基因组拷贝。 |
| |
现在,最初,因为没有标准——因为这是我们以前从未见过的全新事物——公司可以开发和使用他们自己的内部标准。 |
| |
现在在今年晚些时候,FDA 制定了自己的标准,并将其发布并重新评估了诊断测试。 因此,我可以使用不同的标准比较同一测试的这两个不同时间点。 |
| |
所以我决定我应该做的只是做测试的等级顺序。 你怎么知道什么是好测试和坏测试? 我将如何排列这些? |
| |
好吧,我们可以看看病毒载量之间的分析关系,这又是病毒正在制造的基因组拷贝数 |
| |
以及诊断测试的临床敏感性。 所以,在 X 轴上,我们有每毫升有多少基因组拷贝,也就是病毒载量。 |
| |
更小的检测轻度病例。 我们走到最右边,我们真的只会检测到真正超重度感染的个体,所以是超级传播者。 |
| |
然后,这里的 y 轴是检测到的病例的比例。 再说一次,这是这里的真实证据,所以我们可以通过这条黑线看到,临床敏感性关系到有多好, |
| |
对不起,到多么小的一个 |
| |
我们可以检测到的病毒载量。 所以它检测到较小的病毒载量是好的,这就是我用于排名顺序的方法。 |
| |
所以我有两个不同的时间点,4 月 2 日和 9 月 15 日,然后对于每个时间点,我根据每个标准做了检测限的排序。 |
| |
因此,如果进行诊断测试,如果它们以稳健的方式进行,我们将期望或多或少相同的等级顺序和相似的检测限。 |
| |
如果这些测试的设计方式缺乏稳健性,那么我们实际上会期望看到排名顺序的变化和不同的检测限。 |
| |
那么我发现了什么? |
| |
所以在这里我绘制了我找到的数据,我有四个独立的 |
| |
我的图表中的面板。 |
| |
在每个面板中,我在两个不同的日期连接相同的诊断测试。 所以,例如,在左边的紫色线上,我正在连接 |
| |
从 4 月 2 日到 9 月 15 日的排名,这个特殊的诊断测试最初排名第 16 位,然后一路上升到第 1 位。 |
| |
而且我正在绘制,我绘制了最终检测限。 所以,如果我从 4 月 2 日开始绘制初始值,那么在另一个面板中这个值会更糟,所以这是最终值。 |
| |
所以这个测试变得好多了,我们看到的是还有一些其他的测试显着提高了他们的检测能力显着增加 |
| |
检测极限及其检测越来越小的病毒载量的能力。 |
| |
但是我们也看到测试变得非常非常糟糕,而且它们再次发生了几个数量级的变化,所以,例如,这个底部的红色是红色的,它在 4 月 2 日是第三好的测试,但随后它下降了,一直下降到第 14 位。 |
| |
所以我认为这表明,总的来说,这只是缺乏稳健性以及这些任务最初是如何完成的。 |
| |
我不知道这些测试是如何进行的。 |
| |
我不知道他们是否使用了 JMP 以及设计的实验和检测限,但我认为应用这些技术肯定可以使任何使用检测限的东西变得更加稳健。 |
| |
所以让我们去看看JMP。 |
| |
那么如何设置检测限呢? |
| |
好吧,您可以直接在自定义设计器中完成。 现在实际上有一个框,您可以在其中简单地输入检测限。 |
| |
当您在输出表的自定义设计器中执行此操作时,它会创建一个包含检测限的列属性。 |
| |
当您在广义回归中对此进行分析时,广义回归将处理, |
| |
将使用这些检测限并将这些检测限之外的变量视为删失值。 |
| |
让我向您展示如何在 JMP 中执行此操作。 |
| |
所以这就是我在实验设计中设置的数据表的样子,所以我是怎么到这里的,我去了 DOE,定制设计师。 |
| |
你可以看到这里是我为我的每一个反应设置我的检测限的地方。 |
| |
看我打字很无聊,所以让我告诉你我是如何为这个特定的数据表设置这个设置的。 |
| |
在这里,我有几个回应。 |
| |
而且我有各种不同类型的检测限,所以我的几个反应都有上限和下限。 您可以在任一方向有一方。 |
| |
所以在这里,我只有一个检测下限,在这里我只有一个检测上限。 |
| |
如果您没有检测限,您当然可以将其留空。 |
| |
如果我们看。 |
| |
在数据表中,我们可以看到您实际上可以将其视为检测限。 |
| |
但我可以选择所有这些。 |
| |
只需滚动浏览它们,即可向您展示检测限的样子。 所以它只是列属性中的另一个项目。 所以这是我的上限和下限。 |
| |
再一次,我有一个上下。 |
| |
在这个,这是我的,只是我的下限,在下一个,这只是我的上限。 |
| |
现在粘度根本没有,所以如果我想回去手动添加它,或者如果您使用检测限进行分析,但您没有在设计实验中设置它, |
| |
您只需转到列属性,它就在列表中。 因此,这些都是适用于设计实验的列属性。 |
| |
只需添加检测限,然后我们就可以输入我们想要的任何值,所以我们可以说 1300。 |
| |
和 |
| |
为单边限制。 |
| |
那应该只是添加它,然后它就会在那里。 |
| |
这就是你如何获得检测极限的方法。 |
| |
数据表和列列属性。 |
| |
好的,现在让我们谈谈如何分析具有检测限的数据。 |
| |
因此,为此,我想分析一个由定制设计器设置的实验,该实验的目标是优化水样中农药的测定。 |
| |
这是一个三因素实验,有 32 次试验和 I 最优设计。 |
| |
其中九个观察值低于 1% 的检测限。 |
| |
因此,我将向您展示如何在 JMP 中分析数据。 |
| |
但是我也想进行这个额外的比较。那么如果我们不使用或没有检测限怎么办? |
| |
好吧,我的有限检测是 1%,我们再次不确定这些实际值是多少,所以我猜,我们可以对一个案例取零,然后。 |
| |
所以水样中根本没有农药,或者我们可以说它正好在那个检测极限,并使用一个的值。 所以这是两种替代方案。 你会看到如果我们不使用检测限, |
| |
我们不会找到我们所有的因素,它实际上会在我们的结果中产生极大的误导和不准确。 |
| |
因此,让我向您展示如何在 JMP 中执行此操作。 |
| |
所以这就是我的。 |
| |
设计看起来像所以我有 Metacrate 作为响应,这是我的检测上限和下限。 |
| |
这是我的三个因素。 |
| |
我只是做了一个响应面 |
| |
设计,所以它是每个 |
| |
因子,然后是二次和双向交互,我最终做了 32 次运行设计。 |
| |
这是数据的样子。 |
| |
再说一次,这是我的实验设计和我有的情况下的结果 |
| |
零,所以这就是我的机器所说的,我的机器说我没有检测到任何东西,但真正的情况是它被审查了,这就是我在设置实验设计时的检测限。 |
| |
我们将使用广义回归来分析这一点。 |
| |
它是否在常规最小二乘中进行检测限制所以虽然我可以运行这个脚本,但我确实想向您展示我是如何实际设置它的。 |
| |
所以我有 Metacrate 是我的结果变量,我们将使用广义回归。 |
| |
这里的正态分布是可以拟合数据的,但它会导致负预测值,并且我拥有的农药数量没有负值。 |
| |
所以为了保持积极,我实际上要把它改成正常的,所以我所有的预测值都是积极的。 |
| |
请注意,我不必输入任何内容进行审查,我可以在此处选择,但 JMP 会自动处理此问题。 |
| |
当我们做实验分析和泛化回归的设计时,前向选择是一个不错的选择,它与你可能熟悉的逐步回归或逐步回归非常相似 |
| |
在拟合模型平台中。 |
| |
所以我们可以在我的模型摘要中看到它提醒我它有检测限。 |
| |
我的 Rsquare 是 0.91,所以非常合适。 |
| |
如果我们看看这里发生了什么的细节, |
| |
如果您不熟悉解决方案路径并概括回归,那么您正在查看的是参数如何进入模型,所以再次选择前向选择, |
| |
然后根据它们的影响程度对它们进行缩放,所以第一个输入的是我的二氯甲烷,它对结果有积极的影响。 |
| |
但二次方紧随其后,它有一个负数, |
| |
负面影响,因此实际上是负面估计。 |
| |
因此,看到并与之交互很有趣,总体而言,基于最低 AIC 分数的最佳模型有五个步骤。 |
| |
现在我喜欢使用预测分析器可视化方程。 |
| |
我将把它简化一分钟,让它变得更大一些。 |
| |
所以预测分析器向我们展示了什么,这是我们的结果变量 Metacrate,它是这里的 y 轴,然后每个正方形都是我们实验中的因素之一。 |
| |
我们正在研究的是等式,或关系 |
| |
以图形方式。所以我们可以看到相互作用,因为当我改变二氯甲烷时,其他因素的形状会发生变化,你当然可以看到这些参数中有很多曲率。 |
| |
我也有我的实际预测 |
| |
情节,实际上看起来很不错。 |
| |
所以我想做的是,我想最大化我能检测到的 Metacrate 数量,这就是我做实验的原因。 所以,我会要求 JMP 找到最高级别。 |
| |
它发现我能检测到的最大 Metacrate 数量是 38.6。 |
| |
这就是这些因素的设置,所以对于这个量的甲醇和这个量的二氯甲烷,我的水样不到六。 |
| |
所以这是我实验的结果,我想回去实际测试它并确保它有效。 |
| |
现在,如果我忽略了检测极限,我只是尝试了其他方法。 |
| |
所以在这里,我有完全相同的数据。 |
| |
Metacrate 为零,但我所做的是添加了几列。 有一列,我说,好吧,也许它实际上是在下限,它在右一,所以我只是将这些值改为一而不是零。 |
| |
然后,或者,好吧,如果在这些样本中没有任何东西可以找到怎么办,然后那将是零,在这种情况下我不能使用零,因为它是正常的,所以我只选择了一个小, 一个很小的值 |
| |
所以一次 10 到负 12 对所以点 .00000000001 认为这是正确的零数。 |
| |
因此,让我们用这两个条件来分析数据,同样我们不会使用检测限。 |
| |
因此,我将放入第一个而不是 Metacrate,我们将在其中将所有这些值重置为正确的检测下限。 |
| |
我们将进行前向选择。 |
| |
所以没有,你可以看到这里没有检测限制,就像我的 Rsquare 低于 0.7 之前一样。 |
| |
但是你可以从我的解决方案路径和我的参数估计表中看到, |
| |
我只有三个步骤,向前迈出建模的步骤,我没有挑选很多东西,我这里有很多空白,如果我们看一下我的照片 |
| |
在分析器下面的方程式你可以看到我实际上错过了我的一个因素,我们可以将它与这里的这个进行比较,我完全错过了甲醇。 |
| |
如果我最大化 |
| |
找到最大数量的 Metacrate 我能找到的只有大约 16 个。 |
| |
而我的实际预测情节看起来不太好,看起来不太开心。 |
| |
所以这是一个又一次的情况,所以我们完全错过了我们只是没有抓住它的因素之一。 |
| |
然后让我们看看另一种情况,如果不是一个,如果它几乎为零怎么办? |
| |
不完全为零,但非常非常接近。 |
| |
前向选择。 |
| |
同样,我们在这里没有使用检测限,但看看我的 Rsquared 是 0.997。 |
| |
所以它认为它找到了一个非常合适的选择。 |
| |
但是这里仍然发生了一些奇怪的事情,我的模型中只有三个步骤我并没有真正找到太多,我发现 |
| |
我的二氯甲烷和我几乎没有完成,只是拿起了我的样品量。 |
| |
如果我们看一下预测预测分析器。 |
| |
我再次错过了甲醇,所以我没有我的一个因素我的实际预测情节看起来如此,但到底发生了什么,在地球上是我曲线的顶部。 |
| |
我将打开这个自适应 y 轴,以确保我能看到所有这些。 |
| |
它的预测值大约有数百个,如果我只是, |
| |
我不会,我可以运行最大化期望值,但你可以看到它超过 470,即使我只是手动尝试选择一些东西。 现在记得, |
| |
我的检测限是 99,所以这些值甚至没有意义。 |
| |
和 |
| |
我错过了一个因素,这没有意义,但我真正想展示这个例子的部分原因是我在客户那里看到了这个, |
| |
我无法向他们解释发生了什么,所以我知道如果人们不使用检测限,这实际上会发生, |
| |
你会得到一些非常非常奇怪的结果,因为你已经决定如何处理分析中的数据,你已经处理了它,是 1 还是 0。 |
| |
在这种情况下,这是两种替代方案,但它们与在水中检测这种农药的真正能力以及我的设计实验的结果相去甚远。 |
| |
所以。 |
| |
我真正希望每个人都留下的关键要点是第一,检测限非常重要。 |
| |
而且你不应该忽视它们,不要用价值高或低的替代它们,你真的 |
| |
您应该将这种不确定性纳入实际分析。 JMP 让这一切变得非常容易。 你可以在实验平台的设计中做到这一点,你可以在一个列属性中做到这一点。 |
| |
然后,一旦它们在那里,使用广义回归,您可以进行包含检测限的分析,它将为您提供最佳模型,您将找到您的因素以及它们之间的真实关系。 |
| |
最后,我们 JMP 确实鼓励人们返回并重新分析数据,您可能已经看到了其中一些奇怪的结果。 |
| |
可能是这样,您应该知道基于某种分析方法的检测限何时 |
| |
我们确实认为人们应该回去重新分析这些数据,并在你的实验设计中使用检测限,这真的会让你更快、更准确地到达你想要去的地方。 |
| |
非常感谢您收听我的演讲,如果您有任何问题或想要跟进,请随时与我们联系。 |