扬声器
|
成绩单
|
| 迈克·安德森 |
你好呀。 |
| |
我们来谈谈 JMP 16 中的新功能:检测限。 |
| |
我今天要讨论的是检测限定义的背景。 |
| |
如果您忽略检测极限,我想进行一些统计方面的考虑。 |
| |
我环顾四周,发现一些我认为是现实世界的证据表明某些设计的产品缺乏稳健性,特别是 COVID-19 诊断测试,并且这些产品包含了检测限。 |
| |
最后,我将向您展示如何在 JMP 中实际使用检测限,我将向您展示如何输入它们,如何在实验设计中进行设置,以及如何使用限制来分析数据的检测。 |
| |
我们如何知道是否有东西存在? |
| |
因此,这听起来可能有点像一个深奥的问题,但是当您使用分析方法时,它不再是一个深奥的问题,而是一个关于您的系统有多好的问题。 |
| |
因此,举例来说,如果我们试图在某物中找到极少量的杂质,那么在某些时候,我们用来检测的系统将无法检测到低于一定水平的杂质,并且的极限称为检测限。 |
| |
检测限有多种不同的定义。 |
| |
他们是, |
| |
FDA 表示,它们因领域和分析方法而异,因此我在这里列出了一些,对于分子诊断测定,有限检测是在 95% 的重复测量中可以检测到的目标的最低浓度。 |
| |
现在,如果我们去看看化学界的说法,它将限制检测方法定义为最小浓度或绝对量 |
| |
分析物的信号明显大于合适空白的信号。 因此,在这两个定义中,它们本质上是关于一些不同的方法。 |
| |
我查阅了更多文献,如果您正在做诸如高效液相色谱之类的事情,当您查看曲线时,他们会谈论信噪比。 |
| |
如果您要制作校准曲线,则有特定的方法,并且有许多不同的定义。 |
| |
关于检测极限,因此我鼓励每个人都去寻找对他们的分析方法最有意义的方法,然后遵循您所在行业的特定指南。 |
| |
在 JMP 中, |
| |
我们定义检测极限,因为...它是一个列属性,超出该范围 |
| |
响应无法测量,因此它限制了它,当我们分析数据时,它实际上会审查数据。 |
| |
因此,我之前给出的例子是寻找极少量的杂质,这将是下限,并且将被审查。 |
| |
但它也可能是一个上限,例如,如果您向某个物体施加压力,您的压力表可能会停在某个上限。 |
| |
实际上,您可以对其施加更大的压力,但您的仪表只是不会变得更高,这将是上限,并且这些数据将被正确审查,但它们在 JMP 中的处理方式完全相同。 |
| |
因此,我想通过一个例子来说明如果我们在分析数据时忽略检测限制会发生什么。 |
| |
所以在这个例子中, |
| |
在下面的直方图中,您可以看到,我有一个真实的人口,这些都是我的绿色条,但我们假设我的检测有限。 |
| |
在 10 处,我无法获得低于该值的准确测量值,因此它不是零。 |
| |
我不知道我想要测量的东西有多少,所以有多少粒子,所以正确的统计方法再次是审查,迈克尔·克罗蒂(Michael Crotty)有一个非常好的演讲JMP 参与 Discovery 2017 |
| |
如果你想了解更多统计细节,你应该去看看他的演讲。 |
| |
好吧,让我们看一下这个例子,假设我们的检测数量有限,为 10 和 |
| |
我们要做的就是将这部分人口视为 |
| |
我们并不真正知道它是什么,所以 |
| |
这里我有一个直方图,所以右边又是我的真实人口。 |
| |
我这里有几个不同的场景,所以如果假设我的检测极限是 10 |
| |
然后又是 11 点,然后是 12 点。 所以我在这里所做的就是获取这些数据,并且实际上将其推向 10。 |
| |
让我告诉你这是什么样子的。 所以这不是在检测限制下自动发生的事情,这是我构建的一个例子。 |
| |
所以,如果你看一下,例如在第 7 行,我的真实值是 9.22。 |
| |
但如果我的检测限是 10。 |
| |
那么我不知道,我实际上不知道 9.22 的值,我能做的最好的事情就是把它写下来为 10。 |
| |
或者,我可以将其设置为缺失或零,但我认为 10 可能更现实一些。 |
| |
现在,如果我的有限检测是 11,我必须将该数字移动到 11,同样,如果我的有限检测是 12,我会移动该数据点并将其变成 12。 |
| |
所以我们看到的是,特别是如果你在 12 点看这里,我真的把我的数据集中在这里了。 |
| |
这对平均值的影响是,在我的真实总体中,我的平均值约为 10.5。 |
| |
至于 10,它会变成 10.7,然后我的平均值越来越高,它会变成 11.2,然后是 12,实际上,当我取所有这些值并将它们转换为下限时,平均值处于检测极限。 |
| |
所以我离我的真实平均值 10.5 还很远。 |
| |
但是看看我们的变异测量发生了什么;我的标准差是我的真实总体中的一个, |
| |
如果检测限为 10,则该值变为 0.8;如果检测限为 11,则该值变为 0.4,然后一路下降至 0.2。 |
| |
所以我的变异测量变得越来越小,所以我实际上对我实际进行的测量越来越有信心,这与真实人口的实际情况相差甚远。 |
| |
所以我总结了下面中间的图表,你可以看到,我有我的真实人口。 |
| |
我正在将其他手段与我施加了这种错误检测水平的手段联系起来,您可以看到这些手段急剧变得越来越高,并且离真相越来越远。 |
| |
这里的条形是标准差,你可以看到,它们越来越小,然后橙色阴影是我名字的 95% 置信区间。 |
| |
在右边的上图中,我实际上绘制了平均值和中位数,你可以看到,它们的行为方式类似, |
| |
这是令人惊讶的,因为您可能认为中位数会更稳健一些,但在这种情况下它实际上对您没有帮助。 |
| |
下面是我对变化的测量,你可以看到,当我们施加越来越高的限制时,它们会变得越来越小。 |
| |
所以看起来我们做得很好,对吧? 我对自己的平均值测量的信心真的越来越大, |
| |
相当小,但事实是我离真正的人口价值越来越远,而且离得越远我就越有信心。 |
| |
所以这确实是一个担心,你不一定能够检测到到底发生了什么,并且你会对事情产生错误的信心。 |
| |
因此,当我们将检测极限扩展到设计的实验中时, |
| |
稍后您将在演示中看到,我们不会找到关键因素,也不会发现因素之间的真正关系。 |
| |
现在,在我在 JMP 中向您展示这一点之前,我确实浏览了文献并试图找到一些现实世界的证据,我认为我可以在这些证据中发现缺乏稳健性 |
| |
与设计产品的检测限有关。 而且,我发现与 COVID-19 诊断测试有很好的内部比较。 |
| |
于是,在2020年初, |
| |
FDA 授予了 20 多项紧急使用授权。 |
| |
它们都是实时 PCR 测试,并且测试病毒载量,即病毒基因组的拷贝数。 |
| |
现在,最初,因为没有标准——因为这是我们以前从未见过的全新东西——公司可以开发和使用自己的内部标准。 |
| |
今年晚些时候,FDA 制定了自己的标准,并发布了该标准并重新评估了诊断测试。 因此,我可以使用不同的标准来比较同一测试的这两个不同时间点。 |
| |
所以我决定我应该做的就是按照测试的排名顺序进行排序。 你怎么知道什么是好的测试,什么是坏的测试? 我该如何对这些进行排序? |
| |
好吧,我们可以看看病毒载量之间的分析关系,病毒载量又是病毒正在制作的基因组拷贝数 |
| |
以及诊断测试的临床敏感性。 因此,在 X 轴上,我们得到了每毫升有多少个基因组拷贝,即病毒载量。 |
| |
更小的检测轻微病例。 我们走到右边,我们实际上只会检测到真正超级严重感染的个体,即超级传播者。 |
| |
然后,这里的 y 轴是检测到的病例的比例。 再说一遍,这是真实的证据,所以我们通过这条黑线可以看到,临床敏感性与好坏程度存在关系, |
| |
抱歉,这么小 |
| |
我们可以检测到病毒载量。 因此,检测到较小的病毒载量是好的,这就是我用于排名的顺序。 |
| |
所以我有两个不同的时间点,4 月 2 日和 9 月 15 日,然后对于每个时间点,我根据每个标准对检测限进行了排序。 |
| |
因此,如果进行诊断测试,如果以稳健的方式进行,我们会期望或多或少相同的排序顺序和相似的检测限。 |
| |
如果这些测试的设计方式缺乏稳健性,那么我们实际上会期望看到排名顺序的变化和检测限的变化。 |
| |
那么我发现了什么? |
| |
所以在这里我将我找到的数据绘制成图表,并且我有四个单独的数据 |
| |
我的图表中的面板。 |
| |
在每个面板中,我在两个不同的日期连接相同的诊断测试。 例如,在左侧的紫色线中,我正在连接 |
| |
从 4 月 2 日的排名到 9 月 15 日的排名,这项特殊的诊断测试最初排名第 16 位,然后一路升至第 1 位。 |
| |
我还绘制了最终的检测极限。 因此,如果我绘制 4 月 2 日的初始值,那么在不同的面板中,这个结果会更糟,所以这是最终值。 |
| |
所以这个测试变得非常非常好,我们看到还有其他一些测试极大地提高了他们检测显着增加的能力 |
| |
检测极限及其检测越来越小的病毒载量的能力。 |
| |
但我们也看到测试变得非常非常糟糕,并且它们再次发生了几个数量级的变化,因此,例如,下面这个红色的测试,它是 4 月 2 日的第三个最佳测试,但随后它一路下滑,跌至第 14 位。 |
| |
所以我认为这表明,总的来说,这只是缺乏稳健性以及这些任务最初是如何完成的。 |
| |
我不知道这些测试是如何进行的。 |
| |
我不知道他们是否使用了 JMP 以及设计好的实验和检测限,但我认为应用这些技术肯定可以使任何使用检测限的东西变得更加稳健。 |
| |
那么我们来看看JMP。 |
| |
那么如何设置检测限呢? |
| |
好吧,您可以直接在自定义设计器中完成。 实际上现在有一个框,您只需在其中输入检测极限即可。 |
| |
当您在输出表的自定义设计器中执行此操作时,它会创建一个包含检测限的列属性。 |
| |
当您在广义回归中分析这一点时,广义回归将处理, |
| |
将使用这些检测限并将这些检测限之外的变量视为审查值。 |
| |
让我向您展示如何在 JMP 中执行此操作。 |
| |
这是我在实验设计中设置的数据表的样子,所以我是如何到达这里的,我去了 DOE,定制设计师。 |
| |
您可以看到,这里是我为每个响应设置检测限的地方。 |
| |
看我打字很无聊,所以让我向您展示我如何为这个特定的数据表进行此设置。 |
| |
我在这里有几个回应。 |
| |
我有多种不同类型的检测限,因此我的几个响应都有检测上限和下限。 您可以在任一方向上选择一侧。 |
| |
所以在这里,我只有一个检测下限,在这里我只有一个检测上限。 |
| |
如果没有检测限,您当然可以将其留空。 |
| |
如果我们看的话。 |
| |
在数据表中我们可以看到,您实际上可以将其视为检测限。 |
| |
但我可以选择所有这些。 |
| |
只需滚动浏览它们即可向您展示检测极限。 所以它只是列属性中的另一个项目。 这是我的上半身和下半身。 |
| |
再说一次,我有上层和下层。 |
| |
在这一项上,这只是我的下限,在下一项上,这只是我的上限。 |
| |
现在粘度根本没有,所以如果我想返回并手动添加它,或者如果您使用检测限进行分析,但您没有在设计实验中设置它, |
| |
您只需转到列属性即可,它就在列表中。 因此,这些都是适用于设计实验的色谱柱属性。 |
| |
只需添加检测限,然后我们就可以输入我们想要的任何值,所以我们可以说 1300。 |
| |
和 |
| |
为单方面的限制。 |
| |
只需添加它,然后它就会在那里。 |
| |
这就是检测极限的方法。 |
| |
数据表和列的列属性。 |
| |
好吧,现在我们来谈谈如何分析有检测极限的数据。 |
| |
因此,为此,我想分析一个由定制设计器设置的实验,该实验的目标是优化水样中农药的测定。 |
| |
这是一个三因素实验,有 32 次运行和最佳设计。 |
| |
其中 9 个观测值低于 1% 的检测限。 |
| |
因此,我将向您展示如何在 JMP 中分析数据。 |
| |
但我确实也想做这个额外的比较。那么如果我们不使用检测限或没有检测限怎么办? |
| |
好吧,我的有限检测率为 1%,而且我们再次不确定这些实际值是多少,所以我想,我们可以将一种情况取零,然后。 |
| |
因此,水样中根本不存在农药,或者我们可以说它正好达到检测限并使用1的值。 这是两种替代方案。 你将会看到如果我们不使用检测极限, |
| |
我们不会找到所有的因素,而且我们的结果实际上会具有极大的误导性和不准确性。 |
| |
那么让我向您展示如何在 JMP 中执行此操作。 |
| |
所以这就是我的。 |
| |
设计看起来像这样,我有 Metacrate 作为响应,这是我的检测上限和下限。 |
| |
这是我的三个因素。 |
| |
我刚刚做了一个响应面 |
| |
设计所以它是每一个 |
| |
因子,然后是二次和双向交互,我最终做了 32 次运行的设计。 |
| |
数据如下所示。 |
| |
再说一次,这是我的实验设计和我有的情况下的结果 |
| |
零,这就是我的机器所说的,我的机器说我没有检测到任何东西,但真实的情况是它被审查了,这就是我在设置实验设计时设置的检测极限。 |
| |
我们将用广义回归来分析这一点。 |
| |
它在常规最小二乘中确实存在检测限制,因此虽然我可以运行此脚本,但我确实想向您展示我实际上是如何设置它的。 |
| |
所以我的结果变量是 Metacrate,我们将使用广义回归。 |
| |
这里,正态分布是符合数据的,但它会导致负预测值,并且我所拥有的农药数量不存在负值。 |
| |
因此,为了保持正值,我实际上会将其更改为正常值,这样我的所有预测值都是正值。 |
| |
请注意,我不必输入任何内容进行审查,我可以在此处选择,但 JMP 会自动处理此问题。 |
| |
当我们进行实验分析设计并推广回归时,前向选择是一个不错的选择,它与您可能熟悉的逐步回归或逐步回归非常相似 |
| |
在拟合模型平台中。 |
| |
因此,我们在模型摘要中可以看到,它提醒我它有检测极限。 |
| |
我的 R 方为 0.91,所以这非常合适。 |
| |
如果我们看看这里发生的事情的细节 |
| |
如果您不熟悉解决方案路径并且概括回归,那么您所关注的是参数如何输入模型,所以这又是前向选择, |
| |
然后根据效果的大小进行缩放,因此第一个输入的是我的二氯甲烷,它对结果有积极的影响。 |
| |
但接下来是二次方程,它有负数, |
| |
负面影响,实际上是负面估计。 |
| |
因此,看到并与之互动很有趣,总体而言,基于最小 AIC 分数的最佳模型有五个步骤。 |
| |
现在我喜欢使用预测刻画器可视化方程。 |
| |
我将简化一下并使其更大一些。 |
| |
预测刻画器向我们展示的是,这是我们的结果变量 Metacrate,它是 y 轴,那么每个方块都是我们实验中的因素之一。 |
| |
我们正在研究的是方程,或者说关系 |
| |
以图形方式。因此,我们可以看到相互作用,因为当我改变二氯甲烷时,其他因素的形状会发生变化,并且您当然可以看到这些参数中存在很多曲率。 |
| |
我也有我的实际预测 |
| |
情节实际上看起来相当不错。 |
| |
所以我想做的是,我想最大化我可以检测到的 Metacrate 的数量,这就是我做实验的原因。 所以,我会要求JMP找到最大水平。 |
| |
结果发现,我能检测到的 Metacrate 的最大数量是 38.6。 |
| |
这是针对这些因子设置的,所以对于这个量的甲醇和这个量的二氯甲烷,我的水样的值略低于六。 |
| |
这就是我的实验结果,我想回去实际测试一下并确保它有效。 |
| |
现在,如果我忽略检测限制而尝试其他方法会怎样? |
| |
所以在这里,我有完全相同的数据。 |
| |
对于 Metacrate 为零,但我所做的是添加了几列。 我说,有一列,好吧,也许它实际上处于下限,它在右边,所以我只是将这些值更改为一,而不是零。 |
| |
然后,或者,好吧,如果这些样本中没有任何东西被发现怎么办,那么那将是零,在这种情况下我不能使用零,因为它是对数正常的,所以我只选择了一个很小的,一个很小的值 |
| |
所以 10 乘以负 12 右边所以点 .00000000001 认为这是正确的零个数。 |
| |
因此,让我们在这两个条件下分析数据,并且我们不会使用检测限。 |
| |
因此,我将放置第一个,而不是 Metacrate,我们将在其中将所有这些值重置为检测下限。 |
| |
我们将进行前向选择。 |
| |
所以不存在,你可以看到这里没有检测限制,就像我的 R 方刚刚低于 0.7 之前一样。 |
| |
但是你可以从我的解决方案路径和参数估计表中看到, |
| |
我只有三个步骤,前进到我的建模步骤,我没有挑选很多东西,我这里有很多空白,如果我们看看我的照片 |
| |
在分析器中的方程式中,您可以看到我实际上缺少一个因素,我们可以将其与这里的这个因素进行比较,我完全错过了甲醇。 |
| |
如果我最大化 |
| |
我能找到的最大数量的 Metacrate 大约只有 16 个。 |
| |
我的实际预测情节看起来不太好,看起来不太高兴。 |
| |
所以这是一种情况,一次又一次,所以我们完全错过了我们的因素之一,我们只是没有注意到它。 |
| |
然后让我们看看另一种情况,如果,而不是一种情况,如果它几乎为零怎么办? |
| |
不完全为零,但非常非常接近。 |
| |
向前选择。 |
| |
同样,我们在这里没有使用检测限,但看看我的 R 平方是 0.997。 |
| |
所以它认为它找到了非常合适的选择。 |
| |
但这里仍然发生了一些奇怪的事情,我的模型中只有三个步骤,我还没有真正发现太多,我发现 |
| |
我和我的二氯甲烷几乎没有完成,只是拿起了我的样品量。 |
| |
如果我们看一下预测分析器。 |
| |
我再次缺少甲醇,所以我没有我的因素之一,我的实际预测图看起来如此,但到底发生了什么,地球上是我的曲线的顶部。 |
| |
我将打开这个自适应 y 轴,以确保我可以看到所有内容。 |
| |
它的预测值高达数百左右,如果我只是, |
| |
我不会,我可以运行最大意愿,但你可以看到它超过 470,即使我只是手动尝试选择一些东西。 现在记住, |
| |
我的检测限是 99,所以这些值根本没有意义。 |
| |
和 |
| |
我错过了一个因素,它没有意义,但我真正想展示这个例子的部分原因是我在客户身上看到过这个, |
| |
我无法向他们解释发生了什么,所以我知道如果人们不使用检测极限,这实际上会发生, |
| |
你会得到一些非常非常奇怪的结果,因为你已经决定如何处理分析中的数据,你已经处理了它,是一还是零。 |
| |
在这种情况下,这是两种替代方案,但它们与水中检测这种农药的真正能力的实际情况以及我设计实验的结果相去甚远。 |
| |
所以。 |
| |
我真正希望每个人留下的关键要点是第一,检测极限非常重要。 |
| |
你不应该忽略它们,也不应该用高值或低值的值替换它们,你真的 |
| |
您应该将这种不确定性纳入实际分析中。 JMP 使这一切变得非常容易。 您可以在实验设计平台中执行此操作,也可以在列属性中执行此操作。 |
| |
然后,一旦它们到达那里,您就可以使用广义回归进行包含检测极限的分析,它将为您提供最好的模型,您将找到您的因素以及它们之间的真正关系。 |
| |
最后,在 JMP,我们确实鼓励人们返回并重新分析数据,您可能已经看到了其中一些奇怪的结果。 |
| |
可能是这样,您应该知道基于某种分析方法何时存在检测限 |
| |
我们确实认为人们应该回去重新分析这些数据,并在实验设计中使用检测限,这确实会让你更快、更准确地达到你想要的目标。 |
| |
非常感谢您收听我的演讲,如果您有任何问题或需要后续跟进,请随时与我们联系。 |