本文发表于JMPer Cable,第 30 期,2015 年夏季。
作者:Di Michelson di.michelson ,SAS 高级分析培训顾问
Mark Bailey 在JMPer Cable第 29 期中撰写了一篇出色的文章,详细介绍了如何使用低于检测限的数据。当您需要估计测量阈值时,您会做什么?分析化学提供有关物质(分析物)中元素或分子浓度的信息。浓度测量的自然界限为零。测量过程本身是可变的,并且包含噪声。因此,对已知零量分析物的样品进行测量将导致非零响应。可以估计该背景噪声以给出检测限 (LOD):测量系统噪声的上限。
为了估计测量方法的检测限,我们希望找到结果与零读数无法区分的最低浓度水平。这是我们开始看到零浓度信号的点。文献中存在不同的查找 LOD 的方法。行业标准,包括 SEMI C10(方法检测限确定指南)、ISO:11843(检测能力)和国际纯粹与应用化学联合会 (IUPAC)分析命名法纲要1,讨论了确定检测限的方法。大多数作者建议使用校准曲线来拟合线性模型,然后通过逆预测来找到 LOD。
我们将研究将线性模型拟合到校准曲线的各种方法,然后估计零水平下未来观测的预测区间,最后使用上限的逆预测来估计 LOD。我们将考虑普通最小二乘(OLS) 回归来将线性模型拟合到校准曲线。文献中流行的其他方法基于加权方案。
100(1–α)% 预测区间是变量值的范围,其属性是,如果为多个样本计算许多此类区间,则其中 100(1–α)% 将包含来自未来实现的一个观察值的过程。预测区间与置信区间不同。置信区间给出了我们期望总体参数(例如均值或方差)出现的限制。预测区间给出了我们期望未来个体观察发生的限制。
您可以在文献中找到预测区间计算的公式。该公式取决于未来观察的数量
被预测。有关统计区间的易于理解的讨论,请参阅 Ramirez 2 。
例如,考虑一个电感耦合等离子体质谱 (ICP-MS) 系统,该系统执行痕量元素分析,以确定样品中污染物的含量。测量含有已知量污染物的样品。响应是信号强度,以每秒计数 (CPS) 为单位测量。该实验在四个已知水平下重复进行,包括完全不含污染物。图 1 显示了数据。

图 1污染物水平和响应数据
图 2 显示了测量值与已知值的图表,表明数据似乎遵循线性趋势。值得注意的是,零浓度水平的变异性远小于其他水平的变异性。

图 2测量值与已知值的回归图
使用数据散点图很难看出零水平下变异性的差异。相反,通过预测响应检查残差图。图 3 中的残差图清楚地表明,存在元素的地方的方差比不存在元素的地方的方差高得多。红色圆圈中绘制了三个观察结果。

图 3残差与预测响应的图
许多物理特征表现出异方差性,即响应在数据范围内变化的方差。物理数据的可变性通常随着响应的增加而增加。普通最小二乘回归假设同方差性,或整个数据范围内的方差相等。因此,天真地,寻求稳定方差的方法可能是有意义的。
方差稳定的一种方法是使用加权最小二乘(WLS) 回归,它通过每组内方差的倒数对数据进行加权。大多数校准问题不使用足够大的样本来估计不确定性较低的组方差。因此,另一种流行的方法是对方差和均值进行建模。 JMP 使用拟合模型的对数线性方差特性来实现该模型。我们将演示 OLS 和 WLS 回归的这两种方法。
异方差性不会影响使用普通最小二乘法的回归系数(斜率和截距)的偏差。它确实会影响回归系数的标准误差。然而,对于像我们的模拟数据这样的典型数据,空白的 CPS 方差远小于非空白的方差,并且非空白的方差就是我们想要用来查找预测区间的值。检测限。造成这种看似矛盾的原因是使用 CPS 的方差
因为空白导致预测区间太窄。狭窄的预测区间听起来不错,但实际上可能会导致不合理的期望。因此,建议使用普通最小二乘回归来找到预测区间,然后对回归线进行预测上限的逆预测,如图 4 所示。对数线性方差模型也将给出合理的预测。

图4普通最小二乘回归
我们使用拟合模型中的拟合最小二乘平台来拟合数据的直线。您可以通过从每秒响应计数旁边的红色小三角中选择保存列 > 预测公式和保存列 > 个体置信限公式来保存预测公式和预测区间。图 5 显示了数据。

图5已保存预测公式和区间的数据
零处 95% 预测上限的估计值为 109。使用逆预测来估计该值处的真实浓度。返回“拟合最小二乘法”报告。从每秒响应计数旁边的红色小三角中,选择估计 > 逆预测。在第一个空白处输入109,然后单击“确定” ,如图6所示。

图 6输入估计的 95% 预测上限
响应的预测值为 9.6,这是我们对检测限的估计,如图 7 所示。

图7响应的预测值
一些行业标准文件,特别是 SEMI C10,建议使用加权最小二乘回归。让我们将 OLS 预测区间的逆预测与 WLS 得出的逆预测进行比较。
加权最小二乘法使用数据的权重来稳定方差。一种特殊的加权方法是使用组的倒数方差作为权重。要查找每组的方差,请使用表格 > 摘要汇总数据。添加“标准浓度”作为分组列,选择“每秒计数” ,然后单击“统计”>“方差”以询问按组的 CPS 方差。单击“确定” 。
接下来,将包含公式的新列添加到汇总表中。该公式将包含每组方差的倒数,如图 8 所示。

图8各组方差的倒数公式
汇总表包含分组变量、每组的样本量和方差以及每组的逆方差,如图 9 所示。

图9汇总表
逆方差需要返回到原始数据表中。返回原始表并使用Tables > Join添加逆方差列,如图 10 所示。

图 10连接原始数据和汇总数据
生成的表如图 11 所示,除了新的权重列之外,还包含原始表中的列。

图 11连接数据
现在可以再次拟合回归模型,这次使用权重角色中的逆方差列,如图 12 所示。

图 12指定逆方差列
再次,通过单击红色小三角并选择保存列 > 预测公式和保存列 > Indiv 置信限公式,将预测公式和预测区间保存到数据表中。 OLS 回归预测列已隐藏在图 13 所示的表中。

图 13已保存预测公式和区间的数据
零时 95% 预测上限的估计值为 0.03,比使用 OLS 回归发现的值小四个数量级!再次使用逆预测来找到检测限的估计值。从红色小三角中,选择估计 > 逆预测。输入 0.03 并单击“确定” 。

图 14标准浓度的逆预测
如图 14 所示,预测值为 0.0014,这是检测限的估计值。这个数字比 OLS 回归 (9.6) 给出的数字小得多。看起来数字越小越好,但 WLS 可能会导致从业者已知的估计值小得离谱。例如,匹配系统有时是使用 LOD 完成的。 LOD 太小可能会导致系统在统计上不匹配,但出于所有实际目的,可以考虑进行相同的测量。这可能会导致审核员难以证明良好系统的使用合理性。
预测限制如此之小(导致类似的估计检测限制也较小)的一个原因是零级别的组方差远小于其他级别的组方差。因此,零水平的逆方差与其他水平相比是巨大的。
对此的一种补救措施是不仅对平均响应建模,而且对响应的方差也建模。例如,如果您可以假设方差与平均值成正比,则此方法特别有用。除了使用回归量对平均响应进行建模之外,对数线性方差模型还使用回归量对方差的对数进行建模。那是,

其中X的列是平均响应的回归量, Z的列是响应方差的回归量。均值模型的参数为β ,方差模型的参数为λ 。有关对数线性方差模型的更多信息,请参阅 JMP 中的帮助 > 书籍的拟合线性模型。
使用拟合模型,将每秒计数指定为 Y,将标准浓度指定为平均效应。接下来,选择对数线性方差特性,如图 15 所示。选择底部的方差效应选项卡,添加标准浓度,然后运行模型。

图 15拟合模型规格
对数线性方差拟合报告包含β和λ的估计值以及拟合统计数据。单击“对数线性方差拟合”旁边的红色小三角并选择“保存列”>“预测公式” ,然后再次选择“保存列”> “独立置信区间”,保存预测公式和预测区间。图 16 显示了数据表中保存的预测限。

图 16预测上限
预测上限为 81。Fit LogVariance 报告不允许进行逆预测,但使用 Profiler 可以轻松实现。返回“拟合对数方差”窗口。从红色小三角中,选择探查器 > 探查器。将“标准浓度”滑块向左拖动,直到每秒计数的预测值接近 81(图 17)。如果需要放大感兴趣区域,您可以调整 X 轴的比例。

图 17预测刻画器中的逆预测
逆预测约为 6.9,仍然比使用 OLS 回归得出的 9.6 小,但比使用逆方差权重得出的 0.0014 合理得多。
在此示例中,通过 OLS 回归和对数线性方差回归找到了合理的预测。在这两个模型中,空白的方差不会压倒零水平预测区间的计算。当使用逆方差作为权重时,空白的方差导致非常小的估计检测限。与对数线性方差回归一样,使用 OLS 回归可以对检测限进行更保守的估计。正如乔治·博克斯(George Box)所说,所有模型都是错误的,但有些模型是有用的。在寻找检测极限的情况下,OLS 和对数线性方差回归模型可以产生有用的逆预测。
参考:
- Inczedy, J.、Lengyel, T. 和 Ure, AM (1998)。分析命名纲要,第三版。参见http://old.iupac.org/publications/analytical_compendium/ 。
- 何塞·G·拉米雷斯 (2009)。统计区间:置信区间、预测区间、包围区间。可从http://www.jmp.com/software/whitepapers/获取。