比较事物在我们的日常生活中很常见。 如果您缺少食谱的成分，您可能手头有其他东西可以作为很好的替代品。 对于需要数据的比较决策，您可能想知道旧机器的性能是否与实验室或工厂中的新机器相当。 是时候修理或更换旧机器了，还是它的性能“足够好”以继续使用它？ 在这种情况下，我们如何量化“足够好”的含义？
按照惯例，比较两件事需要使用繁琐且通常违反直觉的假设检验。 然而，简单地拒绝或未能拒绝原假设可能不足以解决我们希望回答的问题。 那么，我们如何才能更有效地判断两个事物是相同、相似还是不同呢？ 可以通过使用协议概率 (PoA) 评估方法找到答案实际的等效性，这是 Nathaniel Stevens 的专业领域之一。 他是我们最近的客人从统计学上讲,我们很高兴能更多地了解这个强大而灵活的框架。
Nathaniel 是滑铁卢大学统计与精算科学系的统计学助理教授。 他赢得了多个奖项，最近一次是 2023 年美国质量协会 Feigenbaum 奖章和 2021 年 Søren Bisgaard 奖，以表彰他在贝叶斯协议概率方面的工作。
由于我们的问题多于回答的时间，纳撒尼尔欣然同意在这里分享他的更多专业知识。
PoA 框架的局限性是什么？
该框架在很大程度上依赖于等效阈值𝛅。 因此，这是需要深思熟虑地确定的事情。 在某些情况下，这可能很难做到。 如果没有仔细考虑，这可能会被不择手段地选择以获得想要的结果。 因此，必须在识别问题上下文的情况下选择 𝛅。
PoA 是否等同于将显着性水平更改为 0.1（例如）而不是传统假设检验中使用的 0.05 阈值？
不，PoA 分析和假设检验之间的关系并不是那么简单。 虽然存在许多 PoA 的化身，但为了帮助建立对其量化的内容以及它如何与其他证据措施相关的直觉，让我们考虑一个说明性的例子，我们只是想确定参数 θ 是否位于区间 [-𝛅, 𝛅 ].
这可以（例如）使用第二代 p 值来完成[1] , 等价检验[2] , 基于区间的方法[3], [4]或协议的常客概率[5] . 所有这些方法，通过不同的方法，寻求表征 θ-hat 的采样分布的位置和分散，特别是与区间 [-𝛅, 𝛅] 的关系。 基于区间的方法倾向于检查 θ 的置信区间是完全在 [-𝛅, 𝛅] 之外还是在 [-𝛅, 𝛅] 之内。 第二代 p 值衡量此类统计区间重叠的程度 [-𝛅, 𝛅]。 与两个单边检验 (TOST) 关联的 p 值总体衡量 θ-hat 的抽样分布的比例位于 [-𝛅, 𝛅] 之外。 频率论者 PoA 衡量分布在 [-𝛅, 𝛅] 内的比例。 所有这些方法，以类似但略有不同的方式，量化支持陈述 θ 的证据∈ [-𝛅, 𝛅] .
学校是否教授 PoA？ 什么时候开始？
据我所知，PoA 尚未在课程中教授。 这个想法相当简单，我想我不是第一个考虑它的人。 所以，我不能确定这个想法的第一个例子是什么时候实施的。 然而，我和我的合作者开始构建的框架大约始于 2015 年。
对于任何明确说明实际等价性的方法论的教学来说，这是一个更普遍的问题。 此类方法（例如，等效性测试）很少在入门课程中教授。 这类方法的广泛接受需要教学法的范式转变，这有望通过我们在统计学科中经历的关于统计意义与实际意义的范式转变来实现。
“HDI”是什么意思？
HDI 是“最高密度区间”的首字母缩写词。一般来说，HDI 是具有最高密度的单变量分布支持的子集[6] . 这个想法在贝叶斯推理中被普遍用作一种特殊类型的后验可信区间。 例如，考虑参数 θ 的后验分布，并考虑一个区间[左，你]包含 95% 的分布，因此包含 θ概率为 0.95。 这样的间隔不是唯一的。 95% 的 HDI 是最短的包含 θ 的概率为 0.95 的区间。
您如何定义“异方差性”一词？
一般来说，异方差性指非恒定方差。 相比之下，同方差性指常量方差。 在测量系统比较的背景下，异方差性是相关的，因为测量系统的可变性（即其可重复性）可能不是固定常数；它可能是您正在测量的项目的函数。 例如，如果被测量的项目是大的/小的，测量值可能会变得更多/更少。 然而，同方差性和异方差性之间的区别具有更广泛的相关性。 例如，普通最小二乘回归中的推理基于恒定方差假设，这导致在存在异方差的情况下需要方差稳定变换（例如，对数变换）。
如果根据比率评估一致性/非劣效性，是否有任何必须考虑的特殊因素？
PoA（和相关的比较概率指标）可以根据加性差异来定义C 1个- C 2个或相对差异C 1个/C 2个. 除了小心正确地指定分布C 1个/C 2个，使用比率时唯一的其他关键考虑因素是如何定义实际等效性以及实际等效性（或非劣效性）的区域。
在这种情况下，判断是否C 1个/C 2个实际上不同于 1 是有趣的。 因此，将实际等效区域定义为[(1 + δ) -1 , 1 + δ]这里在哪里𝛅选择 100𝛅% 的百分比增加是实际重要的最小百分比这一事实。 这样的间隔在相对尺度上围绕 1 对称，并且对于第 1 组与第 2 组的（可能是任意的）标记是不变的。 然后 PoA 被定义为
您如何定义 Cox 模型的等价限值？ 您如何使用 Cox 模型中的等价极限？
PoA 尚未开发用于专门与 Cox 比例风险模型一起使用，但它肯定可以是。 在这种情况下定义等价裕度需要考虑两个危险函数在实际相关之前必须有多大差异（在加法或相对尺度上）。 这个等价边际可能是一个常数，也可能取决于模型中的协变量。 在这方面存在细微差别和灵活性。 我敦促有人追求这种方法论的发展；它可能非常有用。
您知道气候建模师使用这些方法来评估他们的模型吗？
不具体，不。 我所知道的最接近的事情是 Ledwith 等人最近发表的一篇论文。 (2023) [7]它使用协议概率来更普遍地验证计算模型。 但我希望这样的方法可用于气候模型评估。
我们感谢 Nathaniel 花时间分享他对这个灵活而强大的概念的更多想法。 如果您错过了直播，请查看点播插曲从统计学上讲。
[1] https://www.tandfonline.com/doi/full/10.1080/00031305.2018.1537893
[2] https://www.routledge.com/Testing-Statistical-Hypotheses-of-Equivalence-and-Noninferiority/Wellek/p/book/9781439808184
[3] https://www.tandfonline.com/doi/full/10.1080/00031305.2018.1564697
[4] https://psycnet.apa.org/record/2012-18082-001
[5]贝叶斯 PoA 在这里也很有用，但为了缩小讨论范围，我将重点关注常客版本。
[6]最高密度区域 (HDR) 是多元模拟。
[7] https://asmedigitalcollection.asme.org/verification/article/8/1/011003/1156689/Probabilities-of-Agreement-for-Computational-Model
