统计学意义你好，
所以我拟合了一个回归模型。其中一个预测因子的 P 值为整个模型的 0.0538。我是否应该完全放弃这个预测因子并使用简化模型进行预测，还是可以保留它？
那么，P 值在 0.05 左右的术语是什么？我在一些网络资源中看到，0.05 到 0.1 可以称为边际显著。这个术语在解释统计模型时有意义吗？请分享您的见解。
提前致谢
杰瑞
基础数据分析与建模实验设计回复：统计显著性这是我关于是否保留 ap 值为 0.0538 的效应的建议...两种方法都试一下。然后回答“哪种模型可以帮助我解决实际问题？”的问题，并采用该模型。关于在模型中保留或删除项，已经有许多论文和讨论。最终还是取决于你。对于这个特定问题，没有“一刀切”的解决方案。0.05 的显著性阈值没有什么神圣不可侵犯的。它只是许多人死记硬背而不是出于其他原因使用的值。您可以同样轻松地选择 0.01、0.1 或任何其他值。至于术语，我并不担心那个...我只想说，‘效应 x 在 ap 值为 0.05 时不显著。’然后就这样吧。显著性不是悬崖...而 p 值往往会将人们的思维推向悬崖心态。
回复：统计显著性让我补充一下 P_Bartell 的合理建议。p=0.05 不仅没有什么神圣之处，而且我建议不要在没有进行某种决策分析的情况下使用任何阈值。如果您使用阈值（并且意识到可能不需要阈值 - 通常，我建议构建模型并报告结果，而不管 p 值如何）来做出二元决策（例如是否将变量保留在模型中），请意识到无论哪种方式都存在一些错误的可能性。在决定使用什么截止值之前，您应该考虑错误的相对成本。
除此之外，截断通常不是一个好主意。我永远不建议从回归模型中删除“不重要”的变量。这些变量的存在大概是有原因的。你认为它们应该很重要。如果数据不足以揭示它们的影响，那就这样吧。删除变量相当于决定变量没有影响，这是你没有证据证明的。此外，模型中所有其他变量的系数都会改变——你准备好说这些现在会比以前更准确吗？
尽管 p=.05 被广泛使用，但您应该查看 ASA 关于 p 值的争议以及他们最近对此的一些声明。一些心理学期刊甚至已经禁止使用 p 值。许多期刊仍会拒绝 p 值不小于 0.05 的论文。在这种混乱中，这是我自己的观点。我想知道 p 值 - 我相信它表明了在我拥有的数据中该变量的信号有多强（请注意，即使是这种说法也受到大量批评）。我不希望看到任何二元选择：我尽量从不说变量 X 会影响或不影响结果 Y。这始终是一个不确定性和证据强度的问题。p 值是该证据的一部分，当它很高时，它会告诉您一些事情。由于 p 值而忽略变量是在决定一些没有证据的东西（这等于说变量 X 不重要）。如果相对于潜在因素的数量，您的观察结果很少，那么您可以使用预测因子筛选来帮助选择使用哪些因素，但您无法改变您的数据可能不足以构建模型的事实。
回复：统计显著性感谢您完全赞同我的观点。当我以前教授假设检验时，我会在课堂上通过一个小练习介绍 p 值和统计显著性的概念。我会拿出一枚硬币，告诉学生“我们要做一个小测试。我将通过告诉你们我相信我有一枚公平的硬币来开始测试。我将抛硬币并告诉你们抛硬币的结果。正面还是反面。我希望你们在面前写下你们愿意挑战我对硬币公平性的信念的抛硬币结果。”然后我开始抛硬币……每次都告诉学生结果是“正面”，即使不是正面。我的目的是让他们确定何时他们自己越过了“显著性阈值”。通常到第八次左右，每个人都“拒绝”了我的信念。然后我开始问这样的问题，‘通过举手表决，告诉我你最终确信硬币确实不公平的抛掷次数。抛一次？（通常没人举手）抛两次？（很少）抛三次？（可能会有几个）抛四次？（现在我有很多）抛五次？（几乎所有人都举手）抛六次（只有少数人坚持不懈）然后我们围绕‘重要性’的概念如何真正取决于决策者的眼睛......而不是一些神奇的概率数字进行讨论。我希望你现在已经了解了所有关于统计重要性的知识，这些东西我们称之为 p 值，以及人们实际上是如何做决策的......这是一种信念程度......而这我的朋友们并不是一个统计值。
回复：统计显著性你好@Mathej01 ，
您可能会对本社区其他成员就这个非常密切相关的主题提供的答案感兴趣，即根据设计实验从模型中删除术语
没有足够的背景或信息来帮助您，但这里有一些关于模型评估、比较和选择的问题、评论和考虑：
- 您的数据来源是什么？数据是如何收集的？设计实验、历史数据集……？
根据您的回答，您可能对找到的 p 值有或多或少的信心。对于历史数据集，我将运行Evaluate 设计平台（用于 DoE）来评估完整假设模型中不同项的可用功率。这可以为您提供有关找到的 p 值的“可靠性”的指示，以及有关非显著项的 p 值的指示（因为可用的功率非常低！）。
- 您使用此模型的目的是什么？因果解释、预测和优化，两者兼而有之（也与可用的数据集和收集方法相关）？
在比较模型时，统计显著性可能是一个有趣的指标，但不是唯一的指标（始终添加领域专业知识！）。互补模型的估计和评估指标，如对数似然、信息标准（AICc、BIC）或模型指标（通过 R2 和 R2 调整的解释能力、通过 MSE/RMSE/RASE 的预测能力等）提供了不同的视角，并可能突出不同的模型。
然后，您可以根据领域专业知识和统计评估选择哪一个最适合/与您的主题最相关，并选择使用不同的模型来估计单个预测（以查看它们的不同之处），和/或使用组合模型来平均预测误差。
一般而言，应避免“统计显著性崇拜”，原因如下：
- 还有其他可用和互补的指标可以帮助您比较和选择最相关的模型，并且在许多情况下 p 值可能会被扭曲并且不应盲目信任（例如混合设计和使用没有截距的模型）。
- 由于特定阈值而删除某个术语可能是一种危险的做法。在您的示例中，真的应该因为 p 值为 0.0538 的预测因子未达到 0.05 而将其丢弃吗？听起来太接近拒绝它了，即使高于 0.05（我甚至没有质疑具体的阈值……）。并且根据您对此预测因子分析的功效，这可以解释为什么您没有达到显着性阈值。我宁愿在我的模型中保留不重要的术语，也不愿丢弃可能的（但尚未检测到的）显着影响。
- “所有模型都是错误的，但有些模型是有用的”这句话在处理多个可能的模型并尝试评估和选择一些模型来回答问题时是恰当的。您的案例中可能有几个同样“统计上良好”的模型，因此您也应该始终使用领域专业知识对模型进行排序并帮助选择。您还可以选择多个模型并对其进行平均/合并。
- 不要混淆统计意义和实际意义，使用两者来选择模型：既然你希望你的模型有用，你也应该看看这个预测因子的实际意义：它对响应均值（效应大小）有多大影响？如果这个预测因子有很强的效应大小，那么将它保留在你的模型中可能是更明智的做法。
希望这个补充答案能帮助你，
