如果你错过了三月的一集统计学上讲，无需注册即可观看！ 我们认为 Jessica Utts 和 Dick De Veaux ——杰出的屡获殊荣的统计学家、教授、作家和 ASA 研究员——提出的观点和例子非常引人注目，以至于他们的演讲应该被广泛关注。
此外，我们没有时间解决所有后续问题。 值得庆幸的是，杰西卡和迪克提供了详尽的答案；我们感谢他们抽出时间进一步深入研究这一重要议题。
问题：在建立分析过程中造成不必要的浪费怎么办？我们看到很多人仍然在做一次一个因素的实验，这实际上只是一种浪费的试验和错误。 这会回到杰西卡关于教授统计素养的观点吗？
杰西卡：我认为关于如何设计实验或分析的讨论不符合我对统计素养的看法，因为我最关心的是统计消费者的素养。 但这引出了一个非常重要的观点。 一次做一个因素的实验的问题不仅仅是浪费。 问题是，如果交互存在但没有被考虑在内，结果可能会非常具有误导性。 相互作用只能通过在同一个实验中研究多个因素来衡量。
例如，一些研究表明，在锻炼前摄入咖啡因有助于提高运动表现。 但其他研究表明相反。 已经提出的一种解释是，这取决于某人在基因上是快速还是慢速的咖啡因代谢者。 因此，如果这类研究没有考虑到这种遗传差异，那么结果可能会产生很大的误导性。
当消费者阅读似乎没有意义的研究结果（甚至是有意义的结果！）时，一个好的策略是考虑哪些额外的变量可能导致交互。 例如，在本次网络研讨会中，我讨论了女性健康倡议的结果，该结果似乎表明绝经后接受激素替代疗法会增加患冠心病的风险。 但后续研究表明，情况并非如此简单。 根据美国妇产科学院妇科实践委员会：
“最近的分析表明，HT [激素疗法] 不会增加最近经历过更年期的健康女性的 CHD [冠心病] 风险。 有一些证据支持时间假说，即在接近绝经期开始使用 ET [雌激素治疗] 或 HT 时，可能会产生心血管益处。”
换句话说，荷尔蒙不仅不太可能导致更年期开始服用的女性患冠心病，而且荷尔蒙实际上可能有助于减少心脏病！ 问题在于，最初研究中女性的平均年龄是 63 岁，而且她们中的大多数人已经过了更年期很多年，并且从未使用过激素。 一位医生朋友向我解释说，这意味着他们可能在绝经后有时间在动脉中积聚斑块，多年后他们开始使用激素时，斑块松动，导致冠心病。 如果他们在绝经后立即服用激素，斑块就不会积聚，激素会保护他们免受心脏病的侵害。 在这个例子中，根据绝经过渡后的年数开始使用激素的时间是一个重要的相互作用变量。 如果消费者查阅了原始研究文章，他们会注意到参与研究的女性并不能代表激素疗法在实践中的使用方式。 在“现实世界”中，激素治疗几乎总是在绝经后立即开处方。
如果您正在设计实验或观察性研究，那么考虑如何组合的解释变量可能会影响结果。 如果可能发生交互，那么一次调查一个因素不仅是浪费，而且可能会产生误导。
问题：实际意义是否应该由特定的效应大小截止值来定义，例如 0.5，心理学家将其定义为“中等效应”？
杰西卡：不！ 实际意义应结合上下文来看待。 不过，效应量很有用，特别是对于确定一项研究是否将发现复制到另一项研究时。 这是因为，不像 p -值，效应大小不依赖于样本大小。 （但是，与任何统计估计一样，样本越大，对真实效应大小的估计就越准确。）因此，如果特定结果变量在研究之间始终显示相同的效应大小，那就更好了复制的指标，而不是规模差异很大的研究始终发现相似的 p -价值观。
考虑效应大小的一种简单方法是，它是两组均值在标准差数量方面的差异。 例如，男性和女性的平均身高相差约 5 英寸，每组内的标准差约为 2.5 英寸。 因此 5 英寸的差异具有 5/2.5 = 2 的影响大小，即以“组内”标准差的数量表示的平均高度差异。 效应量在 0.2 左右被分类为小，在 0.5 左右被归类为中，如果它们为 1.0 或更大，则被归类为大。 粗略地说，大的效应对任何人来说都是显而易见的，中等效应对于观察力强的专家来说是显而易见的，而小的效应在不使用统计数据的情况下实际上是不可观察的，即使它可能很重要。 使用此处的示例，任何观察者都应该注意到两组 2.5 英寸或更大（效应大小为 1）的平均高度差，1.25 英寸（效应大小为 0.5）的平均高度差可能不会被注意到，除非有人经常出于某种目的测量高度，如果没有统计摘要，很难检测到半英寸的差异（效应大小为 0.2）。
但实际意义总是取决于上下文。 例如，假设进行了一项研究，以确定服用一种没有副作用的特定草药补充剂是否有助于降低胆固醇。 各种来源报告说，总血浆胆固醇的总体标准偏差约为 40 mg/dl。 因此，即使是相对较小的 0.25（标准偏差的 1/4）效应量也代表平均胆固醇降低 10 mg/dl，这可能具有有意义的临床意义。 另一方面，假设降低胆固醇的药物有严重的副作用。 在这种情况下，服用该药平均仅减少 10 mg/dl 可能不足以使其值得冒副作用的风险。 正如身高和胆固醇的例子所说明的，效应大小的数值取决于自然的组内变异性。 如果人群中胆固醇水平的自然变异性仅为 5 mg/dl 而不是 40 mg/dl，那么降低 10 mg/dl 将代表 10/5 = 2.0 的效应大小，符合“大影响。”
另一个例子是确定一个效果是否存在。 例如，测试超感官知觉是否可能的实验室研究始终发现较小的影响大小，通常在 0.15 和 0.2 之间。 但在这种情况下，任何一致的非零效应大小都是有意义的，因为它表明超感官知觉是可能的。
因此，总而言之，确定研究结果是否具有实际意义需要背景专业知识。 效应量可以用作指导，但被认为具有实际意义的因素总是取决于统计测量之外的其他因素。
问题：与统计显着性相比，您如何定义实际/生物学显着性？
迪克：这是一个很好的问题，而且经常出现。 我将首先回答这个问题，然后给出几个答案。 统计“显着性”是一个狭义术语，它描述了当观察到的数据与所提出的模型预测的“足够远”时的情况。 因此，如果我们假设一枚硬币是公平的并且将其翻转 100 次并且观察到的正面频率与 0.5 相差甚远，我们会说结果具有统计显着性，这意味着在该模型下发生这种情况的可能性很小（这是 p 值）。 当 p 值足够小时，我们说有证据反对该模型（或假设），无论与 0.5 的实际差异是否足以引起实际兴趣。 实际/生物学意义描述了一个结果有意义的给科学家或其他研究者。 结果可能具有实际意义，但没有统计学意义，或者（甚至更糟），反之亦然。
昨天一个学生来找我，提出了一个关于昆虫如何访问植物的理论。 他们倾向于独立来，还是成群结队地来？ 我们使用泊松模型来模拟到达花朵的 0、1、2、3 ……昆虫的出现，然后使用卡方检验来查看实际出现是否符合泊松。 通过使时间段非常小，从而使时间段的数量变大，我们能够相当容易地拒绝泊松模型（因此拒绝独立到达）。 但是我们没有回答到达是否足够远来真正回答生物学问题的问题。 与泊松预期的数字有多么不同，才能真正证明昆虫正在“配对”。 这不是统计学家可以回答的问题。
其他例子来自普林斯顿的一个实验室，该实验室试图证明人类可以影响（或至少预测）随机数生成器的结果。 他们生成一个介于 0 和 1 之间的随机（统一）数字，然后要求受试者判断它是小于还是大于 0.5。 他们收集了数以万计的这些观察结果，并宣布该百分比具有明显的统计学意义（p 值 < 0.00001）。实际成功率（大约 0.5002）是一个很小的偏差，以至于最好它将影响 10,000 个结果中的 2 到 3 个结果。 当然，实验室主任认为任何差异，无论多么小，都会很有趣。 即使结果是真实的，而不是实验异常或随机错误的结果，我也会让读者来决定结果是否具有实际意义。
如果一种药物的成功率远远高于安慰剂，不太可能是偶然发生的，我们会说这是一个具有统计学意义的结果。 但是，如果实际差异是治愈 31% 的患者，而不是安慰剂的 30%，我怀疑营销部门将很难宣传这种改善，即使这种差异具有统计学意义。
问题：您是否认为任何对研究结果有兴趣或利益的人都应该在研究中始终受到审查或识别？
迪克：比以往任何时候都更容易找到我们关心研究的几乎所有主题的数据。 但是，当然，并非所有数据都是平等的。 双盲安慰剂对照临床试验的结果总是比轶事信息更可取。 当无法识别数据来源时，可能无法区分这两种情况。 数据的谱系，包括它们是如何收集的，在什么条件下，由谁以及出于什么目的，在声称数据对整个世界意味着什么之前是必不可少的。
我们有兴趣听到您可能有的其他示例数据科学伦理，在仔细考虑道德分析的情况下，在明显缺乏道德的情况下进行分析，或者在不清楚如何最好地进行的情况下进行道德困境。 再次感谢杰西卡和迪克分享他们在这个话题上的智慧和专业知识，这与这个时代息息相关。
