中心极限定理 - 一个幼稚的问题这个问题与JMP本身无关,而是代表一个基本的解释问题。 我知道,由于我们称之为 CLT 的现象,总体抽样将始终努力使结果均值呈正态分布,总体均值和标准差接近总体均值和标准差,无论总体数据如何分布(倾斜或正常),但前提是采集了足够数量的重复样本 (≥30)。 此外,随着每个样本大小的增加,估计平均值和 SD 的精度也会增加。 我还了解到,由于 CLT 已纳入参数测试,因此不需要执行如此多次采样。 我想要了解的是是否存在样本量的截止点,在该截止点之上可以直接假设正态性而无需测试。 其次,或许与《美国统计学家》杂志呼吁降低显着性水平阈值(p<0.05)以支持报告实际 p 值并避免使用“统计显着性”一词无关,那么如何然后确定诸如确认正态分布之类的结果,例如通过夏皮罗-威尔克检验? 那里也有一条灰线吗?
回复:中心极限定理 - 一个幼稚的问题@34南:关于我之前提到“单一数字症”的文章,当我在工业问题解决或产品/流程开发框架中向科学家和工程师教授统计方法时,我用我称之为“差距”的东西来围绕我提到的这种疾病。 “差距”认识到,在假设中,任何决策过程都涉及两种类型的风险。 我认为 ASA 的“...Not To...”列表与“The Gap”非常一致。 这两种风险是:
1、统计风险;我们可以通过样本量、总体方差假设、β 风险、检测的 delta 等技术来量化和结构性地解决哪些风险。假设检验最终得出 p 值,以指导决策制定和陈述“……统计显着性”。 '
2. 代表风险;这是系统特征的所有其他累积效应,这些效应会带来与决策相关的“风险”。 根据我的经验,这一类风险常常淹没统计风险……并且通常不可能使用统计方法来控制或量化。 代表风险只能通过理性、深思熟虑、知识渊博的领域专业知识来解决。 例如,在我的行业生涯中,我们经常在试验设备上进行实验,目的是确定产品设计规范。 但几乎总是存在一个巨大的问题……我们在试点设备上学到的东西很常见,只是无法扩展到生产规模的设备。 因此,我们在理解上存在一个“差距”,这是不可能用仅涉及统计风险的方法来克服的。
因此,我对“单一数字”的观点始终是,如果您报告的只是孤立的 p 值,并且不在您的决策中考虑代表性风险……那么您很可能严重低估了做出决策的总风险。决策失误。
我希望这有帮助?
回复:中心极限定理 - 一个幼稚的问题非常不客气! 我也很想知道 p 值和推论统计方面的情况会如何变化。 我也渴望看到随着计算速度的不断进步,我们的统计应用总体上会发生怎样的变化,这使得将更复杂的模型拟合到更大量的数据成为可能。 这确实是一个非常令人兴奋的时刻,我怀疑我们将见证在如何从数据中提取意义方面取得一些真正令人兴奋的进步。
我 100% 同意您关于 JMP 的看法;我无法想象没有它就必须从数据中学习!
回复:中心极限定理 - 一个幼稚的问题亲爱的朱利安。 非常感谢您非常详细的解释。 它让我对 CLT 有了更深入的了解,超出了我的预期,对此我深表赞赏。 另一方面,关于取消 p 值阈值的呼吁将会进展到什么程度,这将是一件很有趣的事情。 如果这个概念确实被采用的话,也许绝大多数科学家会再次误解如何应用它,因为我认为目前指南的重点不是我们应该做什么,而是我们不应该做什么。 我的背景不是统计学——事实上,在我那个时代,大学里几乎没有教授统计学,我在很大程度上是通过自己多年来的经验获得了理解,JMP 在很大程度上帮助我成为了任何人的首选人员。我的研究领域的统计查询。 就我个人而言,我无法想象使用任何其他软件包来调查数据。 不过,我当然很喜欢其他帖子的幽默,并将它们放在我的后口袋里参加鸡尾酒会;->回复:中心极限定理 - 一个幼稚的问题你好@34南,
我不会说这是一个“天真的问题”! 它实际上相当深入地探讨了我们通常的参数测试的理论基础和假设。 让我逐一分析您的观点并提出一些评论,然后希望以一些实用的建议作为结尾:
- 中心极限的断言是什么:正如您所说,CLT 断言当样本量 (n) 接近无穷大时,统计量的抽样分布(假设未来的平均值)接近正态分布。 CLT 不断言(它不需要断言)公正性平均值(抽样分布以总体参数为中心)和渐近一致性均值(随着样本大小的增加,抽样分布的方差减小/估计值与参数之间的预期误差减小)。 无论 CLT 是否正确,这些对于作为估计量的均值都是正确的; CLT 是关于分布式形式的,它所主张的内容已经足够神奇,而无需增加公正性和一致性。
- 为什么 CLT 很重要:在通常的参数假设检验中,我们根据样本数据形成检验统计量,然后生成 p 值,以评估样本中的检验统计量单独偶然发生的可能性有多大。 我们了解“仅偶然”会发生什么的方法是由 CLT 告知的,因为我们假设统计数据的抽样分布(本例中为平均值)是正态分布的。 我们知道平均值的抽样分布在两种情况下将呈正态分布:如果总体是正态的(因此由任何大小 n 形成的抽样分布将是正态分布),或者总体是非正态的,但我们的样本量很大足够大(我们很快就会解决什么是足够大)。 因此,因为我们相信 CLT 的主张,所以我们可以在不实际了解总体分布形式的情况下,基于抽样分布呈正态的假设计算出 p 值。 由于我们知道我们的统计数据是无偏的,平均值为 0,并且知道如何计算方差(部分归因于方差和定律),因此假设原假设为真,我们可以将样本定位在统计数据的抽样分布中,并找到统计数据比我们的统计数据(通常的 p 值)更极端的样本比例。 如果我们没有 CLT,或者不相信它,我们要么必须提前知道总体的分布形式(这样我们才能知道抽样分布的形式),才能知道 p -值,或者需要使用模拟统计来生成我们对抽样分布的估计并创建经验 p 值。
- 什么是“足够大”的样本才能让 CLT 发挥其魔力:这是一个很难抽象回答的问题,因为它完全取决于总体的非正态程度。 如果总体中存在轻微偏离正态性,或者偏离但仍然具有良好的对称性,则 CLT 会相当快地将抽样分布拉向正态性。 这样做的结果是,您根据正常假设生成的 p 值相对接近您无法知道的真实 p 值。 我们关心这一点是因为 a) 我们不希望误报超过我们规定的时间 alpha 比例,b) 我们不希望我们的力量低于我们的假设。 在某些情况下,总体的形状使得我们的测试变得超级保守(获得的 p 值 > 真实 p 值),或者相反(获得的 p 值 < 真实 p 值)。 无论如何,我们不希望这样。 那么什么是足够大的样本呢? 我可以告诉你,这不是 35——这个数字没有什么神奇之处,它只是一个方便放入大学教科书的分界线。 如果您的总体严重峰态(重尾)或属于 CLT 不起作用的一类形式(柯西分布,你这个混蛋),那么您将需要非常非常大的样本(n> 1000)才能获得p 值与真实 p 值之间的距离是可接受的。
- 假设检验是否有证据表明人口是非正常的:我认为这些测试存在一个根本问题(不是它们不准确,而是它们的功率分布与我们需要的相反)。 A是你的A尺寸增大,正常A人口数量 m A少说话A更少为了你的推论(“m A从某种意义上说,“少说话” A你的I型A nd II 类错误 r A特斯A少一点A受民众影响A化分布 l A收到你的A较大的大小是因为您获得的 p 值更接近真实的未知 p 值)。 C考虑事实th A t 检验为了非规范的A律(柯尔莫哥洛夫-斯米尔诺夫,Sh A皮罗-威尔克等) A关于A还有假设检验... A并拒绝空值为了一个是 t A恩特A安装到检测A部门A脱离规范的规则A民众中的光明A 。 这些测试的力量A ves 在 s A我w A y A s A所有假设检验... l A格尔斯A mples,更高的功率......我A纳秒A与A非常我A rges A mple(dep的那种A人口常态的影响A利蒂c A使用更少的问题) A KS 或 SW 测试将 h A具有非常高的能力来检测甚至微小的深度A脱离常态A民众中的光明A 。 所以……事实上A荒谬,与A非常我A rges A简单,我们c A n 检测最小的 dep A脱离规范的规则A利蒂,一分之一A t 不会 c A使用A即使有问题A SM A lls A简单, A证书A inly 不是 c A使用我们A纽约问题与 th A特尔A的范围A简单。
- 报告精确的 p 值:《美国统计学家》的文章提出了很好的观点,报告精确的 p 值有很大的优点,但我相信这也会让我们陷入一种错误的安全感,认为它们确实是他们所说的那样。 我并不是指对 p 值的误解(p 值有很多),而是因为它们是一个“精确”的数字,所以它们是已知的,没有错误,但事实并非如此。 它们是我们无法确定的统计数据的抽样分布中样本位置的样本估计。 报告小数点后 5 位的数字会让人相信其精度,我认为这是不合理的。
那么分析师要做什么呢? 模拟/排列测试之一。 我们不需要相信我们的假设以及由此获得的 p 值。 模拟和排列测试,我们从数据中重新采样并生成经验采样分布,使我们能够放宽某些假设,例如正态分布采样分布的假设。 它们并不能解决所有问题(我们仍然需要遵守可交换性/独立性/等方差等假设),但这可能是向前迈出的一步。
我希望其中一些对您有所帮助! 另外,很抱歉我没有早点听到你的问题,我一直很喜欢有机会谈论中心极限定理,它真的很神奇。
@朱利安
回复:中心极限定理 - 一个幼稚的问题JMP 讨论区中的一些戏剧对我的工作日来说是一个很好的补充,哈哈
回复:中心极限定理 - 一个幼稚的问题虽然我喜欢一点机智,但我认为它至少可以通过某种程度的认真思考来调和。 重要性阈值问题是一个严重的问题,我相信 JMP/SAS 的主角会提供一点指导。 我建议阅读《美国统计学家》第 73 卷;S1 (2019) 中的社论。
那篇文章的实质建议是:
- 不至于仅根据关联或效应是否具有“统计显着性”(即 p 值超过某个任意阈值,例如 p < 0.05)来得出结论。
- 不至于相信某种关联或效应的存在只是因为它具有“统计显着性”。
- 不至于相信某种关联或效应不存在只是因为它不具有“统计显着性”。
- 不至于相信您的 p 值给出了仅凭机会产生观察到的关联或效应的概率,或者您的检验假设为真的概率。
- 不要根据统计显着性(或缺乏统计显着性)得出任何有关科学或实际重要性的结论。
该杂志进一步证实了这一说法“发送给自然科学、行为科学和社会科学各期刊的主编,然后转发给各自的编辑委员会和稿件审稿人。”
我并不反对这些建议,但正如我所指出的,这比最终推论统计测试中对显着性水平的解释更进一步,以决定使用哪些方法来得出答案。
回复:中心极限定理 - 一个幼稚的问题补充一点我以前的同事的话@杰夫_Perkinson 的回复,您可能想对可怕的疾病“单一数字病”添加一些评论。 当数据分析师专注于单一统计数据(p 值是一个典型的例子)来做出决策或指导行动时,他们就会屈服于痛苦。回复:中心极限定理 - 一个幼稚的问题好吧,谢谢,我会将其纳入我关于该主题的演示中 - 一定会引起笑声!回复:中心极限定理 - 一个幼稚的问题它可能不适用,但请确保您没有遭受尖峰虹吸症:对非正常现象的非理性恐惧。
回复:中心极限定理 - 一个幼稚的问题只是为了澄清一下,我知道可以根据方差、功效等进行样本量分析以避免第一类错误,但是是否存在默认情况下避免非参数测试的样本量?