分类数据分析：大样本量调整的卡方检验尊敬的 JMP 社区成员：
我们使用 JMP Pro 16.2.0。我们正在通过互联网运行一个包含分类自变量和分类因变量的实验。关键在于，如果参与者数量众多，且这些参与者能够确定频数，那么卡方检验总是会达到显著性。您可以在我提供的 jmp 文件中的虚构数据以及包含的日志中的分析中看到这一点。我将低频乘以 100，您会发现马赛克图看起来完全一样，但在低频条件下它不显著，而在高频条件下它非常显著。这就是卡方检验的“问题”，它在样本量较大的情况下很容易达到显著性（F= 检验的灵敏度较低）。
这个问题有解决方案，有时你可以将计数转换为比例并进行 F 检验，但在我们的例子中这是不可能的。另一个解决方案在这篇论文中：
http://expsylab.psych.uoa.gr/fileadmin/expsylab.psych.uoa.gr/uploads/papers/Bergh_2015.pdf
我的问题是：JMP Pro 有没有针对这个问题的实现，或者您知道有什么插件吗？我认为随着互联网上数据收集程序（例如 Amazon Turk、Qualtrics）的普及，处理这些大样本量变得越来越重要。尤其是在分类数据分析中。也许消费者研究下有一个选项，但我还没有找到。
希望问题清楚，
感谢您的见解，
亲切的问候，
雷内
数据探索与可视化大规模定制回复：分类数据分析：用于大样本量调整的卡方你好@RvEDelft ,
欢迎来到社区！
只是简单地看一下您的问题，您是否尝试检查“关联测量报告”（单击红色三角形时可访问）下可用的其他分析？ 这取决于您的问题是什么，但还有许多其他选项，有些选项已经考虑到数据集大小：协会措施报告 (jmp.com)
一个例子提供了像你这样的名义变量：关联期权度量示例 (jmp.com)在哪里Lambda 和不确定性度量用于帮助做出决策（一般来说，要知道有多少 Y 的变化可以用 X 的变化来解释）。
在低级别和高级别使用数据集和频率列时，您可以看到 Lambda 和不确定性度量不会根据数据集大小/值的频率而改变。
FREQLOW 与 FREQHIGH：
我不知道你的主题和目标，我也不是这些统计测试方面的专家，但可以在互联网上找到关于这个主题的文献。
第一个回答希望对你有帮助
回复：分类数据分析：用于大样本量调整的卡方我不会直接回答你的问题，因为还有其他人可以更好地回答。但是，总的来说，我认为几乎所有大型数据集最终都会对您所做的几乎所有分析显示出统计显着性——被测试的 null 没有关联，而实际上，事物几乎总是关联的。因此，卡方检验在大型数据集中始终显示显着性这一事实不会让我感到困扰。就您的问题集中在从 Amazon Turk 等生成大型数据集而言， 我认为一个更大的问题是，这些大样本量通常不能被视为您希望研究的人群的随机样本。也就是说，统计显着性依赖于随机抽样，而您获得的样本虽然很大，但不太可能是随机的。这比一切最终都显示出统计显着性更让我担心。
回复：分类数据分析：用于大样本量调整的卡方好的，
我的问题只是关于卡方。 我认为您的评论更多地与测试的有效性相关，而不是与可靠性相关。 第一个是，我认为非常重要。 但大多数情况下，重要性适应会获胜。 您将永远找不到结果为空的论文。 真遗憾。 我曾经有一个博士同事，他有一个完美的实验设计，但从未发现显着的效果。
进一步详细说明这一点。 我的学生必须用小样本进行用户研究，这有问题。 您可以问自己一个简单的问题；一个人在特定上下文中与产品交互会遇到问题。 这会是世界上唯一有这个问题的人吗？ 可能不会，我认为没有人会反驳，没有这方面的统计数据......
请留下我最初的问题...
我觉得可以在有效性方面建立另一个链接。
雷内
回复：分类数据分析：用于大样本量调整的卡方好吧，我说过我不会直接回答你的问题。无论如何，我又看了一遍，这不是我的专业领域，但我确实有一个问题，我很乐意得到通知。您将此称为卡方检验的“问题”。我不明白为什么它被称为问题。在我看来，测试正在做它应该做的事情——当样本大小是 240 而不是 24000。我不明白这是一个“问题”的背景。而且，当你进一步解释你的学生经常有小样本时，我不认为这是一个可以通过统计操作来解决的问题。小样本变化很大，因此发现统计显着性应该更加困难，不是吗？
由于这不是我的专业领域，我真的很想更好地了解上下文，了解为什么这被认为是一个问题以及正在寻求什么样的“解决方案”。根据我非常有限的理解，我会高度怀疑任何使小样本案例更明确的解决方案，以及对任何需要更高标准的更大样本量的统计显着性的解决方案更加怀疑。关于最后一点，我对 NHST 的主要批评之一是，被检验的零假设实际上永远不会为真，因此通常应该拒绝它。感兴趣的是差异的大小或关系的强度，而不是您是否可以拒绝 null。无法拒绝 null 只是告诉我，相对于您的样本量，存在太多的可变性，无法说明任何事情（根据我的经验，对于大多数使用原始数据的学生调查类型研究来说，情况确实如此）。
