当我学习线性模型的第一门课程时，实验设计，我的教授告诉全班同学，他在进行统计咨询时遇到的最常见问题是：“ [为了使我的结果在统计学上有意义”，我需要多少个样本？”这个问题源于渴望从研究中获得有用的结果而又不浪费时间或资源的愿望。
尽管以上问题很简单，但答案并非如此。那是因为答案取决于顾问尚不知道的几个数量的值。更糟糕的是，客户通常也不知道这些值。
这些有问题的数量是多少？
最简单和最不重要的数量是客户计划使用的假设检验的显着性水平。从历史上看，0.05是标准显着性水平。我可以想象一个博客文章仅涉及这一选择，但让我们继续。
信号是最重要的数量。那是最小的效果，足够大以至于在实践中很重要。您希望以高概率检测到这种影响，而该概率就是力量测试。以我的经验，要让科学家或工程师对最小的实际重要影响做出承诺是非常困难的。
噪声是另一个必需的信息。在这种情况下，噪声是实验误差的标准偏差。工程团队可能会合理地询问他们在进行实验进行估算之前应该如何知道该值。
统计功效的计算取决于上述三个数量以及有关响应分布的假设。标准假设是，响应根据正态分布独立分布，并且对于所有可能的因子组合，方差都是恒定的。
给定显着性水平，信号和噪声以及上述假设，统计学家（或统计软件）可以告诉您实验计划的力量。
研究人员可以做些什么来增加实验的力量？
您可以采取以下措施来增强实验的力量：
1）增加信号大小
2）降低噪音
3）多跑步
4）使用较大的显着性水平-例如，用0.1代替0.05
您如何增加信号的大小？
显然，一个因素的影响取决于自然。但是，您可以决定增大最小的实际重要影响。这听起来像是在作弊，但是经过反思，您可以确定自己实际上可以感到满意，只要您可以检测到比最初指定的效果大两倍或三倍的效果。
您如何减少噪音？
实验误差是实验条件在每次运行之间随机变化的结果。减少这种变化的最好方法是确定随机变化的来源，并在实验中将其作为阻止因素。例如，如果存在日常变化，并且实验需要运行五天，则可以通过将Day设为阻止因素来从误差变化中删除此变化。
更多的实验运行很昂贵。几次跑步会有什么不同？
在筛选实验中，通常存在与实验运行几乎一样多的因素。在饱和设计的极端情况下，未知数与运行次数一样多。在这种情况下，您无法估计整个模型的误差方差，因此甚至无法执行显着性检验。
饱和设计的一个示例是在八次运行中针对主要效果模型进行的七因素实验。您有八次运行，并且正在估计总体均值（或截距项）和七因子效应，因此没有剩余信息可用来估计误差方差。
如果我们增加一次运行并对主要影响之一进行t检验，则信号必须大于噪声的12倍才能拒绝原假设。下表显示了t检验中的信噪比必须达到多大才能拒绝零假设。显然，你不能探测除非您拒绝没有效果的假设，否则该效果将无效。因此，多运行一次，检测的障碍就很大。一个好的经验法则是，与未知参数相比，要多进行四到五次实验。
t检验所需的信噪比如何随着额外运行次数的增加而下降。
将显着性水平从0.05提高到0.1的成本是多少？
当您的显着性水平为0.05时，您将平均平均每20个测试中检测到一次虚假的效果。将水平提高到0.1可以将杂散检测提高到十分之一的测试。
下一步是什么？
在我的下一篇文章中，我将展示用于功率计算的新界面JMP 10。因此，这篇帖子基本上是下周的动机。
最后，我想提醒您，直到您运行实验后，您才知道错误标准差。因此，功率计算基于对该数字将是多少的猜测。尽管统计软件将幂的位数保留到小数点后三位，但是您应该将这些数字与大粒盐结合起来。
布拉德利·琼斯写道：
尽管编写脚本来模拟逻辑回归分析的功能并非易事，但JMP绝对可以做到。实际上，我经常将分析结果与此类模拟的输出进行比较。
安德鲁·埃克斯特伦写道：
我一直在努力解决这个问题。对于响应率可能高达5％且可能接近0.10％的系统，我需要在不同功效下为多元logistic回归确定'n'。我询问了周围，并被告知我需要运行模拟。JMP是否有能力进行这些类型的仿真？
谢谢。
杰伊·李写道：
除了改变显着性水平之外，一项研究还可以检验特定的（方向性）假设，从而使alpha不是两尾检验。
定制设计中的功耗分析，用于JMP 10中的设计实验写道：
在我的上一篇文章中，我谈到了影响设计实验[...]能力的基本数量
布拉德利·琼斯写道：
查看现有数据或在没有数据的情况下进行小型试点研究肯定具有一定的价值。但是，您已经拥有的数据可能具有可变性，可以通过阻止或更仔细地控制实验条件来避免在实验中出现。因此，使用当前数据获得的误差标准偏差可能会不必要地变大，并导致您认为您的实验将没有足够的功效。反过来，这可能会使您执行的运行次数超出必要，从而增加了成本。
史蒂夫·菲加德写道：
感谢您对这个重要主题进行了非常清晰明了的讨论！我期待进一步的分期付款。
迈克尔·安德森写道：
最后，我想提醒您，直到您运行实验后，您才知道错误标准差。因此，功率计算基于对该数字将是多少的猜测。
除非您正在研究今天早上才发现（或制造）的某种现象，否则肯定会有一些描述性统计数据潜伏在某个地方。所以挖出来。如果真的没有，您需要在实验性大事件之前将试点研究压缩到您的计划中，以便您可以得出有关那个令人讨厌的标准偏差的估计值（带有置信区间）。
如果每位基础统计学老师都将“先试后试”的思想带入他们的学生中，我们将从不明确，能力不足的实验和调查中拯救出无数的研究生。我只花了10年的教学就弄清楚了...
