不是 JMP 问题,但希望有人能提供帮助 - Estimating StdDev from Min, Max, Avg首先,这不是一个 JMP 问题,而是一个一般统计问题,所以如果在这里发布它不合适,我深表歉意。但我希望 JMP 社区中的某个人可以提供帮助。
我有一系列数据样本,其中每个样本都记录了 Min、Avg(平均值)和 Max。数据是抽样每一秒,但只有记录的每 15 分钟一次。因此,我的每个 15 分钟数据点都有 1 秒样本的最小值、1 秒样本的最大值以及 15 分钟间隔内 1 秒样本的平均值。
我有许多 15 分钟的数据点,比如 24 小时(96 个数据点)。我想尝试估计 24 小时内值的 StdDev,就好像我实际上拥有 24 小时内的所有 1 秒样本一样。我想如果我的每个 15 分钟数据点也有 1 秒样本的 StdDev,这会更直接,但我没有;仅 MIn、Max 和 Avg。
任何指导将不胜感激。
回复:不是 JMP 问题,但希望有人能提供帮助 - 从 Min、Max、Avg 估算 StdDev你好@wsande ,
我同意@gzmorgan0和@P_Bartell的建议,但让我解决您的一些具体问题:
“15mAvg 值的 StdDev 是 0.00513……这意味着总体 StdDev 是 0.1538 (= 0.00513 * 30)。然而,我在 80 多个小时内的数据总范围仅为 0.05 Max(15mMax) - Min(15mMin)。我原以为范围是几个 SD,而不是一个 SD 的一小部分。”
我知道这看起来很奇怪,但你所拥有的是大小为 900 的样本的平均值,不是原始数据的范围。如果您查看我之前的示例,我的大小 900 均值的范围约为 20。 原始数据的范围超过 1000。 通过将观察结果收集在一起并计算平均值,得出的数字(每个都是 900 个观察结果的平均值)往往彼此接近,而不是原始数据点彼此接近(这就是为什么我们可以说标准偏差样本均值将比原始数据的标准差小 sqroot(n) 倍)。 所以,回到你的情况,你的范围方法是 0.05,这给定了 900 个样本,我们知道它大大小于原始数据的范围。 因此,我们为原始生成数据估计的标准偏差更大也就不足为奇了。
“我想知道我是否遇到了‘量化问题’。我的样本分辨率是 0.01,是我测量样本平均值的 SD 的 2 倍”
鉴于我们从这里的样本中了解到的意思,我们应该期望原始 1 秒样本中的数据范围更大,所以希望您不会遇到测量设备无法准确测量现象的情况出于兴趣。不过,我真的不能这么说。
“我不知道这是否以某种方式扭曲了结果。我实际上有超过 200 个这样的数据集,用于不同的“通道”,通常范围是样本均值标准差的 3 到 5 倍。”
我同意我们应该期望的范围样本均值大于标准差样本手段。但是,在您显示的第一个图中,Range = 0.05 和 StDev = 0.0051 也是如此。 然而,对于 900 这样大的样本,我们不应该期望样本均值大于从中抽取样本的原始变量的标准偏差。
“有一件事我想知道......如果基础总体是 10 秒样本而不是 1 秒样本,那么每 15 分钟间隔只有 90 个样本,总体 SD 的计算将改变 3 倍。 ( SQRT(90)而不是 SQRT(900) )。然而,潜在的连续过程不会改变。我很难理解这个……”
好问题! 乍一看似乎令人费解,但希望让我以另一种方式解释这一点。 如果在原始数据中您每 10 秒而不是每 1 秒收集一次数据,则最终表中的样本均值将由大小为 90 而不是 900 的样本构建。 原始数据的标准差不会改变,但是你的标准偏差样本均值会改变。 让我们使用一些实数来澄清这一点:
以我原来的例子为例,一个标准差为 120 的总体。 当我们有 900 个样本时,我们发现这些样本均值分布的标准差为 4。 我们凭经验这样做,但也可以只应用公式 sigma / root(n),120/30 = 4。如果我们只有 900 个样本的均值,并找到这些均值的标准差,我们可以有向后计算,sigma*root(n),4*30 = 120。
如果每 10 秒收集一次数据然后取平均值呢? 好吧,正如您所说,每个均值有 90 个观测值。 这意味着 90 个观测样本的标准差为 120 / sqroot(90) = 12.65。 请注意,此标准偏差大于我们使用 900 样本的均值时的标准偏差。 每个均值的观测值越少,均值的标准差就越大——它们在样本之间的差异更大,因为平衡事物的观测值更少(大数定律在起作用,也就是估计量的一致性,它变得更好有更多数据)。 所以,让我们换一种方式。 如果那是您可以访问的数据类型,即每 10 秒进行一次观察的样本大小为 90 的平均值,则您必须使用的标准差将为 12.65,并且您需要 12.65*sqroot(90) = 120. 所以,关于人口的一切都没有改变……改变的是你测量自然的过程,以及这个过程对你所获得的观察结果的可变性的影响。
总而言之,这都是假设独立且同分布的观察结果。 如果存在系统效应/自相关/等@gzmorgan0提到过,这些简单的公式不再充分描述当我们采用这些方法时会发生什么。
我希望这能澄清一些事情!
@朱利安
回复:不是 JMP 问题,但希望有人能提供帮助 - 从 Min、Max、Avg 估算 StdDev@wsande ,
一些建议/意见:
- 根据我在半导体方面的经验,不同的渠道可能有不同的分布,所以在对多个人群进行概括时要小心。
- 这个建议符合@P_Bartell的口语考试。 我建议您查看每个通道的 15 分钟范围(最大 15 分钟 - 最小 15 分钟)的分布和趋势图。给出数据的分辨率,我担心你可能有很多零。 不管怎样,很久以前,当计算能力和数据存储很昂贵时,聚合数据是司空见惯的。 一个简单的方法是假设 95% 的样本范围代表 4 个标准差,即 max = +2 std dev 和 min = -2 std dev,因此 range/4 被用作标准差。这可能会提供对您的数据的一些洞察。
- 如果 #2 的分析有许多零范围,这可能是原因,未报告原始数据,并且范围 > 0 的 15 分钟间隔表明值发生变化/变化。 如果是这种情况,那么对于通道的稳定性(或转换之间的时间),每个时间段的转换/转换次数可能是比 std dev 更好的指标。
我不确定您的目标,但请遵循彼得的口试建议并按顺序绘制均值和范围并查看分布。通常,时间序列数据的汇总统计并不能充分描述被监控单元的行为。
JMP 只需点击几下即可轻松完成此操作。
回复:不是 JMP 问题,但希望有人能提供帮助 - 从 Min、Max、Avg 估算 StdDev非常感谢您的详细解释。但是,我的数据发生了一些变化,导致我得到的结果不太合理。
我有一个超过 80 小时的数据集,而不仅仅是 24 小时。因此,> 300 个样本。15mAvg 值的 StdDev 为 0.00513。每 15 分钟有 900 个 1 秒数据点,这意味着总体 StdDev 为 0.1538 (= 0.00513 * 30)。然而,我在 80 多个小时内的数据总范围仅为 0.05 Max(15mMax) - Min(15mMin)。我原以为范围是几个 SD,而不是 SD 的一小部分。

我想知道我是否遇到了“量化问题”。我的样本分辨率为 0.01,是我在样本平均值上测量的 SD 的 2 倍。

我不知道这是否会以某种方式扭曲结果。
我实际上有超过 200 个这些数据集,用于不同的“通道”,通常范围是样本均值的 StdDev 的 3 到 5 倍。

我想知道的一件事...如果基础总体是 10 秒样本而不是 1 秒样本,那么每 15 分钟间隔只有 90 个样本,总体 SD 的计算将改变 3 倍。 ( SQRT(90)而不是 SQRT(900) )。然而,潜在的连续过程不会改变。我很难解决这个问题......
回复:不是 JMP 问题,但希望有人能提供帮助 - 从 Min、Max、Avg 估算 StdDev为两者添加一些观点@朱利安和@gzmorgan0的回答,当我在罗切斯特理工学院与系主任 John Hromi 博士和 Mason Wescott 教授一起参加我的应用数学和统计学硕士课程的最终口试时,我首先被问到这个问题:
“你的老板交给你一堆随着时间的推移收集的数据,并希望你对其进行分析。 你接下来要做什么?” 我想我的回答是这样的,“我会创建数据的直方图,然后,因为数据本质上是时间序列,如果我可以从数据中创建合理的子组,则可以是运行图或控制图。 然后我会在直方图上寻找中间点、散布、任何不寻常或可疑的东西,最后在运行图或控制图上寻找均值和散布的稳定性。”
当然,我很紧张地参加了考试。 两位 A 级工业统计学家,他们对统计学的遗忘比我所知道的还要多。
Hromi 博士微笑着说了类似“很好的答案……让我们继续吧”之类的话。
回复:不是 JMP 问题,但希望有人能提供帮助 - 从 Min、Max、Avg 估算 StdDev我忽略了这么重要的一点, @gzmorgan0 ! 我假设观察是独立且同分布的,但事实可能并非如此。回复:不是 JMP 问题,但希望有人能提供帮助 - 从 Min、Max、Avg 估算 StdDev@wsande ,
@朱利安的回应是一个完美的答案如果基础数据是随机的,没有很强的系统效应. 下面的反例是极端的,但展示了系统效应如何导致非常稳定的均值,因此,均值的标准偏差低估了标准误差。
使用 Julian 的表,使用以下公式创建一个名为 Systematic 的列:
If(
Row() == 1, Random Integer( 850, 1150 ),
Modulo( Row(), 100 ) == 1, Random Integer( 850, 1150 ),
Modulo( Row(), 100 ) == 51, Lag( :Systematic, 1 ) * -1,
Lag( :Systematic, 1 )
)
以下是所选 15 分钟区块的单个一秒数据的屏幕截图

您可以看到原始数据存在差异。 但是总结出来的15-Min Block数据,所有的means都是0,因为这个例子是特意设置成极端情况的。 即使系统效应没有这么极端,强大的系统模式也可以人为地使均值稳定。
这个反例无意破坏@朱利安的解决方案,但要小心。 如果可能的话,您应该尝试找到一种方法来获得原始数据的几个随机间隔,以排除强烈的系统性循环事件。
回复:不是 JMP 问题,但希望有人能提供帮助 - 从 Min、Max、Avg 估算 StdDev你好@wsande ,
我觉得你很幸运。 使用您拥有的数据,您可以毫无问题地估计原始 1 秒采样时变量的标准偏差。 您所需要的只是均值本身的标准差(或方差)(不需要最小值和最大值)。
方差在对它们进行操作时以可预测的方式表现。 在这种情况下,原始数据和您拥有的汇总数据之间的操作除以一个常数(观察数,900,15 分钟内的秒数)。 标准误差公式的基础实际上是我们将在此处应用的。 回想一下,均值抽样分布的标准差是 Sigma / SqRoot(n),其中 sigma 是总体标准差,n 是样本量。 就方差而言,这只是方差/n——就公式而言非常简单!
那么这有什么帮助呢? 我们知道您有 900 个观察值进入数据表中的每个平均值(60 个样本/分钟 * 每个记录 15 分钟)。 在您拥有的表格中,您有 96 个观察值(表示每 15 分钟,每小时 4 个 x 24 小时 = 96)。 现在为了说明,假设我们知道意味着你有是 4。 如果我们应用公式 sigma / sqroot(n),原始 1 秒分辨率的标准差是多少? 让我们翻转一下。
均值的标准差 = sigma/sqroot(n)
4 = 西格玛/平方根 (900)
4*sqroot(900) = 西格玛
西格玛 = 120。
中提琴!
人口的分布形状无关紧要。 无论基础形式如何,方差都以这种方式工作。 我们也不必相信数学。 让我们在 JMP 中执行此操作,看看会发生什么。 这是一个包含 86,400 个观察值的表,您的 1 秒分辨率表:
这是原始变量的分布,由 Random Normal() 函数生成:平均值为 1000,标准差为 120(好吧,这是一个随机函数,所以它很接近)。 
让我们使用 Tables > Summary 按 15 分钟的块进行总结:
这给出了下面的汇总表,以及每个块的平均值。
让我们看一下均值的分布(这基本上就是您的最终表):
我们开始了,均值抽样分布的标准差(这是我们建立的)是 4 -- sigma / sqroot(n) 正如理论告诉我们的那样。
一个警告......这个经验抽样分布只是理论上无限抽样分布的 96 个观察值,所以每次你重复这个实验你都会得到一个稍微不同的估计。 如果我们要构建具有数百万个 15 分钟块的原始表,然后对这些 15 分钟块的成千上万个均值进行采样,我们就完全没问题了。 我们可以凭经验证明这一点,但我们从理论上知道这一点。 而且,关键在于,当我们有标准误差(均值的标准差)时,我们对总体 sigma 的最佳、无偏估计是采用该标准误差并将其乘以 sqroot(n)。
所以,TLDR:取均值的标准差,乘以 sqroot (900)。
我希望这有帮助!
@朱利安