不是 JMP 問題,但希望有人能提供幫助 - Estimating StdDev from Min, Max, Avg首先,這不是一個 JMP 問題,而是一個一般統計問題,所以如果在這裡發布它不合適,我深表歉意。但我希望 JMP 社區中的某個人可以提供幫助。
我有一系列數據樣本,其中每個樣本都記錄了 Min、Avg(平均值)和 Max。數據是抽樣每一秒,但只有記錄的每 15 分鐘一次。因此,我的每個 15 分鐘數據點都有 1 秒樣本的最小值、1 秒樣本的最大值以及 15 分鐘間隔內 1 秒樣本的平均值。
我有許多 15 分鐘的數據點,比如 24 小時(96 個數據點)。我想嘗試估計 24 小時內值的 StdDev,就好像我實際上擁有 24 小時內的所有 1 秒樣本一樣。我想如果我的每個 15 分鐘數據點也有 1 秒樣本的 StdDev,這會更直接,但我沒有;僅 MIn、Max 和 Avg。
任何指導將不勝感激。
回复:不是 JMP 問題,但希望有人能提供幫助 - 從 Min、Max、Avg 估算 StdDev你好@wsande ,
我同意@gzmorgan0和@P_Bartell的建議,但讓我解決您的一些具體問題:
“15mAvg 值的 StdDev 是 0.00513……這意味著總體 StdDev 是 0.1538 (= 0.00513 * 30)。然而,我在 80 多個小時內的數據總範圍僅為 0.05 Max(15mMax) - Min(15mMin)。我原以為範圍是幾個 SD,而不是一個 SD 的一小部分。”
我知道這看起來很奇怪,但你所擁有的是大小為 900 的樣本的平均值,不是原始數據的範圍。如果您查看我之前的示例,我的大小 900 均值的範圍約為 20。 原始數據的範圍超過 1000。 通過將觀察結果收集在一起併計算平均值,得出的數字(每個都是 900 個觀察結果的平均值)往往彼此接近,而不是原始數據點彼此接近(這就是為什麼我們可以說標準偏差樣本均值將比原始數據的標準差小 sqroot(n) 倍)。 所以,回到你的情況,你的範圍方法是 0.05,這給定了 900 個樣本,我們知道它大大小於原始數據的範圍。 因此,我們為原始生成數據估計的標準偏差更大也就不足為奇了。
“我想知道我是否遇到了‘量化問題’。我的樣本分辨率是 0.01,是我測量樣本平均值的 SD 的 2 倍”
鑑於我們從這裡的樣本中了解到的意思,我們應該期望原始 1 秒樣本中的數據范圍更大,所以希望您不會遇到測量設備無法準確測量現象的情況出於興趣。不過,我真的不能這麼說。
“我不知道這是否以某種方式扭曲了結果。我實際上有超過 200 個這樣的數據集,用於不同的“通道”,通常範圍是樣本均值標準差的 3 到 5 倍。”
我同意我們應該期望的範圍樣本均值大於標準差樣本手段。但是,在您顯示的第一個圖中,Range = 0.05 和 StDev = 0.0051 也是如此。 然而,對於 900 這樣大的樣本,我們不應該期望樣本均值大於從中抽取樣本的原始變量的標準偏差。
“有一件事我想知道......如果基礎總體是 10 秒樣本而不是 1 秒樣本,那麼每 15 分鐘間隔只有 90 個樣本,總體 SD 的計算將改變 3 倍。 ( SQRT(90)而不是 SQRT(900) )。然而,潛在的連續過程不會改變。我很難理解這個……”
好問題! 乍一看似乎令人費解,但希望讓我以另一種方式解釋這一點。 如果在原始數據中您每 10 秒而不是每 1 秒收集一次數據,則最終表中的樣本均值將由大小為 90 而不是 900 的樣本構建。 原始數據的標準差不會改變,但是你的標準偏差樣本均值會改變。 讓我們使用一些實數來澄清這一點:
以我原來的例子為例,一個標準差為 120 的總體。 當我們有 900 個樣本時,我們發現這些樣本均值分佈的標準差為 4。 我們憑經驗這樣做,但也可以只應用公式 sigma / root(n),120/30 = 4。如果我們只有 900 個樣本的均值,並找到這些均值的標準差,我們可以有向後計算,sigma*root(n),4*30 = 120。
如果每 10 秒收集一次數據然後取平均值呢? 好吧,正如您所說,每個均值有 90 個觀測值。 這意味著 90 個觀測樣本的標準差為 120 / sqroot(90) = 12.65。 請注意,此標準偏差大於我們使用 900 樣本的均值時的標準偏差。 每個均值的觀測值越少,均值的標準差就越大——它們在樣本之間的差異更大,因為平衡事物的觀測值更少(大數定律在起作用,也就是估計量的一致性,它變得更好有更多數據)。 所以,讓我們換一種方式。 如果那是您可以訪問的數據類型,即每 10 秒進行一次觀察的樣本大小為 90 的平均值,則您必須使用的標準差將為 12.65,並且您需要 12.65*sqroot(90) = 120. 所以,關於人口的一切都沒有改變……改變的是你測量自然的過程,以及這個過程對你所獲得的觀察結果的可變性的影響。
總而言之,這都是假設獨立且同分佈的觀察結果。 如果存在系統效應/自相關/等@gzmorgan0提到過,這些簡單的公式不再充分描述當我們採用這些方法時會發生什麼。
我希望這能澄清一些事情!
@朱利安
回复:不是 JMP 問題,但希望有人能提供幫助 - 從 Min、Max、Avg 估算 StdDev@wsande ,
一些建議/意見:
- 根據我在半導體方面的經驗,不同的渠道可能有不同的分佈,所以在對多個人群進行概括時要小心。
- 這個建議符合@P_Bartell的口語考試。 我建議您查看每個通道的 15 分鐘範圍(最大 15 分鐘 - 最小 15 分鐘)的分佈和趨勢圖。給出數據的分辨率,我擔心你可能有很多零。 不管怎樣,很久以前,當計算能力和數據存儲很昂貴時,聚合數據是司空見慣的。 一個簡單的方法是假設 95% 的樣本範圍代表 4 個標準差,即 max = +2 std dev 和 min = -2 std dev,因此 range/4 被用作標準差。這可能會提供對您的數據的一些洞察。
- 如果 #2 的分析有許多零範圍,這可能是原因,未報告原始數據,並且範圍 > 0 的 15 分鐘間隔表明值發生變化/變化。 如果是這種情況,那麼對於通道的穩定性(或轉換之間的時間),每個時間段的轉換/轉換次數可能是比 std dev 更好的指標。
我不確定您的目標,但請遵循彼得的口試建議並按順序繪製均值和範圍並查看分佈。通常,時間序列數據的匯總統計並不能充分描述被監控單元的行為。
JMP 只需點擊幾下即可輕鬆完成此操作。
回复:不是 JMP 問題,但希望有人能提供幫助 - 從 Min、Max、Avg 估算 StdDev非常感謝您的詳細解釋。但是,我的數據發生了一些變化,導致我得到的結果不太合理。
我有一個超過 80 小時的數據集,而不僅僅是 24 小時。因此,> 300 個樣本。15mAvg 值的 StdDev 為 0.00513。每 15 分鐘有 900 個 1 秒數據點,這意味著總體 StdDev 為 0.1538 (= 0.00513 * 30)。然而,我在 80 多個小時內的數據總範圍僅為 0.05 Max(15mMax) - Min(15mMin)。我原以為範圍是幾個 SD,而不是 SD 的一小部分。

我想知道我是否遇到了“量化問題”。我的樣本分辨率為 0.01,是我在樣本平均值上測量的 SD 的 2 倍。

我不知道這是否會以某種方式扭曲結果。
我實際上有超過 200 個這些數據集,用於不同的“通道”,通常範圍是樣本均值的 StdDev 的 3 到 5 倍。

我想知道的一件事......如果基礎總體是 10 秒樣本而不是 1 秒樣本,那麼每 15 分鐘間隔只有 90 個樣本,總體 SD 的計算將改變 3 倍。 ( SQRT(90)而不是 SQRT(900) )。然而,潛在的連續過程不會改變。我很難解決這個問題......
回复:不是 JMP 問題,但希望有人能提供幫助 - 從 Min、Max、Avg 估算 StdDev為兩者添加一些觀點@朱利安和@gzmorgan0的回答,當我在羅切斯特理工學院與系主任 John Hromi 博士和 Mason Wescott 教授一起參加我的應用數學和統計學碩士課程的最終口試時,我首先被問到這個問題:
“你的老闆交給你一堆隨著時間的推移收集的數據,並希望你對其進行分析。 你接下來要做什麼?” 我想我的回答是這樣的,“我會創建數據的直方圖,然後,因為數據本質上是時間序列,如果我可以從數據中創建合理的子組,則可以是運行圖或控製圖。 然後我會在直方圖上尋找中間點、散佈、任何不尋常或可疑的東西,最後在運行圖或控製圖上尋找均值和散佈的穩定性。”
當然,我很緊張地參加了考試。 兩位 A 級工業統計學家,他們對統計學的遺忘比我所知道的還要多。
Hromi 博士微笑著說了類似“很好的答案……讓我們繼續吧”之類的話。
回复:不是 JMP 問題,但希望有人能提供幫助 - 從 Min、Max、Avg 估算 StdDev我忽略了這麼重要的一點, @gzmorgan0 ! 我假設觀察是獨立且同分佈的,但事實可能並非如此。回复:不是 JMP 問題,但希望有人能提供幫助 - 從 Min、Max、Avg 估算 StdDev@wsande ,
@朱利安的回應是一個完美的答案如果基礎數據是隨機的,沒有很強的系統效應. 下面的反例是極端的,但展示了系統效應如何導致非常穩定的均值,因此,均值的標準偏差低估了標準誤差。
使用 Julian 的表,使用以下公式創建一個名為 Systematic 的列:
If(
Row() == 1, Random Integer( 850, 1150 ),
Modulo( Row(), 100 ) == 1, Random Integer( 850, 1150 ),
Modulo( Row(), 100 ) == 51, Lag( :Systematic, 1 ) * -1,
Lag( :Systematic, 1 )
)
以下是所選 15 分鐘區塊的單個一秒數據的屏幕截圖

您可以看到原始數據存在差異。 但是總結出來的15-Min Block數據,所有的means都是0,因為這個例子是特意設置成極端情況的。 即使系統效應沒有這麼極端,強大的系統模式也可以人為地使均值穩定。
這個反例無意破壞@朱利安的解決方案,但要小心。 如果可能的話,您應該嘗試找到一種方法來獲得原始數據的幾個隨機間隔,以排除強烈的系統性循環事件。
回复:不是 JMP 問題,但希望有人能提供幫助 - 從 Min、Max、Avg 估算 StdDev你好@wsande ,
我覺得你很幸運。 使用您擁有的數據,您可以毫無問題地估計原始 1 秒採樣時變量的標準偏差。 您所需要的只是均值本身的標準差(或方差)(不需要最小值和最大值)。
方差在對它們進行操作時以可預測的方式表現。 在這種情況下,原始數據和您擁有的匯總數據之間的操作除以一個常數(觀察數,900,15 分鐘內的秒數)。 標準誤差公式的基礎實際上是我們將在此處應用的。 回想一下,均值抽樣分佈的標準差是 Sigma / SqRoot(n),其中 sigma 是總體標準差,n 是樣本量。 就方差而言,這只是方差/n——就公式而言非常簡單!
那麼這有什麼幫助呢? 我們知道您有 900 個觀察值進入數據表中的每個平均值(60 個樣本/分鐘 * 每個記錄 15 分鐘)。 在您擁有的表格中,您有 96 個觀察值(表示每 15 分鐘,每小時 4 個 x 24 小時 = 96)。 現在為了說明,假設我們知道意味著你有是 4。 如果我們應用公式 sigma / sqroot(n),原始 1 秒分辨率的標準差是多少? 讓我們翻轉一下。
均值的標準差 = sigma/sqroot(n)
4 = 西格瑪/平方根 (900)
4*sqroot(900) = 西格瑪
西格瑪 = 120。
中提琴!
人口的分佈形狀無關緊要。 無論基礎形式如何,方差都以這種方式工作。 我們也不必相信數學。 讓我們在 JMP 中執行此操作,看看會發生什麼。 這是一個包含 86,400 個觀察值的表,您的 1 秒分辨率表:
這是原始變量的分佈,由 Random Normal() 函數生成:平均值為 1000,標準差為 120(好吧,這是一個隨機函數,所以它很接近)。 
讓我們使用 Tables > Summary 按 15 分鐘的塊進行總結:
這給出了下面的匯總表,以及每個塊的平均值。
讓我們看一下均值的分佈(這基本上就是您的最終表):
我們開始了,均值抽樣分佈的標準差(這是我們建立的)是 4 -- sigma / sqroot(n) 正如理論告訴我們的那樣。
一個警告......這個經驗抽樣分佈只是理論上無限抽樣分佈的 96 個觀察值,所以每次你重複這個實驗你都會得到一個稍微不同的估計。 如果我們要構建具有數百萬個 15 分鐘塊的原始表,然後對這些 15 分鐘塊的成千上萬個均值進行採樣,我們就完全沒問題了。 我們可以憑經驗證明這一點,但我們從理論上知道這一點。 而且,關鍵在於,當我們有標準誤差(均值的標準差)時,我們對總體 sigma 的最佳、無偏估計是採用該標準誤差並將其乘以 sqroot(n)。
所以,TLDR:取均值的標準差,乘以 sqroot (900)。
我希望這有幫助!
@朱利安