JMP の質問ではありませんが、誰かが助けてくれることを願っています - Min、Max、Avg から StdDev を推定するまず、これは JMP の質問ではなく、一般的な統計に関する質問なので、ここに投稿するのが不適切でしたら申し訳ありません。しかし、JMP コミュニティの誰かがそれを手伝ってくれることを願っています。
一連のデータ サンプルがあり、各サンプルには最小値、平均値、最大値が記録されています。データはサンプリングされた毎秒、ただし記録された15分ごと。したがって、15 分間の各データ ポイントには、15 分間の 1 秒サンプルの最小値、1 秒サンプルの最大値、および 1 秒サンプルの平均値が含まれます。
15 分間のデータ ポイントが多数あり、たとえば 24 時間分 (96 データ ポイント) があります。実際に 24 時間の 1 秒サンプルをすべて取得したかのように、24 時間の値の StdDev を推定してみます。15 分間の各データ ポイントに 1 秒サンプルの StdDev があれば、もっと簡単になると思いますが、私はそうではありません。最小値、最大値、平均値だけです。
ご指導いただければ幸いです。
Re: JMP の質問ではありませんが、誰かが助けてくれることを願っています - Min、Max、Avg から StdDev を推定するやあ@wsande 、
同意する@gzmorgan0と@P_Bartelさんの提案ですが、具体的な質問のいくつかに答えさせてください。
「15mAvg 値の StdDev は 0.00513 です...これは、母集団の StdDev が 0.1538 (= 0.00513 * 30) であることを意味します。ただし、80 時間以上にわたるデータの合計範囲は、最大 (15 分最大) - 最小 (15 分) の 0.05 のみです。範囲は SD の一部ではなく、数 SD であると予想していました。」
それが奇妙に思えるかもしれないことはわかりますが、あなたが持っているのは、サイズ900のサンプルの平均、元のデータの範囲ではありません。以前の私の例を見ると、サイズ 900 の平均範囲は約 20 でした。 元のデータの範囲は 1000 を超えていました。 観測値をまとめて収集して平均値を計算すると、結果として得られる数値 (それぞれ 900 個の観測値の平均値) は、元のデータ ポイントが互いに近いよりも互いに近づく傾向があります (これが、標準偏差が次のように言える理由です)サンプル平均の値は、元のデータの標準偏差よりも sqroot(n) 倍小さくなります。 それで、あなたのケースに戻って、あなたの範囲は、意味は 0.05 であり、サンプルが 900 であるとすると、これは元のデータの範囲よりも大幅に小さいことがわかっています。 したがって、元の生成データに対して推定した標準偏差がより大きいことは驚くべきことではありません。
「量子化の問題に遭遇しているのではないかと思います。私のサンプルの分解能は 0.01 で、これはサンプル平均で測定した SD の 2 倍です。」
ここでサンプルからわかっていることを考えると、元の 1 秒サンプルのデータ範囲はさらに広いと予想されるため、測定デバイスが現象を正確に測定できない状況にないことを祈ります。興味を持っている。とはいえ、それについてはあまり話せません。
「それが何らかの形で結果を歪めているのかどうかはわかりません。実際には、さまざまな「チャネル」に対してこれらのデータ セットが 200 を超えており、通常、範囲はサンプル平均の StdDev の 3 倍から 5 倍です。
の範囲が期待されるべきであることに同意します。サンプルの意味の標準偏差より大きいサンプルという意味です。ただし、これは、最初に示したプロット、Range = 0.05、StDev = 0.0051 にも当てはまります。 ただし、サンプルが 900 もある場合、その範囲がサンプルの意味サンプルの抽出元となった元の変数の標準偏差よりも大きくなります。
「一つ気になることがあるんですが…1 秒のサンプルではなく、基礎となる母集団が 10 秒のサンプルである場合、15 分間隔あたりのサンプルは 90 個のみとなり、母集団 SD の計算は 3 倍変化します。( SQRT(90) SQRT(900) の代わりに)。しかし、根底にある継続的なプロセスは変わっていないでしょう。この件については頭が混乱しています...」
素晴らしい質問ですね！ 最初は戸惑うかもしれませんが、別の方法で説明できれば幸いです。 元のデータで 1 秒ごとではなく 10 秒ごとにデータが収集されていた場合、最終的なテーブルのサンプル平均は、サイズ 900 ではなく 90 のサンプルから構築されます。 元のデータの標準偏差変わらないだろう、しかしあなたの標準偏差はサンプルの意味変化するであろう。 これを明確にするためにいくつかの実数を使用してみましょう。
私の元の例として、標準偏差が 120 の母集団を考えてみましょう。 900 個のサンプルがある場合、それらのサンプル平均の分布の標準偏差は 4 であることがわかりました。 これは経験的に行いましたが、式 sigma / root(n), 120/30 = 4 を適用することもできました。サイズ 900 のサンプルの平均しかなく、それらの平均の標準偏差を見つけた場合、次のようになります。逆算すると、sigma*root(n)、4*30 = 120。
データが 10 秒ごとに収集され、平均化された場合はどうなるでしょうか? そうですね、あなたが言ったように、平均ごとに 90 個の観測値があることになります。 これは、90 個の観測値のサンプルの標準偏差が 120 / sqroot(90) = 12.65 になることを意味します。 この標準偏差は、サイズ 900 のサンプルの平均値があった場合よりも大きいことに注目してください。 各平均値の観測値が少ないほど、平均値の標準偏差は大きくなります。バランスを取る観測値が少ないため、平均値の標準偏差はサンプルごとに大きく異なります (大数の法則が作用し、別名推定値の一貫性が向上します)。より多くのデータを使用します)。 それでは、別の方法で作業しましょう。 アクセスできる種類のデータ、つまり 10 秒ごとに取得された観測からのサイズ 90 のサンプルの平均である場合、処理する必要がある標準偏差は 12.65 となり、12.65*sqroot(90) が求められます。 = 120. つまり、母集団については何も変わっていません... 変わったのは、自然を測定するプロセスと、アクセスできる観察の変動に対するそのプロセスの結果です。
ただし、これはすべて独立した同一分布の観測を前提としています。 系統的な効果/自己相関などがある場合@gzmorgan0前述したように、これらの単純な式は、これらの手段を講じたときに何が起こるかを適切に説明できなくなりました。
これでいくつかのことが明確になると思います。
@ジュリアン
Re: JMP の質問ではありませんが、誰かが助けてくれることを願っています - Min、Max、Avg から StdDev を推定する@wsande 、
いくつかの提案/コメント:
- 半導体に関する私の経験から言えば、チャネルが異なれば分布も異なる可能性があるため、複数の母集団にわたって一般化する場合には注意が必要です。
- この提案は次の点と一致します@P_Bartelの口頭試験。 各チャネルについて、15 分範囲 (最大 15 分 - 最小 15 分) の分布と傾向グラフを確認することをお勧めします。データの解像度を教えてください。ゼロがたくさんあるのではないかと思います。 いずれにしても、コンピューティング能力とデータ ストレージが高価だった昔、集約されたデータは一般的でした。 簡単なアプローチは、サンプルの範囲の 95% が 4 std dev、つまり、最大 = +2 std dev、min = -2 std dev を表すと仮定することで、範囲/4 が std dev として使用されました。これにより、データに関する洞察が得られる可能性があります。
- #2 の分析に多くのゼロ範囲がある場合、これが理由である可能性があります。生データはレポートされず、範囲が 0 を超える 15 分間隔は、値のシフト/変化を示唆します。 これがシナリオの場合、チャネル (または遷移間の時間) の安定性については、標準開発よりも期間ごとのシフト/遷移の数の方が優れた指標となる可能性があります。
あなたの目標はわかりませんが、ピーターの口頭試験のアドバイスに従い、平均と範囲を数列ごとにプロットし、分布を見てください。時系列データの概要統計では、監視対象のユニットの動作が適切に説明されないことがよくあります。
JMP を使用すると、数回クリックするだけでこれを簡単に行うことができます。
Re: JMP の質問ではありませんが、誰かが助けてくれることを願っています - Min、Max、Avg から StdDev を推定する詳細な説明をありがとうございました。しかし、私のデータで何かが起こっており、まったく意味のない結果が得られています。
24 時間だけではなく、80 時間以上のデータセットがあります。つまり、サンプル数は 300 を超えます。15mAvg 値の StdDev は 0.00513 です。 15 分間あたり 900 個の 1 秒データ ポントがある場合、母集団 StdDev は 0.1538 (= 0.00513 * 30) となることを意味します。ただし、80 時間以上にわたるデータの合計範囲は、最大 (15 分最大) - 最小 (15 分) の 0.05 のみです。範囲は SD の一部ではなく、数 SD であると予想していました。
「量子化の問題」に遭遇しているのではないかと思います。私のサンプルの分解能は 0.01 で、これはサンプル平均で測定した SD の 2 倍です。
それが何らかの形で結果を歪めているのかどうかはわかりません。
実際には、さまざまな「チャネル」に対してこれらのデータセットが 200 を超えており、通常、範囲はサンプル平均の StdDev の 3 倍から 5 倍です。
一つ気になることが…1 秒のサンプルではなく、基礎となる母集団が 10 秒のサンプルである場合、15 分間隔あたりのサンプルは 90 個のみとなり、母集団 SD の計算は 3 倍変化します。( SQRT(90) SQRT(900) の代わりに)。しかし、根底にある継続的なプロセスは変わっていないでしょう。この件に関して頭を抱えるのは難しいです...
Re: JMP の質問ではありませんが、誰かが助けてくれることを願っています - Min、Max、Avg から StdDev を推定する両方に視点を加えるには@ジュリアンと@gzmorgan0ロチェスター工科大学の応用数学と統計プログラムの修士課程で、学部長のジョン・フロミ博士とメイソン・ウェスコット教授と一緒に最後の口頭試験を受けていたとき、私は最初にこの質問をされました。
「あなたの上司は、時間をかけて収集した大量のデータをあなたに渡し、それを分析してほしいと言いました。 次は何をしますか？」 私の返答は次のようなものだったと思います。「データのヒストグラムを作成し、データは本質的に時系列であるため、データから合理的なサブグループを作成できるのであれば、実行グラフか管理図のいずれかを作成します。 次に、ヒストグラム上で中央値、スプレッド、異常または疑わしいものを探し、最後にラン チャートまたはコントロール チャート、平均値とスプレッドの安定性を調べます。」
もちろん、試験に臨むときは緊張していました。 2 つ目は、私が知り得ないほど統計について忘れている産業統計学者のリストです。
フロミ博士は微笑みながら「いい答えだ…それでは先に進みましょう」みたいなことを言いました。
Re: JMP の質問ではありませんが、誰かが助けてくれることを願っています - Min、Max、Avg から StdDev を推定するとても重要な点なので、言い忘れていましたが、 @gzmorgan0 ！ 私は独立した同一の分布の観測を想定していましたが、確かにそうではないかもしれません。Re: JMP の質問ではありませんが、誰かが助けてくれることを願っています - Min、Max、Avg から StdDev を推定する@wsande 、
@ジュリアンさんの返答は完璧な答えです基礎となるデータがランダムであり、強い系統的効果がない場合。 以下の反例は極端ですが、系統的効果によって非常に安定した平均値が得られること、したがって平均値の標準偏差は標準誤差よりも過小評価されることを示しています。
ジュリアン テーブルを使用して、次の式を使用して Systematic という名前の列を作成します。
If(
Row() == 1, Random Integer( 850, 1150 ),
Modulo( Row(), 100 ) == 1, Random Integer( 850, 1150 ),
Modulo( Row(), 100 ) == 51, Lag( :Systematic, 1 ) * -1,
Lag( :Systematic, 1 )
)
以下は、選択した 15 分ブロックの個々の 1 秒データのスクリーンショットです。
生データにばらつきがあることがわかります。 ただし、この例は極端なケースになるように意図的に設定されているため、要約された 15 分ブロック データはすべての平均値がゼロになります。 系統的効果がここまで極端でなかったとしても、強力な系統的パターンにより平均値を人為的に安定させることができます。
この反例は、価値を損なうことを意図したものではありません@ジュリアンの解決策ですが、注意を意味します。 可能であれば、生データのいくつかのランダムな間隔を取得して、強い系統的で周期的なイベントを除外する方法を見つけるようにしてください。
Re: JMP の質問ではありませんが、誰かが助けてくれることを願っています - Min、Max、Avg から StdDev を推定するやあ@wsande 、
あなたは幸運だと思います。 手持ちのデータがあれば、元の 1 秒のサンプリングでの変数の標準偏差を問題なく推定できます。 必要なのは平均値自体の標準偏差 (または分散) だけです (最小値と最大値は必要ありません)。
分散を操作すると、分散は予測可能な方法で動作します。 この場合、元のデータと手持ちの要約データの間の演算は、定数 (観測数 900、15 分間の秒数) で除算することになります。 標準誤差の計算式の基礎は、実際にここで適用するものです。 平均値の標本分布の標準偏差は Sigma / SqRoot(n) であることを思い出してください。ここで、sigma は母集団の標準偏差、n は標本サイズです。 分散に関して言えば、これは単なる variance/n であり、数式に関する限り非常に簡単です。
それで、これはどのように役立つのでしょうか? データテーブルの各平均値に含まれる 900 個の観測値があることがわかります (60 サンプル/分 * 記録ごとに 15 分)。 あなたが持っているテーブルには、96 個の観測値があります (15 分ごとの平均、1 時間あたり 4 個 x 24 時間 = 96 個)。 ここで説明のために、次の標準偏差がわかっていると仮定します。あなたが持っていることを意味しますは4です。 式 sigma / sqroot(n) を適用した場合、元の 1 秒の分解能の標準偏差はどれくらいになるでしょうか? ひっくり返してみましょう。
平均の標準偏差 = シグマ/平方根(n)
4 = シグマ/平方根(900)
4*平方根(900) = シグマ
シグマ = 120。
ヴィオラ！
人口の分布形態は関係ありません。 バリアンスは、基礎となる形式に関係なく、このように機能します。 数学を信じる必要もありません。 これを JMP で実行して、何が起こるか見てみましょう。 これは 86,400 件の観測値の表、1 秒分解能の表です。
これは、Random Normal() 関数で作成された元の変数の分布です。平均は 1000、標準偏差は 120 (まあ、これはランダム関数なので、これに近い値です)。 
「表」>「概要」を使用して 15 分ブロックごとにまとめてみましょう。
これにより、各ブロックの平均をまとめた以下の表が得られます。
平均値の分布を見てみましょう (これが最終的なテーブルになります)。
そして、理論どおり、平均値の標本分布の標準偏差 (これが私たちが構築したもの) は 4 -- sigma / sqroot(n) になります。
注意点としては…この経験的標本分布は理論的には無限にある標本分布のわずか96個の観測値であるため、この実験を繰り返すたびに、わずかに異なる推定値が得られることになります。 もし、何百万もの 15 分ブロックを含む元のテーブルを構築し、それらの 15 分ブロックの何千もの平均値をサンプリングしたとしたら、かなり行き詰まってしまうでしょう。 これを経験的に示すこともできますが、理論的にはわかっています。 そして、実際に重要なのは、標準誤差 (平均の標準偏差) がある場合の母集団シグマの最良の不偏推定値は、その標準誤差を取得し、それに sqroot(n) を乗算することであるということです。
したがって、TLDR: 平均値の標準偏差を取得し、平方根 (900) を掛けます。
これがお役に立てば幸いです!
@ジュリアン
