注: この記事は元々、JMPer Cable、第 15 号、2004 年夏に掲載されたものです。
ジョン・サル氏、SAS Institute Inc.執行副社長@John_Sall
ブラッドリー・ジョーンズ、JMP 開発@ブラッドリージョーンズ
すべての統計手順には仮定が含まれます。 私たちはこれらの前提に反することを恐れるように教えられています。 たとえば、平均値を比較するための標準的な手順では、2 つのサンプルそ、テスト、ペアリングt -test と ANOVA にはすべて、残差誤差が正規分布するという仮定が含まれています。 誤差が正規分布し、他のすべての仮定が成立する場合、すべての検定統計量には主張された分布があり、信頼区間と仮説検定は信頼できます。 正規分布をテストしてグラフ化する配信プラットフォームの機能など、仮説を調査するための分析ツールの豊富なソースもあります。 残差が正規分布していない場合はどうなるでしょうか? 実践者は残差が正常かどうかをどの程度心配する必要がありますか? 正規性の仮定をどの程度心配する必要があるかについて詳しく説明している記事や書籍はほとんどありません。
残差が正規分布することは、おそらく次の理由からあまり心配する必要はない問題です。
- 大きなサンプルでは非正規性を検出するのは簡単ですが、それは問題ではありません。
- サンプルが小さい場合、非正規性が問題になる可能性がありますが、それを検出することはできません。
サンプルが大きい場合、中心極限定理により、データが正規でなくても、サンプル サイズが増加するにつれて平均値に類似した統計が正規分布に近づくことがわかります。 サンプルが小さい場合、検定統計量は必ずしも正規ではありませんが、それを判断できるほど大きなサンプルがありません。
JMP 開発者は、フィッティング プラットフォームの便利な機能として残差正規性のテストを実装するというリクエストを頻繁に受けます。 ただし、これが役立つのは、非正規性が検出され、問題となるサンプル サイズがある場合のみです。 シミュレーションを使って調べてみましょう。
私たちのシミュレーションでは、二重指数分布とシフト汚染正規分布という 2 つの異なる非正規誤差分布を使用して 2 つのグループの平均を比較します。 二重指数関数は対称的ですが、レプトクルティックです。つまり、正規分布よりもはるかにピークがあり、裾がはるかに重いです。 シフト汚染正規分布は、ランダムに選択されたサンプルの 5% に 3 標準偏差のシフトを追加することによって右に歪んだ正規分布です。
二重指数関数は、次の JMP 式によってシミュレートされます。
if(randomUniform()>0.5,1,-1)*log(randomUniform())
シフト汚染分布では、次の JMP 式が使用されます。
10+5*(randomNormal() + (randomUniform()<0.05)*3)
これらは、実際のデータで見られるような、極端ではないものの強い非正規性の特徴を示すことを目的としています。
図 1 は、シミュレーションされた二重指数関数の 10,000 ポイントを示し、図 2 はシフト汚染された分布を示します。 赤い実線の斜線は、データが正規分布に適合する場合にどのように見えるかを示すリファレンスです。 データは、小さい分位数の線を下回り、大きい分位数の線より上にあることに注意してください。 これは、レプトククルト症の分布の特徴です。 それらは中央に十分な確率質量を持ち、尾部は長くても人口がまばらに存在します。
シフト汚染分布の正規分位点プロットのデータ (図 2) は、大きな分位数では赤い実線の対角線よりも上にあります。 これは右に偏った分布の特徴です。 データが正規分布していれば、ヒストグラムの上部は 40 を少し超えて継続するのではなく、30 付近で終了しているはずです。
Fig. 1: Distribution results for the double-exponential distribution.Fig. 1: Distribution results for the double-exponential distribution.Fig. 1: Distribution results for the double-exponential distribution.Fig. 1: Distribution results for the double-exponential distribution.図 1: 二重指数分布の分布結果。
Fig. 2: Distribution results for the shift-contaminate distributions.Fig. 2: Distribution results for the shift-contaminate distributions.Fig. 2: Distribution results for the shift-contaminate distributions.Fig. 2: Distribution results for the shift-contaminate distributions.図 2: シフト汚染分布の分布結果。
これら 2 つの非正規分布について 10 個の観測値を含む 10,000 個のモンテカルロ サンプルを生成する JSL スクリプトが実行されました。スクリプト（MonteCarlo.jsl）を添付します。 (注: スクリプトの実行には時間がかかります。) 各サンプルは同じサイズの 2 つのグループに分割されました。 設計上、2 つのグループの平均値に違いはありません。 また、対照として標準正規分布の 10,000 サンプルを生成しました。 各サンプルについて、平均の差をテストするために一元配置分析を実行し、残差の正規性をテストするために分布を実行しました。 サイズ 20、30、50、70、および 100 のサンプルに対してこの手順全体を繰り返しました。
母平均に差がない場合の平均が等しいかどうかの検定
まず、10,000 の区画を見てみましょう。 p -非正規分布の値。 私たちの手順は、各サンプルの平均値に真の差異がないように設計されていることに注意してください。 ランダムな変動があるため、 p - 10,000 件の一元配置分析の値は、0 と 1 の間で均一に分布する必要があります。 一様分布関数は対角線 F(x) = x です。
図 3a と 3b のプロットを作成するために、まず 10,000 個のデータを並べ替えました。 p -価値観。 のy -軸は10,000の割合ですp - 指定された有意確率以下の値。 のバツ-軸は有意確率を示します( p値)。 各サンプルサイズは異なる色で表示されます。
Fig. 3a: Probability plot of p-values for the double-exponential distribution.Fig. 3a: Probability plot of p-values for the double-exponential distribution.Fig. 3a: Probability plot of p-values for the double-exponential distribution.Fig. 3a: Probability plot of p-values for the double-exponential distribution.図 3a: 二重指数分布の p 値の確率プロット。
Fig 3b: Probability plot of p-values for the shift-contaminated distribution.Fig 3b: Probability plot of p-values for the shift-contaminated distribution.Fig 3b: Probability plot of p-values for the shift-contaminated distribution.Fig 3b: Probability plot of p-values for the shift-contaminated distribution.図 3b: シフト汚染分布の p 値の確率プロット。
両方のプロットとすべてのサンプル サイズについて、 p -値は一様累積分布関数の対角線に近いように見えます。 期待どおり、分布を変更したりサンプル サイズを変更したりしても、等しい平均に対する ANOVA 検定の有意確率の精度には大きな影響がありません。
有意性を判断する 0.05 付近の低いスケールを詳しく見てみましょう。 図 4a と 4b のプロットは、その領域を拡大しています。
Fig. 4a: Expanded-scale view of p-value probability plot for non-normal double-exponential distribution.Fig. 4a: Expanded-scale view of p-value probability plot for non-normal double-exponential distribution.Fig. 4a: Expanded-scale view of p-value probability plot for non-normal double-exponential distribution.Fig. 4a: Expanded-scale view of p-value probability plot for non-normal double-exponential distribution.図 4a: 非正規二重指数分布の p 値確率プロットの拡大スケール図。
Fig. 4b: Expanded-scale view of p-value probability plot for non-normal shift-contaminated distribution.Fig. 4b: Expanded-scale view of p-value probability plot for non-normal shift-contaminated distribution.Fig. 4b: Expanded-scale view of p-value probability plot for non-normal shift-contaminated distribution.Fig. 4b: Expanded-scale view of p-value probability plot for non-normal shift-contaminated distribution.図 4b: 非正規シフト汚染分布の p 値確率プロットの拡大スケール図。
5 つの観測値を持つ 2 つのグループの平均の等しい検定に対応する赤い斜線が、線 y = x よりわずかに下に逸れていることに注意してください。 これはどういう意味ですか？
有意確率 0.05 を選択すると、平均値が本当に等しい場合でも、偶然の気まぐれにより、実験の 5% で平均値が等しいという仮説が棄却されることがわかっています。 つまり、5% の確率でタイプ I の誤りが発生します。つまり、仮説が正しい場合、平均が等しいという仮説は棄却されます。
この 5% のタイプ I 過誤率は組み込まれており、有意確率 0.05 を選択した場合に予想されるものです。 これではエラーが多すぎると思われる場合は、より小さい有意確率を選択する必要があります。
赤い斜線が垂直点線 x = 0.05 と交差するとき、 y -値は0.043です。 つまり、平均値が 5% の確率で等しいという仮説を棄却するのではなく、4.3% の確率でのみ棄却したということになります。 予想よりもタイプ I のエラーが少ないため、これを保守的な結果と呼びます。 逃す場合は控えめに逃したほうが良いでしょう。
一方、CumProb 値 0.06 で線が 0.05 で垂直点線を横切ったとします。 その場合、予想される 5% のタイプ I エラーが表示される代わりに、実際には 6% のタイプ I エラーが表示されます。 真のエラー率が予想よりも大きいため、このようなテストはリベラルすぎると呼ばれます。
線が 45 度の線から逸脱する唯一の場合は、保守的な側にあることが安心です。 シフト汚染されたケースには、 n =10 の場合は保守側にシフトしましたが、二重指数関数ほどではありませんでした。
図 5 は、モンテカルロ研究における自然なランダム変動を示す、純粋な正規曲線を使用したモンテカルロ シミュレーションを示しています。
Fig. 5: Expanded-scale view of p-value probability plot for the standard normal distribtuion.Fig. 5: Expanded-scale view of p-value probability plot for the standard normal distribtuion.Fig. 5: Expanded-scale view of p-value probability plot for the standard normal distribtuion.Fig. 5: Expanded-scale view of p-value probability plot for the standard normal distribtuion.図 5: 標準正規分布の p 値確率プロットの拡大スケール図。
非正規性のテスト
次の問題は、エラーが正常ではないことを検出できるかどうかです。 まず、以前に行った各一元配置分析からの残差を計算します。 分散プラットフォームを使用して、これらの残差が正規であるかどうかをテストします。 したがって、分布とサンプルサイズごとに、正規性を確認するために 10,000 回の Shapiro-Wilks 検定を実行します。 図 6 のプロットは、正規性検定結果の累積パーセンテージを、シャピロ・ウィルクス検定における有意確率の関数として示しています。
Fig. 6: Power plots of Shapiro-Wilkes tests for non-normal distributions.Fig. 6: Power plots of Shapiro-Wilkes tests for non-normal distributions.Fig. 6: Power plots of Shapiro-Wilkes tests for non-normal distributions.Fig. 6: Power plots of Shapiro-Wilkes tests for non-normal distributions.図 6: 非正規分布に対するシャピロウィルクス検定のパワープロット。
これらのプロットは何を物語っているのでしょうか? まず、二重指数関数の場合とシフト汚染正規の場合の両方で、残差の分布が正規ではないことがわかります。 私たちは、テストでこの非正規性が検出される可能性がどのくらいかを知りたいと考えています。 言い換えれば、テストがどれほど強力であるかを知りたいのです。
完全に強力なテストでは、ギリシャ文字のガンマ、Γ のようなグラフが表示されます。対照的に、検出力を持たないテストでは、グラフは斜線のようになります。
二重指数関数的に分布した残差の場合、希望どおり、100 個の観測値のサンプルのグラフが左端で急速に上昇していることがわかります。 残念ながら、サンプルサイズが小さくなるにつれて、グラフと Γ の類似性は低下します。 サンプル サイズが 10 の場合、関数はより対角線のように見えます (検出力なし)。
シフト汚染された正規分布残差の場合、シャピロ・ウィルクス検定の検出力はサンプル サイズごとに悪くなります。
図 7 にプロットされているように、残差が実際に正規である場合、サンプル サイズごとに対角線が表示されます。 これが私たちが望んでいることです。 私たちは、存在しない非正規性を検出したくありません。 ここで、テストの「検出力」は、タイプ I エラーの確率です。 これよりも強力でないテストはあり得ません。
Fig. 7: Power plot of Shapiro-Wilkes test for the standard normal distribution.Fig. 7: Power plot of Shapiro-Wilkes test for the standard normal distribution.Fig. 7: Power plot of Shapiro-Wilkes test for the standard normal distribution.Fig. 7: Power plot of Shapiro-Wilkes test for the standard normal distribution.図 7: 標準正規分布のシャピロウィルクス検定のパワープロット。
では、展開してみましょうp -value 領域を使用して、図 8a と 8b に示すように、alpha=0.05 でのパワーを調べることができます。 一番下の曲線（サンプルサイズ） n図 8 の = 10) は、値 0.10 で垂直グリッド線 x=0.05 と交差します。 つまり、シャピロ ウィルクスの有意確率が 0.05 の場合、残差が非正規であるという事実を検出できる確率は 10% です。 シャピロ・ウィルクス検定の検出力は 10% であると言われています。 これは印象に残りません。
Fig. 8a: Expanded-scale power plots for double-exponential non-normal distribution.Fig. 8a: Expanded-scale power plots for double-exponential non-normal distribution.Fig. 8a: Expanded-scale power plots for double-exponential non-normal distribution.Fig. 8a: Expanded-scale power plots for double-exponential non-normal distribution.図 8a: 二重指数非正規分布の拡大スケール電力プロット。
Fig. 8b: Expanded-scale power plot for shift-contaminated non-normal distribution.Fig. 8b: Expanded-scale power plot for shift-contaminated non-normal distribution.Fig. 8b: Expanded-scale power plot for shift-contaminated non-normal distribution.Fig. 8b: Expanded-scale power plot for shift-contaminated non-normal distribution.図 8b: シフト汚染された非正規分布の拡大スケール電力プロット。
これを別の言い方で言うと、タイプ II エラーの確率は 90% です。 つまり、90% の確率で、シャピロ-ウィルクス検定 (この誤差分布と有意水準が与えられた場合) は、誤って正規残差の仮説を棄却できません。
対照的に、上の上の曲線（サンプルサイズ） n = 100) は、値 0.78 で垂直グリッド線 x=0.05 と交差します。 したがって、このテストの検出力はほぼ 80% です。
シフト汚染された正規残差の検出力曲線は同様の形状をしていますが、結果として得られる検出力はさらに小さくなります。 たとえば、上の曲線 (サンプル サイズ n = 100) は、約 0.63 で 0.05 の線と交差します (検出力は 63%)。
したがって、少数の観測では非正規性を検出できないことがわかります。 多数の観測値の場合、シミュレーションされたタイプ I の過誤率がサンプル サイズが大きい場合の予想率と一致するため、誤差が非正規であるかどうかは気にする必要はありません。
この研究は、フィッティング プラットフォームでの正規性のテストを実装しないことを支持する傾向があります。 この機能を含めると、人々は見えないもの、または重要ではないものについて心配するようになるだけです。
残差分布にグラフィック機能や診断機能を導入することは別の問題です。 テストする代わりに、外れ値などのグラフィックの異常や、モードの隠された構造を解明する手がかりとなる可能性のあるパターンを探します。 外れ値やパターンは、多くの場合、重要な発見への主な手がかりとなります。
W. エドワーズ・デミングの戒めの 1 つは「恐怖を追い出せ」でしたが、統計学者である私たちは通常その逆を行い、クライアントや生徒に不合理な恐怖を植え付けます。 この研究は簡単に再現できるので、「レプトクルトシ恐怖症」と戦う勇気を持っていただければ幸いです。
心配事が一つ減るのは良いことではないでしょうか？
