注：この記事は、もともとJMPer Cable、Issue 15、Summer2004に掲載されました。
SAS Institute Inc.、エグゼクティブバイスプレジデント、ジョンサル@John_Sall
ブラッドリージョーンズ、JMP開発@bradleyjones
すべての統計手順には仮定が含まれます。 私たちはこれらの仮定の違反を恐れるように教えられています。 たとえば、平均を比較するための標準的な手順、2つのサンプルt-テスト、ペアt -test、およびANOVAにはすべて、残差誤差が正規分布しているという仮定が含まれています。 エラーが正規分布していて、他のすべての仮定が当てはまる場合、すべての検定統計量には要求された分布があり、信頼区間と仮説検定を信頼できます。 正規分布に対してテストおよびグラフ化する分布プラットフォームの機能など、仮定を精査するための分析ツールの豊富なソースもあります。 残差が正規分布していない場合はどうなりますか？ 施術者は、残差が正常であるかどうかについてどのくらい心配する必要がありますか？ 正規性の仮定についてどれだけ心配するかについて詳しく説明している記事は少なく、本も少なくなっています。
残差が正規分布していることは、おそらく次の理由であまり心配する必要がない問題です。
- 大きなサンプルでは、非正規性を簡単に検出できますが、それは問題ではありません。
- 小さなサンプルでは、非正規性が問題になる場合がありますが、それを検出することはできません。
大きなサンプルの場合、中心極限定理は、データが正規分布でなくても、サンプルサイズが大きくなるにつれて、平均のような統計が正規分布に近づくことを示しています。 小さいサンプルの場合、検定統計量は必ずしも正常ではありませんが、伝えるのに十分な大きさのサンプルがありません。
JMP開発者は、フィッティングプラットフォームの便利な機能として、残差正規性の検定を実装するように頻繁に要求されます。 ただし、これは、非正規性が検出されて問題となる可能性のあるサンプルサイズがある場合にのみ役立ちます。 シミュレーションを使って調べてみましょう。
シミュレーションでは、2つの異なる非正規誤差分布（二重指数関数とシフト汚染正規分布）を使用して、2つのグループの平均を比較します。 二重指数関数は対称ですが、レプトクルトティックであり、すなわち、正規分布よりもはるかにピークがあり、裾がはるかに重い。 シフト汚染された正規分布は、ランダムに選択されたサンプルの5％に3つの標準偏差のシフトを追加することにより、右に歪んだ正規分布です。
二重指数関数は、次のJMP式によってシミュレートされます。
if(randomUniform()>0.5,1,-1)*log(randomUniform())
シフト汚染された分布は、次のJMP式を使用します。
10+5*(randomNormal() + (randomUniform()<0.05)*3)
これらは、実際のデータに見られる可能性のある、極端ではありませんが、強力な非正規性の特徴であることが意図されています。
図1は、シミュレートされた二重指数の10,000ポイントを示し、図2は、シフトで汚染された分布を示しています。 赤い実線の対角線は、データが正規分布に適合する場合にデータがどのように見えるかを示す参照です。 データは、小さい分位数の場合は線より下にあり、大きい分位数の場合は線より上にあることに注意してください。 彼はレプトクルトティック分布の特徴です。 それらは、長いがまばらに配置された尾を持つ中央にたくさんの確率質量を持っています。
シフト汚染分布の通常の分位数プロットのデータ（図2）は、大きな分位数の赤い実線の対角線より上にあります。 これは、右に歪んだ分布の特徴です。 データが正規分布している場合、ヒストグラムの上部は40を少し超えて継続するのではなく、約30で終了します。
Fig. 1: Distribution results for the double-exponential distribution.図1：二重指数分布の分布結果。
Fig. 2: Distribution results for the shift-contaminate distributions.図2：シフト汚染分布の分布結果。
JSLスクリプトが実行され、これら2つの非正規分布に対して10個の観測値を持つ10,000個のモンテカルロサンプルが生成されました。スクリプト（MonteCarlo.jsl）が添付されています。 （注：スクリプトの実行には時間がかかります。）各サンプルは、同じサイズの2つのグループに分けられました。 設計上、2つのグループの平均に違いはありません。 また、コントロールとして標準正規分布用に10,000個のサンプルを生成しました。 各サンプルについて、一元配置分散分析を実行して平均の差をテストし、分布を実行して残差の正規性をテストしました。 サイズ20、30、50、70、および100のサンプルに対して、この手順全体を繰り返しました。
母集団の平均に差がない場合の等しい平均のテスト
まず、10,000のプロットを見てみましょうp -非正規分布の値。 私たちの手順は、各サンプルの平均に真の違いがないように設計されていることを忘れないでください。 ランダムな変動のため、 p -10,000の一方向分析の値は、0と1の間で均一に分布する必要があります。 一様分布関数は、対角線F（x）=xです。
図3aおよび3bのプロットを作成するために、最初に10,000をソートしました。 p -値。 The y -軸は10,000の割合ですp -与えられた有意確率以下の値。 Theバツ-軸は有意確率を示します（ p値）。 各サンプルサイズは異なる色で表示されます。
Fig. 3a: Probability plot of p-values for the double-exponential distribution.図3a：二重指数分布のp値の確率プロット。
Fig 3b: Probability plot of p-values for the shift-contaminated distribution.図3b：シフトで汚染された分布のp値の確率プロット。
両方のプロットとすべてのサンプルサイズについて、 p -値は、一様累積分布関数の対角線に近く見えます。 期待したように、分布を変更したり、サンプルサイズを変更したりしても、平均が等しい場合のANOVA検定の有意確率の精度にはあまり影響しません。
重要性を判断している0.05付近の低スケールを詳しく見てみましょう。 図4aおよび4bのプロットは、領域を拡大しています。
Fig. 4a: Expanded-scale view of p-value probability plot for non-normal double-exponential distribution.図4a：非正規二重指数分布のp値確率プロットの拡大図。
Fig. 4b: Expanded-scale view of p-value probability plot for non-normal shift-contaminated distribution.図4b：非正規シフト汚染分布のp値確率プロットの拡大図。
5つの観測値を持つ2つのグループの平均の同等性のテストに対応する赤い対角線は、線y=xの少し下にあることに注意してください。 これは何を意味するのでしょうか？
0.05の有意確率を選択した場合、平均が真に等しい場合でも、偶然の変動により、実験の5％で平均が等しいという仮説を棄却することがわかっています。 つまり、5％の確率でタイプIのエラーが発生します。つまり、仮説が真である場合、平均が等しいという仮説を棄却します。
この5％のタイプIエラー率は組み込みであり、0.05の有意確率を選択した場合に予想されることです。 これが多すぎるエラーのように思われる場合は、より小さな有意確率を選択する必要があります。
赤い対角線が垂直の点線x=0.05と交差するとき、 y -値は0.043です。 つまり、平均が5％の確率で等しいという仮説を棄却するのではなく、4.3％の確率で棄却したということです。 タイプIのエラーが予想よりも少ないため、これを控えめな結果と呼びます。 あなたが逃すつもりなら、控えめに逃す方が良いです。
一方、CumProb値0.06で、線が0.05で垂直の点線と交差したとします。 次に、予想される5％のタイプIのエラーを確認する代わりに、実際には6％のタイプIのエラーを確認します。 真のエラー率が予想よりも大きいため、このようなテストはリベラルすぎると呼びます。
線が45度の線から外れている唯一の場合は、保守的な側にあるので安心です。 シフト汚染されたケースには、 n = 10の場合は保守的な側にシフトしましたが、二重指数関数ほどではありません。
図5は、モンテカルロ研究における自然なランダム変動を示すための純粋な正規曲線を使用したモンテカルロシミュレーションを示しています。
Fig. 5: Expanded-scale view of p-value probability plot for the standard normal distribtuion.図5：標準正規分布のp値確率プロットの拡大図。
非正規性のテスト
次の質問は、エラーが異常であることを検出できるかどうかです。 まず、以前に行った各一元配置分散分析からの残差を計算します。 分布プラットフォームを使用して、これらの残差の正規性をテストします。 したがって、分布とサンプルサイズごとに、正規性について10,000個のシャピロ-ウィルク検定を実行します。 図6のプロットは、シャピロ-ウィルク検定の有意確率の関数としての正規性検定結果の累積パーセンテージを示しています。
Fig. 6: Power plots of Shapiro-Wilkes tests for non-normal distributions.図6：非正規分布のシャピロ-ウィルク検定のパワープロット。
これらのプロットは私たちに何を教えていますか？ まず、二重指数の場合とシフトで汚染された通常の場合の両方で、残差の分布が正常ではないことがわかります。 テストでこの非正規性が検出される可能性がどの程度あるかを知りたいと思います。 言い換えれば、私たちは私たちのテストがどれほど強力であるかを知りたいのです。
完全に強力なテストでは、ギリシャ文字のガンマ、Γのようなグラフが作成されます。対照的に、パワーのないテストでは、対角線のようなグラフになります。
二重指数分布の残差の場合、100個の観測値のサンプルのグラフが、必要に応じて左端で急速に上昇していることがわかります。 残念ながら、サンプルサイズが小さくなると、グラフのΓへの類似性は低下します。 サンプルサイズが10の場合、関数は対角線のように見えます（検出力なし）。
シフトで汚染された正規分布の残差の場合、シャピロ-ウィルク検定の検出力はすべてのサンプルサイズで劣ります。
図7にプロットされているように、残差が実際に正常である場合、すべてのサンプルサイズに対して対角線が表示されます。 これが私たちが望んでいることです。 存在しない非正規性を検出することは望んでいません。 ここで、テストの「検出力」は、タイプIエラーの確率です。 テストがこれよりも強力でないことは不可能です。
Fig. 7: Power plot of Shapiro-Wilkes test for the standard normal distribution.図7：標準正規分布のシャピロ-ウィルク検定のパワープロット。
それでは、を展開してみましょうp -値の面積。図8aおよび8bに示すように、alpha=0.05でのパワーを調べることができます。 下の曲線（サンプルサイズn = 10）図8は、値0.10で垂直グリッド線x=0.05と交差しています。 つまり、シャピロ-ウィルクの有意確率が0.05の場合、残差が非正規であるという事実を検出する可能性は10％です。 シャピロ-ウィルク検定の検出力は10％であると言います。 これは印象的ではありません。
Fig. 8a: Expanded-scale power plots for double-exponential non-normal distribution.図8a：二重指数非正規分布の拡張スケールパワープロット。
Fig. 8b: Expanded-scale power plot for shift-contaminated non-normal distribution.図8b：シフトで汚染された非正規分布の拡張スケールパワープロット。
別の言い方をすれば、タイプIIエラーの確率は90％です。 つまり、90％の確率で、シャピロ-ウィルク検定（この誤差分布と有意水準が与えられた場合）は、正規残差の仮説を誤って棄却できません。
対照的に、上の上の曲線（サンプルサイズn = 100）値0.78で垂直グリッド線x=0.05と交差します。 したがって、このテストの検出力はほぼ80％です。
パワー曲線は、シフトで汚染された通常の残差に対して同様の形状をしていますが、結果として得られるパワーはさらに低くなります。 たとえば、上の曲線（サンプルサイズn = 100）は、約0.63（検出力は63％）で0.05の線と交差します。
したがって、少数の観測値では、非正規性を検出できないことがわかります。 多数の観測値の場合、シミュレートされたタイプIのエラー率が大きなサンプルサイズの予想率と一致したため、エラーが非正規分布であるかどうかは気になりません。
この調査は、フィッティングプラットフォームで正規性の検定を実装しないことをサポートする傾向があります。 この機能を含めると、人々は自分が見ることができないか、問題ではないことについて心配するようになります。
残差分布のグラフィカル機能と診断機能を導入することは別の問題です。 テストする代わりに、外れ値のようなグラフィカルな異常、またはモードの隠れた構造の手がかりとなる可能性のあるパターンを探しています。 多くの場合、外れ値とパターンが重要な発見の主な手がかりになります。
W.エドワーズデミングの戒めの1つは「恐怖を追い払う」でしたが、統計学者として、私たちは通常反対のことを行い、クライアントと学生に不合理な恐怖を植え付けます。 簡単に複製できるこの研究で、あなたが「レプトクルトシフォビア」と戦うのに十分勇気があることを願っています。
心配することが1つ少なくなるのはいいことではありませんか？
