2000を超えるサンプルのShapiro-Wilk検定?JMP のヘルプ ページには、「正規分布の場合、シャピロ- サンプル サイズが 2000 未満で固定パラメータがない場合、正規性のウィルク検定も報告されます。 "
サンプル数が 2000 を超えることもある顧客がいますが、彼の内部手順では、Shapiro-Wilk 検定を使用するように指示されています。 いくつかのオンライン ソースでは、このテストのサンプル サイズの上限として 5000 の観測値が言及されています。 顧客から、JMP が Shaipiro-Wilk 検定の利用を 2000 回の観測に制限している理由を尋ねられました。 計算に時間がかかりすぎませんか？ それとも他に何か理由があるのでしょうか？
Re: 2000 より大きいサンプルの Shapiro-Wilk テスト?私の記憶が正しければ、シミュレーションまたは近似によって p 値を生成する必要があります。 N=2000 までの値しか生成していない可能性があります。
Re: 2000 より大きいサンプルの Shapiro-Wilk テスト?開発者だけが知っているでしょう。として@ドンマコーマックは、このテストで p 値がシミュレートされていることを示しています。 また、SAS はサンプル サイズを 2000 以下に制限しています。 n>2000 の場合、テストは利用できません。詳細を見るPROC UNIARIATE: 適合度検定 (sas.com)
Re: 2000 より大きいサンプルの Shapiro-Wilk テスト?これは、いくつかの異なるタイプの正規性テストを説明および比較する優れたリファレンスです ( https://www.tandfonline.com/doi/pdf/10.1080/00949655.2010.520163 ）。SW テストを簡単に削除しましたが (v14 または 15.0 だと思います)、サンプル サイズが 2000 未満の場合は v15.1 に戻しました。サンプル統計の場合、中央定理はそれらのために機能し、実際の分布が重要な分析（許容範囲、パーセンタイル、管理図の推定など）には機能します。その場合、経験統計は問題ないはずです。
Re: 2000 より大きいサンプルの Shapiro-Wilk テスト?ありがとう@サムガードナー私は彼に、このような大きなサンプルサイズでは、正規性からのわずかな逸脱でさえ、検定はおそらく有意になるだろうと述べました. 彼はそれに気づき、同意したので、私はそれ以上プッシュしませんでした. 彼はアボット研究所の統計学者です。 あなたが提供した情報を使用して、彼にフォローアップします。 ありがとう@ドンマコーマックと@jiancao応答するためにも。
Re: 2000 より大きいサンプルの Shapiro-Wilk テスト?のウィキペディアの記事このテストでは、詳細と背景が提供されます。2000 に制限されている理由は、検定統計量が、標準正規分布順序統計量の共分散マトリックスの期待値と逆行列に基づく係数を使用するためです。これは計算が面倒であり、この方法が最初に提案されたとき、大きなサンプル サイズに対してこれを行うことは現実的ではありませんでした。SW はもともと 50 までのサンプル サイズ用に提案されました。Royston は 80 年代後半から 90 年代前半にかけて、これらの係数またはサンプル サイズ n=3 から n=1999 を計算するためのおおよその方法を思い付きました。SWテストをより大きなサンプルサイズに拡張した他の研究を見つけることができませんでした.
Re: 2000 を超えるサンプルに対する Shapiro-Wilk 検定はありますか?別のお客様のためにこれについてもう少し詳しく調べているところですが、この機会を利用して自分の考えを固めたいと思い、これをコミュニティに公開してくれた皆さんに感謝します。 繰り返しになりますが、SAS ドキュメントによれば、[Shapiro-Wilk] W 検定統計量に対して正規化変換が使用され、検定の p 値が決定されます (サンプルサイズの場合、n ≥ 4)。その正規化変換で使用される定数は、n に依存するシミュレーション結果から導出されます。 ただし、p 値自体は検定用にシミュレートされません。定数は n が 1,999 まで存在します。そのため、n ≥ 2000 の場合、テストは JMP または SAS では計算されません。 5000 までは可能だったと思いますが、私の推測では、これは単に歴史的な前例に過ぎないのです (出版物の参考文献から来ている場合もあれば、そうでない場合もあります)。しかし、なぜ「大きな」サンプルサイズに上限を設けるのでしょうか? (メソッド開発時の計算上の制約は別として、 @SamGardner言及された）
SW の場合、これは計算時間とは関係ありません (AD の場合は関係します)。 これは、W が共分散計算 (正規順序統計の行列上) を使用して計算されるという事実に関連していると思います。 @SamGardner言及された）。n (または dof) が増加すると共分散が増加するため、検定統計量の推定値にバイアスがかかる可能性があります (標準誤差が増大することにより)。2000 は恣意的な選択だったかもしれませんが、上限を設定する際の考え方は、共分散インフレのリスクを最小限に抑えたいということなので、W 検定統計量 (n の関数) は不偏推定量 (サイズ n の数千のサンプルにわたる) になります。 ）。それが私の見解です。
このような大きなサンプルサイズで正規性検定を行う場合の注意事項に同意します。もちろん、それはアプリケーションによって異なりますが、私の医療機器製品製造では。経験上、これほど大きなサンプルサイズが連続プロセス (つまり、変動の原因が 1 つだけのプロセス) から得られるのを見たことがありません。
(スライドのご提供：JMP Education)
通常は次のようになります。「バッチ」という単語をロットに置き換えることができます (ロット サイズは通常数百のオーダーでした)。
Re: 2000 を超えるサンプルに対する Shapiro-Wilk 検定は?計算時間の制約は、実際にシミュレーションまたは数値積分と行列演算を使用して SW 係数を決定するのにかかる時間にあります。シミュレーション手法を試してみました。計算時間と n のプロットがここに示されています。また、メモリ要件も増加し、少なくとも n^2 のオーダーになるため、これを実行するのは不可能になります。また、サンプル サイズ n ごとに、使用する n 個の係数のリストを保存する必要があるため、必要なストレージの合計は n*(n+1)/2 (つまり n^2) 増加します。
しかし@パトリックジュリアーノ最新のコンピューティングを使用すると、これはおそらく 2000 を超えるサンプル サイズに拡張できる可能性がありますが、劇的に拡張できるわけではありません。
