小さなサンプルサイズでグループの違いを比較するにはどうすればよいでしょうか?こんにちは、みんな、
3 つの異なるグループがあり、それらを比較して統計的に有意な差があるかどうかを確認しようとしています。ただし、サンプル サイズが非常に小さく、グループ 1 には 3 つのサンプル、グループ 2 には 2 つのサンプル、グループ 3 には 3 つのサンプルがあります。サンプル サイズが小さいため、正規性をテストできません。
データを分析するために、Kruskal-Wallis 検定を実施し、その後 Steel-Dwass 検定 (事後分析として) を実施しました。変数の 1 つについての出力のスクリーンショットを添付しましたが、他の変数についても同様の結果が得られました。
さて、結果に関していくつか質問があります。
Kruskal-Wallis 表の下の脚注には「サンプル サイズが小さい」と書かれており、大規模なサンプルの近似値に頼るのではなく、統計表を参照してテストを行うことが推奨されています。これが何を意味するのか、またその場合どうすればよいのか、説明していただけないでしょうか。
Kruskal-Wallis 検定では分散に有意差が報告されたのに対し、Steel-Dwass 検定ではまったく差が報告されなかったことに気付きました。事後検定で異なる結果が報告されるのはよくあることでしょうか?
最後に、3 つのグループ間の有意差を評価するための代替テストやアプローチについてご提案いただければ幸いです。当初はサンプル サイズが小さかったためテストを実施しませんでしたが、私の論文の査読者から、差異を評価するためのテストを実施するよう依頼されました。
助けてくれてありがとう！
基本的なデータ分析とモデリングデータの探索と視覚化Re: 小さなサンプルサイズでグループの違いを比較するにはどうすればよいですか?こんにちは@ELH残差は正規分布している必要があります (残差は、グループ間の差についてグループ平均を減算することで「修正」されたデータであるため、すべての観測値に対する残差の正規性を評価できます)。ただし、 @SamGardnerが言ったように、正規性からの小さな逸脱は心配する必要はありません。私の意見では、一定の分散は正規性よりも重要です。非公式に言えば、これは各グループ内のデータの広がりが各グループでほぼ同じである必要があることを意味します。したがって、一般に、残差プロット (残差対予測) がランダムでパターンがない場合は、落ち着いて続行してください。
Re: 小さなサンプルサイズでグループの違いを比較するにはどうすればよいですか?@SamGardnerすべてのデータポイントを組み合わせて正規性検定を行ったため、最終的に 9 つのデータポイントになったようですが、グループごとに検定を行う必要があると思いました
Re: 小さなサンプルサイズでグループの違いを比較するにはどうすればよいですか?ANOVAを実行して、ANOVAの残差を保存することができます（「中心となるのは「モデル化してヒストグラム、QQ プロットなどを作成します...これは統計学者としての私の意見ですが、正規性をあまり重視しないでください。大丈夫です。問題ない可能性がある唯一の理由は、非常に大きな外れ値がある場合、または結果を生成するプロセスの応答分布が著しく非正規になることがわかっている場合です。ANOVA は、正規性からの小～中程度の逸脱に対してかなり堅牢です。
Re: 小さなサンプルサイズでグループの違いを比較するにはどうすればよいですか?こんにちは@SamGardner
よくわかりました。サンプルサイズが小さいため、信頼区間を計算することはできません。したがって、ノンパラメトリック検定を使用することはできません。これは正しいですか?
しかし、サンプルサイズの関係で正規性をテストできないため、分散分析も使用できません。
では、その場合はどうすればいいのでしょうか?
Re: 小さなサンプルサイズでグループの違いを比較するにはどうすればよいですか?この状況では、従来の ANOVA 分析を使用しても問題ないでしょう。ノンパラメトリック テストは、小さなサンプル サイズには対応していません。単に、異なる基礎統計モデルを仮定するだけです (または、基礎統計モデルに関する仮定を少なくします)。
統計的検定の p 値を決定するには、帰無仮説が真である場合の検定統計量の予測分布を知る必要があります。サンプル サイズが大きい場合、それらの分布はよく知られている分布で近似できますが、サンプル サイズが小さい場合は、分布のパーセンタイルを決定するために列挙または統計シミュレーションが必要になるのが一般的です。Wilcoxon / Kruskal-Wallace 検定の小サンプル サイズの臨界値は、 https://onlinepubs.trb.org/onlinepubs/nchrp/cd-22/manual/v2appendixc.pdf (表 C-7 を参照) など、多くの場所で見つけることができます。
Steel-Dwass 多重比較検定も非パラメトリックであり、全体的なタイプ I のエラー率を制御するため、各ペアの統計的有意性を示すことは困難です。この場合、サンプル サイズによっては信頼区間を計算できない可能性があります。
Re: 小さなサンプルサイズでグループの違いを比較するにはどうすればよいですか?正直に言うと、統計テストでグラフに何が加わるのかわかりません。統計に詳しい人なら理由を説明できるかもしれませんが、この場合、p 値が 0.03 か 0.1 か 0.4 かは私には関係ありません。グラフは、中間のグループが最も高く、3 番目のグループが最初のグループよりも高いという「証拠」が少し弱いことを示しています。これは良いスタートであり、探索的分析と見なすので、p 値は必要ありません。p 値がグラフに表示されているものに何かを追加するとは思いません。サンプル サイズを大きくする必要がありますが、これらの結果は、それを追求する価値があることを示唆しています。可能であれば、これらの予備的な結果からわかることに基づいて適切な実験を設計してください。
