正規性テストの失敗親愛なるみんな、
添付の図に示されているものと同様の一連のデータセットに対して正規性検定を実行し、後で ANOVA を使用して比較しようとしています。 ただし、正規性検定を実行すると、「偽陰性」と思われる結果が得られ続けます。ジャーナルのスクリーンショットからわかるように、データセットは全体として正規分布に似ていますが、データが入力されているビンは 7 ～ 8 個だけです。 私の推測では、データが入力されたビンの間に「非常に多くの」空のビンがあるため、JMP はデータセットをマルチモーダルとして解釈しているのではないかと考えられます。 グラフで示すように、セット全体に対してフィット/テストを実行したいと考えています。
JMP がデータの分布をどのように解釈しても、ANOVA から導き出される結論にも影響します。 これらのデータに対して統計分析を実行する方法 (つまり、各データセットの正規性をテストし、ANOVA を使用して比較する) を実行する方法について洞察を提供していただければ、非常に感謝します。
ありがとう、
Re: 正規性テストの失敗を使用して@garibay90のデータ、グラフ ビルダーの代わりに Fit Y by X を使用しました。これは、プラットフォームが等高線の色付けと変更のためのより多くのオプションを提供しているためです。また、二変量ヒストグラムのように見えるこの「メッシュプロット」オプションも発見しました。
Re: 正規性テストの失敗わかりました。 ありがとう！
Re: 正規性テストの失敗私は、他の人が使用する方法を支持、検証、検証することはできません。
通常、ここでは役立つ提案が得られると思いますが、そのアドバイスが自分の場合に適切かどうかは自分で判断する必要があります。
Re: 正規性テストの失敗@Mark_Bailey @Chris_Kirchberg上記の方法論が合理的であり、標準的な統計慣行と一致していることを検証できますか? ありがとう！ PS 私はパトリックの上にある私の投稿を参照しています。
Re: 正規性テストの失敗@パトリックジュリアーノ私のデータを非常に詳細にご覧いただくために時間を割いていただき、誠にありがとうございます。 確認しましたが、残念ながら SHASH フィットは利用できません。JMP 10 を使用しています。 ただし、現時点では、平均値を比較するためのノンパラメトリックなアプローチがおそらく最善の策であることに同意します。
」たとえば、グループ間のスコアの差を調べるウィルコクソン検定を実行している場合、スコア平均の差の信頼区間が実際に母集団平均の差を表していると言えるでしょうか?中央値を比較する検定を選択した場合、「Y」のサンプルからの中央値の推定値と、その推定値の周囲に対応する信頼区間が、母集団内の真の推定値が存在する可能性がある場所を表していると考える理由はありますか? 」 良い質問ですね。ノンパラメトリック テストは初めてなのでよくわかりませんが、私が理解しているように、重要なのは相互のランクの順序であり、実際の数値ではありません。 誰かがこれを明確にできたら、それは素晴らしいでしょう。
生データはヒストグラムであるため、2 つの列の動作は異なります。X (列 1) はビン、Y (列 2) は各ビンのカウントです。 したがって、データセット内の値の量は「0.0000」になります。
たくさんのご意見、誠にありがとうございました！
Re: 正規性テストの失敗@garibay90 、実行しているテストについてはわかりませんが、テストについてはあまり読んでいません。
生命分布プラットフォームを使用してデータの「X」列と「Y」列を当てはめてみましたが、JMP はそれぞれ Liklihood、AICc と BIC は対数正規、BIC は対数正規化、ゼロインフレート ワイブルに厳密に基づいてそこで思いつくことができた最良のものを導き出しました。私の考えでは、ネザー フィットは良好です。変換された NQ プロット上の点がたどる範囲と非線形コヒーレント パスを目で見てください。点が直線にかなり近くない場合、および/または曲率を示している場合、変換はあまり適切ではありません。
私の理解によれば、標準正規パラメトリック統計仮説検定 (2 サンプルの場合の ANOVA = t 検定など) を使用して 2 グループの比較を実行したい場合は、同じ変換を正規性に適用する必要があります。両方のグループ。 そして、その変換を両方に適用した後、データは合理的に正規化されている必要があります。
JMP の SHASH 分布は、「X」列によく適合する可能性があります。実際、私が見つけた最良の分布です ([分布の分析] > [すべてに適合] を使用すると、JMP がこの分布への適合を生成します)。ただし、「Y」列には適切に適合しません。実際、私の経験では、あなたを見つけるのは非常に困難ですあらゆる変換これはこのデータに有効に適合します。データセット内に「0.0000」値が多すぎます。以前にもこの問題に取り組んだことがありますが、最終的にはノンパラメトリック解析を実行する以外に選択肢はありません。「Y」のようなデータの場合、推論しようとしている推定値がサンプルの元の母集団を合理的に代表しているという確信が十分にない限り、ノンパラメトリック検定から行う推論は信頼できません。たとえば、グループ間のスコアの差を調べるウィルコクソン検定を実行している場合、スコア平均の差の信頼区間が実際に母集団平均の差を表していると言えるでしょうか?中央値を比較する検定を選択した場合、「Y」のサンプルからの中央値の推定値と、その推定値の周囲に対応する信頼区間が、母集団内の真の推定値が存在する可能性がある場所を表していると考える理由はありますか?
極端に不等な分散に対するノンパラメトリック検定の補正については知りません。しかし、私は間違っている可能性があります。通常のパラメトリック検定の場合、不等分散に対する標準補正がありますが、補正は推定に基づいており、正確な解ではありません。 Google で「ベーレンス フィッシャー問題」を検索してください。
SHASH 分布を使用してデータを変換すると (「Y」データには特にうまく機能しないと思います)、グループ間の分散が等しいという証拠が得られます。「Y」列の平均が「X」列の平均より 0.62 単位低く、グループ間の平均間に統計的に有意な差があるという証拠が得られます。
ここで一歩下がってこのグループを見てみると、「手に負えない」データがあるという事実にもかかわらず、これらのグループが数値的に異なる動作をしていることは明らかです。 「Y」には 0 の値が多数取得されますが、「X」グループには取得されません。
Re: 正規性テストの失敗こんにちは、みんな、
このトピックについていくつかの調査を行った後、各データセットのランクを計算し、ランク (連続) を Y 値として、各データセットのラベル (公称) を X として使用して、Y by X のフィットを実行することにしました。 次に、等分散検定を実行します。これは、すべてのノンパラメトリック検定に等分散が必要であるためです。 分散が等しいことを確認した後 (元のデータは正規ではないだけでなく、等分散の検定にも不合格です)、クラスカル-ウォリス検定を実行し、スティールとダンの両方のポストホック検定で終了しました。 現時点では、統計的アプローチは理にかなっており、テストの結論は現実の観察と一致していると思います。
上記の方法論が統計的な観点から正しいアプローチであるかどうか、誰かアドバイスできますか? 最後の質問として、事後テストの観点から、統計学者は標準的な手法としてどちらを考えていますか? スチールとダンのどちらでしょうか? どちらも同じランキングとなり、同じ結論に達します。 ペアを比較する際に、どちらもタイプ I の過大な誤りを正していると思います。
たくさんのご意見ありがとうございました！
Re: 正規性テストの失敗ありがとう！
ANOVA 部分では、データを積み重ね、各データセットのラベルを X として使用し、Y は上で添付したような数値の各コレクションです。 データをもう少し詳しく調べてみたところ、差異マトリックスによってデータセットがどのように異なるかを知ることができるため、ダネットの方法は有望に思えます。 ただし、「適合の概要」にリストされている R 二乗は依然として非常に低い (0.002)。
一般化線形モデルの特性、ポアソン分布、対数リンク関数を備えたモデルの適合も試しましたが、Prob>ChiSq はまだ 0.05 未満です。 正規分布を使用しても同じように機能します。
Re: 正規性テストの失敗データもグラフにしてみます。 Y の分布に表示されている列と、グラフ ビルダーの X 上の ANOVA で X について計画しているものを入力します。 両方の次元でデータがクラスタリングしていることに気付いた場合は、連続データがなく、正規性のテストは意味がありません。また、モデルのフィットで ANOVA を使用することも意味がありません。 ANOVA を実行するには、(一般化線形モデルを使用して) 異なる分布で適合モデルを使用する可能性が高くなります。
正直なところ、データはカテゴリ的であり、連続的ではないように見えます。 評価に対する回答のようなものです。
Re: 正規性テストの失敗ありがとう。 ここでは、生データとスクリプトを使用して生成されたデータの例を示します。
Re: 正規性テストの失敗データを見ずに、生のデータに対して分析を実行することをお勧めします。
まずはデータ。 サンプルサイズが大きくなっても、
正規性テスト。 サンプルサイズが極端に小さい場合を除き、大きすぎる場合を除きます
小さめで、刺激を与えた日のストッキングは次の期間有効です。
実験では、値をシミュレートしようとしても、有効な描画には役立ちません
仮説テストからの推論。
喜んでデータを拝見させていただきます！ 必ず削除してください
独自のものとみなされる可能性があります。 
Re: 正規性テストの失敗@パトリックジュリアーノありがとう！ これで、皆さんが何を言いたいのか理解できました。 その場合、はい、生成された生データはビン化されます。 基本的に、私の出力はビンとカウントの 2 つの列です。 これを回避する方法があるかどうかはわかりません。 ただし、私は先に進み、カウント列にリストされているのと同じ数の各ビンの値を生成するスクリプトを作成しました。 これは、後で正規性テストを実行するために JMP に入力する一連の数値です。 私は、JMP が異なるビンのセットを生成して、私のディストリビューションがより連続したものとして表示/解釈されることを期待していました。 必要に応じて、サンプル データセットを添付できます。 たくさんのご意見ありがとうございました！
Re: 正規性テストの失敗@garibay90同意する@P_Bartel 、でも、「」と言われると、これは実際には数値のコレクションであり、JMP がビニングを行っています。」という意見は正しいですが、同時に完全に正しいわけでもありません。はい、ヒストグラムは自動的にビニングを行います。「グラバー」ツールを使用してそのビニングを動的に調整できます。しかし、データはデータであり、データは、ある「妥当な」ビン サイズで、データがビン化されていること、つまり、私の用語では、別々の「グループ」に「分割」されていることを示しています - そして NQ プロットによって非常に強力に裏付けられています。」私の言葉の選択は統計上の表現としてはおそらく正しくありませんが、私たちが同じ認識を持っていることを願っています。私は何を信じますか@P_Bartelが言っているのは、「なぜデータがこのように構造化されているのか?」という質問に対処する必要があるということです。この質問に答えることは、ANOVA を実行する上でおそらく主に重要です。まずデータの性質とコンテキストを理解する必要があり、その後、さまざまな推論統計手法を適用して、さまざまな仮説 (平均、分散など) をテストできます。
Re: 正規性テストの失敗データはビン化されません。 これは実際には数値のコレクションであり、JMP がビニングを行っています。 添付されているジャーナルの別の図は、入力されたビンの分布を明確に示しています。
Re: 正規性テストの失敗ありがとう！ はい、あなたの言っていることに同意します。 これは 1 つのデータセットにすぎません。 図に示すようなものが複数あります。
Re: 正規性テストの失敗正規確率プロットに示されているように、データはビンに分割されます。 このビン構成を作成したのはあなたですか、それともこのビン形式でデータが提供されたのでしょうか? ビニングを作成した場合は、ビニングの前に生データを使用してみましたか?
Re: 正規性テストの失敗@garibay90棒グラフの棒の間に明らかな「ギャップ」があることからわかるように、データの解像度も制限されている可能性がありますが、正規確率プロットの点の「ガタつき」パターンではさらにはっきりとわかります。このデータ セットが複数のグループ (サンプル) で構成されていない限り、このデータは ANOVA にとって特に適切に動作しているようには見えません。この場合、最初にグループごとに正規性評価を個別に実行する必要があります。そしてそれからANOVA を実行できます。ただし、前述したように ANOVA を実行した場合でも、サンプル サイズが非常に大きいため、分析には「統計的な偏り」が生じます。一般に仮説検定 (ANOVA を含む) は、サンプル サイズが増加するにつれて帰無仮説を棄却する検出力が大幅に高くなります。ANOVA の場合、各グループ平均の治療オフセット (総平均に対する) がすべての治療グループで同じであるという帰無仮説を検定します。null を拒否する場合、主張できることは次のとおりです。少なくとも 1 つの違い治療ではグループ間のオフセットが観察されます。注: ここでのもう 1 つの中心的な仮定は、グループ間の分散が同じであるということです。この仮定を検証するには、Fit Y by X> Unequal Variances を使用し、JMP が自動的に生成する仮説検定に関連付けられた p 値を確認します。
ただし、基本的に、ANOVA はグループ間の平均を比較する検定です (グループ間の全体的な分散を考慮し、グループ間で等しいと仮定されます)。
Re: 正規性テストの失敗速やかなご返信ありがとうございます。 分布が歪んでいることには同意しますが、セットがある程度正規分布しているように見えることを考えると、正規性テストに完全に失敗するとは思いません。しかし、はい、現時点ではそれを正当化する定量的な方法がありません。 思い出したように、各ビンのポイントを減らして試してみましたが、それでも正規性テストは失敗しました。 他のデータセットも同様に見えます。
基本的に、これらのセットを比較し、理想的なケースのシナリオと比較したときにどのセットが異なるかを判断しようとしています。 他の選択肢も受け入れます。 ANOVA は私がよく知っているアプローチです。
Re: 正規性テストの失敗サンプルが大きいため、これらのテストは (完全な) 正規性からの逸脱に対して非常に敏感です。ただし、どちらの端でも観測値は正規分位点プロットの直線性から逸脱しており、分布が右に歪んでいることを示しています。 なぜ出発がないと思いますか？
この例は ANOVA で分析されるサンプルの 1 つですか? 他のサンプルはどうですか？
