統計的有意性こんにちは、
そこで回帰モデルを当てはめました。そして、予測変数の 1 つは、モデル全体で P 値が 0.0538 でした。この予測変数を完全に削除して、縮小モデルを予測に使用すべきでしょうか、それともそのままにしておいても問題ないでしょうか。
また、0.05 前後の P 値の用語は何でしょうか。いくつかの Web ソースで、0.05 から 0.1 は限界的に有意であると言えると見ました。統計モデルを説明するときに、この用語は意味がありますか。ご意見をお聞かせください。
前もって感謝します
ジェリー
基本的なデータ分析とモデリング実験計画法統計的有意性について0.0538 の ap 値で効果を残すかどうかについての私の提案は次のとおりです...両方の方法を試してみてください。次に、「どちらのモデルが実際の質問の解決に役立ちますか?」という質問に答えて、そのモデルを使用します。モデルに項を残すか削除するかについては、多数の論文や議論が行われています。最終的には、あなた次第です。この特定の質問に対する「万能」な解決策はありません。有意性のしきい値 0.05 に関して、神聖または不可侵なものは何もありません。これは、他の理由ではなく、多くの人が機械的に使用している値にすぎません。0.01、0.1、またはその他の値を簡単に選択できます。用語については、私は気にしていません...「効果 x は、0.05 の ap 値では有意ではありません」のようなものを言って、そのままにしておきます。有意性は崖ではありません...そして、p 値は人々の思考をその崖の考え方に追いやる傾向があります。
統計的有意性についてP_Bartell の適切なアドバイスに付け加えさせてください。p=0.05 に神聖なところは何もないだけでなく、何らかの決定分析を行わずにしきい値を設定することはお勧めしません。しきい値を使用して (しきい値は必要ない場合もあります。通常は、p 値に関係なくモデルを構築して結果を報告することをお勧めします)、2 値決定 (変数をモデルに保持するかどうかなど) を行う場合は、どちらの方法でもエラーが発生する可能性があることを認識してください。使用するカットオフを決定する前に、エラーの相対的なコストについて考える必要があります。
それ以上に、カットオフは一般的には悪い考えです。回帰モデルから「重要でない」変数を削除することはお勧めしません。変数はおそらく何らかの理由があってそこにあったのでしょう。あなたはそれが重要であると考えました。データがその影響を明らかにするのに不十分であれば、それで構いません。変数を削除するということは、その変数が影響を及ぼさないと決めつけることであり、それは証拠がないことです。さらに、モデル内の他のすべての変数の係数が変更されます。これで、以前よりも正確になったと言えるでしょうか?
p=.05 が広く使用されているにもかかわらず、p 値をめぐる ASA の論争と、これに関する最近の声明のいくつかを確認する必要があります。心理学ジャーナルの中には、p 値を追放するところまで至ったものもあります。多くのジャーナルは、依然として p 値が 0.05 未満の論文を拒否します。このような混乱の中で、ここに私自身の意見を述べます。私は p 値を知りたいのです。それは、私が持っているデータにおいて、その変数に関するシグナルがどれだけ強いかを示すものだと信じています (この声明でさえかなりの批判にさらされていることに注意してください)。私は、二者択一がなされるのを見たくないのです。変数 X が結果 Y に影響を与える、あるいは影響を与えないとは決して言わないようにしています。それは常に不確実性と証拠の強さの問題です。p 値はその証拠の一部であり、高い場合は何かを物語っています。p 値を理由に変数を省略することは、証拠に基づかない決定を下すことです (変数 X は重要ではないと言っているのと同じです)。潜在的な要因の数に比べて観測値が少ない場合は、予測子スクリーニングを使用して、使用する予測子の選択を支援できますが、構築するモデルに対してデータが十分でない可能性があるという事実を変えることはできません。
統計的有意性について私の気持ちをそのまま反映していただきありがとうございます。私が仮説検定を教えていた頃、クラスでちょっとした演習を通して p 値と統計的有意性の概念を紹介していました。私はコインを取り出して、学生たちに「ちょっとしたテストをします。まず、私は自分が公平なコインを持っていると信じています、と伝えます。コインを投げて、その結果を言います。表か裏です。公平なコインであるという私の信念に異議を唱えたい場合、どのコインを投げたかを目の前に書き出してください。」と言いました。それから私はコインを投げ始めます...毎回、表でなくても学生たちに「表」だと伝えます。私のポイントは、学生たちに、自分だけにとって「有意な閾値」を超えたときを判断させることでした。通常、8 回目くらいまでに、全員が私の信念を「否定」します。それから、私は次のような質問から始めます。「コインが公平ではないと最終的に確信できたトスを挙手で教えてください。1 回ですか? (通常は誰も手を挙げません) 2 回ですか? (まれに) 3 回ですか? (数人いるかもしれません) 4 回ですか? (今ではたくさんいます) 5 回ですか? (ほとんど全員) 6 回ですか? (数人だけ反対) それから、「有意性」という概念は実際には意思決定者の目次第であり、魔法のような確率的数値ではないという点について話し合います。これで、統計的有意性、つまり p 値と呼ばれるものについて、また実際に人々が意思決定を行う方法について、知っておくべきことはすべて学んだと思います。これは信念の度合いであり、統計的値ではありません」と伝えます。
統計的有意性についてこんにちは@Mathej01 、
このコミュニティの他のメンバーが提供した回答に興味があるかもしれません。これは、計画された実験に従ってモデルから項を削除するという非常に関連のあるトピックです。
役に立つ十分なコンテキストや情報はありませんが、モデルの評価、比較、選択に関するいくつかの質問、コメント、考慮事項を以下に示します。
- データ ソースは何ですか。また、データはどのように収集されましたか。計画された実験、履歴データセット、... ?
あなたの回答によっては、見つかった p 値に自信が持てない場合があります。履歴データセットの場合、 Evaluate designプラットフォーム (DoE に使用) を実行して、完全な想定モデル内のさまざまな用語に使用可能な検出力を評価します。これにより、見つかった p 値の「信頼性」と、重要でない用語の p 値 (使用可能な検出力が非常に低いため) についての指標が得られます。
- このモデルの目的は何ですか?因果関係の説明、予測と最適化、その両方 (利用可能なデータセットと収集方法にもリンクされています)?
モデルを比較する場合、統計的有意性は興味深い指標の 1 つかもしれませんが、唯一の指標ではありません (常にドメインの専門知識を追加してください)。対数尤度、情報基準 (AICc、BIC)、またはモデルの指標 (R2 および R2 調整による説明力、MSE/RMSE/RASE による予測力など) などの補完的なモデルの推定および評価指標は、異なる視点を提供し、異なるモデルを強調する場合があります。
次に、ドメインの専門知識と統計的評価に基づいて、トピックに最も適切/関連性の高いものを選択し、さまざまなモデルを使用して個々の予測を推定すること (それらの違いを確認するため)、および/または結合モデルを使用して予測誤差を平均化することを選択できます。
一般的に、いくつかの理由から「統計的有意性の崇拝」は避けるべきです。
- 最も関連性の高いモデルを比較して選択するのに役立つ、利用可能な補完的なメトリックが他にもありますが、p 値が歪んでいる可能性があり、盲目的に信頼すべきではない状況も数多くあります (たとえば、混合設計や切片のないモデルの使用など)。
- 特定のしきい値を理由に用語を削除するのは危険な行為かもしれません。あなたの例では、p 値が 0.0538 の予測子は、0.05 に達しなかったという理由で本当に破棄すべきなのでしょうか? たとえ 0.05 よりも高いとしても、それを拒否するには近すぎるように思えます (そして、私はここで特定のしきい値に疑問を抱いていません...)。そして、この予測子分析の検出力によっては、有意性しきい値に達しなかった理由を説明できるかもしれません。私は、可能性のある (しかしまだ検出されていない) 有意な効果を破棄するよりも、モデルに有意でない用語を保持することをお勧めします。
- 「すべてのモデルは間違っているが、いくつかは役に立つ」は、複数のモデルを扱い、質問に答えるためにいくつかを評価して選択しようとするときに適切な引用です。あなたのケースでは、同等に「統計的に優れた」モデルが複数ある可能性があるため、常にドメインの専門知識を使用してモデルを分類し、選択を支援する必要があります。複数のモデルを選択して平均化/組み合わせることもできます。
- 統計的有意性と実際的有意性を混同せず、両方を使用してモデルを選択してください。モデルを有用なものにしたいので、この予測子の実際的有意性、つまり応答平均（効果サイズ）にどの程度影響するかも確認する必要があります。この予測子の効果サイズが大きい場合は、モデルに残しておく方が賢明です。
この補足的な回答がお役に立てば幸いです。
