なぜこれが不快な統計声明なのか? #1今後数週間にわたっていくつかのディスカッション スレッドを立ち上げる予定です。JMP ユーザーなら誰でもチャイムを鳴らしてください。
彼らの思いとともに。これらの議論は「不愉快な統計声明」を中心に展開します。
ぜひ寄付をご検討ください。数日後、感想はブログにまとめます、 そして別の不快な発言を紹介する！
以下は、不愉快な発言 #1 です。
t 検定を実行して 2 つの母集団の平均を比較します。結果に対する 95% の信頼度が必要です。検定を実行すると、p 値は 0.63 になりました。私たちは声明を発表します」 p は 0.05 未満ではないため、これらの母集団の平均値に差はないと結論付けます。 」
なぜこの発言が不快なのだろうか？
品質およびプロセスエンジニアリング結果の共有と伝達Re: なぜこれが不快な統計声明なのか? #1私にとって、それは適切なレベルの理解を反映していないだけですが、少なくとも多かれ少なかれ「正しい解釈」です。
私が好んで呼んでいる「p 値法」と T 検定を実行する「信頼区間法」に沿って、何人かの人々が議論しました。私は、これら 2 つの分析方法は本質的には同じものであると考えるのが好きで、ここでは、これら 2 つの分析方法は実際には次のとおりであると提案します (反対意見はご遠慮ください)。同じことを（数学的に表現する）異なる方法。JMP は、ほとんどの場合、双方向で統計的なプレゼンテーションを提供する点で非常に賢明であり、私はそれがとても気に入っています。 私にとっては、信頼区間を使用した解釈（単純な T 検定、非劣性検定、同等性、優越性検定のコンテキストで）の方が常に解釈しやすくなっています。
私の親愛なる友人が、これについて語っていると思われる素晴らしい参考文献を教えてくれました。
ブルーマン、初等統計学 (第 7 版)、2015 年
Re: なぜこれが不快な統計声明なのか? #1私は、「標本の平均値の差が下限 CI 未満ではなく、上限 CI を超えないことを 95% 確信しています」という解釈自体が「間違っている」とは言いません。実際、これは完全に適切な表現方法だと思います。それは「正しく」、簡単に表現できますが、その解釈は単に「よく誤解されている」だけだと思います。 @dale_lehmanあなたが指摘するように。
として@ジュリアンで言うデータによる意思決定 (STIPS) -セクション 4.1 推定{これは、以下の適切なモジュール参照をスクリーンキャプチャしたトランスクリプトから入手できます。デモ: 信頼水準とアルファ リスクを理解する"}
「サンプルをリセットをクリックし、サンプル数を 100 に変更して、追加サンプルを描画をクリックします。 サンプルの抽出を続けると、サンプルの平均が真の平均に近いことに注目してください。 また、信頼区間の 95% 近くに真の IQ 平均値が含まれており、信頼区間の約 5% には真の平均値が含まれていないことにも注目してください。
「これが私たちが「自信」という言葉で意味するものです。 平均して、 のために95% の信頼性間隔、9この間隔メソッドが使用される時間の 5% で、間隔は実際のパラメータ値を取得します。 。」
もちろん、推論は母集団に基づいていますが、サンプルデータに基づいています。 これは、一般に推論統計を行うときに行っていることです。 企業全体は、私たちが持っているサンプルデータに基づいて母集団について推論を行うことに取り組んでいます。 もう一度、同じようにデータによる意思決定モジュール 4、セクション 4.1 をご覧ください。統計的推論の概要。ここ、 @mia_stephensこのことについて、明確、正確かつ直接的な方法で語ります。
Re: なぜこれが不快な統計声明なのか? #1私の例は、ベイズ分析と頻度主義分析または p 値とは（少なくとも直接的には）まったく関係がないと思います。もちろん、この 95% 信頼区間で真の値が 95% 信頼できるというのは間違いです。つまり、信頼度は手順にあるものであり、特定の信頼区間ではありません。真の値は、その特定の間隔内にあるかどうかのどちらかです。
しかし、私が言いたいのは、特定の間隔が真の値を含む「良好な間隔」の 95% の 1 つであるか、それとも間違った値を与える 5% の 1 つであるかについて、95% が与えることができる最良の推定値であるということです。結論。あなたは間違った解釈にうんざりするかもしれませんが、私はそうではありません。実際のところ、正しい解釈というのは、ほとんどの人が目を潤ませてしまう言葉の羅列なので、少々うんざりするものだと私は感じています。そして、それは不確実性を完全に無視し、点推定値を真の値として扱うという、はるかに悪い（そしてもっとうんざりするような）慣行の一因になっていると思います。
Re: なぜこれが不快な統計声明なのか? #1以前の投稿で述べた他の問題に加えて、
1) 平均の等価性をテストする場合、テストの両側性をアプリオリに指定する必要があります。 特に明記されていない限り、平均同等性の検定は通常、両側検定を意味します。この場合、アルファ、つまり 5% のタイプ I 誤り確率は、帰無分布の上裾と下裾の面積の合計になります。 ほとんどの場合、この確率は均等に分割されるため、p 値を比較するテール領域は 0.05 ではなく、アルファ/2 (0.025) である必要があります。
** 編集: JMP は、重要な統計を使用して検出した尾部を 2 倍にすることでこれを処理しますが、これを「手動で」行っていた場合、0.025 未満の単一尾部領域を拒否することになります。
2) 「結果に対する 95% の信頼度」は、仮説検定の背後にある主な考え方を誤解しているため、うんざりするものです。 有意水準 0.05 で仮説検定を実行する場合、特定の手順を採用したことを 100% 確信できます (正しく実行した場合)。 2 つの分布の平均値が実際に同じである場合、長期的には (すべての仮定が当てはまると仮定すると)、5% の確率で、この手順では、サンプリングの変動により異なる平均値が得られる検定統計量が生成されます。
3) この種の仮説検定では、考えられる結論は 2 つだけです。1) 「サンプル データは、帰無仮説が偽であるという (説得力のある) 証拠を提供します」、および 2) 「サンプル データは、帰無仮説が偽であるという説得力のある証拠を提供しません」は誤りです。」 注目に値しないのは、「サンプルデータに基づいて、帰無仮説は真であると結論付けます。」という記述です。 一般に、何かを証明したいときは、証明しようとしているものを対立仮説として組み立て、データが対立仮説を支持する帰無の棄却を裏付けることを期待します。 研究者が平均値の同等性を証明しようとしている場合は、2 つの片側検定の方が適切です。
4) 他の人もこれについて言及していますが、繰り返します：統計的有意性と実際的な有意性は同じである必要はなく、通常は同じではありません。 実際的な重要性については、ゼロからではなくてもゼロから議論し、合意する必要があります。
@dale_lehmanと言及しています「正しい解釈の問題は、私たちが実際に持っているサンプルについて何も言えなくなることです。」私は同意しませんが、彼がこの件でどこへ行こうとしているのかは分かります。 すべての統計手法には、回答するために設計された特定の質問があります。 特に、データが棄却できなかった帰無仮説の場合、非統計学者 (さらに言えば、ベイズ統計学者) が頻度主義仮説検定に関して抱える主な問題の 1 つは、p 値が次の質問に答えてしまうということです。つまり、「帰無仮説のもとで、実際に観察した結果と同じくらい極端な、またはさらに極端な結果が観察される確率はどれくらいですか?」という不自然な質問です。 ベイズ主義者は、自分たちの手法がより自然な質問に答えると言うでしょうが、ベイズ手法には独自の問題があり、万能薬はありません。 特定の質問に答えるためにどのテクニックがより適しているかを理解し、答えようとしている質問に適したテクニックを選択することに代わるものはありません。 最近、特に医学研究分野での p 値に対する（っぽい）反発は、眼帯として使用されるフォークに対する反発に少し似ているように思えます。 p 値は他のツールと同様にツールです。 正しい方法で、正しい仕事に使えば大丈夫ですが、間違った使い方をすると「目を射抜かれてしまうでしょう！」となります。
Re: なぜこれが不快な統計声明なのか? #1本当に大好きです@ゲオルグの上記の返信の最後の文。 業界で 20 年以上、プロセス/製品の商品化や是正措置チームに従事してきた統計学者として、私はよく一緒に働いていたエンジニア、科学者、マネージャーにこう言いました。プロセスは破滅への道が始まる日です。 あなたは私が知る以上にあなたのプロセスや製品について忘れています。」
あるいは、ウォルター・シューハートが書いたように（私が意訳）、「統計の長期的な貢献は、多数の統計学者を生み出すことよりも、統計に関心のあるエンジニア、科学者、生産担当者などのグループを作ることに依存します。」
Re: なぜこれが不快な統計声明なのか? #1議論を少し広げると、私にとって、これは最初からうんざりするような話ではありません。 私の意見では、それは依然として有効な決定である可能性があります。 もちろん、他の人がすでに指摘したように、その決定を信頼するには多くの追加情報が欠けている可能性があります。 したがって、私の目から見ると、それは発言の文脈と誰が言ったかによって異なります。 ところで、同じ単語数で正しいステートメントは何でしょうか?
また、私は正しい言葉遣いについて時々議論するのは好きですが、用語は重要ですが、統計学者と、統計に関してそれほど深い知識を持たないプロセス エンジニアの間に壁を築くのは好きではありません。 しかし、後者は自分たちのデータとプロセスを知っています。 そしてご想像のとおり、単なる数字の表の下には、さらに重要なものがたくさんあります。 これは、データ サンプリングの環境だけでなく、次のような決定の結果も含まれる可能性があります。 @P_Bartelすでに述べた。 意思決定は依然として機械ではなく人間によって行われなければなりません。
Re: なぜこれが不快な統計声明なのか? #1+ 正常性のチェックについては言及されていない
Re: なぜこれが不快な統計声明なのか? #1ありがとう@スタットマン！今後の投稿のためのさらに良い材料となります。
コメントをどんどん送ってください!!
Re: なぜこれが不快な統計声明なのか? #1おい@P_Bartel ！お久しぶり！
返信いただきありがとうございます！！これらのアイデアを私の（増え続ける）不快な発言のリストに入れ、将来の投稿で取り上げます。
元気でいてね、友よ！
Re: なぜこれが不快な統計声明なのか? #1プレイします...私のお気に入りは実際には非常にシンプルです...「統計的に有意な」というフレーズを文脈なしでどこにでも適用して使用します。 興味深いのは、次のフレーズを聞いたときに何かを信じる可能性が高いかどうかを誰かに尋ねると、統計学的に重要なと追加されると、彼らは行われている比較について何も知らずに「はい」と答えます。
Re: なぜこれが不快な統計声明なのか? #1どこから始めればよいでしょうか? サンプル サイズ (何も記載されていません...信号がノイズを超えるチャンスを与えるには小さすぎるだけかもしれません)? 選択されたアルファ リスクは何ですか (「...結果に 95% 自信を持っています...」は、アルファ リスクに関しては無意味なステートメントです。 その発言は一体何を意味するのでしょうか？） 帰無仮説とは何ですか (何も記載されていません)? 測定誤差 (既知または推定) は何ですか? サンプリング計画は何でしたか (ランダム、便宜的、ラインから最初/最後に抽出、層別、またはその他の計画)。 統計的なリスクだけではなく、表現上のリスクとは何でしょうか? そして延々と。
Re: なぜこれが不快な統計声明なのか? #1私は、この不気味さの例に同意します。つまり、証拠の欠如は欠如の証拠を意味しないという古典的な誤解です。古典的ではありますが、それほど単純ではない「95% 信頼区間の範囲は x から y であり、真の効果が x と y の間にあることを 95% 確信していることを意味します。」を考えてください。「この方法で作成されたすべてのランダム サンプルの 95% には真の効果が含まれる」ということが正しいとわかっていても、私はそう言っても問題ないと信じています。もちろん、私たちのサンプルが真の母集団効果を含まない 95% の 1 つなのか、それとも真の母集団効果を含まない 5% の 1 つなのかはわかりません。しかし、私たちが持っている 1 つのサンプルを考えると、技術的には正しくないにもかかわらず、私たちが言える最善のことは、最初に引用されたステートメントだと思います。
この例について他の人がどう思うか聞きたいです。統計学者は信頼区間のこの誤った解釈がどのように一般的であるかを指摘するのが好きですが、私はそれを完全に理解できます。そして、私は学生たちにそれを誤って解釈する自由を与えていることを告白します（ただし、少なくとも私は正しい解釈が何であるかを指摘します）。正しい解釈の問題点は、実際にあるサンプルについて何も言えなくなることです。
