中心極限定理 - 素朴な疑問この質問は JMP 自体に関係するものではなく、解釈に関する基本的な質問を表しています。 私たちが CLT と呼ぶ現象により、母集団データがどのように分布しているかに関係なく、母集団のサンプリングは常に、全体の平均と SD が母集団の平均と SD に近づく、結果として得られる平均の正規分布に向けて努力することを理解しています。 （歪んだまたは正常）ただし、十分な数の繰り返しサンプルが採取された場合（≥30）。 さらに、各サンプルのサイズが大きくなると、推定平均値と SD の精度が向上します。 また、CLT はパラメトリック テストに対応しているため、そのような複数のサンプリングを実行する必要がないことも理解しています。 私が理解しようとしているのは、サンプルサイズのカットオフポイントが存在するかどうかです。そのカットオフポイントを超えると、テストなしで正規性が断固として仮定されます。 第 2 に、これはおそらく関係ありませんが、The American Statistician 誌が、実際の p 値の報告を支持して有意水準のしきい値 (p<0.05) を引き下げ、「統計的に有意」という用語の使用を控えるよう呼びかけています。次に、シャピロ・ウィルク検定などを通じて正規分布を確認するなどの結果を決定するのでしょうか? そこにも灰色の線はありますか？
Re: 中心極限定理 - 素朴な質問@34South : 「単数症」について言及した以前の投稿に関して、私が産業上の問題解決や製品/プロセス開発の枠組みで科学者やエンジニアに統計的手法を教えたとき、この病気についての言及を「ギャップ」と呼んだもので囲みました。 「ザ・ギャップ」は、あらゆる意思決定プロセスには 2 種類のリスクが含まれるという仮説を立てています。 ASAの「...Not To...」のリストは「The Gap」と強く一致していると思います。 リスクには次の 2 種類があります。
1. 統計的リスク。サンプルサイズ、母集団分散の仮定、ベータリスク、検出するデルタなどの手法を通じて、定量化および構造的に対処できるリスクはどれですか。仮説検定は最終的に、意思決定の指針となる p 値と「統計的有意性」というステートメントに達します。 '
2. 代表リスク。これらは、意思決定に関連する「リスク」を与えるシステム特性の他の累積的な影響すべてです。 私の経験では、この一連のリスクは統計上のリスクであることが多く、統計的手法を使用して制御または定量化することは不可能であることがよくあります。 代表リスクに対処するには、合理的で思慮深い、知識豊富なドメインの専門知識が必要です。 たとえば、私が業界にいた頃は、製品の設計仕様を決定することを目的として、パイロット装置で実験を行うことがよくありました。 しかし、ほとんど常に大きな問題がありました...パイロット機器で学んだことは、生産規模の機器に拡張できないということが非常に多かったです。 したがって、統計的リスクのみを伴う方法では克服できない理解の「ギャップ」がありました。
したがって、「単数症」についての私の指摘は常に、もしあなたが報告するのが単独の p 値だけであり、意思決定に代表リスクを組み込んでいないとしたら...まあ、おそらくあなたは、意思決定をする際の合計リスクを大幅に過小評価していることになる、ということでした。意思決定の間違い。
これがお役に立てば幸いです?
Re: 中心極限定理 - 素朴な質問いいえ、どいたしまして！ また、p 値と推論統計に関して状況がどのように変化するかにも興味があります。 また、より複雑なモデルをさらに大量のデータに当てはめることが可能になる計算速度の継続的な進歩によって、統計の応用全般がどのように変化するのかを見てみたいと思っています。 今は本当にとてもエキサイティングな時代であり、データから意味を抽出する方法において、本当にエキサイティングな進歩を目の当たりにすることになるのではないかと思います。
JMP については 100% 同意します。データなしでデータから学ばなければならないなんて想像もできません。
Re: 中心極限定理 - 素朴な質問親愛なるジュリアン。 とても詳しい説明をしていただきましてありがとうございました。 CLT について私が期待していたよりもはるかに優れた洞察を提供してくれたので、とても感謝しています。 一方で、p 値閾値の撤廃を求める声がどこまで進むかは興味深いところです。 おそらく、大多数の科学者は、実際にその概念が採用された場合、その適用方法を再び誤解するだろう。今のところ、ガイドラインは私たちが何をすべきかではなく、むしろ何をすべきではないかに焦点を当てていると思うからである。 私の経歴は統計学ではありません。確かに、私の時代、統計学は大学でほとんど教えられていませんでした。長年にわたる自分自身の経験を通じて、JMP が私が統計学の頼れる存在になるのに大いに役立ったということについて理解を深めてきました。私の研究分野における統計クエリ。 個人的には、他のソフトウェア パッケージでデータを調査することは想像できません。 ただし、他の投稿のユーモアは確かに楽しかったので、カクテル パーティー用に後ろポケットに入れておきます ;->Re: 中心極限定理 - 素朴な質問こんにちは@34South 、
これが「素朴な質問」であるとは決して思いません。 実際には、通常のパラメトリック テストの理論的基礎と仮定にかなり深く踏み込みます。 それぞれの論点を分解していくつかのコメントを述べさせていただき、最後にいくつかの実践的な提案をさせていただければと思います。
- 中心制限が主張するもの: 前述のとおり、CLT は、サンプル サイズ (n) が無限大に近づくにつれて、統計量の標本分布 (以降は平均を仮定します) が正規分布に近づくと主張します。 CLT はアサートしません (アサートする必要はありません)。公平性平均値 (標本分布が母集団パラメータの中心にあること) と、漸近的一貫性平均値の値 (サンプルのサイズが大きくなると、標本分布の分散が減少し、推定値とパラメーター間の予想誤差が減少します)。 これらは、CLT が真であるかどうかに関係なく、推定量としての平均については当てはまります。 CLT は配布形式に関するものであり、それが主張する内容は、公平性や一貫性を追加しなくても十分に魔法的です。
- CLT が重要な理由: 通常のパラメトリック仮説検定では、サンプル データに基づいて検定統計量を作成し、サンプルからの検定統計量が偶然単独で発生する可能性がどの程度あるかを評価するために p 値を生成します。 「偶然だけ」で何が起こるかを知るための私たちの方法は、統計量の標本分布 (この場合は平均) が正規分布していると仮定しているため、CLT によって情報を提供されます。 平均値の標本分布は 2 つの場合に正規分布することがわかっています。母集団が正規である場合 (したがって、任意のサイズ n から形成された標本分布は正規分布します)、または母集団は非正規ですが標本サイズが大きい場合です。十分です (十分な大きさについては、すぐに取り組みます)。 したがって、CLT の主張を信頼するため、母集団の分布形式を実際に知らなくても、標本分布が正規であるという仮定に基づいて p 値を計算できます。 そして、私たちは統計が不偏で平均が 0 であることを知っており、分散の計算方法 (分散和法による部分もあります) を知っているので、帰無仮説が真であると仮定して、統計の標本分布内で標本を見つけることができます。そして、私たちの統計値 (通常の p 値) よりも極端な統計値を持つサンプルの割合を見つけます。 CLT がなかったり、CLT を信じていなかったりした場合、p を知るためには、母集団の分布形式を事前に知っておく必要があります (つまり、標本分布の形式を知ることができます)。 -value を使用するか、シミュレーション統計を使用して標本分布の推定値を生成し、経験的な p 値を作成する必要があります。
- CLT がその魔法を発揮するのに「十分な大きさ」のサンプルとは何ですか。これは母集団がどの程度非正規であるかに完全に依存するため、抽象的に答えるのは難しい質問です。 母集団に正規性からのわずかな逸脱がある場合、または逸脱しているものの依然として良好な対称性がある場合、CLT は標本分布をかなり迅速に正規化に近づけます。 この結果、通常の仮定に基づいて生成された p 値は、知ることのできない真の p 値に比較的近くなります。 私たちがこれを気にする理由は、a) 時間に対して指定されたアルファ比率を超えて誤警報を起こしたくないこと、および b) パワーが想定よりも低くなることを望まないためです。 場合によっては、検定が非常に保守的になる (取得された p 値 > 真の p 値)、またはその逆になる (取得された p 値 < 真の p 値) ように母集団が形成されることがあります。 いずれにせよ、私たちはそれを望んでいません。 では、十分な大きさのサンプルとは何でしょうか? 言えるのは、これは 35 ではないということです。この数字に魔法のようなものは何もなく、大学の教科書に載せるのに都合の良い切り捨てにすぎません。 母集団が極度に尖っている (裾が重い) か、CLT が機能しないクラスの形式 (コーシー分布、バカ野郎) である場合、データを取得する前に、非常に非常に大きなサンプル (n> 1000) が必要になります。 p 値は、真の p 値からの許容可能な距離です。
- 母集団が非正規であるという証拠があるかどうかの仮説検定: これらの検定には根本的な問題があると思います (検定が不正確であるということではなく、検出力プロファイルが必要なものとは逆であるということです)。 ああなたのですあるサイズが大きくなる、標準ある人口 mある震えが少なくなるあるそれより少ないのためにあなたの推論 (「mある「震えが少なくなる」という意味であるあなたのタイプはIですあるnd タイプ II エラー rあるテスある少ないある大衆の影響を受けるあるション分布あるあなたのことを呼び起こしてくださいあるサイズが大きいのは、取得した p 値が真の未知の p 値により近いためです)。 C事実を直視する番目あるt 検定のために非標準あるリティ (コルモゴロフ・スミルノフ、Sh)あるピロ・ウイルクなど）ある再ある仮説検証も…あるnull を拒否するのために1つはtですあるntある検出に取り付けるある出発ある規範からの離脱ある大衆の中の正義あるション。 これらのテストの威力はすごいある1980年代にある私wあるyあるsあるl 仮説検証… lあるガーズあるそうですね、より高いパワー…それは私ですあるns番目あるとあるとてもあるゲスあるmple (dep が存在する種類)ある人口規範からの逸脱あるリティCある使用する問題を少なくする）あるKS または SW テストは、ある非常に高い出力で小さな深さでも検出できますある規範からの逸脱ある大衆の中の正義あるション。 それで…本当ですある不条理、あるとてもあるゲスあるそうですね、私たちはある最小の深さを検出しますある規範からの離脱ある1 分の 1あるそうはしないだろうある使用ある問題があってもあるsmあるllsある十分、ある2番目の証明書ある決してcではありませんある私たちを利用してあるニューヨークの問題とあるTLあるとしての範囲あるたっぷり。
- 正確な p 値の報告: アメリカの統計学者の記事は優れた指摘をしており、正確な p 値の報告には大きな利点がありますが、それが本当に述べていることを意味しているという誤った安心感を私たちに抱かせるとも私は考えています。 私が言いたいのは、p 値 (たくさんあります) についての誤解という意味ではなく、p 値は「正確な」数値であるため、間違いなく知られているが、実際はそうではないということです。 これらは、統計の標本分布におけるサンプルの位置の標本推定値であり、確実に知ることはできません。 小数点以下 5 桁の数値を報告することは、その精度に対する信念を助長するものであり、それは不当であると思います。
では、アナリストは何をすればよいのでしょうか? 1 つのシミュレーション/置換テスト。 私たちの仮定とそれに基づいて得られた p 値を信頼する必要はありません。 データからリサンプリングして経験的なサンプリング分布を生成するシミュレーション テストと順列テストを使用すると、正規分布したサンプリング分布の推定などの特定の仮定を緩和できます。 これらはすべての問題を解決するものではありません (交換可能性、独立性、等分散性などの仮定に従う必要があります) が、おそらく前進です。
この内容の一部がお役に立てば幸いです。 また、質問をすぐに理解できなくて申し訳ありません。私は中心極限定理について話す機会がいつも大好きです。それは本当に魔法です。
@ジュリアン
Re: 中心極限定理 - 素朴な質問JMP ディスカッション ボードでのいくつかのドラマは、私の仕事の一日に素晴らしい追加です (笑)
Re: 中心極限定理 - 素朴な質問私は少しの機知に富んでいますが、少なくともある程度の真剣な熟考があれば、それが和らげられるだろうと思いました。 重要度のしきい値の問題は深刻な問題であり、JMP/SAS の主要人物が多少の指針を提供してくれるだろうと私は信じていました。 The American Statistician Vol 73;S1 (2019) の社説を読むことをお勧めします。
その記事の要旨では、次のことを推奨しています。
- しない関連性または効果が「統計的に有意」であることが判明したかどうか (つまり、p 値が p < 0.05 などの任意のしきい値を超えたかどうか) にのみ基づいて結論を導き出します。
- しない「統計的に有意」であるという理由だけで、関連性や効果が存在すると信じている。
- しない「統計的に有意」ではないという理由だけで、関連性や効果が存在しないと考える人。
- しないp 値は、観察された関連性や効果が偶然だけで生じた確率、あるいは検定仮説が真である確率を与えると信じています。
- 統計的有意性（またはその欠如）に基づいて、科学的または実用的な重要性について何かを結論付けるものではありません。
同誌はさらに、次の声明を確認した。 「自然科学、行動科学、社会科学の各雑誌の編集長に送られ、それぞれの編集委員会と原稿査読者の厩舎に転送される。」
私はこれらの推奨事項に反対するわけではありませんが、指摘したように、これは最終的な推論統計検定における有意水準の解釈を超えて、その答えに到達するためにどの方法が使用されるかを決定するものです。
Re: 中心極限定理 - 素朴な質問私の元同僚に少し付け加えますと、 @ジェフ_パーキンソン氏の返答には、その恐ろしい病気「単数症」についてのコメントを追加するとよいでしょう。 悩みのデータ分析者は、意思決定や行動の指針を決めるために単一の統計 (p 値がその代表的な例) に焦点を当てると、挫折してしまいます。Re: 中心極限定理 - 素朴な質問そうですね、ありがとう、この件に関する私のプレゼンテーションにそれを組み込んでみます - きっと笑われるでしょう!Re: 中心極限定理 - 素朴な質問当てはまらないかもしれませんが、次のような症状に陥っていないか確認してください。レプトクルトシフォビア：非正常性に対する不合理な恐怖。
Re: 中心極限定理 - 素朴な質問明確にするために、タイプ I エラーを回避するために、分散や検出力などに基づいてサンプル サイズ分析を実行できることはわかっていますが、デフォルトでノンパラメトリック テストが回避されるサンプル サイズはありますか?
