パーティション プラットフォームには等分散が必要ですか?非常に右に偏ったデータ（添付の分布 Leaks/mi Yr を参照）があり、パイプの約 4,000,000 セグメントで約 400 件の漏れしかありません。パーティション プラットフォームを使用して、漏れ率の差があるモデルの要因を特定しています。しかし、私のデータは不等分散を示しています（添付の RefService2023wLeaks - FitY by X、5 回の分散テストのうち 4 回で失敗）。パーティション プラットフォームでは等分散が必要ですか? 中心値定理により、この大規模なデータ セットでは、平均値の有意差について正確な結果が得られると想定できますか (添付のパーティションの例を参照)?
ありがとう
基本的なデータ分析とモデリングRe: パーティション プラットフォームには等分散が必要ですか?1つ目 - これは本当に楽しいデータセットのようです。
パーティションが使用するモデリング方法には、ほとんど仮定がありません。特に大量のデータを扱う場合には、非常に優れたエントリー レベルのデータ マイニング ツールです。
また、分析 > スクリーニング > 予測子スクリーニングも参照してください。応答変数と、必要な数の「X」変数を入力するだけです。楽しみのために、ツリーの数を 500 に調整することもできます。
各ツリーの列と行をランダムに選択して多数のツリーを構築するため、不良データや外れ値、および応答と非常に相関する X に対して非常に堅牢です。繰り返しますが、仮定はほとんどありません。
Re: パーティション プラットフォームには等分散が必要ですか?@Byron_JMPからの素晴らしい回答を詳しく説明すると、決定木は非常にシンプルですが強力なアルゴリズムです。決定木には、理解と解釈が容易であること、カテゴリと数値の入力と出力を処理できること、欠損値を処理できること、外れ値に対して堅牢であること、非線形関係を検出できること、特徴/予測子の選択とランク付けを実行できることなど、データ マイニングに効果的な選択肢となるいくつかの利点があります。
従来のパラメトリック仮定は想定していませんが、注意すべき点がいくつかあります。
- 予測子間の多重共線性と相関性をチェックします。決定木はすべての予測子を使用してデータの分割を作成し、Y 値で最適な分割を提供する予測子を選択するため、相関予測子と多重共線性が問題になる可能性があります。これは、一部の予測子が共通の情報を共有しているために除外され、考慮されない可能性があるためです。
- 過剰適合に注意: 決定木は過剰適合になりがちです。数値データを完全に分類したり回帰したりするために、ツリーを非常に深く拡張する可能性があるためです。検証戦略 (K 分割クロス検証、Leave-One-Out、または検証セット。データ量は問題にならないようです) を用意し、作成されたモデルが手元のタスクに対して複雑すぎないことを確認することをお勧めします。最大深度 (分割数) と最小サイズの分割を設定すると、過剰適合のリスクを軽減できます。
- トレーニング データのサンプルと代表性: 決定木は貪欲アルゴリズム (情報ゲインを最大化するため、またはエントロピーを減らすためにデータを分割する) であるため、使用されるトレーニング データに非常に敏感です。データに小さな変更があると、決定木によって提供されるルールが変わる可能性があります。過剰適合を回避し、結果の一般化を確実にするために、データの代表性とノイズに関する考慮事項に対処する必要があります。
@Byron_JMPが提案しているように、ランダム フォレスト (JMP Pro のブートストラップ フォレストプラットフォームまたは JMP の予測子スクリーニングから利用可能) を使用すると興味深いことがよくあります。この手法では、さまざまなメカニズム/テクニックによって、決定木の欠点が軽減されるためです。ブートストラップされたサンプルで並行してトレーニングされた複数の独立したツリーを作成し (トレーニング セットに対する感度を低減し、一般化を保証し、「Out-Of-Bag」サンプル結果による確認/検証を可能にするため)、各分割では予測子のサブセットのみを考慮する (各予測子が、他の予測子と相関している場合でも、分割に選択される可能性が同じになるようにするため、より多様なツリーと、一般化パフォーマンスの優れたツリーのアンサンブルが可能になる)。
この補足的な回答がお役に立てば幸いです。
