予測スクリーニングを使用すべきでないのはどのような場合ですか?予測スクリーニング ツールを使用すべきではない場合があるのか、またある場合、予測スクリーニングの使用時に問題が発生する可能性があるかどうかを把握するためにデータで何を確認すべきなのかを知りたいです。
基本的なデータ分析とモデリングRe: 予測スクリーニングを使用すべきでないのはどのような場合ですか?予測子スクリーニングは非常に価値があると思いますが、他の自動化ツールと同様に、いくつかのことを考慮に入れることはできません。これは、潜在的な予測子が多数ある場合に最も価値がありますが、これらの予測子が密接に関連している場合、自動化された手順をあまり信頼していません。これは、密接に関連した指標が多数あるデータ セットがある場合によくある問題だと思います (たとえば、さまざまな時点でのホテルの空室状況)。予測子スクリーニングだけを使用すると、最も密接に関連した指標が 1 つ取得されるか、複数の指標が選択される可能性があります。または、目立った指標がない可能性もあります (これについてはよくわかりません)。このような場合に私が行うのは、多変量プラットフォームを使用して、密接に関連する予測子を手動で分析することです。次に、予測子スクリーニングで使用する関連する指標の 1 つを選択できます。
他にももっと複雑なケースがあります。予測子スクリーニングでは、既存の変数の関数として新しい変数を作成する必要があるかどうかは特定されません (2 つの測定値の比率など)。名目変数の一部を再コード化する必要があるかどうかもわかりません (この点については私も確信が持てません。実験していないのでわかりません)。一般的に、予測子スクリーニングは通常のデータ クリーニング手順のすべてを置き換えるものではありません。データをクリーニングした後に使用すると最も価値があります。
Re: 予測スクリーニングを使用すべきでないのはどのような場合ですか?ありがとうございます。私もこれは非常に役立つと思うので、どこで失敗する可能性があるのか、またその失敗をどのように確認するのか知りたいです。このツールがベースにしていると思われるブートストラップ フォレスト モデルについてはあまり詳しくありませんが、線形モデルのように多重共線性の影響を受けにくいと簡単に読んだことがあります。ただし、応答と予測子の間に線形関係がある場合、または iid がない場合には失敗する可能性があるとも読みました。しかし、予測子スクリーナーでこれらの仮定をどのように確認するのか、または実際にそうなのかはわかりません。この種のデータ分析にはあまり詳しくないからです。JMP に、仮定の確認などに関して何を探すべきかについてのチュートリアルがあればいいのですが。
Re: 予測スクリーニングを使用すべきでないのはどのような場合ですか?こんにちは@mjz5448 さん
同様のトピックについて私がすでに書いた以前の回答に基づいて、提供された情報のいくつかを説明する補足的な回答を追加するかもしれません。
予測スクリーナーとDOEの違いは?
予測因子スクリーニング
予測因子スクリーニング質問
予測子スクリーニングは、ランダム フォレスト アルゴリズムに基づく方法で、履歴データ内の応答の重要な変数 (特徴の重要度の計算によって識別) を識別するのに役立ちます。データの代表性、実験空間の範囲、欠損値、外れ値の存在、因子間の相互作用、相関関係、または多重共線性によっては、このプラットフォームにショートカットや多くの未知数が含まれる可能性があり、盲目的に信頼すべきではありません ( @dlehman1が述べているように)。
- この分析で得られる分析と洞察は、過去の実験空間に限定されます (システムを十分に理解するには、制限が厳しすぎたり、代表的ではない可能性があります)。これは、生産実験空間 (履歴データ) と R&D (DoE) として考えることができます。生産では、堅牢で高品質の製品を作成するために、要因の小さな変化のみが許可されます (一部は固定されているため、その重要性を判断することはできません)。一方、R&D では目的が異なり、検討対象の要因に広い範囲を使用して、実験空間を調査し、システムの要因を最適化します。
- Predictor スクリーニング プラットフォームでは、モデルは提供されず (JMP Pro で利用可能な Bootstrap Forest とは異なり)、特徴/因子の重要度のみが提供されるため、因子間の相互作用や、分割に使用される因子のしきい値レベル値を識別するのに役立つ個々のツリーやブランチにアクセスできません。
- 背後にあるモデルの品質がわからないため (R²、RMSE、または目的に応じたその他の関連メトリックを通じて)、それによってどの程度の変動性が説明されるか (またはモデルがどの程度正確か)、特徴の重要度の計算がトピックに関連/適切かどうかがわかりません。
- すべての要因がランク付けされているため、重要な要因と重要でない要因の間のしきい値/制限は簡単ではありません。これを解決するには、ランダム要因 (ランダムな値) を追加できます。この手法の例を、価格を応答として JMP のダイヤモンド データセットにランダム要因を追加し、カラット重量を可能な入力として省略したもの (これは非常に重要な予測子であるため、他の予測子を整理するのが難しい例を示したかったのです) に示します。
- このプラットフォームでは、要因間の相関関係や多重共線性の可能性については示されません。 多変量プラットフォームを使用すると、入力、出力、入出力間の相関関係を調べることができます。また、多重共線性を見つけるために、ダミー回帰モデルを作成して要因間の VIF スコアを計算することもできます。
- カーディナリティの高いカテゴリ要因も、特徴の重要度の計算にバイアスをかける可能性があります。カーディナリティ (クラス数) が高いほど、モデルが学習しようとする小さなグループ/クラスが多数データに形成されるため、バイアスが大きくなります。そのため、一般化や「ロジックの理解」に失敗し、結果として過剰適合の可能性が高まり、この機能の重要度が高くなります。
ここでは、同じデータセット、同じ条件で、11 レベル (A から K、"Shuffle[Column10]" という名前) のランダム カテゴリ ファクターを追加した例を示します。この高カーディナリティのカテゴリ ランダム機能は、前に見たランダム数値変数よりも高いランクになります。
多重共線性に関するご質問に関して：
- 変数間の多重共線性は、ランダム フォレストでは各ノードでランダムな特徴サブセット選択によって処理されます。各ノードで、次の分割を決定するために、特徴のサブセットをランダムに作成し、このサブセットでどの特徴 (およびどのしきい値レベル) が応答値に基づいてデータ ポイントを最も適切に分離できるかを評価します。すべての特徴が選択される可能性が等しいため、相関する特徴も選択され、モデルで同様の特徴の重要性を持つことができます。このプロセスは列間の相関の影響を最小限に抑えますが、決定木 (またはブースト ツリー) では存在しません。決定木では、すべての特徴が各ノードでテストされた単一のツリーが作成されます。分割には相関する特徴の 1 つだけが選択される可能性があります。
- ランダム フォレストは、ブートストラップ サンプルで並行してトレーニングされた多数の決定木に基づいて大きなモデルを作成するため、各ツリーはわずかに異なるデータセットでトレーニングされ、各ツリー間の相関 (行間の相関) を減らし、モデルの分散を減らすのにも役立ちます。
ツリーベースモデルに関する詳細情報:
https://community.jmp.com/t5/Mastering-JMP/Understanding-and-Applying-Tree-based-Methods-for-Predictor/tac-p/593506/highlight/true#M370
ランダムフォレストの利点については、 https://www.linkedin.com/posts/victorguiller_doe-machinelearning-randomforests-activity-7127557799810625536-FH7Kをご覧ください。
この補足的な回答がお役に立てば幸いです。
Re: 予測スクリーニングを使用すべきでないのはどのような場合ですか?Victor_G さん、ありがとうございます。多重共線性についての洞察に感謝します。これは私が通常考慮するものではないのですが、今後はそうするように努めます。
データが iid (独立かつ同一に分布) でない場合、予測子スクリーニングが機能するかどうかについて、何か知見はありますか? データに時系列の傾向がある場合、ツリーベース/ランダム フォレスト モデルには制限があり、これを克服することはできますが、何らかの方法でデータを変換する必要があると読みました。ただし、このトピックについて学習しているところなので、それが予測子スクリーニングに当てはまるかどうかはわかりません。
Re: 予測スクリーニングを使用すべきでないのはどのような場合ですか?こんにちは@mjz5448 さん
ランダム フォレストは時系列予測 (およびその他のアルゴリズム) に使用できます。
非 IID データに関する最大の注意点は、データ分割 (トレーニング/検証/テスト) において、データが類似の観察/個人のグループからのものであるかどうか、時間依存性、測定の繰り返しなど、データ内の依存関係/グループを考慮することです。非 IID データのデータ分割が不適切だと、データ漏洩、誤った期待、過度に楽観的な結果につながる可能性があります。
通常、時系列予測では、トレーニングと検証のための特定のデータ分割 (ランダムではなく、「時間ウィンドウ」スタイル) を行う必要があります。これにより、応答/データの時間構造依存性が尊重され、セットアップでデータ漏洩が発生しなくなります。つまり、トレーニングでは、過度に楽観的な予測につながる「未来からの」データは使用されません。
いくつかの読書リソース:
https://machinelearningmastery.com/random-forest-for-time-series-forecasting/
https://mindfulmodeler.substack.com/p/how-to-deal-with-non-iid-data-in
この回答がお役に立てば幸いです。
Re: 予測因子スクリーニングを使用すべきでないのはどのような場合ですか?Victor_Gさん、ありがとうございます。調べてみます。
