重量のあるモデルこんにちは
いくつかの X 予測子と、右側に大きく偏った連続応答変数との間の相関関係を見つけようとしています。
データベースには 140 個のインスタンスのみが含まれています。
まず、関数 lnx+1 を使用して応答変数を変換しました。
次に、0 から 1 の範囲ですべての x を正規化し、スクリーニング オプションを使用して次元を減らしてから、相関する予測子 X を削除しました。このプロセスをすべて終えると、予測子は 4 つだけになりました。重み付けなしでランダム フォレストを実行すると、トレーニング データの R2 は非常に低くなりました (下の最初のプロットを参照)。次に、放物線のような重み関数を使用して (2 番目のプロットを参照)、ランダム フォレストを再実行しました。最後のプロットに示されているように、結果はより良くなりました。プロットの中心の周りでデータが回転しているように見えます。誰か理由を説明できますか?
重み関数はどのように選択すればよいでしょうか?
データのブレンドとクリーンアップ予測モデリングと機械学習再：重量モデルデータの機能の詳細、および一部のデータのサンプルを提供すると役立つと思います。 一般に、サンプリングが、サンプリングされる母集団を表す重みに対して特別に設計されている調査など、重みが明らかに適切でない限り、分析に重みを付けるのはおかしいと思います。 重みが適切であるもう1つの場所は、回帰分析を実行している場所であり、不均一性が存在します。 しかし、ランダムフォレストでウェイトを使用するのは奇妙なことだと思います。 そのため、機能の数を減らす必要がある理由がランダムフォレストを使用している理由はわかりません。検証によって過剰適合が防止され、手法は最も関連性の高い機能に焦点を合わせる必要があります。 なぜウェイトを使用しているのかについての詳細な説明がなければ、より適切なフィッティングモデルを提供するため、ウェイト関数を適用することには懐疑的です。
再：重量モデルこんにちはデール
私の考えは、サンプルサイズが小さいため、重み関数を使用することでした。低い値と高い値の応答をより重視するようにしました。再：重量モデルこれは正当なことではないと思います。 極端な値がデータで過小評価されている可能性があると感じているようです。 その場合は、別の方法でサンプリングすることをお勧めします。極端な値をオーバーサンプリングしてください。 次に、重み付けが正当化される場合があります。 しかし、データを収集した後に極値を重み付けすることは、期待していることを教えてくれるデータを発明するようなものです。 これらの値をより重くするべきであるという正当な理由は聞いていません。
他のオプションもあります。 変位値回帰は、平均応答ではなく、極値などの特定の変位値を推定することを目的とした手法です。 しかし、それは、これらの極端な値をより大きく重み付けすることとは異なります。
