非対称コスト/不均衡データセットを用いた予測モデリングこんにちは、
JMP Proの予測モデリングプラットフォーム(パーティション、ランダムフォレストなど)に対して、マイノリティクラスを誤って予測することに高いコストを割り当てるように指示するにはどうすればよいですか。私は偽陰性(急性患者の再入院率)のための高い費用と非常に不均衡なデータセットを持っています、そして、私が分類子を使うとき、AUCは低く、すべての陽性ケースは誤って分類されます。
この問題に対処するために利用可能なツールについて助けてください。
ありがとう
非対称コスト/不均衡データセットを用いた予測モデリング指摘したように、AUCを改善し、非対称的な費用/便益を取り入れることは、2つの異なることです。 AUCはモデルが正しく分類する能力と関係がありますが、利益マトリックスは分類エラーを最も少ないダメージを与える場所に向けます。 AUCの尺度は悪くないが分類が(1の値のいずれかを分類しないなど)コストのかかるミスをしている場合は、分類に対して別のカットオフ確率を試す必要があります。誤分類を変更するために、手動でカットオフ確率を変更することもできます。 それでもまだ得られるものが気に入らない場合は、より優れたモデル(より高いAUCを生み出すもの)が必要です。 誤分類のコストについては何もAUCを引き上げません - より良いモデルだけがAUCを引き上げることができます。 そのため、より良いモデルが必要な場合は、他の手法、変数の変換、モデル設定の変更などを試してください。しかし、モデル自体を改善するために利益マトリックスを使用しないでください。
非対称コスト/不均衡データセットを用いた予測モデリング私はすべてのモデルを試しましたが、この不均衡なデータセットのため、すべてのゼロケースは正しく分類され、すべての1つのケースは誤って分類されます。原価計算の偏りは論理的にはAUCを最適化できるはずですが、それがなぜそれに影響しないのか理解してはいけません。それが私を困惑させています。
非対称コスト/不均衡データセットを用いた予測モデリング今のように聞こえますあなたは本当にただ改良されたAUCを手に入れようとしています。今までは、ツリーベースのモデルについてだけ話してきました。あなたはニューラルネットワーク技術を試しましたか?
非対称コスト/不均衡データセットを用いた予測モデリングそれでは、どのようにしてモデルの感度率を高めることができるでしょうか。とAUC?結果を分類するときにAUCがコストを考慮に入れるための他の方法は何ですか?ありがとう
非対称コスト/不均衡データセットを用いた予測モデリング利益マトリックスを使用してもAUCは変わりません。 選択された確率カットオフを変更するだけです - それはあなたが指定した非対称の利益/コストに従ってこれを選択します。 基本的には、利益マトリックスに従ってROC曲線上の点を選択しています(確信はありませんが、相対的なエラーコストがROC曲線の傾きと等しくなる最適な点だと思います)。 予測を保存すると、最適な分類に関連付けられた収益性を示す追加の列が表示されます。また、その分類はデフォルトの分類とは異なります(コストが非対称の場合)。
非対称コスト/不均衡データセットを用いた予測モデリングありがとう。私はそれを試しましたが、私のモデルのAUCは異なる方法の下でまだ同じです。それはモデルが少数派クラスにより高い重要性を割り当てることを強制しなかった。
非対称コスト/不均衡データセットを用いた予測モデリング利益マトリックスは、予測モデルを構築する前に列のプロパティとして定義することができます。 しかし、私は利益マトリックスに記入するのが困難であったことに気づくでしょう - JMPヘルプガイドの例は明らかですが、実際の状況とはしばしば一致しません。 あなたが決定問題があなたが偽陽性と陰性のコストがいくらであるかを正確に指定することができるようであるならば、利益マトリックスはうまくいくべきです。 例えば、JMPの例は、航空路線予約を行っているエージェントのためのものです。ここで、誤った予測はエージェントに既知の追加コストをもたらします。 一方、顧客維持のようなものを予測している場合、誤った予測のコストはそれほど明確ではありません。 あなたが誤って顧客を失うことを予測した場合、あなたはおそらく顧客を維持しようとするために余分な費用がかかるでしょう。 一部の顧客にとって、これは彼らを失われたものから保持されたものに変えることができますが、確かにこれは100%効果的ではないでしょう。 そのような場合に利益マトリックスに何を入れるべきかを理解するのは複雑になります - そして私はその機能を使用しないことをお勧めします。 代替カットオフと混同行列を見た方が良いでしょう。
非対称コスト/不均衡データセットを用いた予測モデリングこれで何か助けがありますか?
非対称コスト/不均衡データセットを用いた予測モデリング私はそれがどのように機能するのか理解していないのかわからない。私が理解しているのは、モデルを実行した後に利益マトリックスが表示されるということです。少数派クラスに高いコストを指定し、予測を構築するときにモデルがそれを考慮に入れるようにしたいと思います。
あなたはそれを達成するための手順について詳しく説明することができますか?
ありがとう
非対称コスト/不均衡データセットを用いた予測モデリングを見てください利益マトリックス (そしてこれからリンクします)。