代替カットオフ混同行列代替カットオフ確率混同行列アドインを何度も使用しました。突然、一部のデータ セットで意味不明な結果が生成されました。古いデータ セットでは期待どおりに機能することを確認しました。添付されているのは、機能していないと思われる最近のデータ セットの 1 つです。ターゲット変数は Stroke で、Validation 列と、モデリング方法の名前が与えられた脳卒中の確率でラベル付けされた予測モデル確率がいくつかあります (たとえば、ブースト ツリーまたはロジスティック回帰というラベルの付いた列を見ると、正しく機能していない 2 つの例がわかります)。脳卒中はデータセットでは非常にまれ (約 5%) であり、予測モデルから得られる確率もそれに応じて小さくなります。しかし、アドインと 0.1 から 0.9 のカットオフ確率の範囲を使用すると、脳卒中の予測がゼロになり続けます。これは、これらのモデルの確率の分布 (前述のように、低いですがゼロではありません) と一致しません。なぜこのようなことが起こるのか、誰か説明できますか?
ありがとう。
データの探索と視覚化予測モデリングと機械学習Re: 代替カットオフ混同行列やあ、 @dale_lehman .
The Alternate Cut-off Confusion Matrix Add-In がお役に立てば幸いです。これは数年前に開発され、パーティション、ニューラル (JMP Pro のみ)、またはモデルの適合レポートから保存された予測 (または確率) 列のみに基づいていました。 これは、予測値列の説明に記載されています。ここ.他の種類の予測で見られる動作を喜んで調査し、このページを私の調査結果で更新します。
Re: 代替カットオフ混同行列かしら@ウェンディ_マーフリー～について何らかの洞察があるかもしれない代替カットオフ混同行列アドインここ。
Re: 代替カットオフ混同行列なぜ機能しなくなったのかわかりません。誰かがその部分を理解できればいいと思います。 ご提供いただいたデータ テーブルで、ご説明いただいたのと同じ動作を確認できました。 モデルを再実行したときになぜ機能したのかわかりません。 数式やおかしな動作をさせるような矛盾は見つかりませんでした。Re: 代替カットオフ混同行列ディードリヒ
ありがとう - あなたの返信を解決策としてマークしますが、誰かがなぜこれが起こったのか説明できるかどうか本当に聞きたいです.実際、これらのモデルを再実行すると、アドインは意図したとおりに機能しますが、提出した元のファイルでは機能しませんでした。これらのモデルによって生成された確率が正しい混同行列を生成するはずであったとしてもです。そのため、アドインが突然正常に動作しなくなり、再び動作するようになった理由がわかりません。JMP Pro15.2.1 も実行しています。
検証セットは非常に不均衡であるため、層別化に関する他の点に同意します。今回はそれをしませんでしたが、それが理にかなっている理由はよくわかりました。
Re: 代替カットオフ混同行列やあ@dale_lehman 、
代替カットオフ混同行列アドインが、投稿で言及した予測列で機能しないことを確認できます。 ただし、使用したのと同じ予測子と応答に従ってブースト ツリー プラットフォームを再実行し、方程式が同じであることを確認しましたが、代替カットオフ マトリックス アドインはこの新しい式で正しく機能しました。 適合名目ロジスティックでも同じことがわかりました。 それを再実行すると (別の式になってしまいます)、別のカットオフを実行でき、期待どおりに機能します。 JMP Pro 15.2.1 を実行しています。 あなたの2つのフィット感は少しずれているかもしれません。 フィットの ROC 曲線をチェックして、それらが対角線の上にあるかどうかを確認しましたか。 テーブルにはこれら 2 つのモデル式のスクリプトが保存されていないため、近似がどの程度うまく機能しているかを評価するのは困難です。 新しい方程式が機能するかどうかを確認するために、ロジスティック ツリー モデルとブースト ツリー モデルを再度適合させてみましたか? もう一度実行すると、アドインで動作します。
別の注意として、検証列の生成にランダム シードを使用していることに気付きました。 stroke==1 のインスタンスはほとんどないため、これを考慮できるように、ストロークで階層化された検証列を作成することを検討してください。 また、ノミナル ロジスティック フィットを実行する場合、ターゲット レベルを 0 ではなく 1 でモデル化する方がよい場合があります。おそらく、脳卒中の可能性 (ストローク ==1) と脳卒中のない可能性 (ストローク==0)。
ほんの少しの考え。 お役に立てれば。
幸運を！、
DS
