代替カットオフ混同行列私は、代替のカットオフ確率混同行列アドインを何度も使用しました。突然、一部のデータセットで無意味な結果が生成されています。古いデータセットでも期待どおりに機能することを確認しました。添付されているのは、機能していないように見える最近のデータセットの1つです。ターゲット変数はStrokeであり、Validation列と、モデリング方法の名前が付けられたストロークの確率でラベル付けされたいくつかの予測モデル確率があります（たとえば、ブーストツリーまたはロジスティック回帰とラベル付けされた列を見てください。正しく機能していません）。データセット内で脳卒中は非常にまれであり（約5％）、予測モデルから導出される確率はそれに応じて小さくなります。しかし、アドインと0.1から0.9までのカットオフ確率の範囲を使用すると、ストロークの予測がゼロになり続けます。これは、これらのモデルからの確率の分布と一致しません（私が言ったように、これは低いですが、ゼロではありません）。なぜこれが起こっているのか誰かが光を当てることができますか？
ありがとう。
分析Re：代替カットオフ混同行列こんにちは@dale_lehman 、
代替のカットオフ混同行列アドインが、投稿で言及した予測列で機能しないことを確認できます。 ただし、使用したのと同じ予測子と応答に従ってBoosted Treeプラットフォームを再実行し、方程式が同じであることを確認しましたが、代替のカットオフ行列アドインはこの新しい数式で正しく機能しました。 適合名目ロジスティックでも同じことがわかりました。 再実行すると（最終的には別の方程式になります）、代替カットオフを実行でき、期待どおりに機能します。 JMP Pro15.2.1を実行しています。 あなたの2つのフィットで何かが少しずれているかもしれません。 ROC曲線の近似をチェックして、対角線より上にあるかどうかを確認しましたか。 テーブルにこれら2つのモデル数式の保存されたスクリプトがなかったため、近似がどの程度うまく機能するかを評価するのは困難です。 新しい方程式が機能するかどうかを確認するために、ロジスティックモデルとブーストツリーモデルを再度適合させてみましたか？ もう一度実行すると、アドインで動作します。
別の注意点として、検証列の生成にランダムシードを使用していることに気付きました。 ストローク== 1のインスタンスは非常に少ないため、これを考慮に入れることができるように、ストロークで階層化された検証列を作成することを検討してください。 また、名目ロジスティックフィットを実行する場合は、ストロークの可能性（stroke == 1）とストロークがない可能性（stroke == 1）を予測しようとしているため、ターゲットレベルを0ではなく1でモデル化する方がよい場合があります。ストローク== 0）。
いくつかの考え。 お役に立てれば。
がんばろう！、
DS
Re：代替カットオフ混同行列ディードリッヒ
ありがとう-私はあなたの返事を解決策としてマークしますが、誰かがこれが起こった理由を説明できるかどうか本当に聞きたいです。実際、これらのモデルを再実行すると、アドインは意図したとおりに機能しますが、送信した元のファイルでは機能しませんでした。これらのモデルによって生成された確率によって正しい混同行列が生成されたはずです。だから、なぜアドインが突然正しく機能しなくなって、再び機能したのかわかりません。JMPPro15.2.1も実行しています。
検証セットは非常に不均衡であるため、層別化についての他の点に同意します。今回はそうしませんでしたが、そうすることが理にかなっている理由をよく知っていました。
Re：代替カットオフ混同行列なぜそれが機能しなくなったのか分かりません。誰かがその部分を理解できればいいのですが。 あなたが提供したデータテーブルであなたが説明したのと同じ振る舞いを確認することができました。 モデルを再実行したときになぜ機能したのかわかりません。 数式との矛盾や、それを面白くするようなものは見つかりませんでした。Re：代替カットオフ混同行列かしら@Wendy_Murphreyについての洞察を持っているかもしれません代替カットオフ混同行列アドインここに。
