名目ロジスティック回帰の質問re：保存確率式私は、各樹木に関連するいくつかの環境属性を考慮して、樹木が25年間にわたって生きるか死ぬかを予測するモデルを開発しようとしています。名目ロジスティック回帰モデルを実行したところ、各属性のProb> ChiSqが0.0001未満であることが示されました。これは、環境属性を適切な予測子として使用できることを示唆しているようです。それらがどれほど優れた予測であるかを知りたいので、[確率式の保存]オプションを選択しました。これにより、ライブまたはデッドの予測（最も可能性が高い）を提供する最後の列を含むいくつかの列がテーブルに追加されました。予測はひどいものでした。モデルは、25年後に合計140本の樹木が生きていると予測しましたが、実際にはその数は約1000本でした。それだけでなく、140本の予測された生きている木の多くが実際に死んでいた。だから、私の質問は、なぜ予測が実際のライブ/デッドデータにさえ近くなかったのかということです。
分析データ表Re：名目ロジスティック回帰の質問re：確率式の保存予測が不十分な統計的に有意なモデルを作成できます。 統計的有意性は、これらの有意な用語が応答を説明するのに役立ちますが、適切な適合を保証するものではないことを示しています。
たとえば、継続的な応答がある場合は、次の図を見てください。
モデルは統計的に有意ですが、明らかにうまく予測できません。
モデルがうまく適合しない理由を特定することは、名目ロジスティック回帰では難しい場合があります。 テーブルを「目で確認」するのではなく、予測能力を判断するのに役立ついくつかのこと。
* ROC曲線を要求できます。 曲線下面積（AUC）は、予測能力の指標です。 0.5のAUCが「ベースライン」です。 これは、コインを使って木が生きるかどうかを判断するようなものです。 0.5を超えると、予測能力の証拠が提供され始めます。 0.7を超えるAUCは、まともな予測能力に到達し始めています。 0.9以上は素晴らしいです。
*混同行列を求めることもできます。 これは、観測結果と予測結果の表です。 この表は、基本的に、予測式を保存することによって検討していたものです。 これは、モデルで問題が発生し始めている場所を特定するのに役立ちます。 枯れている木を分類するのに問題がありますか？ それとも、生きている木だけに問題があるのでしょうか。 または両方？
モデルが構築されたデータを評価することを忘れないでください。 生きている木と枯れている木の間のデータはどの程度「バランスが取れている」のでしょうか。 たとえば、枯れている木が1％しかない場合、優れた予測モデルは、すべての木が生きていると言うことです。 99％の精度！ しかし、あまり役に立ちません。 このため、バランスにかなり近い応答があると便利です。
モデルには主な効果のみが含まれていましたか？ 相互作用は役に立ちますか？ 二次項はどうですか？ データは、これらの高次の項を持つモデルをサポートするのに十分「豊富」ですか（これらの高次の項がすでにモデルに含まれている場合、これは素晴らしい質問です！）。
他の人が助けるためにもっと多くのものを追加できると確信していますが、これはあなたの楽しみが本当に始まるところです！ 頑張ってください！
Re：名目ロジスティック回帰の質問re：確率式の保存少し混乱しています...モデルを作成するためのデータはどこで入手しましたか？ ほとんどのモデルが実際にうまく予測できない理由は、モデルの作成に使用されたデータが将来の状況を表していないためです。 これが、データ収集の計画がデータ分析よりもはるかに重要である理由です。 それは難しい状況だと思いますが。 25年間で、予想できた、または予想していなかった多くのことが変わる可能性があります。
Re：名目ロジスティック回帰の質問re：確率式の保存ダン、私は混同行列を実行しました、そしてそれはモデルが枯れ木をきちんと予測していて、それらの3/4を死んでいると正しく予測していることを示しました。しかし、それは生きている木を予測するのにひどいことをしていて、それらの63％が死んでいると予測していました。生きている木の分布と死んだ木の分布は約45％、55％なので、かなりバランスが取れています。なぜモデルは、生きている木ではなく、枯れ木を予測するのに適切な仕事をするのでしょうか？-マーク
Re：名目ロジスティック回帰の質問re：確率式の保存ダンのコメントは関連性がありますが、確認する必要があることの1つは、予測（生きているか死んでいるか）が木を分類するための50％のしきい値に基づいていることです。（ROC曲線からの）AUCが高い場合（0.5よりも1に近い）、ツリーの分類に異なるしきい値を使用すると、より良い予測が得られる可能性があります。これは、データのバランスが非常に悪い場合に特に当てはまります（つまり、枯れ木が非常に少ない場合、ロジスティック回帰から推定される確率のほとんどが非常に低くなり、「死んでいない」というデフォルトの予測が得られる可能性があります。 ）。代替のカットオフ分類確率の混同行列を生成する、使用できる（検索するだけの）優れたアドインがあります。
他のことであなたの説明について私を驚かせました。これは打ち切られたデータのように聞こえます-25年後、生きている木はおそらくすべて同じ健康状態ではありません。環境条件が樹木の枯死の一因となる場合、生き残った樹木もおそらく影響を受けますが、まだ枯れていません。樹木が枯れた時間の測定値がある場合は、生存分析を試すことができます。従属変数は死んだ時間であり、打ち切りデータを分析に使用できます。
Re：名目ロジスティック回帰の質問re：確率式の保存デールは正しいかもしれません。 しかし、カットオフがあまり役割を果たしていないと仮定すると、モデルはDeadの予測に偏っています。 これは、ライブツリーを示すモデルから欠落している可能性のあるものがあることを示しているようです。 それが何なのかわかりません。 また、私の発言が正しいとは完全には確信していません。 ここで、データを見て、その分野の知識を持っている必要があります。
Re：名目ロジスティック回帰の質問re：確率式の保存ダン、私に戻ってきてくれてありがとう。 まず、ROCと混同行列（奇数名）の提案に感謝します。 彼らはとても役に立ちました。 私の最高のモデルは0.798のROCを生成しましたが、これはかなりまともでした。 もちろん、これは25年後の生きている木の総数と死んだ木の総数を予測するものであり、以下に説明するように約63％である個々の木の死んだまたは生きている予測ではありません。 2020年の木は、25年間で約1/3が生き、2/3が死んでいました。 50/50のバランスは取れていませんが、それでも偏りすぎていません。 私はデールの提案を受けて、個々の木を生きているか死んでいるかを分類/予測するために使用される予測しきい値（0.5に設定）を調整することを試しました。 しきい値を0.5に調整する+ 0.284では、ライブツリーとデッドツリーの正しい予測パーセンテージを63％でバランスさせることができましたが、正しい予測の数は、実際には、0.5の予測しきい値に起因するデッド予測に向かって大きく偏った元の数からわずかに（4％）減少しました。 25年間で67％の木の死亡率は本当に高かったと思うかもしれません。 通常の状態になります。 死亡率が高かったのは、私が約10,000本の木を追跡していた地域が25年間で8回燃やされたためです。 - マーク
