名義ロジスティック回帰に関する質問：保存確率の公式について各樹木に関連するいくつかの環境属性に基づいて、25年間で樹木が生存するか枯死するかを予測するモデルを開発しようとしています。名義ロジスティック回帰モデルを実行したところ、各属性の Prob>ChiSq が < 0.0001 であることが示され、環境属性が良好な予測因子として使用できることが示唆されました。予測の精度を確認するために、「確率式の保存」オプションを選択しました。これにより、最後の列を含むいくつかの列がテーブルに追加され、最後の列には予測（最も可能性が高い）、生存、または枯死が表示されました。予測はひどいものでした。モデルは、25年後に合計 140 本の樹木が生存すると予測しましたが、実際にはその数は約 1000 本でした。それだけでなく、予測された 140 本の樹木の多くは実際には枯死していました。そこで質問なのですが、なぜ予測は実際の生存/枯死データに全く近づかなかったのでしょうか？
消費者および市場調査コンテンツの構成データ探索と可視化結果の共有と伝達Re: Nominal Logistic Regression question re: Save Probability Formula についてはい、私はこれを知っていましたが、生存曲線の典型的な段階的な描写ではありません.また、このオプションは、各カテゴリの平均生存時間を提供します。ご清聴ありがとうございました。
Re: Nominal Logistic Regression question re: Save Probability Formula について実際には、Life Distribution を使用して複数のグループをプロットできます。
Re: Nominal Logistic Regression question re: Save Probability Formula についてごめんね、デール。Count 列は、その期間中に枯れた木の数です。Count の合計が 10,000 近くにならない理由は、これらが 3 つの書き込みユニットの 1 つからのデータであったためです。1 つのグラフで 7 つのグループすべての生存曲線を取得する方法を見つけました。Reliability と Survival を選択したら、(Life Distribution ではなく) Survival を選択します。これにより、7 つのグループすべての生存曲線が 1 つのグラフに表示されます。Survival オプトインは、データ列 (この場合はカウント) に、各期間で死亡または失敗したユニットの数がリストされていることを期待しています。とても気の利いた。
Re: Nominal Logistic Regression question re: Save Probability Formula についてあなたが添付したデータテーブルには、各期間の生きている木と死んでいる木の数に関するデータはありません（「数」が何を表しているのかわかりませんが、10,000本の木は考慮されていません）。そのため、データからそのビジュアルを取得しようとすることはできません。ただし、各グループの生存グラフが別々にあり、それらを同じグラフに表示したい場合は、「グラフのコピー」を使用して、1 つのグラフを別のグラフにコピー アンド ペーストし、それらを重ね合わせる必要があります。生存分析を自動的に行う方法があるかもしれませんが、添付した表からあなたのデータがどのようなものかわかりません.
Re: Nominal Logistic Regression question re: Save Probability Formula についてわかりました。生存分析を実行できる頻度列を使用してデータを入力する方法を理解したと思います。「グループの比較」オプションを選択すると、結果は死亡率曲線と 2 つのグループの平均生存時間を示します。後者は私が探していたものです。「生命分布」オプションを選択すると、結果は各グループの個々の生命生存曲線を別々のグラフで示します。単一のグラフで両方のグループの生存曲線を取得する方法はありますか? （データをExcelにコピーすることで、単一のグラフに両方の生存曲線を簡単に表示できることはわかっていますが、JMPでもこれを実行できるはずです。）何か提案はありますか？参考までに、データテーブルを含めました。単一のグラフに生存曲線を表示する結果を取得する方法はありますか?提案をありがとう.--マーク
Re: Nominal Logistic Regression question re: Save Probability Formula について25 年間にわたる 7 つのグループの木の平均または中央値の生存時間を計算する表をどのように設定すればよいでしょうか。10,000 本近くの木が関係しており、それぞれの木の死に至るまでの時間を入力したくありません。私が各グループについて持っているのは、25 の期間ごとにまだ生きている木の数と、各期間で枯れた木の数です。すべてのグループには、25 年後もまだ生きている木があるので (数本、数本)、表にも打ち切りを組み込む必要があります。上記のデータを用いて生存分析表を作成することはできますか？10,000本の木それぞれの生存時間を入力しなければならないという見通しはかなり暗いので、そう願っています。以前のコメントと提案に感謝します。彼らはとても役に立ちました!--マーク
Re: Nominal Logistic Regression question re: Save Probability Formula についてダン、戻ってきてくれてありがとう。 まず、ROC と混同行列 (変な名前) の提案に感謝します。 彼らはとても役に立ちました。 私の最高のモデルは 0.798 の ROC を生成しましたが、これはかなりまともなものでした。 もちろん、これは 25 年後の生木と枯死木の全体数を予測するものであり、後述するように約 63% の個々の木の生死予測ではありません。 2020 年の樹木は、25 年間で約 3 分の 1 が生きていて、3 分の 2 が枯れていました。 50/50 のバランスではありませんが、偏りすぎていません。 私はデールの提案を取り入れ、個々の木を生きているか死んでいるかを分類/予測するために使用される予測しきい値 (0.5 に設定) を調整してみました。 しきい値を 0.5 に調整することによって+ 0.284 の場合、ライブ ツリーとデッド ツリーの正しい予測パーセンテージを 63% でバランスさせることができましたが、予測しきい値が 0.5 であるため、実際には正しい予測の数は元の予測よりわずかに (4%) 減少し、デッド予測に大きく偏っていました。 25 年間で 67% の木の死亡率は非常に高いと思うかもしれません。 正常な状態であろう。 死亡率が高いのは、約 10,000 本の木を追跡していた地域が 25 年間で 8 回も焼失したためです。 - マーク
Re: Nominal Logistic Regression question re: Save Probability Formula についてデールは正しいかもしれません。 しかし、カットオフがあまり役割を果たしていないと仮定すると、モデルは死亡を予測する方向に偏っています。 これは、ライブ ツリーを示す何かがモデルに欠けている可能性があることを示しているようです。 それが何であるかはわかりません。 また、私の発言が正しいと完全に確信しているわけではありません。 ここでデータを見て、その分野の知識が必要になります。
Re: Nominal Logistic Regression question re: Save Probability Formula についてDan のコメントは関連性がありますが、確認すべきことの 1 つは、予測 (生きているか死んでいるか) が木を分類するための 50% のしきい値に基づいていることです。AUC (ROC 曲線から) が高い (0.5 よりも 1 に近い) 場合、ツリーの分類に別のしきい値を使用すると、予測が向上する可能性があります。これは、データが非常に不均衡な場合に特に当てはまります (つまり、枯れ木がほとんどない場合、ロジスティック回帰から推定される確率のほとんどが非常に低くなり、デフォルトの予測が「死んでいない」になる可能性があります)。 ）。別のカットオフ分類確率の混同行列を生成する、使用できる優れたアドインがあります (検索するだけです)。
他のことはあなたの説明について私を驚かせました。これは検閲されたデータのように聞こえます.25年後、生きている木はおそらくすべて同じ健康状態ではありません.環境条件が樹木の死に寄与する場合、生き残った樹木も影響を受ける可能性がありますが、まだ枯れているわけではありません。木が枯れた時間の測定値がある場合は、生存分析を試すことができます。この場合、従属変数は死の時間であり、打ち切られたデータを分析に使用できます。
Re: Nominal Logistic Regression question re: Save Probability Formula についてダン、混同行列を実行したところ、モデルが適切に枯れ木を予測しており、それらの 3/4 を枯れていると正しく予測していることが示されました。しかし、生きている木の予測はひどいもので、63% が死んでいると予測していました。生きている木と枯れている木の分布は約 45%、55% で、かなりバランスが取れています。モデルが枯れ木を適切に予測し、生きている木を予測しないのはなぜですか? -- マーク
Re: Nominal Logistic Regression question re: Save Probability Formula について少し混乱しています...モデルを作成するためのデータはどこから入手しましたか? ほとんどのモデルが実際にうまく予測できない理由は、モデルの作成に使用されたデータが将来の状況を表していないためです。 これが、データ収集の計画がデータ分析よりもはるかに重要である理由です。 それは難しい状況だと言いますが。 25 年以内に、予想できた、または予想できなかった多くのことが変わる可能性があります。
Re: Nominal Logistic Regression question re: Save Probability Formula について予測が不十分な統計的に有意なモデルを持つことができます。 統計的有意性は、これらの重要な用語が応答を説明するのに役立つことを示していますが、適切な適合を保証するものではありません。
たとえば、連続応答の場合、次の図を見てください。
モデルは統計的に有意ですが、明らかにうまく予測できません。
名義ロジスティック回帰では、モデルがうまく適合しない理由を特定するのが難しい場合があります。 テーブルを「目で見る」のではなく、予測能力を判断するのに役立ついくつかのこと。
※ROC曲線を求めることができます。 曲線下面積 (AUC) は、予測能力の指標です。 0.5 の AUC が「ベースライン」です。 これは、コインを使って木が生きているかどうかを判断するようなものです。 0.5 を超えると、予測能力の証拠が提供され始めます。 0.7 を超える AUC は、まともな予測能力を獲得し始めています。 0.9以上は素晴らしいです。
※混同行列を求めることもできます。 これは、観測結果と予測結果の表です。 この表は、基本的に予測式を保存して検討していたものです。 これは、モデルで問題が発生し始めている場所を特定するのに役立ちます。 枯れた木を分類するのは難しいですか？ それとも生きている木だけで困っているのでしょうか？ または両方？
モデルが構築されたデータを評価することを忘れないでください。 生きている木と枯れた木のデータはどの程度「バランス」がとれていますか? たとえば、枯れている木が 1% しかない場合、優れた予測モデルは、すべての木が生きているということです。 99％の精度！ あまり役に立ちませんが。 このため、バランスにかなり近いレスポンスを持つことが役立ちます。
モデルには主効果のみが含まれていましたか? インタラクションは役に立ちますか？ 二次項はどうですか？ これらの高次項を含むモデルをサポートするのに十分なほどデータが「豊富」ですか (これらの高次項がすでにモデルに含まれている場合、これは大きな問題です!)。
別のモデリング手法を試すこともできます。 おそらく、パーティションまたはツリー モデルを試してみるとよいでしょう。 他のツールもあります。
他の人が役立つものを追加できると確信していますが、ここからあなたの楽しみが本当に始まります! 頑張ってください！
