명목 로지스틱 회귀 분석에서 '확률 저장 공식'에 대한 질문입니다.저는 각 나무와 관련된 몇 가지 환경적 특성을 바탕으로 25년 동안 나무가 살지 죽을지 예측하는 모델을 개발하려고 합니다. 명목 로지스틱 회귀 모델을 실행한 결과, 각 특성에 대한 Prob>ChiSq 값이 0.0001 미만으로 나타나 환경적 특성이 좋은 예측 변수로 사용될 수 있음을 시사했습니다. 예측 정확도를 확인하기 위해 '확률 공식 저장' 옵션을 선택했습니다. 이 옵션을 선택하면 표에 여러 열이 추가되고, 마지막 열에는 예측값(가장 가능성이 높은 값), 생존 또는 사망 여부가 표시됩니다. 하지만 예측 결과는 매우 좋지 않았습니다. 모델은 25년 후에도 나무가 살아있을 것이라고 140그루만 예측했지만, 실제로는 약 1000그루였습니다. 게다가, 예측에서 살아있을 것으로 나온 140그루 중 상당수는 이미 죽은 상태였습니다. 따라서 제 질문은 왜 예측값이 실제 생존/사망 데이터와 전혀 일치하지 않는지입니다.
소비자 및 시장 조사콘텐츠 구성데이터 탐색 및 시각화결과 공유 및 소통Re: Nominal Logistic Regression 질문 re: Save Probability Formula예, 알고 있었지만 생존 곡선의 전형적인 단계별 묘사는 아닙니다.또한 이 옵션은 각 범주에 대한 평균 생존 시간을 제공합니다.모든 관심과 조언에 감사드립니다!
Re: Nominal Logistic Regression 질문 re: Save Probability Formula실제로 Life Distribution을 사용하여 둘 이상의 그룹을 그릴 수 있습니다.
Re: Nominal Logistic Regression 질문 re: Save Probability Formula미안해, 데일.개수 열은 해당 기간 동안 죽은 나무의 수입니다.Count가 거의 10,000까지 합산되지 않는 이유는 이것이 3개의 굽기 장치 중 하나의 데이터이기 때문입니다.하나의 그래프에서 7개 그룹 모두에 대한 생존 곡선을 얻는 방법을 찾았습니다.신뢰성 및 생존을 선택한 후 생존(생명 분배 대신)을 선택하십시오.이렇게 하면 7개 그룹 모두에 대한 생존 곡선이 하나의 그래프에 표시됩니다.Survival 옵션은 데이터 열(이 경우 개수)이 각 기간에 죽거나 실패한 유닛의 수를 나열할 것으로 예상합니다.아주 멋지다.
Re: Nominal Logistic Regression 질문 re: Save Probability Formula첨부한 데이터 테이블에는 각 기간 동안 살아있는 나무와 죽은 나무의 수에 대한 데이터가 없습니다("개수"가 무엇을 나타내는지 잘 모르겠지만 10,000그루의 나무를 설명하지 않습니다).따라서 데이터에서 해당 시각적 개체를 가져오려고 시도할 수 없습니다.그러나 각 그룹에 대한 생존 그래프가 별도로 있고 동일한 그래프에 표시하려는 경우 "그래프 복사"를 사용하여 하나의 그래프를 복사하여 다른 그래프에 붙여넣을 수 있으며 오버레이되어야 합니다.자동으로 생존 분석을 수행하는 방법이 있을 수 있지만 첨부한 표에서 데이터가 어떤 것인지 알 수 없습니다.
Re: Nominal Logistic Regression 질문 re: Save Probability Formula자, 생존 분석을 실행할 수 있는 빈도 열로 데이터를 입력하는 방법을 알아낸 것 같습니다.'그룹 비교' 옵션을 선택한 후 결과는 두 그룹의 사망률 곡선과 평균 생존 시간을 보여줍니다. 후자는 내가 찾던 것입니다.'생명 분포' 옵션을 선택하면 결과에 각 그룹의 개별 수명 곡선이 별도의 그래프로 표시됩니다.단일 그래프에서 두 그룹의 생존 곡선을 얻을 수 있는 방법이 있습니까? (데이터를 Excel로 복사하여 하나의 그래프에 두 생존 곡선을 쉽게 표시할 수 있다는 것을 알고 있지만 JMP에서도 이 작업을 수행할 수 있어야 할 것 같습니다.) 제안 사항이 있습니까?참고로 데이터 테이블을 포함했습니다.단일 그래프에 생존 곡선을 표시하기 위해 결과를 얻을 수 있는 방법이 있습니까?제안해 주셔서 감사합니다.--마크
Re: Nominal Logistic Regression 질문 re: Save Probability Formula25년 동안 7개의 나무 그룹에 대한 평균 또는 중간 생존 시간을 계산하기 위해 표를 어떻게 설정합니까?거의 10,000 그루의 나무가 관련되어 있으며 각 나무의 죽음까지의 시간을 입력하고 싶지 않습니다.각 그룹에 대해 내가 가지고 있는 것은 각 25개 기간 동안 아직 살아있는 나무의 수와 각 기간에 죽은 나무의 수입니다.모든 그룹에는 25년이 지난 후에도 여전히 살아있는 나무가 있으므로(일부는 적고 일부는 많음) 테이블에도 검열을 통합해야 합니다.위의 데이터를 이용하여 생존 분석표를 만들 수 있습니까?10,000 그루의 나무 각각에 대한 생존 시간을 입력해야 하는 전망이 매우 어둡기 때문에 그렇게 되기를 바랍니다.이전 의견과 제안에 대해 대단히 감사합니다.그들은 매우 도움이 되었습니다!--마크
Re: Nominal Logistic Regression 질문 re: Save Probability Formula댄, 다시 연락 주셔서 감사합니다. 먼저, ROC 및 혼란 행렬(이상한 이름) 제안에 대해 대단히 감사합니다. 그들은 매우 도움이 되었습니다. 내 최고의 모델은 0.798의 ROC를 생성했으며 이는 꽤 괜찮았습니다. 물론 이것은 25년 후 살아 있는 나무와 죽은 나무의 전체 수를 예측한 것이지 아래에 설명된 대로 약 63%가 나온 개별 나무에 대한 죽은 나무 또는 살아있는 나무의 예측이 아닙니다. 2020년 나무는 25년 동안 약 1/3이 살아 있고 2/3가 죽었습니다. 50/50 균형은 아니지만 너무 왜곡되지는 않습니다. 나는 Dale의 제안을 받아들여 개별 나무를 살아 있거나 죽은 것으로 분류/예측하는 데 사용되는 예측 임계값(0.5로 설정)을 조정하면서 놀았습니다. 임계값을 0.5로 조정하여 + 0.284, 나는 63%에서 균형 잡힌 살아있는 나무와 죽은 나무에 대한 정확한 예측 백분율을 얻을 수 있었지만, 올바른 예측의 수는 0.5 예측 임계값으로 인해 죽은 예측으로 크게 치우친 원래에서 실제로 약간(4%) 감소했습니다. 25년 동안 67%의 나무 고사율이 정말 높다고 생각할 수도 있습니다. 정상적인 조건일 것입니다. 사망률이 높은 이유는 약 10,000그루의 나무를 추적하고 있던 지역이 25년 동안 8번이나 불에 탔기 때문입니다. --표시
Re: Nominal Logistic Regression 질문 re: Save Probability Formula데일이 옳을 수도 있습니다. 그러나 컷오프가 큰 역할을 하지 않는다고 가정하면 모델이 Dead를 예측하는 쪽으로 편향되어 있습니다. 그것은 라이브 트리를 나타내는 모델에서 누락되었을 가능성이 있는 무언가가 있음을 나타내는 것 같습니다. 나는 그것이 무엇인지 당신에게 말할 수 없습니다. 나는 또한 내 진술이 정확하다고 완전히 확신하지 못합니다. 이때 데이터를 살펴보고 현장에 대한 지식이 필요합니다.
Re: Nominal Logistic Regression 질문 re: Save Probability FormulaDan의 의견은 관련이 있지만 한 가지 확인해야 할 사항은 예측(살아 있거나 죽은)이 나무를 분류하기 위한 50% 임계값을 기반으로 한다는 것입니다.AUC(ROC 곡선에서)가 높으면(0.5보다 1에 더 가까움) 트리를 분류하기 위해 다른 임계값을 사용하면 더 나은 예측 결과를 얻을 수 있습니다.이것은 특히 데이터가 매우 불균형한 경우에 해당됩니다(즉, 죽은 나무가 거의 없는 경우 로지스틱 회귀에서 추정된 대부분의 확률이 상당히 낮을 가능성이 높으므로 "죽지 않음"이라는 기본 예측이 생성됨) ).대체 컷오프 분류 확률에 대한 혼동 행렬을 생성하는 멋진 추가 기능을 사용할 수 있습니다(검색만 하면 됨).
다른 점은 당신의 설명에 대해 저를 놀라게 했습니다.이것은 검열된 데이터인 것처럼 들립니다. 25년이 지난 후에도 살아있는 나무는 아마도 모두 같은 건강 상태가 아닐 것입니다.환경 조건이 나무 고사에 기여하는 경우 살아남은 나무도 영향을 받지만 아직 죽지는 않았습니다.나무가 죽은 시간을 측정한 경우 생존 분석을 시도할 수 있습니다. 여기서 종속 변수는 사망 시간이고 중도절단된 데이터를 분석에 사용할 수 있습니다.
Re: Nominal Logistic Regression 질문 re: Save Probability FormulaDan, Confusion Matrix를 실행했는데 모델이 죽은 나무를 적절하게 예측하고 3/4을 죽은 나무로 정확하게 예측하고 있음을 보여주었습니다.그러나 살아 있는 나무를 예측하는 것은 끔찍한 일이었습니다. 나무의 63%가 죽은 것으로 예측했습니다.살아있는 나무와 죽은 나무의 분포가 약 45%,55%로 꽤 균형이 잡혀 있습니다.모델이 살아있는 나무가 아닌 죽은 나무에 대한 예측을 제대로 수행하는 이유는 무엇입니까?--Mark
Re: Nominal Logistic Regression 질문 re: Save Probability Formula좀 혼란스럽네요... 모델을 생성하기 위한 데이터는 어디서 얻었나요? 대부분의 모델이 실제로 잘 예측하지 못하는 이유는 모델을 만드는 데 사용된 데이터가 미래 조건을 대표하지 않기 때문입니다. 이것이 데이터 수집 계획이 데이터 분석보다 훨씬 더 중요한 이유입니다. 어려운 상황이라고 말하겠지만. 25년 동안 예상할 수 있거나 예상하지 못한 많은 것들이 변할 수 있습니다.
Re: Nominal Logistic Regression 질문 re: Save Probability Formula잘못된 예측 작업을 수행하는 통계적으로 유의미한 모델을 가질 수 있습니다. 통계적 의미는 이러한 의미 있는 용어가 반응을 설명하는 데 도움이 되지만 좋은 적합성을 보장하지는 않는다는 것을 의미합니다.
예를 들어 연속 응답이 있는 경우 다음 그림을 보십시오.
이 모델은 통계적으로 유의하지만 분명히 잘 예측하지 못할 것입니다.
모델이 적합하지 않은 이유를 결정하는 것은 명목형 로지스틱 회귀로 어려울 수 있습니다. 테이블을 "눈으로 보는" 것보다 예측 능력을 결정하는 데 도움이 될 수 있는 몇 가지 사항입니다.
* ROC 곡선을 요청할 수 있습니다. AUC(Area Under the Curve)는 예측 능력을 나타냅니다. 0.5의 AUC가 "기준선"입니다. 이것은 동전을 사용하여 나무가 살 것인지 아닌지를 결정하는 것과 같습니다. 0.5 이상이면 예측 능력의 증거를 제공하기 시작합니다. 0.7 이상의 AUC는 괜찮은 예측 능력에 도달하기 시작했습니다. 0.9 이상은 환상적입니다.
* 혼란 매트릭스를 요청할 수도 있습니다. 이것은 관찰된 결과와 예측된 결과의 표입니다. 이 테이블은 본질적으로 예측 공식을 저장하여 고려한 것입니다. 이렇게 하면 모델에서 문제가 발생하기 시작하는 위치를 파악하는 데 도움이 될 수 있습니다. 죽은 나무를 분류하는 데 문제가 있습니까? 아니면 살아있는 나무에만 문제가 있습니까? 아니면 둘다?
모델이 구축된 데이터를 평가하는 것을 잊지 마십시오. 살아있는 나무와 죽은 나무 사이의 데이터는 얼마나 "균형"입니까? 예를 들어 나무의 1%만 죽은 경우 모든 나무가 살아 있다고 말하는 것이 훌륭한 예측 모델이 될 것입니다. 정확도 99%! 그다지 도움이 되지는 않습니다. 이러한 이유로 균형에 가까운 반응을 갖는 것이 도움이 될 수 있습니다.
모델에 주효과만 포함되었습니까? 상호 작용이 도움이 될까요? 이차 항은 어떻습니까? 데이터가 이러한 고차 항이 있는 모델을 지원할 만큼 충분히 "풍부"합니까(이는 고차 항이 이미 모델에 있는 경우 좋은 질문입니다!).
다른 모델링 기법을 시도해 볼 수도 있습니다. 아마도 파티션 또는 트리 모델을 시도하는 것이 좋을 것입니다. 다른 도구도 있습니다.
다른 사람들이 더 많은 도움을 줄 수 있다고 확신하지만 여기에서 진정한 즐거움이 시작됩니다! 행운을 빌어 요!
