부분 최소 자승 매개 변수 분산바라건대이 질문은 의미가 있습니다. 저는 N = 2000 관측치와 p = 160 공변량을 갖는 로지스틱 회귀 분석을하고 있습니다. 디자인 매트릭스에는 명백한 상관 관계 구조가 있으며 간단한 회귀 회귀를 할 때 VIF를 보는 것만 볼 수 있습니다. 나는 PLS를했는데 다른 세트의 계수를 얻는다. 비록 PLS가 가변 감소를하지 않기 때문에 여전히 160 개가있다. PLS 보고서에 새로운 계수 집합의 분산을 찾아서 축소되었음을 알 수 있습니까? 제가 편차에 대한 편견을 거래하고 있기 때문에 나는 이것들을보고 싶다는 것이 합리적입니까?
제목 : Re : Partial least square parameters variance고마워 피터,
문제가되는 것은 적응 형 올가미가 선택 될 때 모델의 큰 차이입니다. 적응 형 모델에서 Scaled-LogLikelihood 값에 최소값이 정의되어 있지 않음을 알 수 있습니다. 또 다른 문제는 모델링 한 Y = 0이고 모델에서 59 개의 용어를 얻는 것입니다. Y = 1을 목표로한다면 71 개의 용어로 완전히 다른 모델을 얻을 수 있습니다. 나는 이것을 얻지 못한다. 적응 형 세트가 없으면 0 또는 1을 대상으로할지 여부는 중요하지 않지만 용어가 다른 기호를 제외하고는 모델이 동일합니다. 적응 결과를 이해하기 어렵다는 것을 알았 기 때문에 내 고객에게 설명 할뿐만 아니라 바닐라 올가미를 고수합니다.
바닐라 올가미를 사용하면 임계 값이 .1522 인 혼란 행렬에서 합당한 성능을 얻을 수 있습니다. 필자는 필 요한 감수성과 특이성이 아마도 충족된다는 의미에서 합리적이라고 말합니다.
그럼에도 우리는 여전히 정규화가 필요한지 여부에 대한 질문이 있습니다. 바닐라 로지스틱 회귀 분석조차도 te 2 AUC가 다소 근접한 결과를 낳습니다. 그러나 심각한 상관 관계가 있다는 것을 알고 있으므로 LR을 사용하고 싶지는 않습니다. 따라서 과핑에 대한 중요한 증거가 없으면 상관 문제 만 해결하기 위해 PLS로 이동합니다. 그러나 JMP는 목표를 연속으로 모델링하기 때문에 보고서에 ROC, AUC 및 혼동 행렬을 모두 얻지는 못합니다. 나는 선형 예측 자에 대한 로짓을 적용함으로써 그것들을 얻을 수있다. 나는 그것이 합법적이라고 생각한다. 그리고 다른 모델들이 엄격하게 로짓 변환을 기반으로 할 때 모델 비교를위한 PLS 결과를 다루는 방법에 대한 나의 원래 질문으로 되돌아 간다. 선형 예측 자.
그런데, 내가하는 일에 대한 내 자신의 철저한 이해가 나에게 매우 중요하기 때문에,이 질문에 대한 귀하의 다이빙에 크게 감사드립니다.
몇 가지 모델과 함께 동일한 데이터 테이블을 포함 시켰습니다.
제목 : Re : Partial least square parameters variance충분한 관찰이있을 때 초과 적용 여부를 확인하는 데 일반적으로 사용되는 기술 중 하나는 Predictive Modeling 플랫폼 콜렉션의 Validation 서브 플랫폼을 사용하여 원래 데이터 세트를 교육, 유효성 검증 및 선택적으로 테스트 그룹화로 나누는 것입니다. 분류 문제의 경우 Y에 층화 표본을 작성하여 각 교육, 검증 및 선택적 테스트 그룹의 모든 응답 수준의 비율을 동일하게 유지하는 것이 가장 좋습니다. 당신은 당신의 대답에 대해 1과 0 레벨 사이에 꽤 큰 불균형을 가지고 있습니다. 따라서 균형이 50/50에 가까운 몇 가지 시나리오를 시도해 볼 수 있습니다. 일단 모델에 맞춘 다음 각 그룹에 대한 ROC 곡선을 조사하십시오 ... 각 그룹과 연관된 AUC가 합리적으로 가까운 경우 ... 과핑의 증거가 부족합니다. 또한 Confusion Matrices를 확인하십시오. 원본 데이터 테이블에서 생성 한 교육 / 유효성 검사 세트에서 얻은 결과에 약간의 불안감이 있습니다. 모델은 실제 1을 0으로 잘못 분류하면 매우 불량합니다. 목표 = 0 내가 사용한 모델링 방식에 관계없이. 첨부 된 데이터 테이블에 logistic, Gen Reg / Lasso 및 Neural Net이라는 세 가지 분석 스크립트를 참조하십시오. 이것이 실용적인 관점에서 문제가된다면 당신의 모델은 잘 맞지 않습니다 ... 과잉에 대해 잊어 버리십시오 ... 그것은 가난한 분류 자일뿐입니다.
제목 : Re : Partial least square parameters variance고마워 피터,
제 경우에는 예측 자의 상관 구조에 관한 것입니다. 내 응용 프로그램에서 가변 감소가 보장된다고 확신하지는 않습니다. 사실 그것은 아직 답변하지 않은 질문이며 모든 예측 변수를 사용하더라도 과핑이 발생하는지 테스트하는 확실한 방법을 찾고 있습니다. 나는 P = 148 공변량을 가진 N = 1839 관측치를 가지고있다. 나는 표를 포함시켰다. 정규 회귀 (명목상의 결과를 연속으로 처리)를 사용하면 매우 큰 VIF가 있음을 알 수 있습니다. 따라서 우리는 로지스틱 회귀 분석을 할 때 문제가 발생할 것이라는 것을 알고 있습니다. 우리는 dure에 대한 상관 관계 문제를 가지고 있지만 어쩌면 overfitting 문제는 아닙니다. 그래서 PLS와 함께갔습니다. 변수를 클러스터링하면 단지 35 개의 클러스터 만 생기므로 148 개의 공변량 내에 35 개 정도의 유익한 기능이 있음을 알 수 있습니다. 그렇다면 왜 상관 관계가 강한 방법을 사용하는 대신에 이들 중 하나를 제거하는 데 집중하십시오.
로지스틱 회귀 분석을하면 AUC는 .815 밖에되지 않습니다. 그래서 모든 공변량을 사용한다고해도 저에게 완벽한 적응을 제공하지 못합니다. AUC <1은 과용이 문제가 아니라고 주장하는 합법적 인 방법입니다.
나는 당신이 가진 어떤 생각이라도 환영한다.
제목 : Re : Partial least square parameters variance유전자:
귀하의 질문은 이해가됩니다 ... 그러나 나는 대안적인 생각을 제시 할 수 있습니까? 변수 감소가 실용적인 문제의 핵심이라면, 적합 모델 -> 일반화 된 회귀 특성 / 플랫폼에서 올가미 또는 탄성 그물 서브 페니 티를 사용하는 것이 고려 되었습니까? 이러한 기법은 예측 자간의 다중 공선성에 적합하지만 고려해야 할 몇 가지 중요한 특성이 있습니다 ... JMP 문서에서 설명합니다. 둘 다 범주 형 응답과 함께 사용할 수 있습니다 ... '최종'매개 변수 추정 신뢰 간격은 매개 변수 추정 테이블과 함께보고됩니다.
