일반화된 RSquare와 RSquare의 결과 차이안녕하세요 여러분,
커뮤니티나 JMP 도움말에서 내 질문에 대한 답을 찾으려고 노력했지만 찾을 수 없었습니다. 따라서 누구든지 저에게 올바른 방향을 알려주거나 제가 놓치고 있는 기본 개념이 무엇인지 알려주시면 정말 감사하겠습니다.
저는 3개의 독립 변수(IV)[범주형 2개와 연속형 1개]와 그 중 2개 사이의 상호 작용(다른 하나는 메인 변수를 사용하고 있음)을 사용하여 연속적인 응답(종속 변수 - DV)에 모델을 맞추고 있습니다. 효과). 아래 스크린샷에서 볼 수 있듯이 처음에는 최소 제곱을 사용했습니다.
그러나 예측 플롯에 의한 잔차는 그다지 좋아 보이지 않습니다(몇 가지 특이치가 있습니다).모델에 추가하거나 변환하려는 다른 요인이 무엇이든 상관없이 잔차 플롯을 개선할 수 없었습니다. 내가 얻을 수 있는 최선의 방법은 내 응답을 변경하는 것이었습니다. 이는 이미 위에 표시된 것입니다.
다음으로 Generalized Regression을 통해 Penalized Regression Method(더 구체적으로 Ridge)를 활용하는 방법을 생각해보았습니다. 나는 그것이 이상값에 대해 더 강력할 수 있다는 것을 읽었습니다(일부 편향이 도입되긴 하지만).
저는 표준 최소 제곱을 사용하여 일반화 회귀 분석을 실행하기 시작했습니다.
내가 본 일부 비디오에 따르면 이는 최소 제곱 회귀와 동일한 결과를 생성해야 합니다.
또한 JMP 도움말( https://www.jmp.com/support/help/en/15.2/index.shtml#page/jmp/training-and-validation-measures-of-fit.shtml ) 제공되는 일반화된 RSquare는 0과 1 사이여야 하며 표준 최소 제곱 설정에서 연속 정규 응답을 위해 기존 RSquare로 단순화됩니다. 그러나 아래 스크린샷에서 볼 수 있듯이 Generalized RSquare는 Training 세트의 RSquare와 일치하지만 Validation 세트의 경우에는 일치하지 않습니다(음수임). 다른 통계(예: RASE)는 두 세트(훈련 및 검증)와 모두 일치합니다.
여기서 무슨 일이 일어날 지에 대한 아이디어가 있습니까?
어떤 아이디어나 힌트라도 미리 감사드립니다!
추신: 이 게시물에서 수행하는 모든 작업에는 JMP의 FitModel 플랫폼을 사용했습니다.
데이터 혼합 및 정리Re: 일반화된 RSquare와 RSquare 간의 결과 차이고마워요, 마크! 방금 그것에 대해 티켓을 열었습니다.
답변이 있으면 여기에 게시하겠습니다.Re: 일반화된 RSquare와 RSquare 간의 결과 차이나는 이 토론에서 무엇이 차이를 일으킬 수 있는지 말할 수 없습니다. JMP 기술 지원팀( support@jmp.com ) 그 문제에 대해.
Re: 일반화된 RSquare와 RSquare 간의 결과 차이모든 세부 사항을 알려주시고 GenReg에 대한 추가 정보를 알려주셔서 감사합니다.
하지만 이 경우(응답에 대한 정규 분포를 가정할 때) 여전히 혼란스럽습니다. 두 "플랫폼"(Fit Least Squares 및 GenReg) 사이의 검증 세트 간의 일반화된 Rsquare 값의 차이점을 어떻게 설명할 수 있습니까?
제가 말씀드린 내용을 오해했다면 죄송합니다.
감사합니다!
Re: 일반화된 RSquare와 RSquare 간의 결과 차이맞습니다. 전체 모델의 측정항목은 다른 매개변수화로 변경되어서는 안 됩니다. 물론 개별 용어나 매개변수에 대한 측정항목은 변경됩니다.
따라서 계수는 매개변수화에 따라 동일하지 않으므로 추정값도 달라야 합니다.
OLS 솔루션과 MLE 최적화는 정규 분포 응답을 사용하여 동일한 매개변수화 하에서 동일한 추정값을 도출해야 합니다.
나는 당신을 오해했습니다: GenReg의 표준 최소 제곱 결과는 OLS입니다. 보다 이 페이지 상세 사항은.
Re: 일반화된 RSquare와 RSquare 간의 결과 차이감사합니다!
JMP에서 추정치를 부트스트랩할 수 있는지 전혀 몰랐습니다. 나에게 가르쳐 주셔서 감사합니다!
다른 모든 통찰력에도 감사드립니다. 매우 도움이 됩니다!
Re: 일반화된 RSquare와 RSquare 간의 결과 차이안녕 @마크_베일리 , 다시 연락주셔서 정말 감사드립니다. 제 질문에 대한 여러분의 도움과 인내심에 진심으로 감사드립니다.
예, 이 특정 응답의 경우 모든 이상값이 검증 세트에 있습니다. 그러나 제가 조사하고 있는 다른 응답의 경우 이는 사실이 아닙니다(이상값은 검증 세트와 훈련 세트 모두에 속합니다).
제가 모델링하고 있는 측면에서 저는 이산 사건 시뮬레이션을 사용하여 몇 가지 실험을 실행했습니다(다른 데이터를 가지도록 다른 시드 사용). 이를 바탕으로 관심 있는 네 가지 응답을 계산했습니다(여기서는 하나만 표시했습니다).
이제 저는 이러한 응답에 회귀 모델을 맞추려고 노력하고 있습니다. 왜냐하면 다음 단계는 최적화 모델을 사용하여 관심 있는 응답에 대한 최상의 설정을 찾는 것이기 때문입니다.
내가 아는 한, 매개변수화/코딩은 모델 통계에 영향을 주어서는 안 됩니다. 여기서 뭔가 빠졌나요? ( 코딩 )
또한 선형 회귀 분석과 잔차가 정규 분포를 따르는 경우 OLS와 MLE는 동일한 계수를 나타냅니다. 그렇지 않나요? ( OLS와 MLE )
이에 따르면 일반화 회귀 튜토리얼 게시자: @gail_massari , 8시 35분쯤에 제가 이해한 바로는 @brady_brady 또한 MLE와 OLS 간의 결과가 일치해야 한다고 말합니다.
마지막으로, 분포가 정규일 때 일반화 회귀 분석에서 OLS 대신 MLE를 사용함을 나타내는 JMP 도움말 페이지를 알려 주시겠습니까?
아래 이미지(JMP에서 가져온) 때문에 나는 선택한 분포가 정규인 경우 일반화 회귀 분석이 여전히 OLS를 사용할 것이라는 잘못된 인상을 받았습니다.
감사합니다!
Re: 일반화된 RSquare와 RSquare 간의 결과 차이안녕 @AnnaPaula ,
검증 열의 계층화를 생성하기 위해 계산된 시드를 어떻게 사용했는지 잘 모르겠습니다. 그러나 JMP Pro의 검증 열 플랫폼(GenReg에 액세스할 수 있는 경우 사용 가능)을 사용하면 적합한 반응(Y 변수)에 따라 계층화할 수 있습니다. 모든 이상값이 검증 세트에 있는 경우 두 세트가 어떻게 생성되었는지 다시 생각해 볼 수 있습니다.
고려해야 할 또 다른 사항은 데이터를 맞추는 데 사용되지 않는 테스트 데이터 세트를 다른 데이터 테이블로 완전히 분할하는 것입니다. 훈련/검증 세트에서 여러 모델을 실행하는 경우 테스트 데이터 세트를 사용하여 어떤 모델이 실제로 예측에 가장 적합한지 확인할 수 있습니다. 모델 비교 플랫폼을 사용하면 이 작업을 수행할 수 있습니다. 아마도 당신의 목표는 최고의 예측 능력을 갖는 것이고, 이를 어떻게든 테스트해야 할 것입니다. 그런 일을 할 수 있을 만큼 충분히 큰 세트가 있는 것 같습니다. 예를 들어, 학습 60%, 검증 20%, 테스트 20% 등으로 검증 열을 만듭니다. 테스트 데이터 세트를 완전히 다른 테이블에 하위 집합으로 만든 다음 나머지 훈련/검증 하위 집합을 사용하여 모델을 구축합니다.
R^2에 대한 다른 질문과 그것이 부정적이거나 완전히 일치하지 않는 경우 Mark가 말한 것을 참조하겠습니다.
데이터가 로그 정규 분포인 경우 모델 사양에서 해당 옵션을 선택하는 것이 좋습니다. 그러면 피팅을 수행하는 방법 뒤에 있는 기본 프로세스 중 일부가 변경됩니다.
SLS, GenReg 또는 PLS에서 모델을 생성한 경우 추정 열을 마우스 오른쪽 버튼으로 클릭하고 부트스트랩을 선택하여 추정을 부트스트랩할 수 있습니다. 수천 번 실행한 다음 분포를 살펴보고 해당 항의 계수에 대한 원래 추정치가 많은 추정치의 전체 평균에 가까운지 확인해야 합니다. JMP는 약간 다른 시작점을 사용하여 일부 계산을 실행하므로 여러 가지 다른 추정치를 생성합니다. 그런 다음 해당 분포를 확인하고 전체적으로 1) 첫 번째 시도의 추정치가 정확한지, 2) 효과에 대한 계수가 실제로 기여하는지 확인할 수 있습니다. 많든 아니든. 예를 들어, SLS 플랫폼에서는 효과에 대한 잘못된 발견 비율을 추정하기 위해 효과에 FDR LogWorth 값이 제공됩니다. 값이 2보다 큰 경우(파란색 선) 효과가 실제로 모델에 기여한다는 중요한 증거가 있는 것입니다. 반면에 더 작거나 값 2에 가까울 수도 있습니다. 이러한 FDR 값을 부트스트랩하면 평균과 범위를 찾아 효과가 의미가 있는지 여부를 확인할 수 있습니다. 효과가 경계선에 있을 수 있는 것처럼 보이는 경우가 있었고 FDR을 부트스트래핑한 후 대부분의 시간은 실제로 2를 넘지 않았으므로 모델에서 실제로 전역적으로 중요한 요소는 아니었습니다.
마지막으로, 다른 플랫폼이 귀하의 데이터/상황에 가장 적합한지 확인하기 위해 부스트 트리, 부트스트랩 포리스트, NN 등 다양한 종류의 모델링 플랫폼을 실행하는 것이 좋습니다.
도움이 되었기를 바랍니다!,
DS
Re: 일반화된 RSquare와 RSquare 간의 결과 차이원래 잔차 그림에서 이상값이 모두 검증 홀드아웃 세트에 있는 것으로 나타났습니다.
일반화 회귀는 최소 제곱 적합과 다른 매개변수화를 사용합니다. 이 페이지를 참조하십시오 통계적 세부사항 . 또한 다른 추정 방법(MLE vs OLS)을 사용합니다.
Re: 일반화된 RSquare와 RSquare 간의 결과 차이안녕 @SDF1
귀하의 답변과 통찰력에 진심으로 감사드립니다. 그것들은 매우 도움이 되며 제가 생각했던 몇 가지 사항과 일치합니다.
더 많은 통찰력을 제공할 수 있도록 여기에 몇 가지 추가 정보를 제공하겠습니다(정말 감사하겠습니다).
1. 검증 열을 기반으로 한 계층화된 응답은 (매우) 유사한 분포를 갖습니다. 제가 Mark에게 설명했듯이, 반응은 다양한 시드를 사용하여 생성된 컴퓨터 실험을 기반으로 계산되었습니다(그리고 시드를 사용하여 훈련 및 검증 세트로 계층화했습니다).
2. 내가 과적합했다고 가정해 보겠습니다. 주요 질문은 다음과 같습니다.
훈련 세트에 대한 RSquare가 FitModel에서 직접 또는 일반화 회귀를 통해 LeastSquares를 사용하여 0.9995인 반면 검증 세트에 대한 RSquare는 왜 0.9791 FitModel에서 직접 LeastSquares를 사용하고 -1.24e+12 일반화 회귀를 통해 최소 제곱 사용 .
검증 세트에 대한 RSquare 값의 차이점을 이해하지 못합니다. (과적합이 있더라도) 값은 동일해야 하지 않나요?
3. 내 모델에 해당 용어를 포함시킬 이유가 있다고 생각합니다. 첫째, 내 응답은 서로 다른 복제 수(하나의 범주형 IV)를 기반으로 하는 서로 다른 데이터와 서로 다른 클러스터 수(두 번째 범주형 IV)를 기반으로 하는 서로 다른 "공식/데이터"를 사용하여 계산되었습니다. 반응을 계산하기 위한 알려진 이론적 공식은 도착률(연속 IV)을 고려합니다. 왜냐하면 해당 값이 생성된 데이터에 영향을 미치기 때문입니다.
JMP에서 부트스트래핑을 어떻게 수행할 수 있는지 잘 모르겠습니다. 하지만 저는 수동으로 다른 모델을 시도해 보았고(항을 사용하거나 사용하지 않고) Forward Stepwise를 사용해 보았습니다. 두 경우 모두 결과는 두 개의 범주형 IV + 상호 작용 + 연속형 IV가 가장 좋은 모델임을 보여주었습니다.
4. 귀하의 마지막 요점은 실제로 누군가가 이 토론에 참여하기를 바랐던 것입니다.
내 응답은 실제로 Normal이 아닙니다(사실 LogNormal입니다).
그래서 Ridge나 ElasticNet을 사용해보면서 조정해보겠습니다.
하지만 내 응답이 정상이 아니더라도 내가 업로드한 두 이미지의 유효성 검사 세트에 대한 RSquare 값이 일치하면 안 되나요?
귀하의 통찰력에 진심으로 감사드립니다!
Re: 일반화된 RSquare와 RSquare 간의 결과 차이죄송합니다 @마크_베일리 , 제 질문이 명확하지 않은 것 같습니다.
당신이 말했듯이 나는 Ridge를 사용하지 않았습니다(그것이 나의 다음 단계가 될 것입니다). 하지만 먼저 일반화 회귀 모델을 통해 최소 제곱 방법을 다시 사용하여 결과가 FitModel 창에서 직접 LeastSquares를 사용한 결과와 일치하는지 확인했습니다. 내 결과가 일치하지 않았기 때문에 나는 Ridge(내 다음 단계)를 시도하지도 못했습니다.
그런데 궁금해요 일반화 회귀를 통한 LeastSquares의 결과가 FitModel에서 직접 LeastSquares를 통한 결과와 일치하지 않는 이유 . 어떤 아이디어가 있나요?
귀하의 질문에 답변:
1. 연속형 예측변수는 상호작용 항에 포함되지 않습니다.
2. 상호작용 효과를 제거해야 하는지 여부를 결정하기 위해 단계적으로 사용했으며 추정치를 직접 사용했습니다.
3. Log, Logistic, Logit, Reciprocal을 시도해봤습니다. Reciprocal을 사용하면 모델이 많이 저하됩니다. Logistic을 사용하면 통계(R-제곱, RASE)가 약간 개선되지만 잔차 그림은 개선되지 않습니다. 따라서 제 생각에는 변환의 사용을 정당화할 만한 것이 없습니다.
4. 훈련 및 검증은 내가 가지고 있는 그룹을 기반으로 정의되었습니다(이는 다양한 무작위 시드를 사용한 컴퓨터 실험입니다). 저는 시드를 사용하여 데이터를 그룹으로 분리하고 해당 열을 홀드아웃 유효성 검사 열로 사용했습니다.
5. 부정적인 것과 관련된 나의 질문은 다음과 같습니다. 일반화된 R-제곱 , 처음 JMP 도움말을 읽었을 때 0과 1 사이에만 갈 수 있다고 생각했습니다. 하지만 네, 저는 그 공식을 찾았고 우리가 볼 수 있듯이 0 아래로 내려갈 수도 있습니다:
| Nagelkerke / Cragg & Uhler's(일반화된 RSquare) | 
|
감사합니다!
Re: 일반화된 RSquare와 RSquare 간의 결과 차이안녕 @AnnaPaula ,
내가 올바르게 이해했다면 일종의 유효성 검사 열에 따라 분할한 데이터 세트가 있습니다. 고려해야 할 한 가지는 훈련 열과 검증 열이 모두 비슷한 분포를 갖도록 응답에 대한 검증 열을 계층화했는지 여부입니다.
R^2가 음수이기 때문에 이는 데이터가 과적합되었음을 나타냅니다. 모델에 포함된 항이 정말 중요한지 확인하기 위해 추정치에 대한 부트스트래핑을 수행해 보셨나요? 혼합용어를 포함시키는 이론적 근거가 있나요?
또한 Ridge와 Lasso가 결합된 Elastic Net을 사용해 보는 것도 좋습니다. 고려해야 할 또 다른 사항은 응답 분포가 실제로 정규적인지 또는 다른 분포가 데이터에 더 적합한지 여부입니다.
DS
Re: 일반화된 RSquare와 RSquare 간의 결과 차이연속형 예측변수가 상호작용 항에 포함되어 있습니까? 생략된 상호작용에 대한 추정치를 사용하여 제거해야 하는지 결정했습니까, 아니면 처음부터 제외했습니까?
어떤 반응의 변화를 시도했습니까?
벌점 회귀와 최소 제곱 회귀는 일반적으로 모델 매개변수의 동일한 추정값으로 이어지지 않으므로 R 제곱은 동일하지 않습니다. 귀하의 사진은 Ridge Regression이 아닌 OLS 결과를 보여줍니다.
학습 및 검증 결과는 최상의 편견 없는 모델과 유사해야 하지만 동일해서는 안 됩니다. 검증을 위한 홀드아웃 세트를 어떻게 결정했나요?
음의 R 제곱이 가능합니다.
