Generalized RSquare와 RSquare의 결과 차이안녕하세요 여러분,
커뮤니티 나 JMP 도움말에서 내 질문에 대한 답을 찾으려고했지만 찾을 수 없었습니다. 그래서 누군가가 나를 올바른 방향으로 안내하거나 내가 놓친 기본 개념이 무엇인지 알려 주면 정말 감사하겠습니다.
3 개의 독립 변수 (IV) [2 개 범주 형 및 1 개 연속 형]와 이들 중 2 개 간의 상호 작용 (다른 하나는 메인 효과). 아래 스크린 샷에서 볼 수 있듯이 먼저 최소 제곱을 사용했습니다.
그러나 예측 된 플롯에 의한 잔차는 그다지 좋아 보이지 않습니다 (이상 값이 있습니다).모델 또는 변환에 추가하려고 시도한 다른 요인에 관계없이 잔차 그림을 개선 할 수 없었습니다. 내가 얻을 수있는 최선의 방법은 내가 이미 위에 보여주고있는 내 응답의 변경을 사용하는 것입니다.
다음으로 Generalized Regression을 통해 Penalized Regression Method (보다 구체적으로 Ridge)를 사용하는 것에 대해 생각했습니다. 나는 그것이 특이 치에 더 강할 수 있다고 읽었습니다 (편견을 도입 할지라도).
Standard Least Squares로 일반화 회귀를 실행하기 시작했습니다.
내가 본 일부 비디오에 따르면, 이것은 최소 제곱 회귀와 동일한 결과를 생성해야합니다.
또한 JMP 도움말 ( https://www.jmp.com/support/help/en/15.2/index.shtml#page/jmp/training-and-validation-measures-of-fit.shtml ) 제공된 일반화 RSquare는 0과 1 사이 여야하며 표준 최소 제곱 설정에서 연속 정규 응답에 대해 기존 RSquare로 단순화됩니다. 그러나 아래 스크린 샷에서 볼 수 있듯이 Generalized RSquare는 Training 세트의 RSquare와 일치하지만 Validation 세트와는 일치하지 않습니다 (음수 임). 다른 통계 (예 : RASE)는 두 세트 (교육 및 검증)와 일치합니다.
여기서 무슨 일이 일어날 지에 대한 아이디어가 있습니까?
아이디어와 힌트에 대해 미리 감사드립니다!
추신 :이 게시물에서하는 모든 작업에는 JMP의 FitModel 플랫폼을 사용했습니다.
해석학Re : Generalized RSquare와 RSquare의 결과 차이연속 예측 변수가 상호 작용 항에 포함됩니까? 생략 된 상호 작용에 대한 추정치를 사용하여 제거해야한다고 결정 했습니까? 아니면 처음부터 생략 했습니까?
응답의 어떤 변형을 시도 했습니까?
페널티 회귀 및 최소 제곱 회귀는 일반적으로 모델 모수의 동일한 추정치로 이어지지 않으므로 R 제곱은 동일하지 않습니다. 귀하의 사진은 Ridge Regression이 아닌 OLS 결과를 보여줍니다.
훈련 및 검증 결과는 최상의 편향되지 않은 모델과 유사해야하지만 동일하지는 않습니다. 검증을위한 홀드 아웃 세트를 어떻게 결정 했습니까?
음의 R 제곱이 가능합니다.
Re : Generalized RSquare와 RSquare의 결과 차이안녕하세요 헉헉 ,
내가 올바르게 이해했다면 어떤 종류의 유효성 검사 열에 따라 분할 한 데이터 세트가 있습니다. 고려해야 할 한 가지 사항은 학습 및 검증 열이 유사한 분포를 갖도록하기 위해 응답에서 검증 열을 계층화했는지 여부입니다.
R ^ 2가 음수이므로 데이터를 과적 합하고 있음을 나타냅니다. 모델에있는 용어가 정말 중요한지 확인하기 위해 추정치에 대한 부트 스트랩을 수행 했습니까? 혼합 용어를 포함하는 이론적 근거가 있습니까?
또한 Ridge와 Lasso의 조합이기 때문에 Elastic Net을 사용해 볼 수도 있습니다. 고려해야 할 또 다른 사항은 반응 분포가 실제로 정규 분포인지 아니면 다른 분포가 데이터에 더 적합한 지 여부입니다.
DS
Re : Generalized RSquare와 RSquare의 결과 차이죄송합니다 뿡뿡 , 내 질문에 대해 명확하지 않은 것 같습니다.
말씀 하셨듯이 저는 Ridge를 사용하지 않았습니다 (다음 단계가 될 것입니다). 그러나 먼저, 결과가 FitModel 창에서 직접 LeastSquares를 사용하여 결과와 일치하는지 확인하기 위해 (Generalized Regression 모델을 통해) Least Squares 방법을 다시 사용했습니다. 내 결과가 일치하지 않았기 때문에 Ridge (다음 단계)를 시도하지도 않았습니다.
하지만 궁금 해요 LeastSquares에서 Generalized Regression까지의 결과가 FitModel에서 직접 LeastSquares를 통해 얻은 결과와 일치하지 않는 이유 . 아이디어가 있습니까?
질문에 대한 답변 :
1. 연속 예측 변수는 상호 작용 항에 포함되지 않습니다.
2. 상호 작용 효과를 제거해야하는지 여부를 결정하기 위해 단계적으로 사용했고 추정치를 직접 사용했습니다.
3. Log, Logistic, Logit 및 Reciprocal을 시도했습니다. 상호를 사용하면 모델이 많이 저하됩니다. Logistic을 사용하면 통계 (R-square, RASE)가 약간 개선되지만 잔차 그림에서는 개선되지 않습니다. 그래서 제 생각에는 변형의 사용을 정당화 할 수 없습니다.
4. 훈련 및 검증은 내가 보유한 그룹을 기반으로 정의되었습니다 (다른 무작위 시드를 사용한 컴퓨터 실험 임). 시드를 사용하여 데이터를 그룹으로 분리하고 해당 열을 홀드 아웃 유효성 검사 열로 사용했습니다.
5. 부정과 관련된 내 질문은 일반화 된 R- 제곱 , JMP 도움말을 처음 읽었을 때 0과 1 사이에서만 가능하다고 생각했습니다. 하지만 예, 저는 그 공식을 찾았고 우리가 볼 수 있듯이 0 이하로 내려갈 수도 있습니다.
| Nagelkerke / Cragg & Uhler 's (일반화 된 RSquare) | 
|
감사합니다!
Re : Generalized RSquare와 RSquare의 결과 차이안녕하세요 @DS
귀하의 답변과 통찰력에 감사드립니다. 그것들은 매우 도움이되며 제가 생각했던 몇 가지 사항과 일치합니다.
더 많은 통찰력을 제공 할 수 있도록 여기에 추가 정보를 제공하겠습니다 (정말 감사하겠습니다).
1. 유효성 검사 열을 기반으로 한 계층화 된 응답은 (매우) 유사한 분포를 가지고 있습니다. Mark에게 설명했듯이 응답은 다른 시드를 사용하여 생성 된 컴퓨터 실험을 기반으로 계산되었습니다 (그리고 시드를 사용하여 훈련 및 검증 세트로 계층화).
2. 내가 과적 합하다고 가정 해 봅시다. 주요 질문은 다음과 같습니다.
훈련 세트에 대한 RSquare가 FitModel에서 직접 또는 Generalized Regression을 통해 LeastSquares를 사용하여 0.9995이고 검증 세트에 대한 RSquare가 0.9791 FitModel에서 직접 LeastSquares를 사용하고 -1.24e + 12 일반화 회귀를 통해 최소 제곱 사용 .
검증 세트에 대한 RSquare 값의 차이점을 이해하지 못합니다. 과적 합이 있더라도 값이 같아야하지 않습니까?
3. 모델에 용어를 포함 할 이유가 있다고 생각합니다. 첫째, 내 응답은 서로 다른 복제 횟수 (하나의 범주 IV)를 기반으로 한 서로 다른 데이터와 서로 다른 클러스터 수 (두 번째 범주 IV)를 기반으로하는 서로 다른 "공식 / 데이터"로 계산되었습니다. 반응을 계산하는 알려진 이론적 공식은 도달률 (연속 IV)을 고려합니다. 그 값은 생성 된 데이터에 영향을 미치기 때문입니다.
JMP에서 부트 스트랩을 어떻게 수행할지 모르겠습니다. 그러나 나는 다른 모델을 수동으로 (용어 유무에 관계없이) 시도했으며 Forward Stepwise를 사용해 보았습니다. 두 경우 모두 결과는 두 개의 범주 IV + 상호 작용 + 연속 IV가 최상의 모델임을 보여줍니다.
4. 당신의 마지막 요점은 실제로 누군가가이 토론에 가져 오기를 바랬던 것입니다.
내 응답은 실제로 정상이 아닙니다 (사실 LogNormal입니다).
따라서 Ridge 또는 ElasticNet을 시도 할 때이를 조정하겠습니다.
하지만 내 응답이 정상이 아니더라도 업로드 한 두 이미지의 유효성 검사 세트에 대한 RSquare 값이 일치하지 않아야합니까?
귀하의 통찰력에 감사드립니다!
Re : Generalized RSquare와 RSquare의 결과 차이원래 잔차 그림에서 이상 값이 모두 검증 홀드 아웃 세트에있는 것처럼 보였습니다.
일반화 회귀는 최소 제곱 적합과 다른 매개 변수화를 사용합니다. 이 페이지를 참조하십시오 통계 정보 . 또한 다른 추정 방법 (MLE 대 OLS)을 사용합니다.
Re : Generalized RSquare와 RSquare의 결과 차이안녕하세요 헉헉 ,
계산 된 시드를 사용하여 유효성 검사 열의 계층화를 생성 한 방법을 잘 모르겠습니다. 그러나 JMP Pro에서 유효성 검사 열 플랫폼 (GenReg에 액세스 할 수있는 경우 보유)을 사용하는 경우 피팅하는 응답 (Y 변수)에 대해 계층화 할 수 있습니다. 모든 특이 치가 검증 세트에있는 경우 두 세트를 생성 한 방법을 다시 생각할 수 있습니다.
고려할 수있는 또 다른 요점은 데이터를 맞추는 데 사용되지 않는 테스트 데이터 세트를 다른 데이터 테이블로 완전히 분리하는 것입니다. 학습 / 검증 세트에서 여러 모델을 실행하는 경우 테스트 데이터 세트를 사용하여 어떤 모델이 실제로 예측에 가장 적합한 지 확인할 수 있습니다. 모델 비교 플랫폼을 사용하여이를 수행 할 수 있습니다. 아마도 당신의 목표는 최고의 예측 능력을 갖는 것이며 어떻게 든 그것을 테스트해야합니다. 그런 식으로 할 수있을만큼 충분히 큰 세트가있는 것 같습니다. 예를 들어 60 % train, 20 % validation, 20 % test와 같은 유효성 검사 열을 만듭니다. 테스트 데이터 세트를 완전히 다른 테이블로 서브 세트 한 다음 나머지 학습 / 검증 서브 세트를 사용하여 모델을 빌드합니다.
R ^ 2에 대한 다른 질문과 부정적이거나 일치하지 않는 경우 Mark가 말한 것을 참조하겠습니다.
데이터가 로그 정규 분포를 따르는 경우 모델 사양에서 해당 옵션을 선택하면 피팅을 수행하는 방법의 일부 기본 프로세스가 변경됩니다.
SLS 또는 GenReg 또는 PLS에서 모델을 생성 한 경우 Estimate 열을 마우스 오른쪽 단추로 클릭하고 부트 스트랩을 선택하여 Estimates를 부트 스트랩 할 수 있습니다. 수천 개를 실행 한 다음 해당 항의 계수에 대한 원래 추정치가 많은 추정치의 전역 평균에 가까운 지 확인하기 위해 분포를보고 싶을 것입니다. JMP는 시작점이 약간 다른 일부 계산을 실행하므로 여러 가지 추정치를 생성합니다. 그러면 해당 분포를 확인하고 전체 1) 첫 번째 시도의 추정치가 정확한지, 2) 효과에 대한 계수가 실제로 기여하는지 확인할 수 있습니다. 많든 아니든. 예를 들어, SLS 플랫폼에서 효과에 대한 잘못된 발견 비율을 추정하기 위해 효과에 FDR LogWorth 값이 제공됩니다. 값이> 2 (파란색 선)이면 효과가 실제로 모델에 기여한다는 중요한 증거가 있습니다. 반면에 더 작거나 값 2에 가까울 수 있습니다. 이러한 FDR 값을 부트 스트랩하면 평균과 범위를 찾아 효과가 의미있는 것인지 여부를 확인할 수 있습니다. 효과가 경계선이 될 수있는 것처럼 보였고 FDR을 부트 스트랩 한 후 대부분의 시간은 실제로 2를 넘지 않았기 때문에 실제로 모델에서 전 세계적으로 중요한 요소가 아닙니다.
마지막으로, 부스트 트리, 부트 스트랩 포리스트, NN 등 여러 다른 종류의 모델링 플랫폼을 실행하여 다른 플랫폼이 데이터 / 상황에 가장 적합한 지 확인하는 것이 좋습니다.
도움이 되었기를 바랍니다!,
DS
Re : Generalized RSquare와 RSquare의 결과 차이안녕하세요 뿡뿡 , 다시 연락해 주셔서 감사합니다. 제 질문에 대한 모든 도움과 인내심에 감사드립니다.
예,이 특정 응답에 대해 모든 이상 값이 검증 세트에 있습니다. 그러나 내가 조사중인 다른 응답의 경우 이것은 사실이 아닙니다 (이상 값은 검증 및 훈련 세트 모두에 속합니다).
내가 모델링하는 것과 관련하여 : 개별 이벤트 시뮬레이션을 사용하여 몇 가지 실험을 실행했습니다 (다른 데이터를 갖도록 다른 시드 사용). 이를 바탕으로 관심있는 네 가지 응답을 계산했습니다 (여기서는 하나만 표시했습니다).
이제는 회귀 모델을 해당 응답에 맞추려고합니다. 다음 단계는 최적화 모델을 사용하여 관심있는 응답에 대한 최상의 설정을 찾는 것입니다.
내가 아는 한, 매개 변수화 / 코딩은 모델 통계에 영향을주지 않아야합니다. 여기에 뭔가 빠졌나요? ( 코딩 )
또한 선형 회귀 및 잔차가 정규 분포를 따르는 경우 OLS와 MLE는 동일한 계수를 생성합니다. 그렇지 않나요? ( OLS 및 MLE )
이것에 따르면 일반화 회귀 튜토리얼 게시자 : 안녕하세요. , 약 8:35, 제 이해는 헉헉 또한 MLE와 OLS 간의 결과가 일치해야한다고 말합니다.
마지막으로, 일반화 회귀가 분포가 정상일 때 OLS 대신 MLE를 사용함을 나타내는 JMP 도움말 페이지를 알려주시겠습니까?
아래 이미지 (JMP에서 가져옴) 때문에 선택한 분포가 Normal이면 Generalized Regression이 OLS를 계속 사용한다는 잘못된 인상을 받았습니다.
감사합니다!
Re : Generalized RSquare와 RSquare의 결과 차이감사합니다!
JMP에서 추정치를 부트 스트랩 할 수 있을지 몰랐습니다. 가르쳐 주셔서 감사합니다!
다른 모든 통찰력에 대해서도 감사드립니다. 매우 유용합니다!
Re : Generalized RSquare와 RSquare의 결과 차이맞습니다. 전체 모델에 대한 메트릭은 다른 매개 변수화로 변경되어서는 안됩니다. 물론 개별 용어 또는 매개 변수에 대한 메트릭이 변경됩니다.
따라서 계수는 매개 변수화가 다르면 동일하지 않으므로 추정값도 달라야합니다.
OLS 솔루션과 MLE 최적화는 정규 분포 응답을 사용하여 동일한 매개 변수화 하에서 동일한 추정치를 이끌어 내야합니다.
나는 당신을 잘못 인도했습니다 : GenReg의 표준 최소 제곱 결과는 OLS입니다. 보다 이 페이지 상세 사항은.
