예측 Rsquare내 모델이 과적합되는지 여부를 테스트하기 위해 예측된 Rsquare를 사용하고 싶었습니다.저는 이에 대해 잘 몰라서 예측 Rsquare에 대해 몇 가지 질문이 있습니다.
1. 예측된 Rsquare에 대해 얼마나 더 작은지 과적합의 신호입니까?조정된 R-제곱이 0.94이고 예측된 R-제곱이 0.84이면 괜찮습니까?
2. 예측 Rsquare가 어떻게 계산되었는지 완전히 이해하지 못합니다.매번 하나의 데이터 포인트가 필요하고 회귀 모델을 얻고 해당 데이터 포인트를 다시 넣고 R-제곱을 얻는다는 것을 알고 있습니다. 모든 데이터 포인트에 대해 반복하고 얻은 R-제곱을 평균화합니다.그러나 이러한 회귀 모델을 얻는 방법은 무엇입니까? JMP는 모델을 얻기 위해 기계 학습 접근 방식을 사용합니까? 그 회귀 모델이 내가 선택한 모델과 다른가요?
3. 모형에 요인이 많을수록 예측 R-제곱이 더 많이 떨어질 것이라고 말하는 것이 항상 사실이 아님을 발견했습니다. 예를 들어, 요인이 2개인 모델은 요인이 3개인 모델보다 예측 R-제곱이 더 낮을 수 있음을 발견했습니다(세 번째 요인의 ap 값은 0.05보다 (훨씬) 더 큼).이 경우 모형에 2~3개의 요인을 포함해야 합니까?
Re: 예측 RsquareMark의 의견에 덧붙이자면, 사양보다 모델을 결정하는 방법 중 하나는 조정된 R-제곱과 R-제곱 사이의 델타를 사용하는 것입니다. R-제곱은 모델의 자유도 수가 증가함에 따라 증가합니다(해당 DF가 중요한지 여부에 관계없이). 조정된 R-제곱은 모델에서 DF의 "중요도"를 고려하므로 모델에 중요하지 않은 자유도를 추가하면 델타가 증가합니다(조정된 R-제곱은 R-제곱의 비율로 증가하지 않음) .
Re: 예측 Rsquare모델 선택에 R 제곱을 사용하면 안 됩니다. 모델을 더 복잡하게 만들면 항상 증가합니다(예: 회귀에서 선형 예측 변수에 항 추가). 모델을 덜 복잡하게 만들면 항상 감소합니다.
그러나 교차 검증을 사용하면 R 제곱을 모델 선택에 더 유용하게 만들 수 있습니다. 데이터를 과대적합해도 검증 R 제곱이 증가하지 않을 것으로 예상할 수 있습니다. 구체적으로:
- 훈련 R 제곱과 검증 R 제곱 간의 차이가 과적합을 나타내는 정도를 설정할 방법이 없습니다. 주관적인 판단입니다. 두 개의 R 제곱이 추정하는 모델은 모든 후보 모델 중 가장 작은 것이 과적합된다고 말할 수 있습니다.
- '모자' 또는 '프로젝션' 행렬을 사용하여 '원 아웃' 통계를 효율적으로 계산할 수 있습니다.
- 나는 모델을 선택하기 위해 R 제곱의 변화를 사용하지 않을 것입니다. 다른 정보도 고려하겠지만 대부분 AICc 또는 BIC와 같은 기준에 주의를 기울입니다.
