예측된 Rsquare내 모델이 과적합되었는지 여부를 테스트하기 위해 예측 Rsquare를 사용하고 싶었습니다.나는 이것에 대해 잘 알지 못하므로 예측 Rsquare에 대해 몇 가지 질문이 있습니다.
1. 예측 Rsquare가 과적합의 징후로 얼마나 작습니까?조정 R-제곱이 0.94이고 예측 R-제곱이 0.84이면 괜찮습니까?
2. 예측된 Rsquare가 어떻게 계산되었는지 완전히 이해하지 못합니다.매번 하나의 데이터 포인트가 필요하고 회귀 모델을 얻은 다음 해당 데이터 포인트를 다시 넣고 R-제곱을 얻는다는 것을 알고 있습니다. 모든 데이터 포인트에 대해 반복하고 얻은 R-제곱의 평균을 냅니다.그러나 이러한 회귀 모델을 얻는 방법은 무엇입니까? JMP는 기계 학습 접근 방식을 사용하여 모델을 얻습니까? 해당 회귀 모델이 내가 선택한 모델과 다른가요?
3. 모델에 더 많은 요인이 있으면 예측된 R-제곱이 더 많이 떨어질 것이라고 말하는 것이 항상 사실이 아니라는 것을 알았습니다. 예를 들어 요인이 2개인 모델은 요인이 3개인 모델보다 예측 R-제곱이 더 낮을 수 있음을 발견했습니다(세 번째 요인의 ap 값은 0.05보다 (훨씬) 큽니다).이 경우 모델에 2개 또는 3개의 요인을 포함해야 합니까?
Re: 예상 RsquareMark의 의견에 추가하기 위해 사양보다 모델을 결정하는 방법 중 하나는 조정된 R-제곱과 R-제곱 사이의 델타를 사용하는 것입니다. R-사각형은 모델의 자유도 수가 증가함에 따라 증가합니다(해당 DF가 중요한지 여부에 관계없이). 조정된 R-제곱은 모델에서 DF의 "중요도"를 고려하므로 중요하지 않은 자유도를 모델에 추가하면 델타가 증가합니다(조정된 R-제곱은 R-제곱의 비율로 증가하지 않음). .
Re: 예상 Rsquare모델 선택에 R 스퀘어를 사용해서는 안 됩니다. 모델을 더 복잡하게 만들면 항상 증가합니다(예: 회귀에서 선형 예측 변수에 용어 추가). 모델을 덜 복잡하게 만들면 항상 감소합니다.
그러나 교차 검증을 사용하면 모델 선택에 R 제곱을 더 유용하게 만들 수 있습니다. 데이터를 과적합해도 검증 R 제곱이 증가하지 않을 것이라고 예상할 수 있습니다. 구체적으로:
- 훈련 R 제곱과 검증 R 제곱 사이의 차이가 과적합을 나타내는 정도를 설정할 방법이 없습니다. 주관적인 결정입니다. 두 개의 R 제곱이 추정하는 모델이 모든 후보 모델 중 가장 적게 과적합된다고 말할 수 있습니다.
- 'hat' 또는 'projection' 행렬을 사용하여 'leave one out' 통계를 효율적으로 계산합니다.
- 모델을 선택하기 위해 R 스퀘어의 변화를 사용하지 않을 것입니다. 다른 정보도 고려하겠지만 대부분 AICc 또는 BIC와 같은 기준에 주의를 기울입니다.
