k-폴드 적합 품질을 사용한 교차 검증저는 Lasso fit과 leave one out 또는 K-fold cross validation을 사용하고 있습니다. 출력에서 R square와 다른 적합 품질 지표(예: AIC)를 보는 가장 좋은 방법을 알려주세요. 훈련 세트와 검증 세트(모든 보류의 평균)에 이것을 갖는 것이 도움이 될 것입니다.
예측 모델링 및 머신 러닝Re: k-fold 적합 품질을 사용한 교차 검증안녕하세요 @다니엘_스 ,
커뮤니티에 오신 것을 환영합니다!
개별 폴드와 평균에서 LASSO 회귀의 성능 지표를 얻으려면 모델 스크리닝 플랫폼에서 일반화된 회귀를 시작하는 것이 더 쉽다고 생각합니다. "일반화된 회귀" 및 "추가 방법" 옵션만 선택하고 모델에 입력할 수 있는 항목 유형(예: 상호 작용 및 2차 효과 도입), 폴드 수 및 재현성을 위한 시드(필요한 경우)를 지정합니다.
플랫폼이 출시되면 개별 폴드와 요약에 대한 모든 정보가 담긴 새 창이 열립니다.
이 답변이 도움이 되길 바랍니다.
Re: k-폴드 적합 품질을 사용한 교차 검증감사합니다. 도움이 됩니다. 그러면 가장 좋은 폴드를 선택하고 "선택 실행"을 수행하여 검증으로 사용되는 가장 좋은 K 폴드를 사용하여 올가미 맞춤 결과를 얻을 수 있을 것입니다.
Re: k-fold 적합 품질을 사용한 교차 검증안녕하세요 @다니엘_스 ,
K-폴드 교차 검증을 사용하여 LASSO 모델을 실행한 후에는 실제로 결과를 처리하는 방법이 여러 가지 있습니다.
- "최상의" 검증 폴드에서 가장 성능이 좋은 LASSO 모델을 선택합니다 . 이는 "체리 피킹"처럼 보일 뿐 "정직한 평가" 및 선택 절차가 아니므로 권장하지 않습니다 . 이는 데이터에 적합한 모델을 맞추는 것보다 모델에 적합한 데이터를 선택하는 것에 가깝기 때문에 검증 데이터에 과적합이 발생할 수 있습니다.
- 결과의 일관성과 견고성을 평가한 후 모든 데이터에서 모델을 다시 학습합니다 .이 접근 방식은 논리적으로 보일 수 있습니다.모델이 견고하고 모든 폴드에서 유사한 결과를 얻는다고 평가한 후에는 모든 데이터를 사용하여 모델을 더욱 개선하고 싶을 수 있기 때문입니다.모델의 매개변수(예: 포함된 용어 및 페널티 값)를 교차 검증 데이터로 적합하는 경우와 모든 데이터로 적합하는 경우 동일하게 유지할 수 있는 경우 실행 가능한 옵션이 될 수 있습니다.이 방법은 모델 검증을 간과한다는 단점이 있으므로 테스트 데이터에서 문제가 발생하면 검증 데이터 없이 모델을 디버깅하기 어렵습니다.
- K 모델의 모델 평균을 만듭니다 . 이것은 제가 선호하는 접근 방식입니다(가능하다면). K 모델이 있으면 각 모델을 실행하고 "예측 공식 게시"를 사용하여 예측 공식을 저장하여 공식 저장소 에 모델을 저장할 수 있습니다.
Formula Depot에 모델 공식이 있으면 "Formula Depot" 옆에 있는 빨간색 삼각형을 클릭하고 " 모델 비교 "을 선택할 수 있습니다. 그러면 모델 성능에 대한 간략한 요약이 생성되고 "Model Comparison" 옆에 있는 빨간색 삼각형을 클릭하면 Model Averaging을 만들 수 있습니다.
이 옵션을 선택하면 데이터 테이블에 K개 모델의 평균 방정식(제 경우에는 5개 개별 교차 검증 모델의 평균 방정식/모델)에 해당하는 새 공식이 생성됩니다.
그런 다음 동일한 모델 비교 플랫폼을 사용하여 K 개별 모델과 평균 모델의 성능을 다시 한 번 비교할 수 있습니다.
이 접근 방식은 폴드 수가 많거나 사용된 모델이 복잡한 경우(예: 신경망)에는 쉽지 않거나 실행 가능하지 않을 수 있습니다. 회귀 모델 및 머신 러닝 "기본 모델"(예: 의사결정 트리, SVM, kNN, ...)과 같은 간단한 모델의 경우 이 접근 방식은 과적합을 피하고 견고성과 일반화 속성을 보장하는 데 도움이 되며, 검증에서 데이터를 "잃지" 않습니다.
다음 게시물에서 교차 검증에 대해 자세히 알아볼 수 있습니다.
교차 검증 - 검증 열 방법
k-폴드 r2
또한 모델 학습, 검증 및 테스트에 대해 자세히 알아보려면 Cassie Kozyrkov의 "Making Friends with Machine Learning" 재생 목록을 적극 권장합니다. 머신러닝과 친구되기 - YouTube
이 답변이 도움이 되고 질문에 답이 되기를 바랍니다.
Re: k-폴드 적합 품질을 사용한 교차 검증감사합니다! 당신의 통찰력은 제가 가는 머신 러닝 경로에 딱 맞았습니다.
Re: k-fold 적합 품질을 사용한 교차 검증분석을 완료하기 위해, 위에서 설명한 대로 K 폴드 모델의 평균 모델을 사용하는 경우 각 모델 독립 변수의 중요성을 검토하고 싶습니다. 일반적으로 VIF를 사용합니다. 평균 공식에서 어떻게 해야 할지 알려주세요.
감사합니다.
Re: k-폴드 적합 품질을 사용한 교차 검증안녕하세요 @다니엘_스
귀하의 말씀을 잘 이해하지 못하겠지만, 비프 값은 변수들 간의 공선성의 정도를 평가하는 데 유용하지만, 반응에 대한 이러한 변수들의 중요성을 반영하지는 않습니다.
평균 모델 공식에서 매개변수 추정치를 비교하여 요인의 중요성을 비교할 수 있습니다.
프로파일러 에서 평균 공식을 로드할 수도 있습니다(그래프 메뉴에서 사용 가능, "중간 공식 확장"을 체크하면 응답이 원래 예측 변수에 연결됩니다). 그리고 " 변수 중요도 평가 " 옵션을 사용하여 Sobol 지수를 기준으로 변수 중요도(주효과와 전체효과를 기준으로)를 계산할 수도 있습니다.
이 답변이 도움이 되길 바랍니다.
Re: k-폴드 적합 품질을 사용한 교차 검증고맙습니다! 아직 배울 게 더 많은데, 당신의 답변이 계속할 수 있는 플랫폼을 제공해 줍니다.
