Lasso/Elastic net의 훈련 및 검증 R2여러분 모두에게,
저는 페널티 회귀 모델(lasso, elastic net)과 함께 k-겹 교차 검증을 사용하고 훈련/검증 세트의 (평균) R2 값을 검사하여 과적합과 설명된 분산을 확인하려고 합니다. 이미 많은 옵션을 검색했지만 찾을 수 없습니다. 이것을 보여줄 수 있는 방법이 있나요? 그것이 개요 표에 표시되어 모델 선택에 사용할 수 있다면 좋을 것 같습니다.
고마워요, 마커스
맥 OS예측 모델링 및 기계 학습답변: Lasso/Elastic net의 교육 및 검증 R2감사합니다. 물론 모델 심사 플랫폼을 알고 있지만 단순화된 모델을 실행하고 전체 모델의 옵션을 제공하지는 않습니다. 예를 들어, 모델 스크리닝의 신경 모델은 몇 개의 숨겨진 단위만 포함하는 다소 단순한 모델이라고 가정합니다.
예를 들어, 2개의 레이어가 있는 더 복잡한 신경 모델로 중첩된 교차 검증을 수행하려는 경우 모델 스크리닝으로는 이를 수행할 수 없습니다. 그렇지 않습니까?
내부 루프 내에서만 수행될 수 있는 다른 작업도 있습니다. 예를 들어, 대체는 내부 루프 내에서만 수행되는 경우가 많습니다. 왜냐하면 독립 테스트 샘플을 포함한 전체 샘플을 대체용으로 사용하는 것은 불공평하기 때문입니다.
따라서 중첩된 교차 유효성 검사를 수행할 수 있는 스크립트를 찾고 있습니다. 예를 들어, 내부 루프 내에서만 대체를 삽입할 수 있습니다.
답변: Lasso/Elastic net의 교육 및 검증 R2안녕 @MarkusJH ,
커뮤니티에 오신 것을 환영합니다!
귀하의 질문에 답하기 위한 한 가지 옵션은 "분석", "예측 모델링" 메뉴에서 사용할 수 있는 "모델 스크리닝" 플랫폼을 사용하는 것입니다.
"모델 선별" 플랫폼에서는 "일반화 회귀" 및 "추가 방법"(여기서는 타이타닉 데이터세트에서 수행됨) 이외의 방법을 선택 취소하고 모델에 2개 요인 상호 작용 또는 2차 항을 포함할지 여부를 지정할 수 있습니다. 재현 가능한 결과를 원하는 경우 교차 검증을 위한 접기 수와 임의의 시드를 지정할 수도 있습니다.
분석이 완료되면 검증 결과를 폴더 전체에 걸쳐 요약하여 볼 수 있습니다. 이 요약 표는 가장 적합한 모델을 선택하는 데 도움이 될 수 있습니다(자세한 내용을 보려는 모델을 선택하거나 "주요 선택"을 클릭한 다음 "선택한 항목 실행"을 클릭하여 선택한 모델에 대한 자세한 내용을 보려면 일반화 회귀 플랫폼을 참조하세요.
또한 "훈련" 및 "검증" 메뉴를 열어 (필요한 경우) 접기별로 개별 결과를 볼 수도 있습니다(여기서는 "훈련"에서 접기 식별자는 훈련된 각 모델 유형의 마지막 열에서 볼 수 있습니다). :
귀하의 질문을 이해했으며 이 답변이 귀하에게 도움이 되기를 바랍니다.
제가 뭔가 잘못 이해하고 있고 이것이 귀하가 기대한 것과 다르다면, 현재 어떤 플랫폼을 사용하고 있는지, 어떤 정보가 이미 있고 어떤 정보가 누락되었는지에 대한 자세한 정보를 제공해 주실 수 있습니까?
Re: Lasso/Elastic net에서의 훈련 및 검증 R2... 또는 내부 루프에서 하고 싶은 또 다른 일은 하이퍼파라미터 선택, 예를 들어 숨겨진 유닛의 개수입니다.
물론, 내부 루프의 끝에는 최상의 모델을 정의하는 기준이 있어야 하며, 그 기준은 외부 루프 교차 검증에 제출됩니다.
Re: Lasso/Elastic net에서의 훈련 및 검증 R2저는 JMP에 Elastic Net Regression과 R-Squared의 어떤 형태를 얻을 수 있는지에 대한 비슷한 질문을 했고, KFold 또는 Leave-One-Out 검증 방법에는 제공되지 않고 AICc 및 BIC에만 제공된다고 답했습니다. 그래서 직접 수동으로 계산해야 한다고 생각합니다. SAS가 할 수 있기 때문에 꽤 성가신 것 같습니다.
Re: Lasso/Elastic net에서의 훈련 및 검증 R2@MarkusJH
분석 > 예측 모델링 메뉴에서 모델 비교 플랫폼을 사용하여 k 폴드에서 R2 값을 비교할 수 있습니다. 다음 단계를 따르세요.
- Make Validation Column 유틸리티를 사용하여 K 폴드 열을 만들고 대화 상자 창의 왼쪽 하단에 있는 "Make K Fold Column"(K 폴드 열 만들기)을 선택합니다.
- Gen Reg를 실행하고 KFold 열을 검증 역할로 로드합니다.
- 회귀 모델(Elastic Net, Lasso 등)을 실행하고 검증 방법으로 검증 열이 선택되었는지 확인하세요.
- 모델에 만족하면 예측 공식을 데이터 테이블에 저장합니다.
- 각 폴드에 대한 R2 값을 보려면 분석 > 예측 모델링 메뉴에서 모델 비교를 시작하세요.
- 저장된 수식 열을 Y로 로드하고 KFold 검증 열을 그룹으로 로드합니다.
- 결과 보고서는 열의 각 폴드에 대한 적합성 측정값을 보여줍니다.
