K겹 교차 검증을 위한 폴드 외부 지표 접근Neural이나 SVM 같은 알고리즘을 사용하는 K-Fold 교차 검증에서 폴드 외 성능 지표에 접근할 수 있는 방법이 있을까요? 제가 알기로는 JMP는 가장 성능이 좋은 폴드의 지표만 보여주는데, 이는 그다지 유용하지 않습니다.
고급 통계 모델링예측 모델링 및 머신 러닝제목: K겹 교차 검증에서 폴드 외부 지표 접근 관련안녕하세요 @CentroidError56 님 ,
네, 테스트하려는 모델을 선택한 후 플랫폼의 모델 스크리닝 기능을 사용하여 보고서에서 검증 폴드 결과를 확인하세요.
훈련, 검증 및 적합도 테스트 측정
모델 선별 플랫폼 옵션에서 KFolds 결과 테이블을 저장할 수 있습니다.
이 해결책이 도움이 되기를 바랍니다.
제목: K겹 교차 검증에서 폴드 외부 지표 접근 관련안녕하세요, 빅터님.
답변 감사합니다. 제가 보기에는 이 방법은 각 메서드의 기본 설정에서만 작동하는 것 같습니다. 저는 튜닝 디자인에서 얻은 구성들을 폴드 데이터를 사용하여 비교하고 싶습니다. 그런데 각 폴드를 수동으로 실행하지 않는 한 불가능한 것 같은데, 그렇게 하면 시간이 너무 많이 걸릴 것 같습니다. 제가 뭔가 놓치고 있는 부분이 있을까요?
제목: K겹 교차 검증에서 폴드 외부 지표 접근 관련안녕하세요 @CentroidError56 님 ,
맞습니다. 이 옵션은 기본 하이퍼파라미터 설정에서만 작동합니다.
특정 하이퍼파라미터 설정을 동일한 폴드에서 테스트하는 방법은 다음과 같습니다.
- '검증 열 생성' 플랫폼을 사용하여 K-겹 교차 검증 열을 생성합니다. 계층화 열(X)과 목표 열(Y)을 지정합니다. 그런 다음 폴드 수와 난수 시드를 정의할 수 있습니다.
- 원하는 모델링 플랫폼을 선택하고 검증 역할에 K-폴드 열을 추가하세요.
이 예시에서는 설명을 위해 JMP Diabetes 데이터셋과 SVM 플랫폼을 사용했습니다. 적절한 하이퍼파라미터 설정 3개(모델 2, 3, 20)를 찾기 위한 튜닝 설계를 구현했습니다.
-
그런 다음 Ctrl 키를 누른 상태에서 모델 옆에 있는 빨간색 삼각형 안에 있는 '예측 공식 게시' 옵션을 클릭합니다. 그러면 앞서 살펴본 세 가지 모델의 공식이 포함된 새 '공식 저장소' 창이 생성됩니다.
-
Formula Depot 옆에 있는 빨간색 삼각형에서 '모델 비교' 옵션을 클릭하고 제가 선택한 세 가지 모델을 선택합니다.
JMP는 5겹 교차 검증 열이 모든 모델에 사용되고 있음을 감지하고 해당 열을 그룹화 열로 사용할지 묻습니다. 그래서 각 교차 검증에 대한 개별 모델 결과를 얻기 위해 '예'를 클릭했습니다.
- 이제 세 가지 모델 각각에 대한 개별 폴드 성능 측정 결과에 접근할 수 있습니다.
이 방법은 모델의 예측 공식만을 사용하기 때문에 어떤 모델링 플랫폼을 사용하든 관계없이 작동해야 하며, 따라서 다양한 유형의 모델을 결합할 수 있습니다.
이 답변이 문제 해결에 도움이 되기를 바랍니다.
제목: K겹 교차 검증에서 폴드 외부 지표 접근 관련안녕하세요, 빅터님.
이거 효과가 있네요! 정말 감사합니다!
