하나 이상의 검증 열첨부된 JMP 파일에서 각 응답 변수인 무게, 회전 반경, 마력에 대해 세 개의 별도 회귀 모델을 구축했고, 세 개의 별도 검증 열(훈련 세트 = 70%, 검증 세트 = 15%, 훈련 세트 = 15%)을 사용했습니다.
회귀 모형을 구축하려면 각 응답 변수에 대한 검증 열을 만들어야 합니까, 아니면 응답 변수 하나에 대한 검증 열 하나만 있으면 충분합니까?
기본 데이터 분석 및 모델링예측 모델링 및 머신 러닝Re: 하나 이상의 검증 열안녕하세요 @madhu ,
새해 복 많이 받으세요 2025!
귀하의 질문에는 옳고 그른 답이 없습니다.
다양한 응답에 대한 머신 러닝(일명 데이터 기반) 방식으로 예측 모델을 구축하고 있으므로, 다음과 같은 다양한 세트를 사용합니다.
- 훈련 세트 :에 사용됨 모델의 실제 훈련
- 검증 세트 : 모델 최적화(하이퍼파라미터 미세 조정, 기능/임계값 선택 등) 및 모델 선택에 사용됩니다.
- 테스트 세트 : 새로운/보이지 않는 데이터에 대한 선택된 모델의 일반화 및 예측 성능 평가에 사용됩니다. 이 단계에서는 경쟁에 여러 모델이 있어서는 안 됩니다.
세 가지 응답 모두에 하나의 검증 열을 사용하는 것은 "디버깅"에 더 유용할 것으로 생각합니다. 데이터에서 얼마나 많은 정보를 추출할 수 있는지 파악하고 동일한 학습 및 검증 데이터를 사용하여 응답에 따라 예측 작업의 난이도를 더 잘 평가/비교할 수 있기 때문입니다.
훈련, 검증 및 테스트 세트에서 관찰치의 재분할을 다른 검증 열로 변경하면 특정 응답이 올바르게/정확하게 예측되지 않는 이유를 파악하기가 더 어려울 수 있습니다. 이는 모델을 맞추는 데 사용된 점의 계층화/재분할 때문일까요? 아니면 이 응답의 예측이 달성하기 더 어렵기 때문일까요?
참고로, 검증 열을 하나 사용하더라도 계층화된 검증 열 공식을 만드는 것이 좋습니다. 피처에 대한 계층화는 학습, 검증 및 테스트 세트의 분포가 유사하도록 보장하여 알고리즘의 학습/모델 적합도 일반화를 손상시킬 수 있는 세트 간의 데이터 분포 이동을 방지합니다. 공식 검증 열 유형을 사용하면 시뮬레이션을 만들고 다양한 유사한 데이터 분할로 알고리즘의 견고성을 평가할 수 있습니다.
해결됨: 여러 반복 검증을 자동화하고 하나의 출력 테이블로 요약하려면 어떻게 해야 합니까? - JMP 사용자 커뮤니티
및 해결됨: 부스트 트리 - 튜닝 테이블 디자인 - JMP 사용자 커뮤니티
고정된 난수 시드를 사용하는 K-폴드 교차 검증 열을 사용하여 모델 결과의 재현성을 보장하고 알고리즘의 견고성과 여러 응답에 대한 예측 성능을 평가할 수도 있습니다.
이 답변이 도움이 되길 바랍니다.
Re: 하나 이상의 검증 열안녕하세요 @Victor_G
제 질문에 대한 댓글 감사합니다. 말이 되는군요. 감사합니다.
