소규모 데이터세트에 대한 K-겹 교차 검증은 얼마나 좋은가요?154개의 분자로 구성된 작은 데이터 세트가 있습니다(첨부됨). 6가지 요인을 이용하여 KV40을 예측하려고 합니다. 문헌의 유사한 연구를 살펴보면 많은 사람들이 일회성 검증 방법을 사용하여 이렇게 작은 데이터 세트에 대한 모델을 구축하므로 이를 JMP에서 복제하기 위해 다음을 수행했습니다.
적합 모델: 단계적 회귀
- 요인에 대한 반응 표면 사용
- 사용된 k(k-겹 교차 검증) = 샘플 수 = 154
- 나머지는 모두 기본값으로 두었습니다.
결과:
r2 = 0.84; r2(k-겹) = 0.72
box-cox 변환 후: r2 = 0.87 (r2_adj = 0.86)
유효성 검사 열(70:30)을 사용하여 이 작업을 시도했지만 이만큼 좋은 결과를 얻지 못했습니다. 저는 JMP pro를 사용하고 있습니다. 내 관심사는 이러한 유형의 교차 검증을 수행할 때 가짜 또는 과적합 모델을 생성하는 것입니까? 이를 수행하는 더 좋은 방법이 있습니까? 시청하거나 테스트해야 할 사항이 있나요? 감사해요.
Re: 소규모 데이터세트에 대한 K-겹 교차 검증은 얼마나 좋은가요?안녕하세요 @tnad 방금 이 게시물을 접했는데, 3년 반 후에 추가 답변을 받아도 괜찮기를 바랍니다!
이 경우에 Stepwise에 대해 K = 154를 설정하는 것은 알고리즘이 최상의 접기를 검색하기 때문에 권장되지 않는다고 생각합니다. 이 경우에는 단일 관찰로만 구성됩니다.일반적으로 과적합을 방지하려면 각 접기 내에서 단계적으로 중첩을 수행하는 것이 중요하며 이는 모델 스크리닝의 중첩 K-Fold 옵션에서 사용할 수 있습니다.또한 내 생각에는 154개의 관찰이 k-fold에 충분하고 반복적으로 중첩된 k-fold가 모델을 비교하는 좋은 방법이라고 생각합니다.
Model Screening은 Log10(KV40)을 Y, K = 5, L= 4로 사용하여 테스트 R2 = 0.87 대 0.77을 사용하여 이러한 데이터에 대해 Neural Boosted가 Stepwise보다 더 잘 작동함을 보여줍니다.또한 새로운 Torch Deep Learning 추가 기능(요청 시 사용 가능)을 사용해 보았습니다. JMP 얼리 어답터 ) 그리고 약간의 조정을 통해 5겹 교차 검증을 통해 더 나은 결과는 아니더라도 비슷한 결과를 얻을 수 있습니다.
일반적으로 JMP의 Neural, Torch, XGBoost 및 기타 플랫폼은 QSAR 예측 모델링에 유용할 수 있습니다.
Re: 소규모 데이터세트에 대한 K-겹 교차 검증은 얼마나 좋은가요?예, K = N은 '하나만 남기기' 교차 검증을 생성합니다.
Re: 소규모 데이터세트에 대한 K-겹 교차 검증은 얼마나 좋은가요?방금 이걸 알아냈는데...
요리: 달걀을 혼합물에 넣습니다.
지질학: 지구 맨틀의 강렬한 접힘
사업: 1년 만에 클럽이 접혔다
스포츠: 주자가 1마일 후에 접혔다
카드: 언제 접어야 할지 알 수 있습니다
지리: 마을은 언덕에 접힌 곳에 자리잡고 있습니다
웹 디자인: 스크롤 없이 볼 수 있는 텍스트 위의 텍스트에는 스크롤이 필요하지 않습니다.
변화: 사고가 10배 증가
종이: 종이접기를 접어서 오리를 만들다
관용어: 손을 접다
농사: 양을 우리에 넣다
파밍 버전이어야 합니다! 펜이라는 뜻이에요! 데이터는 K개의 펜/하위 집합/접기로 나누어집니다.
Re: 소규모 데이터세트에 대한 K-겹 교차 검증은 얼마나 좋은가요?우와! K-fold 교차 검증에 대한 아이디어는 데이터 세트를 K-1은 훈련용이고 1은 검증용인 K-fold로 나누는 것에 달려 있기 때문에 매우 놀랍습니다. 하지만 혼란스러울 수도 있습니다. 귀하의 게시물에 따르면 이 전략은 "나가기"에 더 많이 기인하는 것 같습니다. 그렇지 않습니까?Re: 소규모 데이터세트에 대한 K-겹 교차 검증은 얼마나 좋은가요?교차 검증을 통한 정직한 평가는 일반적으로 홀드 아웃 세트(학습, 검증, 테스트), k-폴드 또는 하나 제외의 세 가지 방법 중 하나로 구현됩니다. k = N(샘플 크기)을 사용하는 것은 k-fold CV를 사용하여 마지막 접근 방식을 달성하는 방법입니다.
Re: 소규모 데이터세트에 대한 K-겹 교차 검증은 얼마나 좋은가요?안녕하세요! 교차 검증에 왜 k = 154를 사용했는지 물어봐도 될까요?
일반적으로 데이터 세트에 따라 k에 5(검증을 위해 20%)를 입력했지만, 모두 일반적인 훈련-검증-테스트를 위해 충분히 작았습니다.
감사해요!
앞으로는 JMP Pro에서 이런 식으로 데이터를 처리하면서 접힘 분포를 시각화할 수 있는 옵션을 구현하는 것이 바람직합니다.
Re: 소규모 데이터세트에 대한 K-겹 교차 검증은 얼마나 좋은가요?Over-fitting이 우려되는 부분이지만 제가 이렇게 말씀드리는 이유는 '정직한 평가'라는 전체적인 체계에 기반을 두고 있기 때문입니다. 하나는 일부 데이터를 사용하여 모델을 훈련하고 완전히 새로운 데이터를 분리하여 모델을 검증하거나 선택합니다(2개의 홀드아웃 세트). 이 접근 방식은 유효하지만 여전히 학습 및 선택을 통해 이미 본 데이터로 제한됩니다. 새로운 데이터의 일반화를 말할 수는 없습니다. 모델 선택을 테스트하려면 새로운 데이터가 필요합니다. 이 데이터는 세 번째 홀드아웃 세트이거나 미래 데이터일 수 있습니다. 향후 데이터를 기다리는 위험은 상황에 따라 다르므로 대량의 데이터를 사용할 수 있는 경우 세 번째 홀드아웃 세트가 선호됩니다.
Re: 소규모 데이터세트에 대한 K-겹 교차 검증은 얼마나 좋은가요?@마크_베일리 "모델 선택에 교차 검증을 사용하셨습니다. 훈련이 더 많은 모집단에 일반화되는지 확인하기 위해 선택한 모델을 테스트하려면 새로운 데이터가 필요합니다."
교차 검증이 과적합되는 경향이 있기 때문입니까?
Re: 소규모 데이터세트에 대한 K-겹 교차 검증은 얼마나 좋은가요?그렇습니다. 교차 검증을 통한 모델 선택에 대한 정직한 평가는 항상 유효하지만 검증 및 테스트를 위해 홀드아웃 세트를 사용하는 것은 대규모 데이터 세트가 있는 경우에만 실용적이고 보람이 있습니다.(대규모 데이터에서도 희귀한 대상이 있다는 문제도 있습니다. 집합.) 이것이 K-겹 교차 검증이 발명된 이유입니다. Leave-one-out은 K폴드를 극한까지 끌어올리는 것입니다. 나는 70:30 홀드아웃을 사용한 접근 방식이 이 작은 샘플 크기에서 잘 작동할 것이라고 기대하지 않습니다.
모델 선택에 교차 검증을 사용했습니다. 훈련이 더 많은 모집단에 일반화되는지 확인하기 위해 선택한 모델을 테스트하려면 새 데이터가 필요합니다.
