JMP > 대규모 데이터 세트에서 예측 서명 식별 > 명백한 과적합 문제안녕하세요 JMP 커뮤니티입니다.
임상 시험에 등록된 환자의 Baseline에서 ~4,000개의 바이오마커 측정이 포함된 대규모 데이터 세트가 있습니다. 이 데이터 중에서 어떤 조합의 바이오마커가 12주 후에 임상 결과를 예측할 수 있는지 확인해야 합니다.
나는 지나치게 과적합된 출력을 산출하는 것으로 보이는 다소 순진한 접근 방식을 사용했습니다.
- 스크리닝 > 반응 스크리닝을 통해 4,000개의 모든 바이오마커를 실행합니다. 여기서 반응은 12주차의 이진 임상 출력입니다.
- 상위 10~20개의 바이오마커 선택(FDR 기준)
- Fit Model > Stepwise 플랫폼에서 선택한 바이오마커(모델 효과로)를 사용합니다. 여기서 Y는 12주차의 이진 임상 출력입니다. 기준 = BIC 최소화
- 모델 생성
이 접근 방식은 12주차에 임상 반응에 대한 우수한 "예측자"를 산출했지만(ROC AUC > 0.940), 무작위로 생성된 "가짜" 변수(ROC AUC ~0.870)로 테스트했을 때 높은 ROC AUC도 산출했습니다. 후자는 내 방법이 과적합으로 인해 크게 부적절하다는 것을 나타냅니다.
발견 및 검증 환자 하위 그룹(전체 모집단의 50%)과 함께 작업하는 가능성을 조사했지만 과적합 문제가 해결되지 않았습니다.
JMP Pro에서 제공하는 고급 모델링 플랫폼을 사용하는 것 외에 JMP에서 이러한 질문에 접근할 수 있는 더 나은 기술이 있습니까?
도와주셔서 감사합니다.
최상의,
TS
해석학Re: JMP > 대규모 데이터 세트에서 예측 서명 식별 > 명백한 과적합 문제무작위로 생성된 응답 변수에 대해 좀 더 자세히 알려주실 수 있습니까?정확히 어떻게 만들었습니까?
Re: JMP > 대규모 데이터 세트에서 예측 서명 식별 > 명백한 과적합 문제안녕하세요 데일
이 비교적 열린 질문에 대해 후속 조치를 취해주셔서 감사합니다. 다음 공식을 사용하여 확률 변수를 만들었습니다.
random uniform (0,1) > 0.5;
참고로 저는 8가지 다른 버전의 더미 변수(즉, 공식을 다시 계산)에서 위에서 설명한 "방법"을 실행하여 0.770에서 0.870 사이의 ROC AUC 값을 산출했습니다.
나는 그런 행동을 본 적이 없지만 1,200개 이상의 바이오마커 변수로 작업한 적이 없습니다.
당신의 도움을 주셔서 감사합니다.
최상의,
TS
Re: JMP > 대규모 데이터 세트에서 예측 서명 식별 > 명백한 과적합 문제나는 답을 모르지만 당신이 찾은 것을 확인할 수 있습니다.나는 200개의 관측치가 있는 이진 반응 변수(임의)와 20개의 무작위 정규 요인을 만들었습니다.나는 AUC=.71을 얻었다!정말 놀랍습니다.성능 측정으로서 AUC의 한계와 관련이 있다고 생각하지만, 내가 말했듯이 나는 이 동작을 정말로 이해하지 못합니다.제 경우에는 확실히 과적합되어서는 안됩니다.다른 사람들이 이에 대해 어떻게 말할지 궁금합니다.
Re: JMP > 대규모 데이터 세트에서 예측 서명 식별 > 명백한 과적합 문제미스터리를 추가하기 위해 내가 한 시뮬레이션을 첨부했습니다.이번에는 유효성 검사 열을 사용했습니다.주목할 가치가 있는 사항: 로지스틱 회귀(파일에 저장된 스크립트)는 AUC를 훈련 데이터에 대해 약 .71, 검증 데이터에 대해 훨씬 더 낮은(0.5 미만) 보여줍니다.과적합의 명백한 증거입니다.그러나 모델 스크리닝도 실행했습니다. 모든 방법(로지스틱 회귀 포함)은 AUC가 훈련 데이터에 대해 약 0.5이고 검증 데이터에 대해 더 낮습니다. 이는 합리적으로 보입니다.또한 로지스틱 회귀 모델은 중요하지 않습니다(그리고 20개의 임의 요인에 대해 예상하는 것과 관련하여 1개 또는 2개의 요인만 중요함).내가 이해하지 못하는 것 중에는 로지스틱 회귀 플랫폼과 모델 스크리닝 플랫폼 내의 로지스틱 회귀가 왜 그렇게 다른 결과를 제공하는지입니다.나는 모델 스크리닝이 개별 모델링 플랫폼만큼 하이퍼파라미터를 찾지 못한다는 것을 알고(또는 믿습니다), 그러나 훈련 데이터에서 0.7과 0.5의 차이가 너무 큰 것 같습니다.
