JMP > 대용량 데이터 세트에서 예측 시그니처 식별 > 명백한 과적합 문제안녕하세요 JMP 커뮤니티,
저는 임상 시험에 등록한 환자의 기준선에서 ~4,000개의 바이오마커 측정값을 포함하는 대규모 데이터 세트를 가지고 있습니다. 저는 이 데이터 중에서 12주 후의 임상 결과를 예측할 수 있는 바이오마커 조합을 식별해야 합니다.
나는 지나치게 과적합된 출력을 생성하는 것으로 보이는 다소 순진한 접근 방식을 사용했습니다.
- 4,000개의 모든 바이오마커를 스크리닝 > 반응 스크리닝으로 실행합니다. 여기서 반응은 12주차의 이진 임상 결과입니다.
- FDR을 기준으로 상위 10~20개 바이오마커를 선택하세요
- Y가 12주차의 이진 임상 결과인 Fit Model > Stepwise 플랫폼에서 선택된 바이오마커(모델 효과로)를 사용합니다. 기준 = BIC 최소화
- 모델 생성
이 접근법은 12주차의 임상 반응에 대한 우수한 "예측자"를 산출했지만(ROC AUC > 0.940), 무작위로 생성된 "더미" 변수로 테스트했을 때 높은 ROC AUC를 산출했습니다(ROC AUC ~0.870). 후자는 제 방법이 과적합으로 인해 매우 부적절하다는 것을 나타냅니다.
저는 Discovery 및 Validation 환자 하위 그룹(전체 인구의 50%)을 대상으로 작업의 타당성을 조사했지만, 과잉 적합 문제는 해결되지 않았습니다.
JMP Pro가 제공하는 고급 모델링 플랫폼을 사용하는 것 외에도 JMP에서 이런 문제에 접근하는 데 더 나은 기술이 있습니까?
귀하의 도움에 감사드립니다.
최상의,
티에스
데이터 탐색 및 시각화Re: JMP > 대규모 데이터 세트에서 예측 시그니처 식별 > 명백한 과적합 문제예를 들어 주셔서 감사합니다. 몇 가지 관점에서 자세히 살펴보겠습니다. 그리고 그들은 같은 결론에 도달해야 합니다: 데이터에는 금이 없습니다.
첫 번째 관점에서 데이터를 교육 및 검증으로 분할하고 스크립트의 결과를 기반으로 적합 모델을 사용하려고 시도해서는 안 됩니다.
두 번째 관점은 기차/발 분할 없이 훌륭하고 오래된 로지스틱 회귀에 적합하고 경고 신호가 있는지 확인합니다.
첫 번째 경고 신호: 전체 모델 테스트, 모델이 무작위 추측보다 나을 가능성이 높음을 나타냅니다.
두 번째 경고 신호: 효과 테스트 및 매개변수 중요성. 다음은 효과 테스트입니다. 빨간색은 딱 두 개. 그 둘이 금이면 나머지는 잔해입니다. 잔해는 그것이 금이라고 생각하게 만듭니다. 제거해 볼까요?
자, 이제 수문 상자의 다른 쪽 끝에서 나오는 것은 다음과 같은 전체 테스트 및 효과 테스트입니다. 그리고 이 p-값에 주목하세요. 그들은 약 0.05와 0.10입니다. 담장에서, 보통의 방법으로. 보관해야 합니까? 그것들을 제거하면 임의의 추측을 얻습니다. 우리가 정말로 그것들을 유지하고 싶다고 가정하고 그것이 어떻게 되는지 봅시다.
ROC와 AUC는 어떻습니까?
따라서 AUC는 0.59입니다. 금? 모델 피팅에서 모델이 펜스에 있다고 말하므로 모든 것이 모델에서 파생되어야 하기 때문에 일반적인 방법으로도 펜스에 있다고 생각합니다. 증거가 필요하십니까? 예, 증거를 얻을 수 있습니다. JMP Pro가 있는 경우 AUC 값을 부트스트랩할 수 있습니다. AUC 값을 마우스 오른쪽 버튼으로 클릭하고 부트스트랩을 선택합니다. 나는 그것을 10000 무승부를 주었다. 그리고 0.5는 부트스트랩 샘플 범위 내에 있습니다. 따라서 남은 두 가지 요소가 금이라고 얼마나 믿고 싶은지에 달려 있습니다.
내가 한 것은 AUC 주위에 부트스트랩 신뢰 구간을 두는 것입니다. ROC에 대한 신뢰 구간도 만들 수 있으므로 멋진 하프 쉘이 전혀 인상적이지 않다는 것을 알 수 있습니다. 그렇게 하려면 많은 노력이 필요할 것입니다. 대신 한 지점 ROC를 살펴보겠습니다. 즉, 0.5 컷오프 임계값에 해당하는 지점입니다. 단계는 다음과 같습니다.
먼저 Confusion Matrix를 켭니다.
강조 표시된 숫자를 보면 0.5 컷오프 임계값에 해당하는 True Positive Rate 및 False Positive Rate입니다.
그리고 십자가에서 다음 스크린샷에서와 같이 ROC에서 이 지점을 찾을 수 있습니다.
이제 강조 표시된 숫자를 부트스트랩합니다. 그리고 이 테이블을 얻었습니다. 열 "0"은 부트스트랩된 거짓 긍정률이고 열 "1"은 부트스트랩된 참양성률입니다.
열 "1" 대 열 "0"을 플롯하고 ROC에 오버레이합니다. 그리고 여기 내가 얻는 것이 있습니다. 나는 또한 참고로 대각선을 넣었다.
부트스트랩 샘플에 따르면 ROC의 확률 0.5 임계값 포인트는 대각선 위로 큰 기회가 있었지만 대각선 아래에는 무시할 수 없는 기회가 있습니다. 우리가 이미 모델에서 결론을 내렸어야 한다면 그것은 울타리에 있습니다.
따라서 이 예에서 결론을 내리고 싶은 것은 모델이 과대적합이라고 결론을 내리기 전에 모델을 제대로 잡아야 한다는 것입니다. 이 경우 효과로 임의 노이즈를 포함하면 과대적합됩니다.
Re: JMP > 대규모 데이터 세트에서 예측 시그니처 식별 > 명백한 과적합 문제수수께끼를 더하기 위해 내가 한 시뮬레이션을 첨부했습니다.이번에는 유효성 검사 열을 사용했습니다.주목할 만한 사항: 로지스틱 회귀(파일에 저장된 스크립트)는 훈련 데이터의 경우 AUC가 약 .71이고 검증 데이터의 경우 훨씬 더 낮습니다(.5 미만).과적합의 명백한 증거입니다.그러나 나는 또한 모델 스크리닝을 실행했습니다. 모든 방법(로지스틱 회귀 포함)은 교육 데이터의 경우 AUC가 약 0.5이고 검증 데이터의 경우 더 낮음을 보여줍니다. 이는 나에게 합리적으로 보입니다.또한 로지스틱 회귀 모델은 중요하지 않습니다(20개의 임의 요인에 대해 예상할 수 있는 1~2개의 요인만 중요함).내가 이해하지 못하는 것 중 하나는 모델 심사 플랫폼 내의 로지스틱 회귀 플랫폼과 로지스틱 회귀가 왜 그렇게 다른 결과를 제공하는지입니다.나는 모델 스크리닝이 개별 모델링 플랫폼만큼 튜닝 하이퍼파라미터를 찾지 못한다는 것을 알고 있지만(또는 믿는다), 훈련 데이터에서 0.7과 0.5의 차이가 나에게는 너무 큰 것 같습니다.
Re: JMP > 대규모 데이터 세트에서 예측 시그니처 식별 > 명백한 과적합 문제답은 모르지만 당신이 찾은 것을 확인할 수 있습니다.나는 200개의 관측치를 가진 2진 반응 변수(무작위)와 20개의 무작위 정규 요인을 생성했습니다.나는 AUC=.71을 얻었다!참으로 매우 놀랍습니다.성능 측정으로서 AUC의 제한과 관련이 있는 것으로 의심되지만 앞서 말했듯이 이 동작을 실제로 이해하지 못합니다.제 경우에는 과적합되어서는 안 됩니다.다른 사람들이 이것에 대해 무엇을 말할 수 있는지 궁금합니다.
Re: JMP > 대규모 데이터 세트에서 예측 시그니처 식별 > 명백한 과적합 문제안녕 데일,
이 비교적 공개된 질문에 대해 후속 조치를 취해 주셔서 감사합니다. 다음 공식을 사용하여 확률 변수를 만들었습니다.
random uniform (0,1) > 0.5;
참고로, 위에서 설명한 "방법"을 8가지 다른 버전의 더미 변수(예: 재계산 공식)에 실행하여 0.770에서 0.870 범위의 ROC AUC 값을 산출했습니다.
나는 그런 행동을 본 적이 없지만 1,200개 이상의 바이오마커 변수로 작업한 적이 없습니다.
당신의 도움을 주셔서 감사합니다.
최고,
TS
Re: JMP > 대규모 데이터 세트에서 예측 시그니처 식별 > 명백한 과적합 문제임의로 생성된 응답 변수에 대해 좀 더 자세히 설명해 주시겠습니까?정확히 어떻게 만들었습니까?
