지난 주 Nate Silver는 " 뭐든지 물어봐 "Reddit에서 채팅. 몇 가지 아주 좋은 질문이있었습니다. 그 중 하나는 우리가 국제 통계 연보 : "통계의 가장 큰 남용은 무엇입니까?" Nate가 답장 한 "Underfitting."
이 반응은 특히 생명 과학의 문제에 적용될 때 예측 모델링에 대한 논의와 매우 관련이 있습니다. 임상 시험에서 우리는 연구 적응을 적용하기 위해 환자의 반응을 예측할 수 있습니다. 또는 어떤 과목이 심각한 역효과 경험이나 사망을 경험할 가능성이 있는지 이해하고자 할 수도 있습니다. 유전체학 문제에 대해서는 다양한 질병 상태에 기여하는 대립 유전자를 규명하거나 생체 내 유전자 발현 데이터 및 화학 구조에 기반한 다양한 화학 물질의 독성 영향을 예측할 수 있기를 희망합니다.
피팅 모델이 데이터의 신호뿐만 아니라 노이즈에도 적합 할 때 발생합니다. 지나친 예측 모델이 새로운 데이터 세트에 적용되는 경우, 모델의 성능은 종종 매우 열악합니다. 예를 들어 독립 예측 변수의 수가 연구중인 관측 수와 같고 정규화가없는 가장 극단적 인 경우를 예로 들어 봅시다. 이 시나리오에서 모델은 매 공변량을 사용하여 단일 관찰의 응답을 예측할 수 있기 때문에 교육 데이터에서 매번 완벽한 예측을 얻을 수 있습니다. 그러나 모델에는 결과를 예측하는 데 유용하지 않은 수많은 변수가 포함되어있을 가능성이 큽니다. 결과? 모델이 새로운 데이터 집합에 사용될 때 적합은 끔찍합니다! 이것은 모델이 첫 번째 데이터 세트에 너무 구체적 (즉, 모델이 지나치게 적합하기 때문)합니다.
그렇다면 왜 생명 과학에 대한 그러한 관심이 과장되어 있습니까? 음, 금융, 소매 및 통신 분야의 상업용 데이터 마이닝 애플리케이션과 달리, 생명 과학 분야의 데이터 세트는 일반적으로 관측치보다 예측치가 더 많습니다 (p >> n). 이러한 "광범위한 데이터"인스턴스에서 예측 모델을 사용하여 데이터를 너무 많이 맞추는 것은 (위의 최악의 시나리오 에서처럼) 매우 쉽습니다. 인체에 알려진 모든 검사가 새로운 약물의 안전성을 평가하기 위해 며칠 또는 몇 주 동안 수행되는 초기 임상 시험을 상상해보십시오. 예측 인자의 수가 수백만으로 쉽게 늘어날 수있는 SNP의 분석은 어떻습니까? 보시다시피, 생명 과학의 지나친 잠재력은 위대합니다.
정확하고 일반화 가능한 예측을 달성하는 목표로 새로운 데이터 세트에 적용 할 수있는 유용한 모델을 어떻게 생성 할 수 있습니까? 모델 작성 프로세스의 일부로 모델을 테스트하거나 하나 이상의 독립 데이터 세트에 대해 유효성을 검사하여 일부 공변량이 불필요한 지 여부를 평가해야합니다. 그러나 이것이 우리의 목적을 위해 어떻게 실제적입니까? 상업용 응용 프로그램에는 일반적으로 모델 (학습 또는 교육 세트)을 교육하고 모델 (유효성 검사 세트)의 유효성을 검사 할 수있는 상호 배타적 인 하위 집합을 정의하는 데 충분한 데이터가 있습니다. 그러나 생명 과학의 관찰은 비용이나 시간, 대상이나 실험 샘플을 얻는 데 어려움 때문에 더 제한적입니다.
생명 과학의 검증 방법은 종종 나머지 관찰을 사용하여 사용 가능한 데이터의 작은 하위 집합에 대한 결과를 예측하고 모든 하위 집합에 대해이 과정을 반복해야합니다. 그림 1은 5 배 교차 검증의 예를 보여줍니다. 데이터는 다섯 개의 상호 배타적 인 세트로 분할되며, 각 세트는 사용 가능한 관측 값의 20 %를 나타냅니다. 예측 모델은 데이터의 80 % (파란색 사각형)로 학습 한 다음 테스트 세트 (빨간색 사각형)로 유효성을 검사합니다. 이 연습은 데이터의 각 파티션 (즉, 각 사각형)이 테스트 세트가되도록 4 번 더 반복됩니다.
또한 시뮬레이션을 사용하여 부분 집합이 생성되는 방식의 차이를 설명 할 수 있습니다. 예를 들어 위의 교차 유효성 검사를 10 번 반복하여 데이터의 새 파티션을 생성하고 교차 유효성 검사를 수행 할 수 있습니다. 시뮬레이션 연습 후에는 10 x 5 = 50 모델이됩니다. 최종 모델을 개발하기 위해 50 가지 모델 중 대다수에서 선택되는 예측 변수를 선택했습니다. 이 예측 자 세트는 전체 데이터 세트에 사용되어 최종 모델을 개발할 수 있습니다.
따라서 다음 번 저널 기사가 모델을 특정 결과를 예측하는 가장 좋은 방법으로 홍보 할 때 조심스럽게이 모델에 접근하십시오! 저자가 자신의 모델을 새로운 데이터에 적용했는지 아니면 정직한 교차 검증 방법을 적용하여 예측 성능을 평가했는지 조사하십시오. 그렇지 않으면, 당신은 그것을 사용하여 자신을 해를 끼칠 수 있습니다.
JMP 임상 과 JMP Genomics 광범위한 예측 모델을 사용할 수 있습니다. 또한 교차 검증, 학습 곡선 ( "내 교육 세트는 충분히 큰가?"질문에 대답하기 위해) 및 예측 자 감소를위한 견고한 도구를 사용하여 생명 과학 응용 프로그램에 유용한 예측 모델을 개발할 수 있습니다.
자세한 내용은 다음을 다운로드하십시오. 추가 기능 (와 일하다 JMP 10 ) 또는 주문형보기 웹 캐스트 (추가 기능을 사용합니다). 추가 기능 및 웹 캐스트는 임상 시험의 데이터와 차세대 시퀀싱을 사용하는 유전체 연구를 사용하여 위의 방법을 설명합니다.
리차드 지암 브론 쓴 :
좋은 토론. 저는 현재 통계 모델링 수업을 듣고 있습니다. 그래서이 주제는 저에게 가장 마음에 드는 것입니다. 나는 네가 준 과장의 예를 좋아한다. Reddit에 Nate Silver에 대한 언급에 감사드립니다. 나는 Reddit이 무엇인지 모른다. 만지지 말고 다시!
