예측 스크리닝예측 모델에 대한 강의와 예측 공식을 데이터 세트에 저장한 다음 초기 변수를 X로 사용하고 예측 공식을 새 X로 추가하여 예측 스크리닝을 다시 실행하라는 제안에 큰 관심을 기울였습니다.
JMP Pro를 사용하여 더 나은 예측 모델 구축 - 모델 선별
오늘 동료와 토론을 했는데 그의 반응은 "모델을 과적합하는 것에 대해 이야기하고 있습니다!"였습니다.
이 접근 방식은 모델을 생성하는 데이터와 다른 검증 데이터를 사용하더라도 모델에 훨씬 더 적합합니까? 내 동료의 의견은 우리가 동일한 데이터를 두 번 사용한다는 것이었습니다.
우리는 이항 Y(Health 또는 Sick)에 대해 작업하고 있으며 이 접근 방식은 실제로 예측을 향상시킵니다. 하지만 이제 유효성 검사조차 부정확하거나 과적합되도록 더 많은 과적합을 도입했습니까? #예측, #오버피팅, #스크리닝
예측 모델링 및 기계 학습윈도우Re: 예측 선별내가 당신을 이해하는지 잘 모르겠습니다.데이터 세트 B가 "맹검"되어 있다고 말하는 것은 어떤 대상이 도핑되었는지 모른다는 뜻인가요(또는 적어도 모르는 척하는 것인가요)?그렇다면 B가 테스트 데이터 세트인 것으로 보입니다.일반적으로 데이터가 충분하면 A를 훈련 데이터와 검증 데이터로 분할하고 모델(앙상블 모델 포함)을 훈련한 다음 B에 적용합니다.그런 다음 B에서의 성능을 기반으로 돌아가서 모델을 변경한다는 아이디어는 과적합을 초래하는 것 같습니다.이는 A를 훈련하고 B를 검증 세트로 사용하는 것과 유사합니다.그러나 테스트 데이터가 전혀 없습니다. 테스트 데이터란 모델링 프로세스와 완전히 분리된 데이터를 의미합니다.
Re: 예측 선별제 질문에 대한 피드백을 보내주신 모든 분들께 감사드립니다!
귀하의 문제에 대한 의견으로 @dale_lehman - 이 프로젝트는 새로운 데이터 세트(도핑 대상자로부터 채취할 수 있거나 현재 채취할 수 있는 맹검 혈액 샘플)에서 도핑을 위해 선택된 바이오마커 세트를 검증하는 것입니다. 따라서 알려진 샘플의 데이터 세트 A를 사용하여 모델을 수정해야 하며 앙상블 접근 방식은 모델을 데이터 세트 B에 적용한 다음(블라인드) 데이터 세트 A를 사용하여 생성된 공식에서 데이터 세트 B에 대한 예측 결과를 조사하는 방법처럼 보입니다. .
필요한 경우 사전 설정된 예측력에 도달할 때까지 돌아가서 일부 바이오마커를 교환하고 이 절차를 다시 수행할 수 있습니다.
이제 (희망적으로) 프로젝트에 대해 좀 더 잘 설명했으므로 검증을 위해 그룹 B를 어떻게 사용하는지 알 수 있지만 B를 사용하여 모델을 (다시) 훈련하는 방법을 이해할 수는 없습니다. (저는 통계학자가 아니라는 점을 기억하세요.) ) 제안한대로 @andreacoombs1 .
이것이 귀하의 답변을 변경하는지 모르겠습니다. 명확히하고 싶었습니다.
Re: 예측 선별저는 사실 이때까지 영상을 본 적이 없었습니다.그것을 본 후 당신의 반응은 나를 조금 당혹스럽게 만듭니다.두 가지가 섞여 있는 것 같습니다. 풀기가 어렵습니다.확실히 잠재적인 예측 모델을 만들고 이를 새 데이터(예: 그룹 
에 노출하면 해당 원래 후보 모델이 여전히 최고인지 또는 새 데이터에 직면했을 때 추가 조정이나 다른 모델을 통해 예측이 향상될 수 있는지 확인할 수 있습니다. - 과적합을 방지하는 고전적인 방법.그러나 동일한 데이터에 대해 원래 예측 변수와 함께 앙상블 모델을 실행하면 과적합이 유일한 문제는 아니라고 생각합니다.그 과정에서 어떤 의미가 있는지 잘 모르겠습니다. 심사에서 선택한 일부 모델과 함께 원래 예측 변수를 포함하면 원래 선택한 모델이 처음부터 선택되어야 하는지 확인하는 것 아닌가요?그리고 모델이 새로운 데이터에서 어떻게 작동하는지 확인하는 것이 목적이라면 이것이 실제로 앙상블 모델링과 관련이 있습니까?앙상블 모델인지 아닌지에 관계없이 모델이 샘플에서 어떻게 작동하는지 확인하기 위해 테스트 데이터 세트(또는 두 번째 테스트 데이터 세트)를 준비하는 아이디어가 아닌가요?즉, 샘플 외부 테스트는 모델 스크리닝 플랫폼이나 앙상블 모델링과 거의 또는 전혀 관련이 없는 것처럼 보입니다. 이는 모든 예측 모델에서 항상 문제가 됩니다.
Re: 예측 선별@ChristerMalm 그리고 @dale_lehman .해당 녹음에서 제가 제시한 앙상블 모델은 원래 모델을 구축하는 데 사용된 것과 동일한 데이터를 사용하여 앙상블 모델을 구축했기 때문에 과적합되었을 가능성이 높습니다.(설명을 명확하게 하기 위해 "원래 모델"과 "앙상블 모델"이라는 용어를 계속 사용하겠습니다).이러한 과적합을 방지하는 한 가지 전략은 전체 데이터 세트를 가져와서 원래 모델을 구축하는 그룹 A와 앙상블 모델을 구축하는 그룹 B의 두 그룹으로 나누는 것입니다.원본 모델을 구축하는 동안 그룹 B를 숨기고 제외할 수 있습니다.그룹 A를 훈련, 검증, 테스트로 나누어 후보 모델을 구축하고 챔피언 모델을 선택합니다.이제 그룹 B를 다시 혼합하여 훈련에 전체 그룹 B를 사용하십시오.그룹 B를 검증으로 사용하거나 검증과 테스트로 분할할 수 있습니다.이는 과적합을 방지해야 합니다.
Re: 예측 선별안녕 @dale_lehman .안드레아 쿰스 @andreacoombs1 예측 모델링에 대한 세션을 발표했으며 이에 대해 몇 가지 생각이 있을 수 있습니다.
Re: 예측 선별안녕 @ChristerMalm ,
예측 모델링에 대한 어제의 세션은 매우 유익했습니다. 해당 주제에 대한 정확한 토론은 기억나지 않지만 동일한 결과에 대한 입력 중 하나로 결과에 대한 예측 공식을 사용하는 데는 주의가 필요합니다. 앙상블 모델링에 대한 제가 이해한 바는 NN, 부스팅 트리, XGBoost 등과 같은 다양한 모델이 구축된 다음 이들의 평균이 계산된다는 것입니다. 빨간색 핫 버튼을 사용하여 모델 비교 플랫폼을 통해 이를 수행하거나 이를 수행하는 열 수식을 작성할 수 있습니다. 앙상블 모델은 그 자체로 어떤 모델보다 데이터에 더 잘 맞아야 하지만 항상 그런 것은 아닙니다. 명심해야 할 한 가지는 최종 목표가 무엇인지, 모델의 해석 가능성이 얼마나 중요한지에 따라 달라집니다. 모델 방정식과 입력이 출력으로 변환되는 방식을 이해하는 경우 모델 앙상블과 복잡한 비선형 모델이 최선의 방법이 아닐 수 있습니다.
Russ Wolfinger가 말한 것 중 정말 중요한 것 중 하나는 데이터에 대한 올바른 검증 체계를 찾는 것입니다. 잘못된 훈련 및 검증 데이터 세트를 선택하면 그가 말한 Nature 논문의 예와 같이 데이터가 양호하더라도 끔찍한 결과를 얻을 수 있습니다. 아마도 최상의 검증 체계를 결정하고 모델을 생성하는 데 더 많은 시간을 투자하는 것이 가장 좋을 것입니다.
또한 불균형한 데이터 세트가 있는 것처럼 들리는데, 이는 한 발생이 다른 발생보다 훨씬 더 많다는 것을 의미합니다. 이 경우 로지스틱 확률 임계값을 변경하여 예측에 도움이 되는지 확인하는 것이 좋습니다. 또한 오탐지와 오탐지 비용에 가치를 할당하기 위해 이익 매트릭스 접근 방식을 고려할 수도 있습니다. Chris Gotwalt는 또한 불균형 데이터의 구분을 더 잘 이해하는 데 도움이 되는 의사결정 트리를 사용하는 흥미로운 접근 방식을 시연했습니다.
도움이 되었기를 바랍니다,
DS
Re: 예측 선별나는 이것을 본 적이 없으며 반응을 보고 싶지만 초기 반응이 있습니다.Model Screen 플랫폼의 예측 공식을 사용하고 다른 예측 변수와 함께 예측 공식을 사용하여 해당 플랫폼을 다시 실행하는 것은 약간 과적합처럼 들립니다.그러나 나는 이것이 앙상블 모델을 구축하는 방법이라고 생각합니다. 예측 공식이 하나의 모델에서 나오고 새 모델이 해당 출력(다른 예측 변수와 함께)을 사용하여 새 모델을 생성하는 경우 이는 더 우수할 수 있는 앙상블 모델입니다. 과적합 없이 첫 번째 모델로 전환합니다.어떤 검증 데이터를 사용할 것인지에 대한 문제는 나에게 더 미묘해 보입니다.나는 동일한 검증 데이터를 사용할 것입니다. 그렇지 않으면 새 모델이 이전 모델보다 나은지 실제로 알 수 없습니다.아마도 두 예측 공식을 모두 저장한 다음 이를 다른 검증 세트에 적용하여 성능이 향상되었는지 확인할 수 있습니다.
