예측 심사예측 모델에 대한 강의와 예측 공식을 데이터 세트에 저장한 다음 초기 변수를 X로 하고 예측 공식을 새로운 X로 추가하여 예측 스크리닝을 다시 실행하라는 제안을 많은 관심을 가지고 들었습니다.
JMP Pro를 사용하여 더 나은 예측 모델 구축 - 모델 스크리닝
오늘 동료와 이야기를 나눴는데, 그의 반응은 "모델 오버핏에 대한 이야기!"였습니다.
이 접근 방식이 모델을 더 많이 과적합합니까(모델을 생성하는 데이터와 다른 검증 데이터를 사용하더라도). 동료의 의견은 동일한 데이터를 두 번 사용한다는 것입니다.
우리는 이항 Y(Health or Sick)에 대해 작업하고 있으며 이 접근 방식은 실제로 예측을 개선하지만 유효성 검사조차 이제 올바르지 않거나 과적합되도록 더 많은 과적합을 도입했습니까? #예측, #과적합, #선별
해석학창Re: 예측 심사나는 이것을 보지 않았고 반응을 보는 데 관심이 있지만 초기 반응이 있습니다.Model Screen 플랫폼의 예측 공식을 사용하고 다른 예측 변수와 함께 예측 공식을 사용하여 해당 플랫폼을 다시 실행하는 것은 과적합처럼 들립니다.그러나 그것은 앙상블 모델을 구축하는 방법이라고 생각합니다. 예측 공식이 한 모델에서 나오고 새 모델이 해당 출력을 사용하여(다른 예측자와 함께) 새 모델을 생성하는 경우 앙상블 모델이 더 우수할 수 있습니다. 과적합 없이 첫 번째 모델로어떤 유효성 검사 데이터를 사용할지 문제가 더 미묘해 보입니다.동일한 유효성 검사 데이터를 사용합니다. 그렇지 않으면 새 모델이 이전 모델보다 나은지 알 수 없습니다.아마도 두 예측 공식을 모두 저장한 다음 이를 다른 검증 세트에 적용하여 성능이 향상되었는지 여부를 확인할 수 있습니다.
Re: 예측 심사안녕하세요 @ChristerMalm ,
어제의 예측 모델링에 대한 설명은 매우 유익했습니다. 그 주제에 대한 정확한 논의는 기억나지 않지만, 동일한 결과에 대한 입력 중 하나로 결과에 대한 예측 공식을 사용하는 데 주의할 것입니다. 앙상블 모델링에 대한 나의 이해는 NN, boosted tree, XGBoost 등과 같은 다양한 모델이 구축된 다음 함께 평균화된다는 것입니다. 빨간색 핫 버튼을 사용하여 모델 비교 플랫폼을 통해 이 작업을 수행하거나 자동으로 수행하는 열 수식을 작성할 수 있습니다. 앙상블 모델은 어느 한 모델 자체보다 데이터에 더 잘 맞아야 하지만 항상 그런 것은 아닙니다. 한 가지 명심해야 할 것은 최종 목표가 무엇이며 모델에 대한 해석 가능성이 얼마나 중요한지에 달려 있다는 것입니다. 모델 방정식과 입력이 출력으로 변환되는 방식을 이해한다면 모델 앙상블과 복잡한 비선형 모델이 최선의 방법이 아닐 수 있습니다.
Russ Wolfinger가 이야기한 정말 중요한 것 중 하나는 데이터에 대한 올바른 유효성 검사 체계를 찾는 것입니다. 잘못된 훈련 및 검증 데이터 세트를 선택하면 그가 말한 네이처 페이퍼의 예와 같이 데이터가 양호하더라도 끔찍한 적합성을 얻을 수 있습니다. 최상의 유효성 검사 체계를 결정하고 모델 생성 작업에 더 많은 시간을 할애하는 것이 가장 좋습니다.
또한 불균형한 데이터 세트가 있는 것처럼 들리는데, 이는 다른 것보다 한 번 더 많이 발생함을 의미합니다. 이 경우 예측에 도움이 되는지 확인하기 위해 로지스틱 확률 임계값을 변경하는 방법을 살펴보고 싶을 것입니다. 또한 거짓 긍정 및 거짓 부정의 비용에 가치를 할당하기 위해 이익 매트릭스 접근 방식을 고려할 수 있습니다. Chris Gotwalt는 또한 불균형 데이터의 컷오프를 더 잘 이해하는 데 도움이 되도록 의사 결정 트리를 사용하는 흥미로운 접근 방식을 보여주었습니다.
도움이 되었기를 바랍니다,
DS
Re: 예측 심사안녕하세요 @dale_lehman .안드레아 쿰스 @andreacoombs1 예측 모델링에 대한 세션을 발표했으며 이에 대해 몇 가지 생각이 있을 수 있습니다.
Re: 예측 심사@ChristerMalm 그리고 @dale_lehman .그 녹음에서 내가 제시한 앙상블 모델은 앙상블 모델이 원래 모델을 구축하는 데 사용된 것과 동일한 데이터를 사용하여 구축되었기 때문에 과적합되었을 가능성이 있습니다.(내 설명에서 일을 똑바로 유지하기 위해 "원래 모델" 및 "앙상블 모델" 용어를 계속 사용하겠습니다).이러한 과적합을 방지하는 한 가지 전략은 전체 데이터 세트를 두 그룹으로 나누는 것입니다. 그룹 A는 원래 모델을 구축하고 그룹 B는 앙상블 모델을 구축합니다.원본 모델을 구축하는 동안 그룹 B를 숨기고 제외할 수 있습니다.그룹 A를 교육, 검증 및 테스트로 분할하여 후보 모델을 구축하고 챔피언 모델을 선택합니다.이제 그룹 B를 다시 혼합하여 그룹 B 전체를 훈련에 사용합니다.그룹 B를 유효성 검사로 사용하거나 유효성 검사와 테스트로 나눌 수 있습니다.이것은 과적합으로부터 보호해야 합니다.
Re: 예측 심사사실 지금까지 영상을 보지는 않았습니다.그것을 본 후, 당신의 반응은 나를 조금 당황하게합니다.2가지가 뒤섞여 있는 것 같습니다. 풀기 어렵습니다.확실히 잠재적인 예측 모델을 생성하고 새로운 데이터(예: 그룹 
에 노출하면 원래 후보 모델이 여전히 가장 좋은지 또는 추가 조정 또는 다른 모델이 새로운 데이터에 직면했을 때 예측을 개선할 수 있는지 여부를 발견할 수 있습니다. - 과적합을 피하는 고전적인 방법.그러나 동일한 데이터에 대해 원래 예측 변수와 함께 앙상블 모델을 실행하면 과적합이 유일한 문제가 아니라고 생각합니다.그 과정에서 의미가 무엇인지 전혀 모르겠습니다. 선별에서 선택한 일부 모델과 함께 원래 예측 변수를 포함하여 원래 선택한 모델을 처음부터 선택했어야 하는지 여부를 확인하는 것이 아닌가요?그리고 목적이 새 데이터에서 모델이 어떻게 작동하는지 확인하는 것이라면 이것이 실제로 앙상블 모델링과 관련이 있습니까?앙상블 모델인지 여부에 관계없이 모델이 샘플에서 어떻게 수행되는지 확인하기 위해 테스트 데이터 세트(또는 두 번째 테스트 데이터 세트)를 유지하는 아이디어가 아닙니다.다시 말해, 샘플 외 테스트는 모델 스크리닝 플랫폼 또는 앙상블 모델링과 거의 또는 전혀 관련이 없는 것 같습니다. 이는 항상 모든 예측 모델의 문제입니다.
