희귀한 사건 예측저는 고객과 함께 Pro 평가판을 사용하고 있습니다. 그들은 ~300만 행 데이터 세트를 사용하여 0.1%의 시간(바이너리 응답, 연속 요인)에서 발생하는 실패를 예측하는 예측 모델을 구축하려고 합니다. 실패는 치명적이며 패스를 잃는 대가를 치르더라도 해당 실패를 포착할 수 있는 모델을 기꺼이 받아들일 것입니다.
저는 제가 할 줄 아는 모든 것을 던져버렸습니다. 실행 시간을 줄이기 위해 그들은 원본 파일의 하위 집합을 원본 데이터의 1-10%로 줄였고, 다양한 가중치 기법, Torch, XG Boost, Model Screening을 시도했습니다. Boosted Tree가 가장 큰 성공을 거두었지만, 각 인스턴스에서 하위 집합에서 개발된 모델은 너무 과적합하여 크기가 비슷하지만 고유하게 다른 데이터 집합이나 더 큰 데이터 집합에 유용하지 않았습니다.
더 많은 가중치를 부여해야 할까요(현재는 통과/실패에 1/100의 가중치를 부여하고 있습니다), 실패가 과도하게 표현된 데이터 하위 집합을 만들어야 할까요? 이런 종류의 고도로 불균형한 모델에 최적으로 설정할 수 있는 하이퍼파라미터가 있을까요? 이 사람에게 무엇을 시도해야 할지에 대한 조언/지침을 구하고 있습니다. 감사합니다.
Re: 희귀 이벤트 예측Imbalanced Classification Add-In을 사용해 보셨나요? 저는 얼마 전에 그것을 가지고 놀았고 그것이 우리의 샘플 데이터 세트 중 하나에서 성능을 높이는 것을 발견했습니다(지금은 그것이 무엇인지 모르겠습니다). 저는 SMOTE나 Tomek Links에 대한 전문가는 아니지만 이 Kaggle 게시물 의 소개가 아주 기본적인 것을 이해하는 데 도움이 되었다고 생각합니다.
아직 시도하지 않았다면 다음 단계로 좋은 시도가 될 것입니다.
Re: 희귀 이벤트 예측이런 드문 사건은 신뢰성을 생각하게 하지만, 그것이 가야 할 길인지는 잘 모르겠습니다. 시간이 지남에 따라 연속적인 입력 요인이 있고, 가끔 실패가 발생합니다. 통제 차트 도구, 특히 다변량 통제 차트는 어떨까요? 실패와 함께 요인의 조합이 발생하는 시점을 상관관계로 지정해 보세요.
Re: 희귀 이벤트 예측모델 스크리닝에서 결정 임계값을 살펴보셨나요? 이진 분류에서 사용됩니다. .1 대 .5의 다른 임계값이 모델에 어떤 영향을 미치는지 볼 수 있습니다.
Re: 희귀 이벤트 예측GenReg 플랫폼에서 Zero Inflated Binomial을 사용하는 것을 고려해 보셨나요? 또한, 더 높은 Type I/False Positives를 초래하는 Decision Thresholds를 고려해 보셨나요?
Re: 희귀 이벤트 예측또한 아직 시청하지는 않았지만 제가 올바르게 추측했다면 @제이슨_위긴스 의 최근 결함 수 모델에 대한 마스터링 웨비나가 도움이 될 수 있습니다. 결함 수 모델을 위한 최상의 선택하기
Re: 희귀 이벤트 예측제너럴 레그에서 0으로 팽창하는 것은 좋은 접근 방식처럼 들리지만 실행 시간에 대해서는 확신이 서지 않습니다. 어떤 모델을 선택하든, 결정 임계값을 사용하여 적절한 차단점을 결정해야 합니다(그렇지 않으면 예측 공식은 두 이벤트에 대해 50:50을 가정합니다). 결정 임계값 보고서를 기반으로 차단점을 결정하는 데 도움이 되는 슬라이드 데크를 보내드리겠습니다.Re: 희귀 이벤트 예측그러니까... 3M 레코드가 괜찮은 기계에서 프로 기반 모델을 실행하고(그리고 요인 수에 미쳐가지 않는다면) 그렇게 나쁠 것이라고는 생각하지 않습니다. 여기에는 고려해야 할 몇 가지 문제가 있다고 생각합니다.
첫째, 그들은 요인 스크리닝을 했나요? 부스트 트리나 랜덤 포레스트는 중요하지 않은 요인이 있는지 알려줄 것입니다. 그 요인들을 줄이면 적합 시간이 줄어듭니다.
두 번째(또는 1위 동점일 수도 있음 - 잘 모르겠음) 계층 교차 검증을 하고 있나요? 검증 열 설정 도구를 사용하여 계층 필드의 응답으로 TVT 교차 검증을 만들게 하세요. 그러면 모델이 정직하게 유지됩니다. 저는 훈련 그룹에 많은 데이터를 두고 나머지 두 그룹에는 점점 줄어드는 데이터를 원합니다.
제안된 모델 유형과 분포는 모두 좋은 아이디어입니다. 이와 같은 것에 대한 저의 편견은 재현성을 위한 랜덤 시드를 가진 트리 기반 방법(랜덤 포레스트, 부스트 트리 또는 XGBoost)에 대한 것입니다. 이러한 방법은 이러한 대규모 데이터 집합을 위해 설계되었습니다. 제리(Jerry)가 희귀 이벤트 신뢰성 각도에 대한 흥미로운 아이디어를 가지고 있다고 생각합니다. 또한 이것을 고려해 볼 수 있습니다. https://youtu.be/Ac6E7da9igU
가중치에 대해 - 당신이 충분히 멀리 가지 않았다고 생각합니다. 당신의 0.01% 실패율을 사용하여 통과 데이터에 0.0001의 가중치를 주고 당신의 실패에 0.9999의 가중치를 줄 것입니다. 우리는 얼마 전에 이런 일이 있었고 (트라이벌 - 인정하겠습니다) 지침은 응답 열을 분포에 넣고 비율을 반대로 하는 것이었습니다(두 번째 문장에서 설명한 것). 꽤 잘 작동하는 듯했습니다.
마지막으로, 상황을 재구성하는 것일 수도 있지만, 평가는 그들이 문제 해결책에 도달할 수 있다는 자신감을 얻는 데 중점을 둘 때 더 순조롭습니다. 실제로 그들이 문제의 결승선을 통과하도록 하는 데 중점을 두지 않습니다. 저는 우리 둘 다 이런 일이 그들의 입장에서 몇 번의 학습 주기를 필요로 할 것이고, 아마도 평가에서 남은 시간 동안 잘 될 것이라는 것을 알고 있다고 생각합니다. 그들이 Pro로 해결책에 도달할 수 있다는 자신감을 얻는 데 중점을 둔다면, 그들의 문제에 대한 "모델"을 얻지 못하더라도 구매할 것입니다.
Re: 희귀 이벤트 예측여러분의 의견에 감사드립니다(지금까지)! 저는 이 문제에 대해 아래에 나열된 여러 아이디어를 던졌지만, 모든 아이디어를 던진 것은 아니고 권장된 방식도 아닙니다. 여러분의 조언에 감사드립니다.
