비대칭 비용 / 불균형 데이터 세트를 사용하는 예측 모델링여보세요,
JMP Pro의 예측 모델링 플랫폼 (파티션, 임의의 포리 스트 등)에게 소수의 클래스를 잘못 예측하는 데 더 많은 비용을 할당하도록 지시하려면 어떻게해야합니까? 고도의 불균형 (급성 환자의 재입 원율)이 높은 데이터 세트를 가지고 있으며, 분류기를 사용할 때 AUC가 낮고 모든 긍정적 인 경우가 잘못 분류됩니다.
이 문제를 해결할 수있는 도구에 대해 도움을주십시오.
감사
Re : 비대칭 비용 / 불균형 데이터 세트를 이용한 예측 모델링지적했듯이, AUC를 개선하고 비대칭 비용 / 편익을 통합하는 것은 두 가지 다른 일입니다. AUC는 모델을 정확하게 분류하는 능력과 관련이 있으며, 이익 매트릭스는 분류 오류를 가장 적은 피해로 돌릴 수 있습니다. AUC 측정치가 나쁘지는 않지만 분류가 비용이 많이 드는 실수 (예 : 1 개의 값 중 하나를 분류하지 못하는 것)를 만들면 분류에 대해 다른 컷오프 확률을 시도해야합니다. 즉, 이익 매트릭스가 자동으로 수행하는 것이지만 또한 오 분류를 변경하기 위해 손으로 컷오프 확률을 변경할 수 있습니다. 여전히 얻을 수있는 것을 좋아하지 않는다면, 더 높은 모델을 원할 것입니다. 하나는 더 높은 AUC를 생성하는 모델입니다. 오 분류 비용에 관한 어떠한 것도 AUC를 올리지는 못합니다 - 더 나은 모델 만이 AUC를 올릴 수 있습니다. 따라서 더 나은 모델이 필요하면 다른 기술을 시도하고 변수를 변형하고 모델 설정을 변경하십시오. 그러나 모델 자체를 향상시키기 위해 수익 매트릭스를 사용하지 마십시오.
Re : 비대칭 비용 / 불균형 데이터 세트를 이용한 예측 모델링모든 모델을 시도했지만이 불균형 한 데이터 세트로 인해 모든 제로 사례가 올바르게 분류되고 모든 사례가 잘못 분류됩니다. 비용 편향은 논리적으로 AUC를 최적화 할 수 있어야하지만 왜 영향을 미치지 않는지 이해할 수는 없습니다. 그것이 나를 혼란스럽게 만들고있는 것이다.
Re : 비대칭 비용 / 불균형 데이터 세트를 이용한 예측 모델링지금처럼 당신은 정말로 개선 된 AUC를 얻으려고합니다. 지금까지는 나무 기반 모델에 대해서만 이야기했습니다. 신경망 기술을 사용해 보셨습니까?
Re : 비대칭 비용 / 불균형 데이터 세트를 이용한 예측 모델링그런데 어떻게하면 내 모델의 감도를 높일 수 있습니까? 및 AUC? AUC가 결과를 분류 할 때 비용을 고려하도록하는 다른 방법은 무엇입니까? 감사
Re : 비대칭 비용 / 불균형 데이터 세트를 이용한 예측 모델링이익 매트릭스를 사용하면 AUC가 변경되지 않습니다. 선택한 확률 단까지만 변경됩니다. 이는 사용자가 지정한 비대칭 이윤 / 비용에 따라이를 선택합니다. 본질적으로 그것은 ROC 곡선상의 한 점을 선택합니다 (확실하지는 않지만, 오류의 상대적 비용이 ROC 곡선의 기울기와 같은 최적의 지점이라고 생각합니다). 예측을 저장하면 최적의 분류와 관련된 수익성을 나타내는 추가 열이 있어야하며 분류가 기본 분류와 다르도록해야합니다 (비용이 비대칭이라고 가정).
Re : 비대칭 비용 / 불균형 데이터 세트를 이용한 예측 모델링감사. 나는 그것을 시도했지만 내 모델의 AUC는 여전히 다른 방법들과 동일하다. 모델이 소수 집단에 더 높은 중요성을 부여하도록 강요하지 않았습니다.
Re : 비대칭 비용 / 불균형 데이터 세트를 이용한 예측 모델링수익 모델은 예측 모델을 작성하기 전에 열 속성으로 정의 될 수 있으며 사용자가 요구하는 것을 수행해야합니다. 그러나 JMP 도움말 가이드의 예는 분명하지만 실제 상황과 일치하지 않는 경우가 많습니다. 의사 결정 문제로 오탐 (false positive)과 네거티브 (negative)의 비용이 정확히 무엇인지 지정할 수 있다면 이익 매트릭스가 작동해야합니다. 예를 들어, JMP 예제는 잘못된 예측이 에이전트에 알려진 추가 비용을 포함하는 에어 라인 예약을 수행하는 에이전트 용입니다. 반면에 고객 보유와 같은 것을 예측하는 경우 잘못된 예측의 비용이 분명하지 않습니다. 고객이 분실 될 것이라고 잘못 예측하면 고객 유지를 위해 추가 비용이 발생할 것입니다. 일부 고객의 경우 이로 인해 손실에서 유지로 전환 될 수 있지만 확실히 100 % 유효하지는 않습니다. 이런 경우 수익 매트릭스에 무엇을 넣어야할지 파악하기가 복잡해 지므로 그 기능을 사용하지 않는 것이 좋습니다. 대체 cutoffs 및 confusioin 행렬을 보는 것이 좋습니다.
Re : 비대칭 비용 / 불균형 데이터 세트를 이용한 예측 모델링이것에 대한 도움이 필요하십니까?
Re : 비대칭 비용 / 불균형 데이터 세트를 이용한 예측 모델링나는 그것이 어떻게 작동하는지 잘 모르겠다. 내 이해는 모델을 실행 한 후에 수익 매트릭스가 나타나는 것입니다. 소수 클래스에 더 높은 비용을 지정하고 모델이 예측을 할 때이를 고려하는지 확인하고 싶습니다.
그것을 달성하기위한 절차에 대해 자세히 설명해 주시겠습니까?
감사
Re : 비대칭 비용 / 불균형 데이터 세트를 이용한 예측 모델링살펴보기 이익 매트릭스 (그리고 이것에서 링크).
