안녕하세요, 2021 년 새해 복 많이 받으세요.
첨부 된 xls 파일에보고 된대로 그룹 (o 및 1 상태)이라는 이진 응답으로 분류 문제를 해결하고 있습니다. 전체적으로 13 개의 예측 변수가 있으며 그중 2 개는 범주 형입니다. 이 테이블은 정리, 기능 선택 및 클러스터링 (공동성을 제거하기 위해)의 결과입니다. 그룹 상태 1이 0에 대해 강하게 불균형했기 때문에 SMOTE + TOMEK 추가 기능을 사용하여 응답의 균형을 맞췄습니다. 추가 된 행은 소스 열에서 인식 할 수 있습니다. 첨부 된 ppt 파일에 결과가있는 여러 분류 모델을 실행했습니다. NN은 R2가 가장 높고 오 분류 오류가 더 낮은 반면 Naive 베이는 약 0.2 오 분류 오류가있는 최악의 베이입니다. 오피 니오에서 오피 니오 (overfitting)가 0 인 모델이 두렵기 때문에 오피 니오에서 가장 신뢰할 수있는 모델은 무엇입니까 (한 번 배포 된 모델은 동일한 오 분류 오류를 가짐)?
감사합니다 Felice
귀하의 결과를 매우 빠르게 살펴본 결과 몇 가지를 알아 차 렸습니다.
첫째, 이것은 JMP 커뮤니티이므로 JMP 파일이 Excel 파일보다 선호됩니다. 결국 내가 한 첫 번째 일은 데이터를 JMP에 넣어서 볼 수 있도록하는 것입니다! 또한 시도한 옵션을보기 위해 다른 모델을 다시 실행할 수있는 스크립트로 저장할 수 있습니다.
응답의 균형을 맞추기 위해 SMOTE + TOMEK을 어떻게 구현했는지 모르겠지만, 응답의 균형을 맞추기 위해 시도 할 수있는 다른 방법이 있습니다. 오버 샘플링하고, 더 널리 퍼진 사례 중 일부를 무시하고, 응답의 계층화 된 샘플링을 기반으로 학습 / 검증 / 테스트에 행을 할당 할 수 있습니다. "완벽한"모델에 관심이 있다면 이러한 모델이 선택 될 수 있습니다. 균형이 어떻게 이루어 졌는지? 알고리즘이 밸런싱을 수행하는 경우 모델 / 알고리즘이이를 설명 할 수 있습니다.
균형 조정이 모델링 작업에 영향을 미치지 않는다고 가정하고 데이터를 훈련, 검증 및 테스트로 분할했습니다. 테스트 세트는 실제 성능을 나타내야하므로 과적 합이 진행되고 있다고 생각하지 않습니다. 테스트 세트는 피팅 과정에서 전혀 사용되지 않습니다. 모델이 너무 좋다고 생각되면 데이터 (특히 테스트 세트)가 프로세스를 대표하는지 확인하십시오.
유효성 검사 값이없는 행이 89 개 있습니다. 왜? 분석에서 해당 행을 제외하고 있습니까? 왜?
부스트 된 트리에 대해 모든 기본값을 사용한 것 같습니다. 기본 부스트 트리에는 50 개의 레이어가 있고 최종 결과에는 50 개의 레이어가 모두 사용 된 것으로 표시됩니다. 즉, 더 많은 부스트 레이어를 사용하여 더 나은 트리를 가질 수 있습니다. 다음은 매우 많은 수의 레이어를 지정한 결과입니다.
서포트 벡터 머신은 또한 오 분류 율에 따라 완벽한 피팅을 제공했습니다. 왜 그것을 고려하지 않습니까?
모델을 진정으로 확신 할 수있는 유일한 방법은 새 데이터에서 모델을 사용하는 것입니다. 세 가지 (더 많은 계층화 된 부스트 트리, 신경망 및 지원 벡터 머신)를 모두 사용하여 데이터가 진정으로 더 잘 작동하는 것을 결정하도록하는 것은 어떨까요?
Ciao Dan은 메일 주셔서 감사합니다.
xls 파일에 대해 당신이 맞습니다. 다음에 엑셀 파일 대신 jmp 파일을 공유하겠습니다.
Smoke + tomek 추가 기능은 모델에 영향을주지 않습니다. 그것의 유무에 관계없이 성능은 정확히 동일합니다.
내가 개발 한 일부 모델의 경우 JMP에서 제안한 하이퍼 파라미터 값만 사용했습니다. 당신이 옳습니다.
참조하는 89 개의 인스턴스는 모델 개발에 사용되지 않았습니다.나는이 보이지 않는 89 개의 예제 (테스트 그룹 외에)에서도 모델 성능을 확인했습니다. 또한이 경우 모델은 교육 / 테스트 그룹에서 우수한 성능을 확인했습니다. 모든 것이 괜찮은 것 같습니다.
모델의 안정성을 확신 할 수있는 유일한 가능성은 배포를 수행하고 보이지 않는 데이터의 성능을 확인하는 것입니다.
