결과를 비교하다안녕하세요,
다양한 결과를 얻은 후, 다양한 분류 방법으로 얻은 결과가 무작위성에 의한 것이 아닌지 확인하기 위해 JMP에서 통계적 검정을 어떻게 수행할 수 있습니까?
고급 통계 모델링데이터 탐색 및 시각화예측 모델링 및 머신 러닝Re: 결과 비교저는 이러한 다양한 모델이 "상당히" 다른지 여부에 대한 통계적 테스트를 알지 못하지만, 저는 그것이 진행하기에 올바른 방법이라고 생각하지 않습니다. 비교할 관련 사항이 여러 가지 있습니다. 검증 데이터(또는 충분히 큰 데이터 세트가 있어서 생성할 수 있는 경우 테스트 데이터)를 사용하여 ROC, 오분류율, 엔트로피 및 일반화된 R 제곱 측정값을 살펴보고 각 모델에서 발생한 오분류를 자세히 살펴볼 수 있습니다. 분류에 대한 차단 확률을 적절히 조정합니다. 저는 각 모델이 제공하는 예측 확률 분포를 자세히 살펴보고 해당 문제에 대한 각 모델의 유용성을 평가하는 경향이 있습니다. 거짓 양성과 거짓 음성이 동등한 중요성을 갖는 경우는 드물기 때문에 모델링하는 의사 결정 문제에 "잘" 작동하는 모델이 필요합니다. 그리고 예측 확률 분포는 일반적으로 해당 평가를 내리는 데 사용할 수 있는 풍부한 증거를 제공합니다.
Re: 결과 비교r2 결과를 윈도우 테이블에 어떻게 저장할 수 있나요? 왜냐하면 그것에 대한 anova 테스트를 하고 싶기 때문입니다.
Re: 결과 비교테이블 상자를 마우스 오른쪽 버튼으로 클릭하고 데이터 테이블로 만들기 또는 결합된 데이터 테이블 만들기를 선택합니다.
Re: 결과 비교안녕하세요 @maryam_nourmand ,
목표가 모델 성능의 견고성을 평가하는 것이라면 @dlehman1 이 제시한 옵션만 추천하고 강조할 수 있습니다.
모델의 견고성을 평가하는 방법에는 여러 가지가 있습니다.
- 다양한 랜덤 시드에서 모델 성능을 측정함으로써(무작위성은 ML 모델 학습의 일부이므로 "무작위성 없이는 학습 없음" )
- 다양한 훈련 및 검증 세트에서 모델 성능을 측정합니다.
두 번째 옵션에서는 검증 공식 열과 "시뮬레이션" 옵션을 사용하여 다양한 트레이닝 조건/세트에서 모델을 시도할 수 있습니다. 다음 게시물에서 JMP에서 이를 수행하는 방법에 대해 자세히 알아볼 수 있습니다.
여러 번의 반복 검증을 자동화하고 하나의 출력 테이블로 요약하려면 어떻게 해야 합니까?
부스트 트리 - 튜닝 테이블 디자인
이러한 시뮬레이션의 결과를 바탕으로 다양한 모델 간의 성능 분포를 시각화하고 비교할 수 있으며, 필요한 경우 통계적 테스트를 수행할 수 있습니다. 예를 들어, 다양한 모델 간의 예측 시뮬레이션의 평균/중앙값/분산 성능을 비교할 수 있습니다.
@dlehman1이 언급했듯이 기본 측정항목은 흥미롭지만 분류 오류의 "중요도"가 동일하지 않을 수 있으므로 세부적으로 조정하는 것이 좋습니다.
ML 모델에서 표시되는 확률을 "신뢰 수준"으로 사용하려는 경우 이 확률에 대해서도 조심해야 합니다. 모든 확률은 보정되지 않으며 선택한 모델과 샘플 크기에 따라 영향과 결과가 다를 수 있습니다. 보정 주제에 대한 자세한 내용:
https://scikit-learn.org/stable/auto_examples/calibration/plot_compare_calibration.html
https://ploomber.io/blog/calibration-curve/
이 답변과 몇 가지 고려 사항이 도움이 되기를 바랍니다.
