이 위시리스트 요청은 무엇에서 영감을 받았나요?
이 도움말 페이지( https://www.jmp.com/support/help/en/19.1/#page/jmp/example-of-confidence-intervals-using-bagging.shtml )에서는 배깅을 사용하여 신경망 예측 모델의 신뢰 구간을 생성하는 방법을 설명합니다. RASE를 정규 오차항의 추정치로 사용하면 이 방법을 예측 구간 생성으로 쉽게 확장할 수 있을 것 같습니다. 또한, 데이터 포인트와 예측 구간을 시각화하는 새로운 프로파일러 기능을 이 예측 구간 구현과 함께 활용할 수 있습니다. 이를 통해 모델이 데이터 포인트를 얼마나 잘 예측하는지 시각적으로 확인할 수 있습니다. 현재 JMP는 모델의 점 예측에 대해서만 모델 검증을 제공합니다. 이 기능을 추가하면 오차항 또한 정확하게 추정되었는지 확인할 수 있을 것입니다.
어떤 개선점을 보고 싶으신가요?
다음은 배깅을 통해 얻은 신뢰구간의 시각화 결과입니다.
RASE와 정규 오차를 사용하여 예측 구간을 계산한 다음, JMP 18의 새로운 예측 구간 시각화 기능을 활용하여 아래와 같은 그래프를 생성하도록 열 속성을 조작했습니다. 기본적으로 신경망 배깅의 기본 신뢰 구간 프로파일러 생성 결과가 위의 그래프가 아닌 아래와 같은 그래프만 생성되도록 하고 싶습니다. 계산 과정과 구현 방법을 보여드리기 위해 도움말 페이지의 타이어 마모 예제 JMP 테이블을 첨부했습니다. 첫 번째 스크립트인 "Bagging Profiler"는 도움말 페이지의 스크립트와 동일합니다. 두 번째 프로파일러인 "Profiler of Pred Formula ABRASION"은 데이터 포인트와 예측 구간을 추가한 제 사용자 지정 프로파일러입니다.
예측 구간이 계산되었으므로 이제 프로파일러에서 시각적으로, 그리고 표에서 수치적으로 데이터 포인트 포함 여부를 확인할 수 있습니다.
이 아이디어가 왜 중요한가요?
신경망이나 유사한 예측 블랙박스 모델들이 예측에는 뛰어나지만 불확실성을 거의 무시한다는 점이 매우 이상하게 느껴집니다. 저는 항상 오차항을 포함한 모델이 기존 데이터와 새로운 데이터를 얼마나 잘 모방하는지 확인하기 위해 예측 구간을 알고 싶었습니다. 신뢰 구간을 생성하는 배깅 기법은 올바른 방향으로 나아가는 한 걸음이었지만, 여전히 데이터를 평균 신뢰 구간과 비교하는 것만으로는 모델을 검증할 수 없습니다. 데이터를 예측 구간과 비교해야 합니다. 이 접근 방식은 본질적으로 오차항 자체의 유효성을 확인하고, 실제 데이터를 모델의 예측 구간과 비교하여 대부분의 데이터 포인트가 예측 구간 내에 포함되는지 확인하는 방법을 제공합니다. 이 모든 과정을 통해 모델 검증의 또 다른 방법을 제공하고, 적합도가 좋고 예측 구간의 범위가 넓어 보이면 모델에 대한 신뢰도를 높일 수 있습니다. 이 방법의 가장 큰 장점은 신경망처럼 일반적으로 신뢰 구간이나 예측 구간을 제공하지 않는 대부분의 모델 유형에 적용할 수 있다는 것입니다.
이 제안을 올려주셔서 감사합니다. 검토 중입니다.
