프로파일러에서 표준 오류를 해석하는 방법에 대한 최근 토론은 솔루션으로 수렴되지 않았으므로 다시 시작하겠습니다. 다른 예와 내 질문에 대한 좀 더 명확성(희망)으로 시작하겠습니다.저는 유명한 Anscombe 4중주 데이터 세트 중 하나를 첨부했습니다. 선형 회귀 모델이 적합한 데이터 세트입니다.나는 다중 회귀 모델을 맞추고 평균 예측 표준 오차와 개별 예측 표준 오차를 저장했습니다. 예상대로 전자가 후자보다 훨씬 좁습니다.또한 프로파일러를 사용하고 배깅된 예측을 저장했습니다. 이것은 배깅된 평균(회귀 모델의 평균 예측 표준 오차와 유사한 것으로 해석) 및 배깅된 표준 편차(내가 유사한 것으로 해석하는 것으로 해석)에 대한 표준 오류를 제공했습니다. 회귀에서 개별 예측 표준 오차까지).이것을 유사하다고 해석하면 모델의 표준 오류는 회귀 모델에서 파생되고 배깅된 표준 오류는 비모수 부트스트랩(이 경우 100개의 부트스트랩 샘플)에서 파생된다는 것을 깨달았습니다.
이 경우(저의 마지막 예와 달리) 개별 표준 오차는 비슷하지만 배깅된 예측의 경우 모델 예측보다 약간 작습니다.그러나 배깅 평균의 표준 오차는 모델의 평균 예측 표준 오차의 약 10%입니다.사실, 이것은 bagged 표준 오류 = bagged 예측의 표준 편차를 (M-1)의 제곱근으로 나눈다는 문서로 확인할 수 있습니다. 여기서 M은 bagged 샘플의 수입니다(여기서는 100).
내 질문은 bagged 평균과 bagged 표준 편차의 표준 오차를 사용하는 방법에 관한 것입니다.프로파일러에 표시된 신뢰 구간을 보면 회귀 모델의 평균 예측 표준 오차와 일치하는 것으로 보입니다. 배깅 평균의 표준 오차(10% 더 큼)와는 다릅니다.그렇다면, 자루에 넣어진 샘플의 표준 오차는 무엇에 좋은가요?
나는 (적어도 나에게) 중요성은 JMP가 모든 기계 학습 모델에 대한 프로파일러를 제공한다는 점이라고 생각합니다.이를 통해 배깅된 수단과 이러한 두 가지 유형의 표준 오류를 저장할 수 있습니다.이러한 표준 오류를 사용하여 신뢰 구간을 구성할 수 있다면 신경망, 랜덤 포레스트 등에서 통계적 유의성과 유사한 것을 얻을 수 있습니다.대부분의 모델이 추론 정보를 쉽게 제공하지 않기 때문에 이것이 중요한 기능이 될 것이라고 생각합니다.이는 회귀 모델뿐만 아니라 분류 모델에도 적용됩니다.
그러나 배깅 표준 오류가 많은 의미가 있는지 확신할 수 없습니다.내가 제공한 예에서는 너무 작게 보입니다.그리고 프로파일러에 표시된 신뢰 구간이 배깅된 평균에 대한 표준 오차를 기반으로 하는지 여부는 분명하지 않습니다(이 예에서는 그렇게 보이지 않음).그러니 제 질문에 대해 조금이나마 도움이 되셨으면 합니다.
아무도 이 주제에 대해 밝힐 수 없었던 것 같습니다.좀 더 탐색을 바탕으로 "해결책"을 제안하고 아마도 누군가가 그것에 무게를 둘 수 있습니다.배깅된 예측을 저장한 후 프로파일러에서 생성된 신뢰 구간처럼 보입니다. 배깅된 표준 편차가 아닌 배깅된 평균의 표준 오차를 사용합니다.나는 그것이 옳지 않다고 믿기 시작했습니다. 전자보다는 후자를 사용해야 합니다.차이점은 전자가 후자를 백에 담긴 샘플 수의 제곱근으로 나눈 값(-1)이라는 것입니다.배깅된 평균의 표준 오차가 무언가를 측정한다는 것은 사실입니다. 배깅 절차의 안정성(즉, 평균 예측이 부트스트랩 샘플에 얼마나 민감한가)이라고 생각합니다.그러나 신뢰 구간에서 원하는 것은 예측의 신뢰성과 모델의 각 요소가 해당 예측에 얼마나 영향을 미치는지에 대한 확신입니다.나는 그것을 측정하는 것이 Bagged Standard Deviation이라고 생각합니다.
