프로파일러에서 표준 오류를 해석하는 방법에 대한 최근 논의가 솔루션으로 수렴되지 않았으므로 다른 예와 내 질문에 대한 좀 더 명확한 설명(희망)으로 다시 시작하겠습니다.유명한 Anscombe 사중주 데이터 세트 중 하나인 선형 회귀 모델이 적합한 데이터 세트를 첨부했습니다.다중 회귀 모델에 적합하고 평균 예측 표준 오차와 개별 예측 표준 오차를 저장했습니다. 예상대로 전자가 후자보다 훨씬 좁습니다.또한 프로파일러를 사용하고 Bagged 예측을 저장했습니다. 이것은 Bagged 평균(회귀 모델의 평균 예측 표준 오차와 유사하다고 해석함) 및 Bagged Std dev(비슷한 것으로 해석함)에 대한 표준 오차를 제공했습니다. 회귀에서 개별 예측 표준 오차로).내가 이것을 유사하다고 해석한다고 말할 때, 나는 모델의 표준 오류가 회귀 모델에서 파생되는 반면 배깅된 표준 오류는 비모수적 부트스트랩(이 경우 100개의 부트스트랩 샘플)에서 파생된다는 것을 깨달았습니다.
이 경우(마지막 예와 달리) 모델 예측보다 배깅된 예측의 경우 다소 작지만 개별 표준 오차는 비슷합니다.그러나 배깅된 평균의 표준 오차는 모델에서 평균 예측의 표준 오차보다 약 10% 큽니다.실제로 이것은 배깅된 표준 오차 = 배깅된 예측의 표준 편차를 (M-1)의 제곱근으로 나눈 값이라는 문서에서 확인할 수 있습니다. 여기서 M은 배깅된 샘플의 수(여기서는 100임)입니다.
내 질문은 배깅된 평균과 배깅된 표준 편차의 표준 오차를 사용하는 방법에 관한 것입니다.프로파일러에 표시된 신뢰 구간을 보면 배깅된 평균의 표준 오차(10% 더 큼)가 아니라 회귀 모델의 평균 예측 표준 오차와 일치하는 것으로 보입니다.그렇다면 백에 든 샘플의 표준 오차는 무엇에 유용합니까?
JMP가 모든 기계 학습 모델에 대한 프로파일러를 제공한다는 것이 (적어도 저에게는) 중요하다고 생각합니다.이렇게 하면 배깅 평균과 이 두 가지 유형의 표준 오류를 저장할 수 있습니다.이러한 표준 오차를 사용하여 신뢰 구간을 구성할 수 있다면 신경망, 랜덤 포레스트 등에서 통계적으로 유의미한 것을 얻을 수 있습니다.대부분의 모델이 추론 정보를 쉽게 제공하지 않기 때문에 이것이 중요한 기능이라고 생각합니다.이는 회귀 모델뿐만 아니라 분류 모델에도 적용됩니다.
하지만 배깅된 표준 오류가 의미가 있는지 잘 모르겠습니다.내가 제공한 예에서는 너무 작게 보입니다.그리고 프로파일러에 표시된 신뢰 구간이 배깅된 평균의 표준 오류를 기반으로 하는지 여부가 명확하지 않습니다(이 예에서는 그렇게 보이지 않음).그러니 제 질문에 대한 답을 알려주세요.
아무도 이 주제에 대해 밝힐 수 없었던 것 같습니다.더 많은 탐색을 바탕으로 "솔루션"을 제안하고 아마도 누군가 그것에 무게를 둘 수 있습니다.나에게는 Bagged 예측을 저장한 후 프로파일러에서 생성된 신뢰 구간처럼 Bagged 표준 편차가 아닌 Bagged Mean의 표준 오차를 사용하는 것처럼 보입니다.나는 그것이 틀렸다고 믿기 시작했습니다. 전자보다 후자가 사용되어야 한다는 것입니다.차이점은 전자가 후자를 백에 든 샘플 수의 제곱근(-1)으로 나눈 값이라는 것입니다.배깅된 평균의 표준 오차가 무언가를 측정한다는 것은 사실입니다. 저는 이것이 배깅 절차의 안정성이라고 생각합니다(즉, 평균 예측이 부트스트랩 샘플에 얼마나 민감한지).하지만 신뢰 구간에서 우리가 원하는 것은 예측의 신뢰성과 모델의 각 요소가 해당 예측에 얼마나 영향을 미치는지에 대한 신뢰입니다.나는 그것을 측정하는 것이 Bagged Standard Deviation이라고 생각합니다.
