배깅된 예측에 대한 개념적 질문저는 회귀 모델에서 일상적으로 얻는 표준 오류에 필적하는 기계 학습 모델의 불확실성 측정값을 찾는 동안 오랫동안 고심했습니다.최근에야 나는 프로파일러의 일부 기능, 특히 배깅된 예측에 대해 알게 되었습니다.그러나 나는 그 배깅된 예측을 해석하는 방법(또는 해석해야 하는 경우)을 정말로 이해하지 못합니다.기계 학습 모델(예: 신경망)을 실행하고 프로파일러에서 배깅된 예측을 저장하면 배깅된 평균, 배깅된 평균의 표준 오차 및 배깅된 표준 편차를 얻습니다.이를 회귀 모델(예: 다중 회귀)과 비교하여 다음 관계를 관찰했습니다.
- NN의 예측된 배깅 평균은 다중 회귀의 예측 공식과 매우 유사합니다.
- 다중 회귀 모델의 평균 예측 구간은 예상대로 개별 예측 구간보다 훨씬 좁습니다(내가 보고 있는 예에서 평균 예측의 표준 오차는 개별 예측의 표준 오차 크기의 약 1/10임) .
- NN의 bagged 평균의 표준 오차는 bagged 표준 편차보다 훨씬 작습니다(내가 보고 있는 예제의 크기는 약 1/10).
이러한 관찰은 내가 회귀 모델의 평균 예측의 표준 오차와 유사한 NN의 배깅 평균의 표준 오차를 생각하도록 유혹합니다.유사하게, 배깅된 표준 편차는 회귀 모델에서 개별 예측의 표준 오차와 유사할 수 있습니다.
그러나 NN과 회귀 모델의 표준 오차는 전혀 닮지 않았습니다!따라서 내 질문은 내 해석이 의미가 있는지 또는 배깅 평균의 표준 오류가 정확히 어떻게 해석되거나 사용될 수 있는지입니다.
통찰력에 미리 감사드립니다.내 질문에 도움이 되는 경우에 대비하여 구체적인 예를 첨부합니다(이것은 내 모델링 예의 유효성 검사 데이터 세트이며 다중 회귀 모델 및 NN의 예측이 포함됨).
해석학Re: 배깅된 예측에 대한 개념적 질문부록 - 내가 첨부한 파일에서 다중 회귀에서 표준 오류를 (과)추정했습니다.저장된 95% 신뢰 구간을 사용하여 추정했습니다.표준오차를 직접 저장한 수정본을 첨부합니다.내 질문은 NN의 표준 오류가 유효성 검사 세트 내에서 명백한 상관 관계가 거의 없는 다중 회귀(평균)의 절반 미만인 것처럼 보이기 때문에 남아 있습니다.두 모델 모두 데이터에 잘 맞습니다.그래서 다중회귀 예측의 표준오차를 해석하는 것과 같이 배깅평균의 표준오차 해석이 예측과 관련된 표준오차로 적절하게 해석되는지 궁금합니다.
Re: 배깅된 예측에 대한 개념적 질문예.
Neural 플랫폼은 소수의 숨겨진 노드만 있는 경우에도 복잡한 모델을 사용합니다. 회귀 모델에 많은 항을 추가한다고 상상해 보십시오. RMSE는 어떻게 됩니까? SE는 어떻게 될까요? 회귀 모델의 복잡성이 NN의 복잡성과 비슷합니까?
나는 당신이 NN 또는 다른 ML 방법을 오용하고 있다고 제안하지 않습니다. 그것들은 추론에 관한 것이 아니라 예측에 관한 것임을 기억하십시오. 따라서 추정치의 불확실성은 중요하지 않으며 정확성/재현성/일반화가 전부입니다. 따라서 예측 모델(설명 모델 아님)은 전체 MSE(편향 + 분산)의 측정값을 사용하여 모델을 선택하고 '정직한 평가' 또는 교차 검증을 사용하여 선택된 모델을 확인합니다.
그러나 요점은 평균 응답 예측이 유사하더라도 서로 다른 모델의 SE가 동일할 이유가 없다는 것입니다. 이 차이는 애플리케이션에서 한 모델에 이점을 제공할 수 있습니다.
Re: 배깅된 예측에 대한 개념적 질문마크, 고마워.어느 정도 도움이 됩니다.NN이 더 작은 표준 오류를 제공하는 이유를 설명할 수 있습니다(두 모델이 데이터에 잘 맞을 때 차이의 크기에 여전히 놀랐습니다).그러나 각 예측과 관련된 표준 오차에 거의 상관 관계가 없는 이유를 실제로 설명하지 않는 것 같습니다.내가 게시한 데이터는 두 모델 간의 각 관측치의 예측 표준 오차 사이에 의미 있는 관계가 거의 없음을 보여줍니다.이제 다중 회귀 모델의 경우 서로 다른 관찰과 관련된 표준 오류를 결정하는 것이 무엇인지 어느 정도 알 수 있지만 NN의 경우 실제로는 그렇지 않습니다.아마도 그것이 그들이 서로 관련이없는 이유입니까?이것은 NN 모델의 해석 가능성 부족과 관련된 차원입니까?
Re: 배깅된 예측에 대한 개념적 질문NN은 매우 비선형적인 앙상블 모델입니다. 이를 2차 항이 있을 수 있는 회귀 모델과 비교하십시오. 이 두 종류의 모델에 대한 표준 오차는 매우 다릅니다.
저는 개인적으로 NN이 해석 가능하지 않거나 선형 회귀 모델이 해석 가능하다는 개념에 동의하지 않습니다. (나는 그것이 어리석다고 생각합니다.) 예측 변수 X의 효과는 그것을 포함하는 모든 항의 선형 조합입니다. 예를 들어, '2차 효과'에 대해 이야기하는 것은 넌센스입니다. 모델에는 2차 항만 있습니다. 그렇다면 X + X*X2 + X*X + X*X*X로 모델에 나타날 때 X의 효과를 어떻게 해석합니까? 우리는 이러한 용어로 생각하는 데 익숙합니다. 우리는 그것에 대해 수년 동안 노출되었고 그것에 대해 생각할 시간이 있었습니다. NN은 비선형 활성화 함수를 통해 더 많은 동일한(선형 예측자)이며 각 노드에 대해 더 많은 동일한 항목에 추가됩니다. 우리는 더 열심히 생각해야 합니다.
아니, 우리는하지 않습니다. 모든 종류의 기능(모델)과 작동하는 프로파일러가 있습니다.
Re: 배깅된 예측에 대한 개념적 질문나는 당신이 말하는 것을 따르고 있지만 내 질문이 뭔가 달라진 것 같아요.NN은 제외합시다.프로파일러는 다중 회귀 플랫폼에서도 사용할 수 있으므로 배깅된 예측의 표준 오차가 회귀 모델에서 저장된 표준 오차와 어떻게 비교되는지 확인하기 위해 몇 가지 실험을 했습니다.완벽하지는 않지만 상관 관계가 있습니다.개별 예측 표준 편차는 예상대로 평균 예측 표준 편차보다 훨씬 더 크며, 이는 배깅된 평균을 저장할 때 얻게 되는 두 가지 표준 오류에도 적용됩니다.그러나 나를 놀라게 하고 이해하지 못하는 것은 배깅된 예측(개별 버전 또는 평균 버전)을 저장하는 데 따른 표준 오류가 회귀 모델의 표준 오류보다 10배 작은 이유입니다.내 이해(틀릴 수 있음)는 예측의 표준 오류가 이론적으로 회귀 모델에서 파생되고 배깅된 예측에서 부트스트랩의 결과라는 것입니다.이론적으로 그것들은 비슷해야 합니다(적어도 충분한 부트스트랩 샘플이 있는 경우 - 저는 100과 1000을 사용했고 둘 다 유사한 결과를 제공했습니다) - 그러나 그들은 그렇지 않습니다.
따라서 프로파일러의 표준 오차는 회귀 모델의 표준 오차와 질적으로 다른 것으로 보입니다.그 이유는 무엇입니까?
Re: 배깅된 예측에 대한 개념적 질문좀 더 완벽하게 하기 위해 하나의 예측 변수가 있는 간단한 작은 파일이 첨부되어 있습니다.회귀 모델을 구축하고 예측 및 표준 오차(평균 및 개별)를 저장했습니다.프로파일러를 사용하여 배깅된 예측을 저장했습니다.모델과 프로파일러에서 예측된 값의 동등성(이 경우 완벽함)을 보여주는 3개의 xy 플롯이 있습니다.표준 오차 도표는 강한 상관 관계를 보여주지만 프로파일러의 표준 오차가 모델보다 상당히 작음을 보여줍니다.나는 배깅 절차의 표준 오류가 다른 것을 의미한다고 강력하게 의심합니다.당신이 나를 위해 이것을 명확히 할 수 있기를 바랍니다.
Re: 배깅된 예측에 대한 개념적 질문" 내 이해(틀릴 수 있음)는 예측의 표준 오류가 이론적으로 회귀 모델에서 파생되고 배깅된 예측에서 부트스트랩의 결과라는 것입니다.이론적으로 그것들은 비슷해야 합니다(적어도 충분한 부트스트랩 샘플이 있는 경우 - 저는 100과 1000을 사용했고 둘 다 유사한 결과를 제공했습니다) - 그러나 그들은 그렇지 않습니다. "
어떤 이론을 말씀하시는 건가요?
Re: 배깅된 예측에 대한 개념적 질문다중 회귀에 대한 예측 신뢰 구간은 오류 구조 및 무작위 샘플링(궁극적으로는 중심 극한 정리의 기초가 되는 논리에서 파생됨)에 대한 가정에서 파생된 공식을 통해 파생됩니다.반면에, 배깅된 예측은 신뢰 구간을 도출하기 위한 비모수적 경험적 접근 방식인 부트스트래핑에서 파생된다고 생각합니다.또한 기본 데이터에 비정상적인 분포가 있거나 부트스트랩에 불충분한 샘플 크기가 사용되지 않는 한 이 두 가지 접근 방식이 일반적으로 가깝다고 생각합니다.
제가 첨부한 파일에서는 이러한 문제가 발생하지 않는다고 생각합니다.평균 예측은 두 가지 접근 방식에서 거의 동일하지만 프로파일러의 표준 오차는 이론적으로 파생된 값보다 훨씬 작습니다.이것이 내가 프로파일러 표준 오류의 의미를 오해하고 있다고 생각하게 만드는 이유입니다.그렇지 않다면 왜 누군가가 이론적으로 파생된 표준 오차를 사용하겠습니까?
Re: 배깅된 예측에 대한 개념적 질문" 다중 회귀에 대한 예측 신뢰 구간은 오류 구조 및 무작위 샘플링(궁극적으로는 중심 극한 정리의 기초가 되는 논리에서 파생됨)에 대한 가정에서 파생된 공식을 통해 파생됩니다.반면에, 배깅된 예측은 신뢰 구간을 도출하기 위한 비모수적 경험적 접근 방식인 부트스트래핑에서 파생된다고 생각합니다.또한 기본 데이터에 비정상적인 분포가 있거나 부트스트랩에 불충분한 샘플 크기가 사용되지 않는 한 이 두 가지 접근 방식이 일반적으로 가깝다고 생각합니다. "
네! 즉, 동일한 선형 회귀 모델에 대해 CI 및 부트스트랩 CI에 대한 이론식을 사용하면 CI ESTIMATES가 일치해야 합니다.
Re: 배깅된 예측에 대한 개념적 질문표시
그런 다음 내가 게시한 마지막 예제 데이터 세트를 보도록 요청하겠습니다.신뢰 구간(표준 오차)은 거의 일치하지 않습니다.이는 단순 선형 회귀와 예측 표준 오차를 프로파일러에서 배깅된 예측을 저장하여 발생하는 오차와 비교하기 위한 것입니다.후자는 전자보다 훨씬 작습니다.그렇기 때문에 혼란스럽습니다.
