배깅된 예측에 대한 개념적 질문나는 회귀 모델에서 일상적으로 얻는 표준 오류와 비교할 수 있는 기계 학습 모델의 불확실성 측정값을 찾는 동안 오랫동안 고군분투했습니다. 최근에야 나는 프로파일러의 일부 기능, 특히 배깅된 예측 기능에 대해 알게 되었습니다. 하지만 나는 이러한 예측을 해석하는 방법(또는 해석해야 하는지)을 정말로 이해하지 못합니다. 기계 학습 모델(예: 신경망)을 실행하고 프로파일러에서 배깅된 예측을 저장하면 배깅 평균, 배깅 평균의 표준 오차 및 배깅 표준 편차를 얻습니다. 이를 회귀 모델(예: 다중 회귀)과 비교하여 다음과 같은 관계를 관찰했습니다.
- NN의 예측된 배깅 평균은 다중 회귀의 예측 공식과 매우 유사합니다.
- 다중 회귀 모델의 평균 예측 구간은 예상한 대로 개별 예측 구간보다 훨씬 좁습니다. (제가 보고 있는 예에서 평균 예측의 표준 오차는 개별 예측의 표준 오차 크기의 약 1/10입니다.) .
- NN의 배깅 평균의 표준 오차는 배깅 표준 편차보다 훨씬 작습니다(제가 보고 있는 예에서는 크기의 약 1/10).
이러한 관찰은 나로 하여금 NN의 배깅 평균의 표준 오차를 회귀 모델의 평균 예측의 표준 오차와 유사하다고 생각하게 만듭니다. 마찬가지로 배깅된 표준 편차는 회귀 모델의 개별 예측에 대한 표준 오차와 유사할 수 있습니다.
그러나 NN의 표준 오류와 회귀 모델은 서로 전혀 유사하지 않습니다! 따라서 내 질문은 내 해석이 의미가 있는지 또는 배그 평균의 표준 오류가 정확히 어떻게 해석되거나 사용될 수 있는지입니다.
어떤 통찰력이라도 미리 감사드립니다. 내 질문에 도움이 될 경우를 대비해 구체적인 예를 첨부했습니다(이것은 다중 회귀 모델 및 NN의 예측이 포함된 내 모델링 예의 검증 데이터 세트입니다).
소비자 및 시장 조사Re: Bagged 예측에 대한 개념적 질문감사해요.나는 이러한 신뢰 구간이 수정된 후에 매우 유용할 것이라고 생각합니다.현재 그들은 상당히 오해의 소지가 있습니다(100개의 부트스트랩 샘플을 사용하는 경우).
Re: Bagged 예측에 대한 개념적 질문예, Profiler 플랫폼(그래프 메뉴 아래)에서 Bagged Mean 공식의 StdError와 함께 예측 Bagged Mean 공식이 시작 대화 상자에 들어갈 때 Profiler 플랫폼이 "Bagged Mean의 StdError"를 사용하여 간격.
충분히 명확하지 않고 개선할 수 있는 사항이 있다는 데 동의합니다. 명확하지 않은 것은 귀하가 지적한 페이지의 문서에서 "신뢰 구간"을 사용하는 것입니다. 배깅을 사용한 신뢰 구간의 예 . 무엇에 대한 신뢰 구간이 명확하지 않으며 문구가 오해의 소지가 있을 수 있습니다.
한편, Bagged Std Dev를 사용하여 간격을 생성하려는 귀하의 요청은 좋은 요청입니다. 해당 열을 Profiler 플랫폼에 넣으려고 했지만 인식하지 못했습니다.
다음 위치에서 JMP 기술 지원에 연락하시겠습니까? support@jmp.com 귀하의 우려 사항과 요청을 보고하시겠습니까?
소프트웨어를 면밀히 조사해 주셔서 대단히 감사합니다!
Re: Bagged 예측에 대한 개념적 질문감사합니다.나는 같은 결론에 도달했습니다.남은 질문은 모델 효과에 대한 신뢰 구간을 생성하는 데 사용해야 하는 것입니다.Bagged 평균의 표준 오차가 아니라 Bagged Standard Dev라고 생각합니다. 또한 JMP가 (적어도 지침에서는) 신뢰 구간을 생성하기 위해 전자가 아닌 후자를 사용했다고 생각합니다.
이를 확인하거나 확인하지 마십시오.더 자세히 설명하자면 Bagged Mean의 표준 오차는 만족할 만큼 충분한 Bagged(부트스트랩) 샘플이 있는지 측정하는 데 유용하다고 생각합니다.그러나 응답 변수에 대한 요인의 영향에 대한 불확실성을 측정하기 위해 Bagged Mean의 표준 오차는 유용한 정보를 제공하지 않습니다.이를 수행하는 것이 Bagged Standard Dev입니다.따라서 신뢰 구간을 생성하려면 Bagged 평균을 저장한 후 Profiler를 열고 Bagged 평균 및 Bagged 표준 편차를 선택하고 중간 수식 확장 상자를 선택해야 합니다. 결과는 원하는 신뢰 구간이 됩니다.이것은 JMP 도움말과 다릅니다.
https://www.jmp.com/support/help/en/16.1/?os=win&source=application&utm_source=helpmenu&utm_medium=application#page/jmp/example-of-confidence-intervals-using-bagging.shtml# .
Re: Bagged 예측에 대한 개념적 질문Bagged Mean의 Standard Error가 무엇인지, 왜 더 작아 보이는지 설명하겠습니다.
먼저 3개의 부트스트랩 샘플로 배깅된 예측을 저장하려고 합니다.
결과는 다음과 같습니다. 6개의 새 열이 있습니다.
이 열이 무엇인지 살펴 보겠습니다.
처음 세 열의 모든 열은 데이터의 부트스트랩 샘플에서 가져온 예측 열입니다. 3개의 부트스트랩 샘플이 있으므로 그 중 3개가 있습니다. 다음은 세 가지 예측 공식입니다. 그리고 그들은 다릅니다.
(ㅏ)
(비)
(씨)
이제 4번째 열인 Pred Formula Sales Bagged Mean 2를 보십시오.
(디)
따라서 행별 세 가지 예측의 평균입니다.
이제 5번째 열인 StdError Sales Bagged Mean 2를 살펴보십시오.
(이자형)
뭐야? 일종의 평균에 대한 표준 오류처럼 보입니다. 무엇을 의미합니까? 부트스트랩 예측의 평균입니다. 즉, 이것은 예측 평균의 StdError와 동일하지 않습니다.예측 평균은 보는 관점을 바꾸면 많은 부트스트랩 샘플 중 하나일 뿐입니다. . 이는 Bagged Mean의 StdErr이 더 작은 이유를 설명해야 합니다. 부트스트랩 샘플의 수를 늘리면 훨씬 작아집니다.
이제 마지막 열을 보면 다음과 같은 공식이 있습니다.
(에프)
이것은 부트스트랩 예측의 표준 편차입니다. 실제로 이 값은 "StdErr Pred Sales"에 가까워야 하며 부트스트랩 샘플 수가 커져도 작아지지 않습니다. 이것은 "StdErr Pred Sales"의 부트스트랩 버전입니다. 모델이 데이터에 적합하지 않다고 의심되는 경우(예: "StdErr Pred Sales"가 더 이상 책의 점근 분포를 갖지 않는 등) 가정이 위반될 수 있는 경우 부트스트랩 버전은 다음과 같은 경우 더 정직한 결과를 제공할 수 있습니다. 예측을 위해 잘못된 모델을 사용해야 합니다.
그렇다면 왜 "StdError Sales Bagged Mean 2"에 관심을 가져야 합니까? (E) 저기요? 이 수량은 부트스트랩 샘플이 충분한지 여부를 평가하기 위한 것입니다. 이상적으로는 매우 작은 값을 원할 경우 Bagged 값을 신뢰할 수 있습니다.
Re: Bagged 예측에 대한 개념적 질문내 커버리지 데이터는 개별 예측 표준 오류에서 가져온 것입니다. 회귀 모델에서 저장하고 프로파일러에서 배깅된 표준 편차를 사용했습니다.평균을 보기 위해 배깅된 평균에 대해 Std Err Predicted 및 Std Error를 사용했을 것입니다.내가 말했듯이 (내가 쓴 것을 읽으십시오) 각 행에 대해 하나의 관찰 만 있기 때문에 평균 예측 간격에 대한 적용 범위를 계산하는 방법을 모르겠습니다. 방법이 있으면 알려주십시오.
그래서 저는 개별 예측을 사용했고 JMP는 개별 예측과 평균 예측에 대한 표준 오차를 제공합니다(물론 전자가 후자보다 훨씬 큽니다).
귀하의 다른 의견은 내 문제를 다루지 않습니다.모델을 비교하고 평가하는 몇 가지 방법을 알고 있습니다.내가 관심을 갖는 것은 예측 정확도가 아니라 예측의 가변성인 모델과 관련된 불확실성을 조사하는 방법입니다.내가 아는 유일한 방법은 등각 예측입니다.프로파일러가 모델의 기능에 대한 신뢰 구간을 제공하여 이러한 기능을 제공하는 것처럼 보였습니다.사실 NN과 같은 기계 학습 모델의 해석 가능성이 부족하다는 제 주장에 반대하여 직접 이것을 제안한 것으로 보입니다.
프로파일러가 해석 가능성을 향한 큰 발걸음을 내디뎠다고 생각합니다.다양한 기능이 반응 변수에 미치는 영향을 보여줍니다.또한 이러한 효과에 대한 표준 오차(신뢰 구간)를 제공할 수 있다면 기본적으로 회귀 모델만큼 많은 해석을 제공합니다.그러나 그것이 제가 고군분투하고 있는 것입니다. 이러한 신뢰 구간을 그런 식으로 사용할 수 있을지 확신이 서지 않습니다.
Re: Bagged 예측에 대한 개념적 질문그런 다음 유효성 검사 홀드 아웃 세트의 성능 측정을 사용하여 다른 모델을 평가합니다.
Re: Bagged 예측에 대한 개념적 질문" 대략적인 95% 신뢰 구간(개별 예측에 대한 표준 오차를 사용하여 해당 평균 예측에 대한 2개의 표준 오차)을 사용하여 실제 Y 값의 적용 범위는 모델 예측에 대해 900개 행 중 866개(약 95%)였지만 배깅된 예측의 경우 900개 중 222개만 있습니다. "
평균에 대한 신뢰 구간과 개별 관측치에 대한 신뢰 구간을 혼동하고 있습니까? 전자는 모델이 편향되지 않았다고 가정할 때 평균 응답이 위치할 것으로 예상되는 구간입니다. 해당 간격에서 개별 관찰이 발생할 것으로 예상하는 이유는 무엇입니까?
" 결과가 얼마나 극단인지를 감안할 때 이것은 모델의 표준 오차(적어도 이 잘 작동하는 모델의 경우)가 예측의 불확실성에 대한 정확한 척도임을 시사합니다. "
아니오, 나는 당신의 결론이 합리적이라고 생각하지 않습니다. 평균이 아닌 개별 응답을 기준으로 '범위'를 비교하고 있습니다. 모델은 위치에 관한 것입니다: 평균 반응. 모델은 평균 반응을 예측합니다. 신뢰 구간은 평균 응답의 불확실성에 대한 것입니다. 모델의 CI는 반복해서 샘플링하는 경우 모델의 95%가 실제 응답 평균을 포함하는 예측 구간을 갖게 된다고 말합니다. 개별 관찰에 대해서는 아무 말도 하지 않습니다.
" NN, 랜덤 포레스트, 부스트 트리 등을 사용하여 분류 모델을 실행하는 경우 로지스틱 회귀와 비교할 때 한 가지 단점은 이러한 기계 학습 모델이 예측의 불확실성 척도를 제공하지 않는다는 것입니다. "
예측은 미래에 관한 것입니다. 미래 관찰을 예측하는 성능은 '정직한 평가'의 기초입니다. 교차 검증은 선택하는 동안 모델과 선택 후 최종 모델을 정직하게 평가하는 가장 좋은 방법 중 하나입니다.검증 홀드 아웃 세트 또는 테스트 홀드 아웃 테스트를 검사하여 불확실성을 평가합니다. 이러한 모델은 모두 추론이 아닌 예측에 관한 것입니다. 그것은 그것들이 설명 모델로서 유용하지 않다는 말은 아니지만 그런 식으로 당신을 완전히 만족시키지 못할 수도 있습니다. 예를 들어, 모든 모델에서 동일한 유효성 검사 홀드 아웃 세트에 대한 R 제곱은 무엇입니까? (모델 선택에 R스퀘어를 사용하지 않는다는 점에 유의하십시오. 다양한 유형의 선택된 모델을 평가하기 위해 R스퀘어를 사용하고 있습니다.)
Re: Bagged 예측에 대한 개념적 질문시뮬레이션된 예에서는 데이터의 품질이나 모델의 적합성에 대해 의문을 제기할 이유가 없습니다.관찰 데이터도 아니고 작은 표본도 아닙니다(사실, 1000명의 모집단 중 n=100은 크지 않지만 신뢰 구간 적용 범위가 너무 이질적이어서 이 예가 우리에게 무언가를 보여 준다고 생각합니다).배깅이 속임수라고 말하지 않겠습니다.하지만 내 시뮬레이션 사례에 대해서도 제공되는 표준 오류를 신뢰할 수 있을 것 같지 않습니다.데이터와 모델이 더 의심스러운 경우에는 사용하기가 매우 꺼려집니다.어디에서 사용할 수 있는지에 대한 지침을 제공할 수 있습니까?나는 적대적이라는 뜻이 아닙니다. 저는 JMP를 사랑하고 프로파일러를 좋아합니다. JMP가 제공할 수 있는 신뢰 구간이 유용한지 확인하려고 할 뿐입니다.
Re: Bagged 예측에 대한 개념적 질문" 그렇다면 왜 훨씬 더 넓은 신뢰 구간을 선택해야 할까요? "
데이터나 모델의 품질이나 유효성에 의문을 제기하기 때문입니다.
모델이 편향되었을 가능성이 높기 때문에 스크리닝 실험에서 배깅과 그 예측을 사용하지 않을 것입니다. 작은 관찰 데이터 샘플을 기반으로 한 모델과 함께 배깅 및 그 예측을 사용하지 않을 것입니다.
명확히하겠습니다. 배깅이 유효합니다. 속임수가 아닙니다. 그러나 그것이 항상 적절하거나 유익한 것은 아닙니다.
불행히도 프로파일러의 배깅은 JMP가 개발한 것입니다. 외부 참조가 없습니다.
Re: Bagged 예측에 대한 개념적 질문첨부된 시뮬레이션 예시입니다.제목 없는 데이터 세트에는 시뮬레이션된 데이터와 1000개 행 중 100개의 무작위 샘플을 기반으로 하는 회귀 모델이 포함되어 있습니다.모델과 배깅된 예측에서 표준 오류를 저장했습니다.제목 없는 데이터 집합의 하위 집합에는 임의 샘플에 없는 900개의 행이 포함됩니다.대략적인 95% 신뢰 구간(개별 예측에 대한 표준 오차를 사용하여 해당 평균 예측에 대한 2개의 표준 오차)을 사용하여 실제 Y 값의 적용 범위는 모델 예측에 대해 900개 행 중 866개(약 95%)였지만 배깅된 예측의 경우 900개 중 222개만 있습니다.각 행에 단일 Y 관찰만 있기 때문에 평균 신뢰 구간의 범위 비교를 생성하는 방법을 알 수 없었습니다.
결과가 얼마나 극단인지를 감안할 때 이것은 모델의 표준 오차(적어도 이 잘 작동하는 모델의 경우)가 예측의 불확실성에 대한 정확한 척도임을 시사합니다.그러나 배깅된 표준 오류는 너무 작습니다.이 예제의 단순성을 감안할 때 Bagged 예측의 표준 오류에 의존하고 싶지 않은 것 같습니다.이것이 합리적인 결론이라고 생각하십니까?
이제 실제 잠재적 용도에 대해 살펴보겠습니다.NN, 랜덤 포레스트, 부스트 트리 등을 사용하여 분류 모델을 실행하는 경우 로지스틱 회귀와 비교할 때 한 가지 단점은 이러한 기계 학습 모델이 예측의 불확실성 척도를 제공하지 않는다는 것입니다(등각 예측, 내가 가지고 놀았던 것).프로파일러는 표준 오류와 함께 분류의 평균 확률에 대한 예측을 손쉽게 제공할 수 있습니다.그것이 유용한 만큼, 나는 이러한 기계 학습 모델의 불확실성을 나타내는 데 이러한 표준 오류를 실제로 사용할 수 없다고 말하고 싶습니다.그 맞습니까?아마도 더 일반적인 질문은 "배깅된 표준 오류를 어디에 사용할 수 있습니까?"일 것입니다.
Re: Bagged 예측에 대한 개념적 질문우리는 수렴하고 있습니다.
"그렇다면, 각각 어떤 질문에 답하는지 말씀해 주시겠습니까?"
저 할 수 있어요. 저는 실제로 했습니다: 다시 첫 번째 쌍은 원래 모델(예: 선형 회귀, 신경망, 분할) 예측의 불확실성에 대한 질문에 답합니다. 두 번째 쌍은 배깅을 사용하여 예측의 불확실성에 대한 질문에 답합니다.
이것은 내가 배깅된 예측에 대해 가지고 있는 것보다 내 모델 예측에 대해 더 많은 불확실성을 가지고 있음을 의미합니다.그렇다면 모델 예측과 신뢰 구간을 사용하는 이유는 무엇입니까?기본 모델이 좋은 경우에만 더 작은 표준 오류가 항상 좋은 것은 아니라는 것을 알고 있습니다.그러나 우리가 보고 있는 경우에는 동일한 모델이 두 측정값의 기초가 되며 평균 예측은 거의 동일합니다.그렇다면 왜 훨씬 더 넓은 신뢰 구간을 선택해야 할까요?
적용 범위의 문제가 있다고 가정합니다. 좁은 간격은 실제 값에 대한 충분한 적용 범위를 제공하지 않을 수 있습니다.나는 그것에 대해 밝힐 수 있는지 알아보기 위해 몇 가지 시뮬레이션을 시도할 것입니다. 하지만 서로에 대한 두 가지 표준 오류 측정의 정확성을 말하는 참조를 알고 있습니까?
Re: Bagged 예측에 대한 개념적 질문" 확실히 그것은 옳지 않을 수 있습니다 "
좋아, 당신이 날 잡았어. 그것은 모두 꾸며낸 것입니다. 나는 당신을 얼마나 멀리 묶을 수 있는지보고있었습니다.
(진지한 토론 재개...)
" 평균 예측을 위한 적절한 변동성 척도는 어느 것입니까? "
당신이 사용할 예측을 위해 추정된 것입니다. 페어링 문제...
배깅은 내가 설명했듯이 설명 모델링보다 예측 모델링에 더 가깝습니다. 배깅은 예측의 불확실성을 줄입니다.이 경우 배깅을 사용하는 것은 데이터와 모델의 품질과 유효성에 대한 믿음에 달려 있습니다. 그것은 속임수가 아닙니다. 모델이 실패하면 데이터 또는 모델의 품질이나 유효성에 문제가 있기 때문입니다.
" 서로 다른 질문에 답하지 않는 한 둘 다일 수는 없습니다. "
그것이 바로 내가 말한 것입니다.
" 그렇다면 각각 어떤 질문에 답하는지 말씀해 주시겠습니까? "
저 할 수 있어요. 저는 실제로 했습니다: 다시 첫 번째 쌍은 원래 모델(예: 선형 회귀, 신경망, 분할) 예측의 불확실성에 대한 질문에 답합니다. 두 번째 쌍은 배깅을 사용하여 예측의 불확실성에 대한 질문에 답합니다.
Re: Bagged 예측에 대한 개념적 질문확실히 그것은 옳을 수 없습니다!귀하의 예는 내 것과 똑같아 보입니다. 평균은 거의 동일하지만 표준 편차는 사용하는 열 세트에 따라 sq rt (M-1)로 인해 10배 차이가 납니다.따라서 평균 예측을 관련 표준 편차(모델 또는 배깅에서)와 페어링하는 논리를 보는 동안 실제 효과는 대략 동일한 평균 예측을 갖는 것이지만 하나의 신뢰 구간은 결국 다음과 같이 10%가 됩니다. 다른만큼 넓습니다.평균 예측을 위한 적절한 변동성 척도는 어느 것입니까?서로 다른 질문에 답하지 않는 한 둘 다일 수는 없습니다.그렇다면 각각 어떤 질문에 답하는지 말씀해 주시겠습니까?
Re: Bagged 예측에 대한 개념적 질문" 따라서 질문은 평균 예측에 대한 신뢰 구간을 원하는 경우 어떤 표준 오차를 사용해야 하느냐는 것입니다.그 차이는 천차만별입니다! " 예측에 사용된 모델의 SE를 사용합니다.저장된 회귀 모델을 사용하는 경우 저장된 SE 또는 CI를 사용하십시오. 프로파일러에서 배깅된 예측을 사용하는 경우 배깅된 SE를 사용하십시오. 다음은 Big Class 데이터 세트에서 :weight 대 :height를 사용한 결과입니다. 강조 표시된 쌍의 예측 및 SE 데이터 열이 함께 사용됩니다.
Re: Bagged 예측에 대한 개념적 질문우리는 거의 같은 페이지에 있습니다.잠시 동안 NN을 무시하고 내가 제공한 간단한 회귀 예제를 사용하면 배깅된 평균의 표준 오차는 회귀 모델의 표준 오차의 약 10%입니다. 이것은 M-1의 제곱근(여기서는 M=100)과 일치합니다.그것은 평균 예측의 경우 사실입니다. 개별 예측의 경우 약 20%입니다(왜 sq rt(M-1)가 전자에는 적용되고 후자에는 적용되지 않는지 잘 모르겠습니다. 하지만 그다지 그렇지 않다고 생각합니다. 중요한).따라서 질문은 평균 예측에 대한 신뢰 구간을 원하는 경우 어떤 표준 오차를 사용해야 하느냐는 것입니다.그 차이는 천차만별입니다!
회귀 모델(둘 중 더 큰 것)의 표준 오차를 사용해야 한다고 가정하고 이것이 사실이라고 생각합니다. 그런 다음 배깅된 예측이 좋은 이유에 대한 질문을 제기합니다.여기에서 NN(및 기타 기계 학습 모델)이 등장한다고 생각합니다. 프로파일러에서 제공하는 것과 같이 경험적으로 파생된 유형이 없으면 이러한 모델 중 많은 표준 오류가 없습니다.따라서 배깅된 예측의 표준 오차를 사용하여 해당 예측에 대한 신뢰 구간을 구성하는 것이 매우 유용해 보입니다.그러나 회귀 예제에서 이것이 불확실성 정도를 과소 평가할 수 있는지 궁금합니다. 그렇게 유용하지 않을 수 있습니다.
Re: Bagged 예측에 대한 개념적 질문프로파일러에서 배깅이 어떻게 작동하는지 살펴보겠습니다. 피팅된 모델을 기반으로 합니다. 적합 모델을 사용하고 데이터를 리샘플링하여 데이터 세트 또는 샘플 크기를 부풀리지만 모델을 변경하지는 않습니다. 다음은 JMP 도움말에서 발췌한 내용입니다. 프로파일러 배깅 :
"Bagging은 원본 데이터 테이블에 새 열을 자동으로 생성합니다. 모두 중 배깅된 예측 집합은 숨겨진 열로 저장됩니다. 최종 예측은 "Pred Formula Bagged Mean"이라는 열에 저장됩니다. 최종 예측의 표준 편차는 " Bagged Std Dev"라는 열에 저장됩니다. Bagged Mean의 표준 오차는 "StdError Bagged Mean"이라는 열에 저장됩니다. 표준 오차는 표준 편차를 다음으로 나눈 값입니다. Sqrt( M-1 ).여기서 은 배깅된 보고서의 열을 식별합니다.
표준 오차는 예측의 정확도에 대한 통찰력을 제공합니다. 매우 작은 표준 오차는 해당 관찰에 대한 정확한 예측을 나타냅니다. 배깅에 대한 자세한 내용은 Hastie et al. ( 2009년 )."
따라서 회귀 분석과 NN의 SE를 비교하지 않습니다. 모든 모델의 SE와 Profiler의 배깅에서 나온 SE를 동일한 모델과 비교하고 있습니다. 그 차이는 Sqrt(M-1)의 인자가 될 것입니다.
Re: Bagged 예측에 대한 개념적 질문표시
그런 다음 내가 게시한 마지막 예제 데이터 세트를 살펴보라고 요청합니다.신뢰 구간(표준 오차)은 거의 일치하지도 않습니다.이는 간단한 선형 회귀를 위한 것이며 예측 표준 오류를 프로파일러에서 배깅된 예측을 저장하여 얻은 것과 비교합니다.후자는 전자보다 훨씬 작습니다.그것이 내가 혼란스러운 이유입니다.
Re: Bagged 예측에 대한 개념적 질문" 나는 다중 회귀에 대한 예측 신뢰 구간이 오류 구조 및 무작위 샘플링에 대한 가정에서 파생된 공식을 통해 파생된다고 생각합니다(궁극적으로 중앙 극한 정리의 기초가 되는 논리에서 파생됨).다른 한편으로, 저는 Bagged 예측이 부트스트래핑(신뢰 구간 유도에 대한 비모수적 실증적 접근 방식)에서 파생되었다고 생각합니다.또한 기본 데이터의 분포가 비정상적이거나 불충분한 샘플 크기가 부트스트랩에 사용되지 않는 한 이 두 가지 접근 방식이 일반적으로 비슷하다고 생각합니다. "
예! 즉, CI에 대한 이론적 표현과 동일한 선형 회귀 모델에 대한 부트스트랩 CI를 사용하는 경우 CI ESTIMATES가 일치해야 합니다.
Re: Bagged 예측에 대한 개념적 질문나는 다중 회귀에 대한 예측 신뢰 구간이 오류 구조 및 무작위 샘플링에 대한 가정에서 파생된 공식을 통해 파생된다고 생각합니다(궁극적으로 중앙 극한 정리의 기초가 되는 논리에서 파생됨).다른 한편으로, 저는 Bagged 예측이 부트스트래핑(신뢰 구간 유도에 대한 비모수적 실증적 접근 방식)에서 파생되었다고 생각합니다.또한 기본 데이터의 분포가 비정상적이거나 불충분한 샘플 크기가 부트스트랩에 사용되지 않는 한 이 두 가지 접근 방식이 일반적으로 비슷하다고 생각합니다.
제가 첨부한 파일에서는 이러한 문제가 발생하지 않는다고 생각합니다.평균 예측은 2가지 접근 방식과 거의 동일하지만 프로파일러의 표준 오류는 이론적으로 도출된 값보다 훨씬 작습니다.이것이 내가 프로파일러 표준 오류의 의미를 오해하고 있다고 생각하게 만드는 것입니다.그렇지 않다면 왜 이론적으로 도출된 표준 오차를 사용하겠습니까?
Re: Bagged 예측에 대한 개념적 질문" 내 이해(잘못되었을 수 있음)는 예측의 표준 오차가 이론적으로 회귀 모델에서 파생되고 배깅된 예측에서 부트스트래핑의 결과라는 것입니다.이론적으로 그것들은 유사해야 합니다(적어도 충분한 부트스트랩 샘플이 있는 경우 - 100과 1000을 사용했으며 둘 다 비슷한 결과를 제공합니다). 하지만 그렇지 않습니다. "
어떤 이론을 말하는 건가요?
Re: Bagged 예측에 대한 개념적 질문더 완벽하게 하기 위해 단일 예측 변수가 있는 간단한 작은 파일을 첨부했습니다.회귀 모델을 구축하고 예측 및 표준 오차(평균 및 개별 모두)를 저장했습니다.프로파일러를 사용하여 Bagged 예측을 저장했습니다.모델과 프로파일러에서 예측된 값의 동등성(이 경우 완벽함)을 보여주는 3개의 xy 플롯이 있습니다.표준 오차 플롯은 강한 상관 관계를 보여주지만 프로파일러의 표준 오차가 모델보다 상당히 작다는 것도 보여줍니다.배깅 절차의 표준 오류가 다른 것을 의미한다고 강력하게 의심합니다.나는 당신이 나를 위해 이것을 명확히 할 수 있기를 바랍니다.
Re: Bagged 예측에 대한 개념적 질문나는 당신이 말하는 것을 따르고 있지만 내 질문이 다른 것이 된 것 같습니다.NN을 제외합시다.프로파일러는 다중 회귀 플랫폼에서도 사용할 수 있으므로 배깅된 예측의 표준 오류가 회귀 모델에서 저장된 표준 오류와 어떻게 비교되는지 확인하기 위해 몇 가지 실험을 했습니다.완벽하지는 않지만 상관 관계가 있습니다.개별 예측 표준 편차는 예상대로 평균 예측 표준 편차보다 훨씬 크며 이는 배깅된 평균을 저장할 때 얻는 두 가지 표준 오류에도 적용됩니다.그러나 나를 놀라게 하고 이해하지 못하는 것은 배깅된 예측(개별 또는 평균 버전) 저장의 표준 오류가 회귀 모델의 표준 오류보다 훨씬 작은 이유입니다.내 이해(잘못되었을 수 있음)는 예측의 표준 오차가 이론적으로 회귀 모델에서 파생되고 배깅된 예측에서 부트스트래핑의 결과라는 것입니다.이론적으로 그것들은 유사해야 합니다(적어도 충분한 부트스트랩 샘플이 있는 경우 - 100과 1000을 사용했으며 둘 다 비슷한 결과를 제공합니다). 하지만 그렇지 않습니다.
따라서 프로파일러의 표준오차는 회귀모델의 표준오차와 질적으로 다른 것으로 보인다.왜 그런가요?
Re: Bagged 예측에 대한 개념적 질문NN은 매우 비선형적인 앙상블 모델입니다. 2차 항이 있을 수 있는 회귀 모델과 비교하십시오. 표준 오차는 이 두 종류의 모델에서 매우 다릅니다.
저는 개인적으로 NN을 해석할 수 없거나 선형 회귀 모델을 해석할 수 있다는 개념에 동의하지 않습니다. (어리석다고 생각합니다.) 예측 변수 X의 효과는 이를 포함하는 모든 항의 선형 조합입니다. 예를 들어, '2차 효과'에 대해 이야기하는 것은 넌센스입니다. 모형에는 2차 항만 있습니다. 그렇다면 X + X*X2 + X*X + X*X*X로 모델에 나타날 때 X의 효과를 어떻게 해석합니까? 우리는 이러한 용어로 생각하는 데 익숙합니다. 우리는 그것에 대해 수년 동안 노출되었고 그것에 대해 생각할 시간이 있었습니다. NN은 비선형 활성화 함수를 통해 동일(선형 예측기)에 더 가깝고 각 노드에 대해 더 많은 것을 추가합니다. 우리는 더 열심히 생각해야 합니다.
아니오. 모든 종류의 함수(모델)와 함께 작동하는 프로파일러가 있습니다.
Re: Bagged 예측에 대한 개념적 질문마크, 고마워.어느 정도 도움이 됩니다.NN이 더 작은 표준 오류를 제공하는 이유를 설명할 수 있습니다(두 모델이 데이터에 잘 맞을 때 차이의 크기에 여전히 놀랐지만).그러나 각 예측과 관련된 표준 오류에 상관 관계가 거의 없는 이유를 실제로 설명하지 못하는 것 같습니다.내가 게시한 데이터는 두 모델 간의 각 관찰의 표준 예측 오류 사이에 사실상 의미 있는 관계가 없음을 보여줍니다.이제 다중 회귀 모델의 경우 다른 관찰과 관련된 표준 오류를 결정하는 것이 무엇인지 어느 정도 알 수 있지만 NN의 경우 실제로는 그렇지 않습니다.아마도 그것이 그들이 서로 관련이 없는 이유일까요?이것은 NN 모델의 해석 가능성 부족과 관련된 차원입니까?
Re: Bagged 예측에 대한 개념적 질문예.
Neural 플랫폼은 소수의 숨겨진 노드만 있는 경우에도 복잡한 모델을 사용합니다. 회귀 모델에 많은 항을 추가한다고 상상해 보십시오. RMSE는 어떻게 됩니까? 그러면 SE는 어떻게 됩니까? 회귀 모델의 복잡성이 NN의 복잡성과 비슷합니까?
나는 당신이 NN이나 다른 ML 방법을 오용하고 있다고 말하는 것이 아닙니다. 그것들은 추론에 관한 것이 아니라 모두 예측에 관한 것임을 기억하십시오. 따라서 추정치의 불확실성은 중요하지 않으며 정확성/재현성/일반화가 전부입니다. 따라서 예측 모델(설명 모델이 아님)은 모델을 선택하기 위해 총 MSE(편향 + 분산)의 측정을 사용하고 선택된 모델을 확인하기 위해 '정직한 평가' 또는 교차 검증을 사용합니다.
그러나 요점은 평균 응답 예측이 유사하더라도 서로 다른 모델의 SE가 동일할 이유가 없다는 것입니다. 이 차이는 응용 프로그램에서 하나의 모델에 이점을 제공할 수 있습니다.
Re: Bagged 예측에 대한 개념적 질문부록 - 첨부한 파일에서 다중 회귀의 표준 오류를 (과대) 추정했습니다.저장된 95% 신뢰 구간을 사용하여 추정했습니다.표준오류를 직접 저장한 수정본을 첨부합니다.NN의 표준 오차는 검증 세트 내에서 명백한 상관관계가 거의 없는 다중 회귀(평균)의 절반도 안 되는 것처럼 보이기 때문에 제 질문은 남아 있습니다.두 모델 모두 데이터에 매우 적합합니다.그래서 배깅 평균의 표준오차에 대한 해석도 다중회귀에서 예측의 표준오차가 해석되는 것과 같은 방식으로 예측과 관련된 표준오차로 적절하게 해석되는지 궁금합니다.
