JMP 13 Pro의 향상된 신경망신경망의 부스팅 절차에 대한 JMP 13 매뉴얼 설명이 모호하다는 것을 알았습니다. 다음은 그것의 스냅입니다.
"첫 번째 단계는 1계층, 2노드 모델을 맞추는 것입니다. 해당 모델의 예측 값은 학습 속도로 조정된 다음 실제 값에서 빼서 조정된 잔차를 형성합니다. 다음 단계는 다른 한 레이어를 맞추는 것입니다. 2노드 이전 모델의 스케일링된 잔차에 대한 모델입니다."
JMP가 예측값의 잔차를 어떻게 사용하는지 이해할 수 없습니다. 수학 공식이나 다이어그램이 매우 도움이 될 수 있습니다.
JMP는 정의된 기능에 잔차를 추가하고 신경망을 다시 훈련시키나요? 아니면 체인으로 연결된 잔차 네트워크만 훈련합니까? 예를 들어, 10개의 기능이 있고 단일 연속 응답을 예측하려고 하고 네트워크에 3개의 뉴런(노드라고도 함)의 숨겨진 레이어가 하나 있는 경우; 부스트된 네트워크의 첫 번째 신경망은 모양이 [10, 3, 1]입니다. 이제 JMP는 마지막 계층에서 잔차(참값 - 예측값)를 계산합니다. 이제 잔차는 어떻게 됩니까? 두 번째 네트워크의 모양은 무엇이며 입력은 무엇이며 무엇을 예측합니까?
미리 시간 내주셔서 감사합니다.
Re: JMP 13 Pro에서 강화된 신경망알겠습니다. 설명해 주셔서 감사합니다.
부스팅의 두 번째 단계는 첫 번째 단계와 동일한 예측 변수를 사용하는 것입니다. 차이는 적합하다는 응답에 있습니다. 두 번째 단계에서 응답은 첫 번째 단계의 잔차입니다.
그 결과 각 부스트에 대해 동일한 수의 히든 노드를 다시 추가합니다.
필
Re: JMP 13 Pro에서 강화된 신경망100개의 서로 다른 측정(열)과 200개의 관찰(행)로 시작하여 1개의 연속 응답(열)을 예측한다고 가정해 보겠습니다. 나는 첫 번째 신경망이 100개의 열을 모두 취하고 1개의 예측을 출력한다고 가정합니다. 두 번째 신경망이 1열의 잔차를 받아들이고 1열의 예측도 출력할까요?
Re: JMP 13 Pro에서 강화된 신경망안녕하세요, 100개의 "측정"이 100개의 변수(열)입니까 아니면 100개의 관측값(행)입니까?
감사,
필
Re: JMP 13 Pro에서 강화된 신경망안녕 Phil, 답장을 보내 주셔서 감사합니다. 두 번째 신경망에 대한 입력은 여전히 나에게 약간 불분명합니다. 따라서 초기 데이터 세트에 100개의 측정값이 있고 이를 기능으로 사용하더라도 두 번째 신경망이 하나의 기능(잔차)으로만 작동한다고 말할 수 있습니까?
Re: JMP 13 Pro에서 강화된 신경망안녕하세요, 기계 학습에서 부스팅의 일반적인 접근 방식은 먼저 "약한 예측 변수" 모델을 Y에 맞추는 것입니다. 그런 다음 다음 모델은 첫 번째 모델의 잔차에 적합합니다. 이 두 모델의 조합은 원래 모델보다 더 나은 모델입니다. Y(예측)와 Y(실제) 사이에 여전히 잔차가 있다고 가정하면 세 번째 모델이 이러한 잔차에 적합하고 모델 1과 2와 결합됩니다. 이는 적합도가 개선을 멈출 때까지 계속됩니다(사용 중인 측정에 따라).
