친애하는 JMP 팀 여러분,
Boosted Trees 및 Random Forest 영역의 잠재적인 개선을 위한 몇 가지 아이디어를 따릅니다.
1. 일반사항:
a) Out of the Bag(OOB) 오류 추정을 사용하는 옵션을 활성화합니다. 이러한 추정을 통해 최적의 모델 복잡성을 결정할 수 있으며 검증 세트를 더 이상 사용하지 않게 됩니다(이 경우 실제 테스트 세트로 사용할 수 있음). 학습/검증/테스트 세트에서 데이터를 분할할 수 없는 소규모 데이터 세트의 경우 oob도 예상 모델 성능에 대한 합리적인 인상을 얻기 위한 좋은 옵션입니다.
b) 평균 다중항 거리 또는 평균 제곱 오차 등을 기반으로 최적의 나무 수를 보여주는 플롯을 활성화합니다(사실 아래 그래프의 데이터가 실제 테스트 데이터라고 말하는 것이 공정한지 잘 모르겠습니다. 모델 복잡도를 결정하는 데 사용되었지만 그래프 뒤에 숨은 아이디어가 마음에 듭니다)
2. 부스팅 트리
JMP Random Forest의 성능은 다른 소프트웨어 패키지에 비해 매우 우수하지만 JMP Boosted Trees는 일반적으로 모델의 예측 기능 측면에서 열등합니다.
a) 서브샘플링 크기 정의/제어 가능(확률적 그래디언트 부스팅)
제 생각에는 서브샘플링을 증폭시키는 것이 알고리즘의 필수적인 부분이지만 안타깝게도 JMP에서는 사용할 수 없습니다. 독립적으로 추출된 하위 샘플을 사용하면 분석에 임의성이 도입되어 과적합 위험이 완화됩니다. 각 트리는 서로 다른 샘플 세트를 기반으로 구축되기 때문에 이러한 모델은 일반적으로 꽤 잘 일반화됩니다(물론 트리 수는 여전히 제어되어야 합니다). 추가 서브샘플링을 통해 OOB 오류 추정을 사용할 수 있습니다.
b) 부스팅 트리에서 다단계 범주형 응답 활성화
친애하는
실비오
2. a) 제어 하위 샘플링 크기(확률적 경사 부스팅)가 JMP 13에 추가되었습니다.
