예측 자 선별JMP 부트 스트랩 포리스트에서 예측 자 스크리닝이 사용됩니다. 이것은 매우 잘 작동하지만 왜이 방법이 선택되고 매우 강력한 방법 인 부스트 트리가 아닌가? JMP는 XGboosted를 사용합니까?
해석학Re : 예측 자 선별안녕하세요 헉헉 ,
저는 JMP가 실제로 백엔드 (실행되는 정확한 코딩)에서 작업을 수행하는 방법에 대한 전문가는 아니지만 부트 스트랩 포리스트에 두 개의 임의 화 계층이 있기 때문에 사용한다고 믿습니다. 하나는 임의의 하위 집합을 선택하는 것입니다. 요인. 예를 들어 10 개 요인 중 해당 예측에 가장 기여하는 요인을 예측하고 테스트하려는 열이있는 경우 부트 스트랩 포리스트 접근 방식은 10 개 중 6 개와 같은 하위 집합을 무작위로 선택하고 의사 결정 트리를 사용하여 결과를 가장 잘 예측하고 그런 다음 기여도에 따라 요인의 순위를 매 깁니다. 다른 무작위 화는 부트 스트랩 포리스트가 모델에 맞도록 특정 수의 행을 무작위로 선택한 다음 유효성을 검사 (또는 단순화) 할 나머지 행을 무작위로 선택하고 각 반복에서 무작위 선택 및 교체로이를 수행하는 것입니다. 기본적으로 boosted tree는 이것을하지 않는다는 것을 이해합니다.
마지막 질문은 JMP 웹 사이트에서 JMP Pro 용 XGBoost 추가 기능을 다운로드 할 수 있습니다. JMP Pro 14 이상에서 작동합니다.
참고로 JMP Pro로 작업하는 것처럼 들리기 때문에 GenReg 플랫폼을 실행하고 다른 예측 알고리즘 (Lasso, Elastic Net 등)을 사용하여 모델 계수 추정치를 확인하고 일부 부트 스트랩 시뮬레이션을 실행할 수 있습니다. 거기도. 때때로 당신은 다른 답을 얻고 이것은 경계 요소가 정말로 중요한지 아닌지를 결정하는 데 도움이 될 수 있습니다. 모델에 가장 적합한 예측 변수 세트를 찾는 작업이있는 경우 두 가지 접근 방식을 모두 수행합니다.
도움이 되었기를 바랍니다!,
DS
Re : 예측 자 선별이 확장 답변에 감사드립니다!
예, 부트 스트랩과 부스트를 모두 실행하는 것이 많은 후보 중에서 예측자를 선택하는 데 좋은 아이디어라고 생각합니다.
범주 형 응답에 부트 스트랩 포리스트가 선호된다는 말이 맞습니까?
XGboosted 방법이 jmp pro에서 사용되는 방법보다 낫습니까?
Re: 예측자 선별사용 중인 JMP 버전이 확실하지 않지만 16 JMP Pro를 사용하는 경우 다양한 모델링 플랫폼을 비교할 수 있습니다.
https://www.jmp.com/support/help/en/16.0/#page/jmp/launch-the-model-screening-platform.shtml?os=mac&source=application&utm_source=helpmenu&utm_medium=application#ww267915
이것은 당신에게 유용할 수 있습니다.
Re: 예측변수 선별Predictor Screening 플랫폼은 Bootstrap Forest 플랫폼으로 최소한의 튜닝 매개변수(현재 하나: Number Trees)를 지정하고 Column Contributions 보고서만 제공합니다. 마술은 Predictor Screening 플랫폼이 나머지 조정 매개변수에 대한 기본값을 결정했다는 것입니다. 이 설정은 유용한 예측 변수를 찾는 데 유용합니다.
최소한의 튜닝 매개변수, 예를 들어 하나의 매개변수로 동일한 목적을 위해 부스트 트리를 적용하려는 경우 매우 어려운 작업입니다. 예를 들어 boosted tree는 유효성 검사 방법의 선택과 사용에 랜덤 포레스트보다 훨씬 더 많이 의존하며 유효성 검사 방법의 선택은 그 자체로 예술입니다.
Predictor Screening 플랫폼은 유용한 예측 변수를 찾는 역할을 합니다. 부트스트랩 예측을 대체하지 않습니다. 예측자 선별을 사용하는 경우 최종 모델은 임의 포리스트 모델이 아닙니다. 아마도 Predictor Screen에서 찾은 예측 변수를 사용하여 다른 모델을 사용하기로 결정할 것입니다. 최종 모델에서 기본 제공 변수 선택 방법을 사용하는 대신 예측 변수 선별을 사용하여 유용한 예측 변수를 찾는 이점은 방법이 매개변수 가정에 의존하지 않는다는 것입니다.
랜덤 포레스트와 부스트 트리 사이에서 응답 변수의 유형을 기반으로 성능을 결론짓는 연구를 본 적이 없습니다.
Boosted Tree는 그래디언트 부스팅 방법의 구현입니다. XGBoost도 마찬가지입니다. LightGBM과 같은 다른 구현도 마찬가지입니다. 그들의 비교는 다소 복잡할 수 있으며 아마도 주관적일 수도 있습니다. 그러나 장단점을 이해하기 위해 다양한 도구를 사용하는 것은 항상 흥미진진합니다.
