예측자 선별JMP 부트스트랩 포리스트의 예측 변수 선별을 위해 사용됩니다. 이것은 매우 잘 작동하지만 왜 이 방법을 선택하고 매우 강력한 방법인 부스트 트리를 선택하지 않았습니까? JMP는 XGboosted를 사용합니까?
예측 모델링 및 기계 학습답: 예측자 선별Predictor Screening 플랫폼은 지정할 튜닝 매개변수가 최소 개수(현재는 단 하나: Number Trees)인 Bootstrap Forest 플랫폼이며 열 기여 보고서만 제공합니다. 놀라운 점은 Predictor Screening 플랫폼이 나머지 조정 매개변수에 대한 기본값을 결정했다는 것입니다. 이 설정은 유용한 예측 변수를 찾는 데 유용합니다.
최소한의 튜닝 매개변수, 즉 하나의 매개변수를 사용하여 동일한 목적으로 부스팅 트리를 적용하려는 경우 이는 매우 어려운 작업입니다. 예를 들어 부스팅 트리는 검증 방법의 선택과 사용에 있어 랜덤 포레스트보다 훨씬 더 많이 의존하며 검증 방법의 선택 자체가 예술입니다.
예측자 선별 플랫폼은 유용한 예측자를 찾는 목적을 제공합니다. Bootstrap Forecast를 대체하는 것은 아닙니다. 예측자 선별만 사용하는 경우 최종 모델은 랜덤 포레스트 모델이 아닙니다. 아마도 예측 화면에서 찾은 예측 변수를 사용하여 다른 모델을 사용하기로 결정할 것입니다. 최종 모델에 내장된 변수 선택 방법을 사용하는 대신 예측자 선별을 사용하여 유용한 예측변수를 찾는 이점은 이 방법이 모수적 가정에 의존하지 않는다는 것입니다.
랜덤 포레스트와 부스팅 트리 사이에서 반응 변수의 유형에 따라 성능을 결론짓는 연구를 본 적이 없습니다.
Boosted Tree는 그래디언트 부스팅 방법을 구현한 것입니다. XGBoost도 마찬가지입니다. LightGBM과 같은 다른 구현도 마찬가지입니다. 그들의 비교는 다소 복잡할 수 있으며 아마도 주관적일 수도 있습니다. 하지만 다양한 도구를 사용해 장단점을 이해하는 것은 언제나 흥미로운 일입니다.
답: 예측자 선별어떤 버전의 JMP를 사용하고 있는지는 확실하지 않지만 16 JMP Pro를 사용하고 있다면 다양한 모델링 플랫폼을 비교할 수 있습니다.
https://www.jmp.com/support/help/en/16.0/#page/jmp/launch-the-model-screening-platform.shtml?os=mac&source=application&utm_source=helpmenu&utm_medium=application#ww267915
이것은 당신에게 유용할 수 있습니다.
답: 예측자 선별이 자세한 답변에 감사드립니다!
예, 저는 부트스트랩과 부스트를 모두 실행하는 것이 많은 후보 중에서 예측 변수를 선택하는 데 좋은 생각이라고 믿습니다.
범주형 응답에는 부트스트랩 포레스트가 선호된다는 말이 맞나요?
XGboosted 방식이 jmp pro에서 사용되는 방식보다 더 좋나요?
답: 예측자 선별안녕 @frankderuyck ,
저는 JMP가 실제로 백엔드에서 작업을 수행하는 방식(실행되는 정확한 코딩)에 대한 전문가는 아니지만 부트스트랩 포리스트에는 두 가지 무작위 계층이 있기 때문에 사용된다고 생각합니다. 하나는 무작위로 하위 집합을 선택하는 것입니다. 요인. 예를 들어, 10가지 요인 중 해당 예측에 가장 잘 기여하는 요인을 예측하고 테스트하려는 열이 있는 경우 부트스트랩 포리스트 접근 방식은 무작위로 하위 집합(예: 10개 중 6개)을 선택하고 의사결정 트리를 사용하여 결과를 가장 잘 예측하고 그런 다음 기여도에 따라 요인의 순위를 매깁니다. 다른 무작위화는 부트스트랩 포리스트가 모델에 맞게 특정 수의 행을 무작위로 선택한 다음 나머지를 검증(또는 단순화)하기 위해 무작위로 선택하고 각 반복에서 무작위 선택 및 교체를 수행하는 것입니다. 부스트 트리는 기본적으로 이 작업을 수행하지 않는다는 것이 내 이해입니다.
마지막 질문에 대해서는 JMP 웹사이트에서 JMP Pro용 XGBoost 추가 기능을 다운로드할 수 있습니다. JMP Pro 14 이상에서 작동한다고 생각합니다.
참고로, JMP Pro로 작업하는 것처럼 들리므로 GenReg 플랫폼을 실행하고 다양한 예측 알고리즘(Lasso, Elastic Net 등)을 사용하여 모델 계수 추정치를 확인하고 일부 부트스트랩 시뮬레이션을 실행할 수도 있습니다. 거기에도. 때로는 다른 답변을 얻을 수 있으며 이는 경계 요인이 실제로 중요한지 여부를 결정하는 데 도움이 될 수 있습니다. 모델에 대한 최상의 예측 변수 세트를 찾는 임무를 맡은 경우 나는 종종 두 가지 접근 방식을 모두 수행합니다.
도움이 되었기를 바랍니다!,
DS
