JMP Pro "Bootstrap Forest" VS Python "lightgbm"?from lightgbm import LGBMRegressor
전문가 여러분, 감사합니다!
자동화 및 스크립팅윈도우Re: JMP Pro "Bootstrap Forest" VS python "lightgbm"?안녕하세요 @라라 ,
질문이 정확히 무엇인가요? 이 두 알고리즘은 트리 기반 모델이지만, 랜덤 포레스트(JMP Pro에서는 부트스트랩 포레스트라고도 함)는 "배깅"(부트스트랩 집계) 모델 유형이고 LightGBM은 부스팅 모델 유형입니다.
즉, 랜덤 포레스트는 다양한 데이터셋에서 병렬로 학습된 여러 트리로 구성됩니다. 이러한 데이터셋은 유사하지만 서로 다르며, 부트스트랩 방식(원본 데이터셋을 샘플링하여 대체하여 부트스트랩 데이터셋을 생성하는 방식)을 사용하여 생성됩니다. 이 작업을 통해 유사하지만 서로 다른 데이터셋을 얻을 수 있으며, 이를 통해 트리는 약간 다른 패턴을 학습할 수 있습니다. 이러한 트리가 학습되면 최종 예측 결과는 회귀의 경우 개별 트리 예측의 평균이고, 분류의 경우 트리에서 가장 가능성이 높은 클래스입니다.
출처: https://www.geeksforgeeks.org/machine-learning/배깅 대 머신러닝 부스팅/
랜덤 포레스트는 각 분할에서 무작위 특성 선택 프로세스를 사용하므로 다중공선성을 처리하는 데 매우 적합하며, 더 다양한 트리를 생성할 수 있습니다(과도한 적합의 위험은 줄어듭니다).
반대로, 부스트 트리는 순차적으로 학습됩니다. 간단한 트리로 시작하여 이 모델의 잔차를 평가합니다. 두 번째 모델에서는 이 잔차를 사용하여 잔차가 가장 높은 두 번째 트리를 학습하여 트리 앙상블의 예측 성능을 향상시킵니다. 따라서 각 트리는 이전 트리의 예측 문제를 "해결"하려고 시도합니다. 트리 "체인"의 마지막에서 예측 결과(작업에 따라 클래스 또는 값)를 얻습니다.
출처: https://www.geeksforgeeks.org/machine-learning/배깅 대 머신러닝 부스팅/
따라서 두 알고리즘의 가장 큰 차이점은 훈련 모드(병렬 대 순차)입니다.
LightGBM의 특이점은 다른 부스팅 트리 기반 모델과 비교했을 때 트리를 성장시키는 방법으로, XGBoost나 다른 부스팅 모델이 트리를 레벨 단위로 성장시키는 것과 달리 리프 단위로 성장합니다. 즉, 트리가 "균형 잡히지" 않으면 노드를 더 이상 개발할 수 없습니다.
이러한 모델의 선택은 작업과 편향/분산의 균형에 따라 달라집니다. 랜덤 포레스트와 같은 배깅 알고리즘은 분산(과적합)을 줄이는 반면, 부스팅 트리와 같은 부스팅 모델은 편향을 줄입니다.
이 답변이 도움이 되기를 바랍니다.
Re: JMP Pro "Bootstrap Forest" VS python "lightgbm"?감사합니다, 전문가님!
저는 JSL의 Partition을 자주 사용합니다. 그 예측 공식이 간단하고 이해하기 쉽기 때문입니다.
기본적으로 요구 사항을 충족합니다.
AI에게 질문하면서 배웠습니다
파이썬의 lightgbm 함수도 매우 강력하다는 것을 알고 있지만, AI는 그것을 랜덤 포레스트라고만 말합니다.
AI가 제공한 파이썬 코드와 JSL 호출을 사용하여 실행합니다.
통계적으로 보면 JMP Pro의 랜덤포레스트보다 효과가 더 좋습니다.
물론, 매개변수를 너무 많이 조정하지는 않을 겁니다.그냥 간단한 비교일 뿐이에요.
AI는 JMP Pro 19에서 Bootstrap Forest가 생성한 예측 공식이 크게 개선되었다고 밝혔습니다.
하지만 JMP Pro 19를 사용할 수 없었습니다.
감사해요!
Re: JMP Pro "Bootstrap Forest" VS Python "lightgbm"?JMP Partition은 의사결정 트리입니다(LightGBM이나 Random Forest와 같은 트리 기반 방법의 기초/핵심).
AI 답변은 조심하세요. 어떤 AI를 사용하시는지는 모르겠지만, 매우 구체적이고 기술적인 주제에 대해서는 환각을 일으킬 가능성이 매우 높습니다. 저는 기술적인 주제를 심도 있게 다루고 싶을 때 구글의 Gemini를 주로 사용하는데, 가장 흥미로운 주제라고 생각해서 사용하지만, 여전히 환각이 발생하는 경우가 있습니다.
분명히 LightGBM은 랜덤 포레스트가 아니라 부스트 트리 알고리즘입니다(두 유형에 대한 설명은 제가 처음 게시한 글에서 확인하세요).
LightGBM에 대해 자세히 알아보려면 기술 문서를 읽어보시기 바랍니다: https://github.com/Microsoft/LightGBM 및 https://lightgbm.readthedocs.io/ko/stable/index.html
관련 논문 LightGBM: 고효율 그래디언트 부스팅 의사결정 트리 .
당신이 보고 있는 "더 나은" 효과는 부스팅을 사용하는 것일 수 있습니다. 부스팅은 실제로 더 나은 예측을 제공하는 경향이 있습니다(순차적 트리는 이전 트리의 오류를 최대한 줄여 높은 정밀도의 앙상블을 생성하기 때문입니다). 이는 편향을 줄여주기 때문입니다. 하지만 편향을 줄이면 분산이 증가할 수 있으므로 과적합을 방지하려면 강력한 검증 전략이 필요합니다 . 편향-분산 상충 관계 - 위키백과 ; 매우 구체적인 패턴을 학습하는 매우 "정밀한" 알고리즘을 사용함으로써 "노이즈에 맞춰" 모델을 배포하고 새로운 미확인 데이터에 사용할 때 일관성 없는 예측을 얻게 될 수 있습니다.
랜덤 포레스트와 부스트 트리 방법의 큰 차이점은 이 알고리즘들의 하이퍼파라미터 미세 조정 민감도입니다. 랜덤 포레스트는 하이퍼파라미터 미세 조정에 매우 강하고 미세 조정 없이도 좋은 결과를 제공하는 반면, 부스트 트리는 더 나은 성능을 얻기 위해 하이퍼파라미터 미세 조정에 더 많은 노력이 필요할 수 있습니다. 하이퍼파라미터 미세 조정이 다양한 알고리즘 성능에 미치는 중요성에 대한 자세한 내용과 비교는 [1802.09596] 튜닝 가능성: 머신 러닝 알고리즘에서 하이퍼파라미터의 중요성 을 참조하십시오.
JMP에서 하이퍼파라미터 튜닝 방법을 확인하려면 부스트 트리 - 튜닝 테이블 디자인 과 같은 관련 게시물을 확인하세요.
이 보완적인 답변이 도움이 되기를 바랍니다.
Re: JMP Pro "Bootstrap Forest" VS python "lightgbm"?전문가 여러분, 감사합니다!
음, 저는 gemini2.5 pro에 대해 이 질문을 하고 있습니다.
lightgbm이 JMP보다 훨씬 뛰어나다고 합니다.
프로그래밍 관련 질문이 있을 때는 항상 grok4의 전문가 모드를 이용합니다. 스마트한 기능인데, 온라인 지식을 검색해서 답변을 제공해 줍니다. 하지만 하루에 무료로 사용할 수 있는 횟수가 제한되어 있어서, 사용할 기회가 있으면 정말 소중하게 생각합니다.
Re: JMP Pro "Bootstrap Forest" VS Python "lightgbm"?어제 grok4.1이 업데이트되었습니다. 대신, AI 환상이 강화된 것 같습니다.
Re: JMP Pro "Bootstrap Forest" VS python "lightgbm"?하하, AI가 모든 걸, 특히 특정 사용 사례에 대해 "알고" 있을 거라고 기대하지 마세요. AI는 아무것도 "알지" 못 하고, 쿼리에 맞춰 가장 가능성이 높은 단어 시퀀스만 표시합니다. 옳고 그름을 판단하는 게 아니라, 학습 데이터셋에 기반한 유사성/가능성만 고려하고, 거기에 모든 옳고 그름이 담겨 있을 뿐입니다...
" lightgbm이 JMP를 훨씬 능가한다 "라고 말하는 것은 아무런 의미가 없습니다. 특정 알고리즘(LightGBM)을 여러 머신러닝 알고리즘을 처리하는 상용 소프트웨어(JMP)와 비교하는 것이기 때문입니다. 완전히 말도 안 되는 소리입니다.
그 외에도 "모델 A는 항상 모델 B보다 낫다"와 같은 일반적인 문장에 유의하시기 바랍니다. 이러한 일반적인 확언은 항상 적절한 회의적 태도로 받아들여야 합니다. 이러한 일반적인 주장은 데이터가 아닌 다른 동기에 의해 뒷받침되거나, 최상의 경우 벤치마크 연구에 의해 도출될 수 있습니다. 하지만 이러한 벤치마크와 데이터 세트가 귀하의 특정 상황과 데이터를 반영하지 않을 수 있으므로, "순위"가 귀하의 상황에 적합하지 않거나 관련성이 없을 수 있습니다.
데이터 세트, 목표, 필요한 정밀도, 배포 등에 따라 하나 또는 여러 알고리즘이 선호될 수 있습니다. 노이즈가 많은 응답의 경우, 부스트 트리 결과보다 랜덤 포레스트 결과를 더 신뢰하는 것이 좋습니다. 부스트 트리 결과는 과적합 위험이 더 높기 때문입니다. 정확하고 노이즈가 낮은 측정값을 사용하고, 데이터 세트가 충분히 커서 대표적인 훈련/검증/테스트 세트로 나눌 수 있다면, 더 나은 예측 성능을 원한다면 랜덤 포레스트 대신 부스트 트리 방식을 사용할 수 있습니다.
시험해서 배우는 것이 가장 안전하고 좋은 선택인 듯합니다.
Re: JMP Pro "Bootstrap Forest" VS Python "lightgbm"?감사해요!
JMP Pro의 Bootstrap Forest를 학습한 후, 예측이 필요한 새 데이터에 대한 예측 계산에 어떻게 사용할 수 있는지 궁금합니다.
시계열 데이터를 예로 들어 보겠습니다.
코드를 작성할 때는 grok4 전문가 모델을 사용하는 것을 고집합니다.
Re: JMP Pro "Bootstrap Forest" VS python "lightgbm"?안녕하세요 @라라 ,
시계열 예측에는 익숙하지 않지만, Bootstrap Forest 모델은 다른 모델과 마찬가지로 사용할 수 있습니다. Bootstrap 플랫폼 옆의 빨간색 삼각형에서 '열 저장' > '예측 수식 저장'을 클릭하세요. Bootstrap Forest 수식이 포함된 새 열이 데이터 테이블에 나타납니다.
다른 데이터 테이블의 결과를 예측하려면 원본 데이터 테이블에서 이 예측 공식 열을 복사하여 새 데이터 테이블에 붙여넣을 수 있습니다. 수식을 문제없이 계산할 수 있도록 입력 변수의 이름이 동일한지 확인하세요.
이것이 당신에게 도움이 되기를 바랍니다.
