JMP에서 범주형 변수에 대한 다중공선성과 동일한 것이 있습니까?연속 변수의 값을 예측하기 위해 예측 회귀 모델을 만들려고 합니다. 다중공선성은 순전히 예측을 찾고 있기 때문에 저에게 그렇게 중요하지는 않지만, 저는 많은 수의 범주형 변수(20개 이상)를 기록했고(20개 이상의 연속 변수와 함께), 데이터를 과도하게 맞추지 않도록 피처 선택/변수 감소를 하려고 합니다. 그리고 범주형 변수에 대한 JMP에서 변수 감소를 하거나 상관관계가 있을 수 있는 변수를 찾는 좋은 방법이 있는지 궁금합니다. 저는 특별히 염두에 두고 있는 모델은 없고 JMP PRO를 사용할 것입니다.
예측 모델링 및 머신 러닝Re: JMP에서 범주형 변수에 대한 다중공선성과 동일한 것이 있습니까?안녕하세요 @mjz5448 ,
귀하의 질문에는 두 가지 사항이 있습니다.
- 범주형 변수를 모델링할 때 다중공선성을 평가하는 방법은 무엇입니까?
원래 예측 변수에 대한 매개변수 추정치(표를 마우스 오른쪽 버튼으로 클릭한 다음 "열"과 "VIF")에 VIF 값을 표시하여 모델에서 연속형 및 범주형 변수의 다중공선성을 평가할 수 있습니다. 높은 비프 값은 모델의 용어 간에 공선성 문제가 있음을 나타냅니다. 일부 용어가 서로 선형적으로 종속되어 있는 경우 특이점 세부 정보 열에 특이점 정보가 표시되고 매개변수 추정치 앞에 "편향됨" 및/또는 "0으로 설정됨"이 표시됩니다.
자세한 내용은 여기를 참조하세요: 모델 용어 간 선형 종속성이 있는 모델
- 기능을 선택하고 변수를 줄이는 방법은 무엇입니까?
특징 선택/변수 감소를 수행하려는 경우 사용하는 모델 유형에 따라 여러 가지 옵션이 있을 수 있습니다.- 다변량 일반화 선형 회귀 모델의 경우, Pruned Forward 선택을 사용하거나, 다중공선성이 중요한 경우, Lasso와 같은 페널티 추정 방법 옵션을 사용해 보세요. 이는 상관관계가 있는 변수에 대해 0에서 추정을 강제하여 변수 선택을 수행합니다. 덜 "공격적인" 접근 방식은 Lasso와 Ridge 페널티를 결합한 Elastic Net 추정입니다.
- 랜덤 포레스트는 그 자체로 사용해도 흥미로울 수 있지만, 예측자 스크리닝 옵션으로 사용하면 기능 중요도 (열 기여도)를 사용하여 가장 중요하고 활동적인 기능을 식별하는 데 도움이 될 수 있습니다.
- Boruta Feature 선택 방법과 Rendom Forest를 사용하는 Predictor Screening의 업그레이드 버전을 기반으로 변수를 선택하는 데 도움이 되는 예측자 선택 도우미 추가 기능을 사용해 볼 수도 있습니다.
- 위에서 설명한 다양한 모델링 접근 방식(및 더 많은 접근 방식)을 결합한 다음, 얻은 모델을 비교하여 어떤 용어가 포함되었는지, 그리고 모델이 얼마나 유사하거나 다른지 확인할 수 있습니다.
이 답변이 도움이 되기를 바랍니다.
Re: JMP에서 범주형 변수에 대한 다중공선성과 동일한 것이 있습니까?고맙습니다, 빅터! 바로 제가 찾던 것이었어요.
모델을 줄이기 위한 단계에 대한 생각이 있나요?
- LASSO/Ridge를 사용하기 전에 먼저 상관관계가 있는 변수를 제거하거나 차원 축소를 수행해야 할까요?
- 아니면 둘 다 해야 할까요? 변수를 줄인 다음 LASSO/Ridge로 이동하고, 모든 기능을 사용하여 LASSO/Ridge를 실행한 다음 검증 데이터에 대해 어느 것이 가장 좋은 RASE를 나타내는지 비교해야 할까요?
Re: JMP에서 범주형 변수에 대한 다중공선성과 동일한 것이 있습니까?안녕하세요 @mjz5448 ,
LASSO와 Ridge의 차이점에 대한 몇 가지 설명을 드리겠습니다(Elastic Net은 LASSO와 Ridge 페널티의 혼합입니다)
- LASSO 는 "흥미롭지 않다"고 생각하는 특성에 대한 계수를 0으로 설정할 수 있습니다. 즉, 모델은 어떤 특성을 단독으로 포함해야 하고 포함하지 않아야 하는지 결정하기 위해 "자동 특성 선택"을 수행합니다. 이 속성은 모델의 복잡성을 줄이는 장점이 있습니다(따라서 과적합을 방지하는 데 도움이 됨). 그러나 계수는 이러한 페널티(계수 축소)로 인해 편향되고 LASSO 회귀는 상관 관계가 있는 특성이 있는 데이터에서 학습할 때 "불안정"할 수 있습니다. 특성 중 하나가 다소 임의적으로 선택되고 해당 특성과 높은 상관 관계가 있는 다른 모든 특성은 모델에서 효과적으로 삭제됩니다. 이로 인해 누군가가 모델에 남아 있도록 선택된 특성만 중요하다고 잘못 결론 내릴 수 있지만 실제로는 다른 특성 중 일부가 똑같이 중요하거나 더 중요할 수 있습니다.
LASSO는 이상치에 강하며, 다른 여러 변수가 작거나 전혀 효과가 없는 가운데 반응에 강한 영향을 미치는 소수의 변수가 있는 경우 가장 효과적인 경향이 있습니다.
- Ridge는 상관관계가 있는 피처에 대한 계수를 최소화하는 기능이 있습니다(0에 가깝지만 0은 아님). 이 속성을 사용하면 상관관계가 있는 피처가 많은 데이터 세트에서 Ridge 회귀를 사용할 수 있으며, 상관관계가 있는 피처의 부정적 영향이 최소화되고 과적합을 줄일 수 있습니다. 페널티가 도입됨에 따라 편향된 계수 추정치도 얻게 됩니다.
Ridge는 모든 특성을 고려할 수 있으며, 규모가 크고 비교 가능한 효과가 있는 변수가 많을 때 가장 효과적인 경향이 있습니다.
- Elastic Net은 두 가지 페널티 방법을 결합하므로 일부 계수는 0으로 줄이고 다른 계수는 최소화합니다. 따라서 응답에서 비슷한 중요도를 가진 상관관계가 있는 기능을 처리하는 것과 마찬가지로 기능 선택을 수행하는 데 좋은 절충안이 될 수 있습니다.
이 마스터링: JMP® Pro에서 일반화 회귀를 사용하여 견고한 선형 모델 만들기에서 일반화(및 처벌) 회귀 모델에 대해 자세히 알아볼 수 있습니다.
특성 선택을 위해서는 랜덤 포레스트의 특성 중요도를 살펴보는 것을 적극 권장합니다. 이 모델은 광범위한 미세 조정이 필요하지 않고, 상관 관계가 있는 특성을 처리할 수 있으며, 과대 맞춤에 민감하지 않기 때문에 좋은 벤치마크 비교를 제공할 수 있습니다.
검증 데이터를 언급하셨으니 이 모델에서 어떤 목적을 가지고 계신지 잘 모르겠습니다. 시스템 이해(설명적 목적) 또는 예측적 목적인가요?
검증 데이터(모델 최적화(하이퍼파라미터 미세 조정, 기능/임계값 선택 등) 및 모델 선택에 사용됨)인가요, 아니면 테스트 데이터(새로운/보이지 않는 데이터에 대한 선택된 모델의 일반화 및 예측 성능 평가에 사용됨)인가요?
- 첫 번째 경우(검증 데이터)에는 일반화 회귀 실행 패널에서 이 검증 데이터를 검증 방법으로 사용해 볼 수 있습니다. 이렇게 하면 페널티가 데이터 세트에 올바르게 설정되고 고정되었는지 확인할 수 있으며, 이 검증 데이터에 대해 페널티 회귀 방법, 랜덤 포레스트 등 다양한 모델을 비교할 수 있습니다.
- 두 번째 사례(테스트 데이터)에서는 모델을 비교하고 가장 유망한 모델을 선택할 때까지 이 데이터 세트를 사용하지 않는 것이 좋습니다. 주요 목표(시스템 이해 또는 예측)와 모델 검증 방법(예측 성능에 관심이 있는 경우 AICc 또는 BIC와 같은 정보 기준 또는 K-folds/Holdback/Leave-One-Out 검증)에 따라 적절한 검증 방법을 선택하고 훈련/검증 데이터에서 모델 결과를 비교하여 가장 흥미로운 모델을 선택할 수 있습니다. 선택한 후에는 테스트 세트(보이지 않는 데이터)에서 일반화 및 예측 성능을 확인할 수 있습니다.
이 답변이 도움이 되길 바랍니다.
