변수 선택 및 부트스트랩 포레스트안녕하세요,
저는 230개의 기능이 포함된 범주형 결과를 사용하여 부트스트랩 포리스트 분석을 수행했는데, 그 중 많은 기능이 높은 상관 관계를 갖고 있습니다. 내 훈련(AUC 0.98)과 검증 세트(0.68) 사이에는 엄청난 성능 차이가 있습니다. 데이터는 차원이 높고 많은 변수가 상관 변수 감소가 필요하기 때문에 필요합니다. 이 목적을 위해 Lasso 또는 기타 불이익 기술과 함께 GenReg를 사용할 수 있습니까?. 내 데이터는 실제로 정규 분포가 아닙니다. 이것이 제가 Tree 모델을 선호하는 이유 중 하나입니다.
미리 감사드립니다.
루
예측 모델링 및 기계 학습Re: 변수 선택 및 부트스트랩 포레스트나에게 있어서 1050개의 케이스와 230개의 기능을 갖는 것은 과적합을 위한 초대입니다.훈련 데이터와 검증 데이터의 성능 간의 극적인 차이는 제가 과적합에서 기대하는 것과 일치합니다.내 경험에 따르면 JMP 모델 플랫폼의 기본 설정은 일반적으로 문제를 방지하는 데 효과적이지만 데이터가 극단적인 경우일 수도 있습니다.과적합을 방지하는 방법으로 트리 모델을 강제 적용해 볼 수 있습니다(예: 최소 분할 크기를 높여 더 간단한 트리를 강제 적용할 수 있음).결국, 나는 어떤 식으로든 기능 세트를 줄여야 한다고 생각합니다. 핵심은 가장 중요할 것 같은 기능을 찾고 올바른 세트가 있다는 확신을 갖는 것입니다(사이의 상관 관계). 230 기능은 그렇게 하기 어려울 수 있습니다).또한 기능 수를 줄이기 위해 일부 주성분 분석을 시도할 수도 있습니다.
Re: 변수 선택 및 부트스트랩 포레스트@루 : 범주형 응답 수준에 걸쳐 응답을 계층화한다고 말할 때 훈련, 검증, 테스트 데이터 세트의 크기에 대한 % 분할을 언급한 것이 아닙니다. 제가 추천하는 것은 응답 열을 계층화 열로 선택한 다음 '방법 선택' 창에서 "층화 검증 열"을 선택하는 것입니다. 이는 훈련, 검증 및 선택적으로 테스트 세트 내에서 범주형 응답의 각 수준의 동일한 비율에 도달할 수 있는 만큼 가까워집니다. 때때로 순수 무작위 선택의 그렘린은 응답 전체의 수준에서 상당한 불균형을 생성하여 모델 검증을 잠재적으로 더 어렵게 만듭니다. 다음은 추가 문서입니다.
https://www.jmp.com/support/help/en/15.2/#page/jmp/launch-the-make-validation-column-platform.shtml
부분 최소 제곱의 장점에 관해서는 글쎄요. 명확한 장점이 있는지 잘 모르겠습니다. 그러나 PLS가 매우 잘하는 것 중 하나는 다중 공선 예측 변수에 대한 잠재 변수를 생성하여 모델링 목적으로 사용할 수 있다는 것입니다. 따라서 이는 Lasso, Elastic Net 또는 기타 트리 기반 방법과 비교하여 예측 변수를 수학적으로 처리하는 방식이 다릅니다. 이 접근 방식에 대해서는 JMP 문서를 참조하세요.
https://www.jmp.com/support/help/en/15.2/#page/jmp/partial-least-squares-models.shtml
나의 일반적인 권장 사항은 다음에서 언급한 것을 포함하여 선형 및 비선형 유형 모두 다양한 모델링 방법을 시도해 보는 것입니다. @마크_베일리 을 클릭한 다음 각 모델의 결과를 Formula Depot 또는 모델 비교 플랫폼으로 내보내고 어떤 모델이 가장 잘 작동하는지 확인하세요.
모든 문제에 맞는 하나의 방법은 없습니다. 그러니 많은 것을 시도해보고 효과가 있는 것을 찾을 수 있기를 바랍니다.
Re: 변수 선택 및 부트스트랩 포레스트예측자 선별 플랫폼을 사용할 수도 있습니다. 부트스트랩 포리스트를 사용하여 모델에 대한 변수를 선택하는 데 사용할 수 있는 변수 기여도를 수집합니다. 부트스트랩 포리스트는 대부분의 경우 공선성을 피해야 합니다.
Re: 변수 선택 및 부트스트랩 포레스트응답해 주셔서 감사합니다.
데이터 세트의 크기는 1개의 범주형 Y(약간 불균형한 45/55)가 포함된 1050개의 케이스입니다. 제가 언급한 230개의 특징은 반응이 아니라 변수(X)입니다. 그 중 일부는 범주형이며 대부분은 숫자입니다. 모델 훈련 및 검증을 위해 계층화된 훈련/검증/테스트 방법(60/20/20) 방법을 사용했습니다.
Lasso 및 Elastic Net에 비해 PLS의 장점은 무엇입니까?
문안 인사,
루
Re: 변수 선택 및 부트스트랩 포레스트Lasso 및 Elastic Net 방법은 예측 변수 간에 다중 공선성이 있는 경우 유용할 수 있습니다. 나에게 100% 명확하지 않은 것은 "...230개의 기능..."이라고 말할 때 이것이 범주적인 응답 수준입니까? 아니면 예측 변수 세트인가요?
다음 방법에 관한 JMP Pro 문서를 읽어보세요.
https://www.jmp.com/support/help/en/15.2/#page/jmp/overview-of-the-generalized-regression-personality.shtml#ww349714
부분 최소 제곱법을 시험해 볼 수도 있습니다.
데이터세트의 크기에 대해서는 언급하지 않았습니다. 범주형 응답을 사용하면 작은 데이터 세트가 훈련, 검증 및 선택적으로 테스트 데이터 세트의 구조에 매우 민감할 수 있습니다. 응답 수준에 따라 각각을 계층화했습니까? 이는 교육, 검증 및 테스트 데이터 세트를 생성하는 데 일반적으로 인정되는 모범 사례입니다.
