예측변수 선별을 사용해서는 안 되는 경우는 언제입니까?예측자 선별 도구를 사용해서는 안 되는 경우가 있는지 궁금합니다. 그렇다면 예측자 선별 사용에 문제가 있는지 이해하기 위해 데이터에서 무엇을 확인해야 합니까?
기본 데이터 분석 및 모델링Re: 예측변수 선별을 사용하면 안 되는 경우는 언제인가요?나는 예측자 선별이 매우 가치 있다고 생각하지만 자동화된 도구와 마찬가지로 몇 가지 사항을 설명할 수 없습니다. 잠재적인 예측 변수가 많을 때 가장 가치가 있습니다. 그러나 이러한 예측 변수가 밀접하게 관련되어 있으면 자동화된 절차를 별로 신뢰하지 않습니다. 나는 이것이 밀접하게 관련된 여러 측정값(예: 다양한 시점의 호텔 가용성)이 있는 데이터 세트를 가지고 있는 일반적인 문제라고 생각합니다. 예측자 선별을 사용하는 경우 측정값 중 가장 밀접하게 관련된 단일 항목을 얻거나 여러 측정값이 선택될 수도 있습니다. 아니면 잠재적으로 눈에 띄는 것이 하나도 없을 것입니까(그것에 대해서는 잘 모르겠습니다)? 이러한 경우 제가 하는 일은 다변량 플랫폼을 사용하여 밀접하게 관련된 예측 변수를 수동으로 분석하는 것입니다. 그런 다음 예측자 선별에 사용할 관련 측정값 중 하나를 선택할 수 있습니다.
더 복잡한 경우도 있습니다. 예측자 선별에서는 기존 변수의 함수(예: 두 측정값의 비율)로 새 변수를 만들어야 하는지 여부를 식별하지 않습니다. 명목 변수 중 일부를 다시 코딩해야 하는지 여부는 좋은 아이디어를 제공하지 않습니다. (나도 이것에 대해 잘 모르겠습니다. 실험해 본 적이 없습니다.) 일반적으로 예측자 선별은 일반적인 데이터 정리 단계를 모두 대체하지 않으며 데이터를 정리한 후에 사용할 때 가장 유용합니다.
Re: 언제 예측변수 선별을 사용하지 말아야 합니까?감사해요. 나는 또한 그것이 매우 귀중한 것이라고 생각하므로 어디서 실패할 수 있는지, 그리고 그 실패를 어떻게 확인하는지 궁금합니다. 나는 (내 생각에) 기반이 되는 부트스트랩 포레스트 모델에 대해 잘 모르지만 선형 모델처럼 다중 공선성에 덜 민감하다는 점을 간략하게 읽었지만 다음과 선형 관계가 있는 경우 실패할 수 있다는 점도 준비했습니다. 응답 및 예측 변수 또는 iid가 부족한 경우 예측 스크리너에서 이러한 가정을 어떻게 확인하는지 또는 실제로 이러한 유형의 데이터 분석에 익숙하지 않기 때문에 이것이 사실인지 모르겠습니다. JMP에 가정 확인 등의 측면에서 무엇을 찾아야 하는지에 대한 튜토리얼이 있으면 좋을 것입니다.
Re: 언제 예측변수 선별을 사용하지 말아야 합니까?안녕하세요 @mjz5448 님 ,
유사한 주제에 대해 이미 작성한 이전 답변을 기반으로 제공된 정보 중 일부를 설명하기 위해 보완적인 답변을 추가할 수 있습니다.
예측 스크리너 대 DOE?
예측자 선별
예측자 선별 질문
예측자 선별은 기록 데이터의 반응에 대한 중요한 변수(특성 중요도 계산으로 식별됨)를 식별하는 데 도움이 되는 Random Forest 알고리즘을 기반으로 하는 방법입니다. 데이터의 대표성, 실험 공간의 적용 범위, 누락된 값, 이상치의 존재, 상호 작용, 요인 간의 상관 관계 또는 다중 공선성에 따라 이 플랫폼에는 몇 가지 지름길, 많은 알려지지 않은 사항이 있을 수 있으며 맹목적으로 신뢰해서는 안 됩니다(설명된 대로). 작성자: @dlehman1 ).
- 이 분석을 통해 얻을 수 있는 분석 및 통찰력은 역사적 실험 공간으로만 제한됩니다(시스템을 잘 이해하기에는 너무 제한적이거나 대표성이 없을 수 있음). 이를 생산 실험 공간(기록 데이터)과 R&D(DoE)로 볼 수 있습니다. 생산에서는 요인의 작은 변형만 허용됩니다(일부는 고정되어 있으므로 중요성을 결정할 수 없음). 견고하고 고품질의 제품을 만드는 반면, R&D에서는 목표가 다릅니다. 즉, 고려되는 요소에 대해 더 큰 범위를 사용하여 실험 공간을 탐색하고 시스템 요소를 최적화합니다.
- 예측자 선별 플랫폼은 모델을 제공하지 않고(JMP Pro에서 사용할 수 있는 Bootstrap Forest와 달리) 특징/요인 중요도만 제공하므로 요인 간의 상호 작용을 식별하는 데 도움이 될 수 있는 개별 트리 및 가지에 액세스할 수 없습니다. 분할에 사용된 요인의 임계값 수준 값입니다.
- R², RMSE 또는 목표에 따른 기타 관련 측정항목을 통해 뒤에 있는 모델의 품질을 모르기 때문에 모델을 통해 얼마나 많은 변동성이 설명되는지(또는 모델이 얼마나 정확한지) 그리고 기능 중요도 계산이 주제와 관련이 있거나 적절합니다.
- 모든 요소의 순위가 지정되므로 중요한 요소와 중요하지 않은 요소 사이의 임계값/한계는 사소하지 않습니다. 도움이 되도록 무작위 요인(임의 값 포함)을 추가할 수 있습니다. 이 기술의 예는 가격을 응답으로 사용하고 무작위 요인을 추가하고 가능한 입력으로 캐럿 중량을 생략한 JMP의 다이아몬드 데이터세트와 함께 여기에 나와 있습니다(이는 매우 중요한 예측 변수이기 때문에 어려운 예를 보여드리고 싶었습니다). 다른 예측변수를 분류하기 위해):
- 이 플랫폼은 요인 간의 가능한 상관 관계 또는 다중 공선성에 대한 정보를 제공하지 않습니다. 다변량 플랫폼을 사용하여 입력, 출력 및 입력-출력 간의 상관 관계를 탐색할 수 있습니다. 다중 공선성을 파악하기 위해 더미 회귀 모델을 만들어 요인 간의 VIF 점수를 계산할 수도 있습니다.
- 카디널리티가 높은 범주형 요인은 특성 중요도 계산에 편향을 줄 수도 있습니다. 카디널리티(클래스 수)가 많을수록 데이터가 모델이 학습하려고 시도하는 많은 수의 소그룹/클래스를 형성하므로 편향이 높아집니다. 따라서 일반화 또는 "논리 이해"에 실패하고 결과적으로 과적합 가능성이 높아져 이 기능의 중요성이 높아집니다.
여기에는 동일한 데이터 세트, 동일한 조건이 있지만 11개 수준(A에서 K까지, "Shuffle[Column10]이라는 이름)이 있는 무작위 범주형 요인을 추가하는 예가 있습니다. 카디널리티가 높은 이 범주형 무작위 기능은 이전에 본 무작위 숫자 변수보다 순위가 높습니다. :
다중공선성에 대한 질문과 관련하여:
- 변수 간의 다중 공선성은 각 노드에서 무작위 기능 하위 집합 선택을 통해 Random Forest에서 처리됩니다. 각 노드에서 다음 분할을 결정하기 위해 무작위로 기능 하위 집합을 만들고 이 하위 집합에서 어떤 기능(및 어떤 임계값 수준)을 평가합니다. )는 응답 값을 기준으로 데이터 포인트를 가장 잘 분리할 수 있습니다. 따라서 모든 기능을 선택할 수 있는 기회가 동일하므로 상관된 기능도 선택할 수 있으며 모델에서 유사한 기능 중요성을 갖습니다. 이 프로세스는 열 간 상관 관계의 영향을 최소화하며 각 노드에서 테스트된 모든 기능을 사용하여 단일 트리가 생성되는 의사결정 트리(또는 부스팅 트리)에는 존재하지 않습니다. 분할을 위해 상관 기능 중 하나만 선택할 수 있습니다.
- Random Forest는 부트스트랩 샘플에 대해 병렬로 훈련된 많은 의사결정 트리를 기반으로 대규모 모델을 생성하므로 각 개별 트리는 약간 다른 데이터 세트로 훈련되며 이는 또한 각 트리 간의 상관 관계(행 간 상관 관계)를 줄이고 모델 분산을 줄이는 데 도움이 됩니다.
트리 기반 모델에 대한 추가 정보:
https://community.jmp.com/t5/Mastering-JMP/Understanding-and-Applying-Tree-based-Methods-for-Predictor/tac-p/593506/highlight/true#M370
Random Forests의 장점: https://www.linkedin.com/posts/victorguiller_doe-machinelearning-randomforests-activity-7127557799810625536-FH7K
이 보완적인 답변이 도움이 되기를 바랍니다.
Re: 예측변수 선별을 사용하면 안 되는 경우는 언제인가요?Victor_G님, 감사합니다. 다중 공선성에 대한 통찰력에 감사드립니다. 이는 제가 일반적으로 설명하는 것이 아니지만 앞으로는 그렇게 하려고 노력할 것입니다.
데이터가 iid(독립적이고 동일하게 분산됨)가 아닌 경우 예측자 선별이 작동하는지 여부에 대한 통찰력이 있습니까? 데이터에 극복할 수 있는 시계열 추세가 있는 경우 트리 기반/랜덤 포레스트 모델에 제한이 있지만 데이터를 변환해야 하는 방법이 있다는 것을 읽었습니다. 이 주제에 대해 방금 배우고 있기 때문에 이것이 예측자 선별에 적용 가능한지 확실하지 않습니다.
Re: 예측변수 선별을 사용하면 안 되는 경우는 언제인가요?안녕하세요 @mjz5448 님 ,
Random Forests는 시계열 예측(및 기타 알고리즘)에 사용될 수 있습니다.
iid가 아닌 데이터에 대한 가장 큰 예방 조치는 데이터 분할(훈련)에서 유사한 관찰/개체 그룹, 시간 종속성, 측정 반복 등에서 오는지 여부에 관계없이 데이터의 종속성/그룹을 고려하는 것입니다. /검증/테스트). iid가 아닌 데이터에 대한 잘못된 데이터 분할은 데이터 유출, 잘못된 기대 및 지나치게 낙관적인 결과로 이어질 수 있습니다.
일반적으로 시계열 예측의 경우 훈련 및 검증을 위한 특정 데이터 분할을 수행해야 합니다(무작위가 아니라 "시간 창" 스타일로 더 많이). 그러면 응답/데이터의 시간 구조 종속성이 존중되고 설정 시 데이터 유출 없음: 지나치게 낙관적인 예측으로 이어질 수 있는 "미래의" 데이터가 교육에 사용되지 않습니다.
일부 독서 자료:
https://machinelearningmastery.com/random-forest-for-time-series-forecasting/
https://mindfulmodeler.substack.com/p/how-to-deal-with-non-iid-data-in
이 답변이 도움이 되길 바랍니다.
Re: 예측변수 선별을 사용하면 안 되는 경우는 언제인가요?Victor_G님, 감사합니다. 나는 살펴볼 것이다.
