파티션 플랫폼에 동등한 분산이 필요한가?저는 매우 오른쪽으로 치우친 데이터를 가지고 있습니다(분포 Leaks/mi Yr 첨부 참조). 약 4,000,000개의 파이프 구간에서 약 400개의 누수만 있습니다. 저는 분할 플랫폼을 사용하여 누수율 차이가 있는 모델의 요인을 식별합니다. 하지만 제 데이터는 불균등 분산을 나타냅니다(첨부된 RefService2023wLeaks - FitY by X, 5개의 분산 테스트 중 4개 실패). 분할 플랫폼에 등분산이 필요한가요? 중심 가치 정리에 따라 이 큰 데이터 세트가 평균의 유의미한 차이에 대해 정확한 결과를 제공할 것이라고 가정할 수 있나요(첨부된 분할 예제 참조)?
감사합니다
기본 데이터 분석 및 모델링Re: 파티션 플랫폼에 동등한 분산이 필요한가요?1번째- 정말 재밌는 데이터 세트인 것 같습니다.
모델링 방법 파티션은 가정이 거의 없습니다. 특히 작업할 데이터가 많을 때 매우 좋은 엔트리 레벨 데이터 마이닝 도구입니다.
또한 분석>스크리닝>예측자 스크리닝을 살펴보세요. 반응 변수와 원하는 만큼의 "X" 변수를 입력하기만 하면 됩니다. 재미삼아 나무 수를 500개로 조정해도 좋습니다.
각 트리에 대해 무작위로 선택된 열과 행을 가진 여러 트리를 구축하므로 나쁜 데이터와 이상치, 그리고 응답과 매우 상관관계가 있는 X에 대해 매우 견고합니다. 다시 말하지만, 가정은 매우 적습니다.
Re: 파티션 플랫폼에 동등한 분산이 필요한가요?@Byron_JMP 의 훌륭한 응답을 확장하자면, 의사결정 트리는 매우 간단하면서도 강력한 알고리즘입니다. 데이터 마이닝에 효과적인 선택이 되는 여러 가지 장점이 있습니다. 이해하고 해석하기 쉽고, 범주형 및 숫자형 입력과 출력을 처리하고, 누락된 값을 처리할 수 있으며, 이상치에 강하고 비선형 관계를 감지할 수 있으며, 피처/예측자 선택 및 순위를 지정할 수 있습니다.
전통적인 매개변수 가정을 가정하지는 않지만 주의해야 할 몇 가지 사항이 있습니다.
- 예측 변수 간의 다중공선성 및 상관 관계를 확인합니다 . 의사결정 트리는 모든 예측 변수를 사용하여 데이터를 분할하고 Y 값에서 가장 좋은 분할을 제공하는 예측 변수를 선택하므로 상관 관계가 있는 예측 변수와 다중공선성이 문제가 될 수 있습니다. 일부 예측 변수는 공통 정보를 공유하기 때문에 제외되어 고려되지 않을 수 있기 때문입니다.
- 과적합에 주의하세요 : 결정 트리는 과적합되기 쉽습니다. 트리를 매우 깊게 확장하여 완벽하게 분류하거나 수치 데이터로 회귀를 수행할 수 있기 때문입니다. 검증 전략(K-폴드 교차 검증, Leave-One-Out 또는 검증 세트, 데이터 양이 귀하의 경우 문제가 되지 않는 듯합니다)을 사용하고 생성된 모델이 해당 작업에 너무 복잡하지 않도록 하는 것이 좋습니다. 최대 깊이(분할 수)와 최소 크기 분할을 설정하면 과적합 위험을 줄일 수 있습니다.
- 학습 데이터 샘플 및 대표성 : 결정 트리는 탐욕적 알고리즘(정보 이득을 극대화하거나 엔트로피를 줄이기 위해 데이터를 분할)이므로 사용된 학습 데이터에 매우 민감합니다. 데이터의 작은 변경으로 인해 결정 트리에서 제공하는 규칙이 변경될 수 있습니다. 데이터 대표성과 노이즈에 대한 고려 사항은 과적합을 피하고 결과의 일반화를 보장하기 위해 해결해야 합니다.
@Byron_JMP 에서 제안했듯이, 랜덤 포레스트(JMP Pro용 Bootstrap Forest 플랫폼이나 JMP용 Predictor Screening을 통해 사용 가능)를 사용하는 것은 종종 흥미롭습니다. 이 기술은 다양한 메커니즘/기술 덕분에 결정 트리의 단점을 줄일 수 있기 때문입니다. 부트스트랩 샘플에서 병렬로 학습된 여러 독립적인 트리를 생성하여(학습 세트에 대한 민감도를 줄이고, 일반화를 보장하며, "Out-Of-Bag" 샘플 결과를 통한 검사/검증을 가능하게 함) 각 분할은 예측 변수의 하위 집합만 고려합니다(각 예측 변수가 다른 예측 변수와 상관 관계가 있더라도 분할에 선택될 동일한 기회를 갖도록 하여 더 다양한 트리와 일반화 성능이 좋은 트리 앙상블을 가질 수 있음).
이 보완적인 답변이 도움이 되기를 바랍니다.
