무게가 있는 모델안녕
저는 일부 X 예측 변수와 오른쪽으로 강하게 치우친 연속형 반응 변수 사이의 상관 관계를 찾으려고 합니다.
데이터베이스에는 140개의 인스턴스만 포함되어 있습니다.
먼저 lnx+1 함수를 사용하여 응답 변수를 변환했습니다.
그런 다음 0과 1 범위의 모든 x를 정규화하고 스크리닝 옵션으로 차원을 줄인 다음 상관 관계가 있는 예측 변수 X를 제거했습니다. 이 모든 프로세스가 끝날 때 예측 변수는 4개뿐이었습니다. 가중치 없이 랜덤 포레스트를 실행하면 학습 데이터의 R2가 매우 낮았습니다(아래의 첫 번째 플롯 참조). 그런 다음 포물선 가중치 함수(두 번째 플롯 참조)와 같은 것을 사용하여 랜덤 포레스트를 다시 실행했습니다. 마지막 플롯에서 보여준 것처럼 결과가 더 좋았습니다. 플롯 중심을 중심으로 데이터가 회전한 것 같습니다. 누군가 이유를 설명해 줄 수 있을까요?
가중치 함수는 어떻게 선택해야 하나요?
데이터 블렌딩 및 정리예측 모델링 및 머신 러닝Re : 무게가있는 모델데이터의 기능에 대한 자세한 내용과 일부 데이터 샘플을 제공하는 것이 도움이 될 것이라고 생각합니다. 일반적으로 샘플링이 샘플링되는 모집단을 나타내는 가중치를 위해 특별히 설계된 설문 조사와 같이 가중치가 명확하게 적절하지 않은 경우 분석에 가중치를 부여하는 것은 이상하다고 생각합니다. 가중치가 적절한 다른 곳은 회귀 분석을 실행하고 이분산성이 존재하는 곳입니다. 하지만 랜덤 포레스트에서 가중치를 사용하는 것은 이상한 일이라고 생각합니다. 그 문제로 인해 기능 수를 줄여야하는 이유가 랜덤 포레스트를 사용하는 것인지 잘 모르겠습니다. 유효성 검사는 과적 합을 방지해야하며 기술은 가장 관련성이 높은 기능에 초점을 맞춰야합니다. 가중치를 사용하는 이유에 대한 더 많은 컨텍스트가 없으면 더 나은 피팅 모델을 제공하기 때문에 가중치 함수를 적용하는 데 회의적입니다.
Re : 무게가있는 모델안녕 데일
내 생각은 샘플 크기가 작기 때문에 가중치 함수를 사용하는 것입니다. 낮은 가치와 높은 가치로 대응하는 것을 더 중요하게 생각했습니다.Re : 무게가있는 모델나는 이것이 합법적이라고 생각하지 않습니다. 데이터에서 극단적 인 값이 과소 표현되었을 수 있다고 생각하는 것 같습니다. 그럴 경우 올바른 방법은 다르게 샘플링하는 것입니다. 가능한 극단 값을 오버 샘플링하는 것입니다. 그러면 가중치가 정당화 될 수 있습니다. 그러나 데이터를 수집 한 후 극단적 인 값에 가중치를 부여하는 것은 원하는 것을 알려주는 데이터를 발명하는 것과 같습니다. 이러한 값에 더 많은 가중치를 부여해야하는 이유를 듣지 못했습니다.
다른 옵션도 있습니다. 분위수 회귀는 평균 반응이 아닌 극단적 인 분위수와 같은 특정 분위수를 추정하기위한 기술입니다. 그러나 그것은 극단 값에 더 많은 가중치를 부여하는 것과 다릅니다.
