변수 선택 문제에 대한 GenReg내 고객 중 한 명이 변수 선택에 GenReg를 사용하고 있으며 Lasso 및 Elastic Net을 실험하고 있습니다.
그들의 모델에는 연관된 2차 및 상호 작용 항(조사할 변수가 많음)과 함께 14개의 주요 효과가 있습니다.
Lasso 또는 Elastic Net을 실행한 후 생성된 최종 모델에는 0으로 처리된 항이 없는 모든 항이 포함됩니다.특히 같은 분석을 단계별로 실행할 때 모델에서 생략된 항이 있다는 점을 고려하면 결과가 이상합니다.
Lasso 또는 Elastic Net을 사용하기 전에 이러한 유형의 동작을 경험한 사람이 있습니까?
Re: 변수 선택 문제에 대한 GenReg귀하의 제안에 감사드립니다. 고객과의 디버그 세션 후 @jiancao 우리는 마침내 모델 훈련에 너무 많은 데이터(250K 행)를 사용하는 것과 주로 관련된 문제를 이해할 수 있었습니다. 데이터의 고유한 특성과 양은 모델 오류를 매우 작은 수준으로 끌어내어 모든 용어가 일정 수준의 유의성을 보이기 시작하는 상황을 만들었습니다(항이 0이 되지 않음).
더 작고 똑같이 대표적인 데이터 세트(15K 행)를 사용하여 Lasso 및 Elastic-Net이 변수 선택을 수행하고 애플리케이션에 유용한 모델을 구축하도록 할 수 있었습니다.
Re: 변수 선택 문제에 대한 GenReg안녕 닉
유효성 검사에 대해 신중하게 생각했을지 모르지만 무작위 유효성 검사로 데이터를 수행하는 것이 좋은 일입니까? 해당 범주 값 중 하나를 기준으로 유효성 검사를 계층화하려는 범주 값이 있을 수 있습니다.
다음은 Pete가 GenReg에서 정방향 선택을 제안하여 변수 선택 시 올가미에 차이가 있는지 확인하는 것입니다. 2단계 올가미와 2단계 앞으로 선택을 사용하고 싶을 수도 있습니다.
솔루션 경로는 어떻게 생겼습니까? 모델 효과가 0으로 줄어들거나(0에 도달하지 않음) 전혀 줄어들지 않습니까(더 많은 수평선)?
마지막으로 고객에게 Bootstrap Forest 실행을 여러 번 확인하고 변수가 여전히 모두 중요한지 또는 일부 변수가 한 번 중요하면 다른 변수는 그렇지 않은지 확인하도록 요청할 수 있습니다. 따라서 순서가 일관되지 않습니다(상위 몇 개 내의 작은 변경은 괜찮지만 큰 변경은 중요함). 이것은 추가 모델링 전에 발견해야 하는 데이터에서 진행 중인 작업이 있음을 알려줍니다.
마지막으로 적응형 올가미를 사용하고 있습니까? 데이터가 매우 공선적일 때(BF가 미친 듯이 순서를 변경하는 것을 볼 수 있습니다.) ), Lasso 및 Elastic Net의 적응형 버전은 좋은 솔루션을 제공하지 않을 수 있습니다. 이는 적응형 버전이 MLE가 좋은 추정치를 제공한다고 가정하기 때문입니다. 이러한 경우 적응 옵션을 선택 취소하십시오.
최상의,
남자 이름
Re: 변수 선택 문제에 대한 GenReg안녕 닉
GenReg에서 전방 선택 또는 후방 제거를 시도했습니까?Stepwise elimate 변수가 표시되는 경우 GenReg에서 발생하는 것을 확인해야 합니다.
모델에 p-값이 높은 효과가 포함되어 있습니까?
Elastic Net에서 확인해야 할 다른 것은 Elatic Net Alpha입니다. 1이 아닌 0에 가까우면 능선 회귀처럼 작동하고 실제로 변수 선택을 수행하지 않습니다.올가미에 관해서는 고급 컨트롤에 용어가 강제로 포함되지 않았는지 확인하기 위해 확인했습니다.
Re: 변수 선택 문제에 대한 GenReg150K 행
Re: 변수 선택 문제에 대한 GenReg얼마나 많은 행?Re: 변수 선택 문제에 대한 GenReg예, 유효성 검사 열을 사용하고 있습니다.
Re: 변수 선택 문제에 대한 GenReg그들은 Genreg에서 교차 검증하고 있습니까?
