일반화 회귀의 릿지 페널티 함수 질문고객은 일반화 회귀에 대해 몇 가지 질문이 있습니다. 이전 경험에 따르면 변수의 효과인 "Elastic Net" 또는 " 올가미" 페널티 함수는 이 경우 적합하지 않습니다.
그러나 고객은 일반적으로 많은 변수(일부 데이터에는 65행의 4500개의 변수가 포함됨)로 스펙트럼 데이터를 분석하므로 "Ridge"를 패널티 함수로 사용하면 시간이 오래 걸리고 결과를 얻을 수 없습니다.
나는 JMP 지원에 질문을 피드백했고, 그들은 내가 준 샘플(첨부 파일로 약 2400개의 변수와 65개의 관찰)을 시도합니다. 16GB RAM 및 4개의 코어가 있는 Windows 10 시스템.그리고 JMP는 처음 1시간 동안 "응답 없음" 모드로 전환되었지만 진행률 표시줄을 생성했습니다. 능선 결과(4.5시간)를 얻는 데 오랜 시간이 걸렸고 그리드 포인트를 50으로 변경했습니다.
Elastic net 또는 Lasso 방식과 비교하면 2~3분 정도 소요되며 Elastic net/Lasso와 Ridge의 소요 시간 차이가 큽니다.
또한 고객은 Python이 “Ridge”를 페널티 함수로 사용하여 일반화 회귀를 보다 빠르게 실행할 수 있다고 언급했습니다.
모델 적합 프로세스의 속도를 높일 수 있습니까? CPU를 가득 채우는 것과 같은 것입니까?또는 다른 적절한 기능/플랫폼이 고객이 더 효율적인 예측 결과를 얻는 데 도움이 될 수 있습니까?
샘플 데이터도 첨부했습니다. 감사합니다
Re: 일반화 회귀의 릿지 페널티 함수 질문@에릭_왕 Python에서 Ridge Regression을 구현하려면 입력 변수를 표준화해야 합니다. 변수를 표준화하면 계수를 푸는 시간을 단축할 수 있습니다. JMP의 루틴이 입력에 대해 일종의 표준화를 자동으로 수행하는지 확실하지 않지만 ~4500개의 입력 변수를 표준화하여 더 빠른 계산 시간을 허용한다면 실험할 수 있습니다.
Re: 일반화 회귀의 릿지 페널티 함수 질문이것은 우리가 탄성망을 사용해야 하는 경우처럼 들립니다.관측값보다 예측 변수가 훨씬 더 많은 이와 같은 경우 변수 선택을 수행할 때 가장 큰 문제는 공선성과 중복성으로 인해 진정으로 중요한 예측 변수를 놓치게 된다는 것입니다. X1과 X2가 상관관계가 높으면 순방향 선택과 같은 것이 그 중 하나만 선택할 가능성이 큽니다. 탄력적 네트워크의 장점은 상관된 예측 변수 그룹을 선택하므로 이 경우 X1과 X2가 선택된다는 것입니다. 내 생각에 이 상황에서 "어떤 변수의 효과도 놓치고 싶지 않다"는 것은 실제로 그들이 실제 영향을 미칠 수 있는 어떤 효과도 놓치고 싶지 않다는 것을 의미합니다. 탄성 그물은 이 정확한 시나리오를 위해 만들어졌습니다.
그렇다면 여기에서 올가미와 탄성이 능선 회귀보다 훨씬 빠른 이유는 무엇입니까? 변수 선택을 수행하기 때문에 탄력적 순 및 올가미 계산에는 소수의 예측 변수만 포함되는 반면 능선 회귀는 지정된 2400개의 모든 변수에 대해 최적화를 수행합니다. 또한 올가미와 탄성 망은 모두 적합 품질 및 해석 측면에서 능선 회귀를 지배하는 경향이 있으므로 올가미 및 탄성 망 적합자의 계산 시간을 개선하기 위해 노력했습니다. 능선 회귀에 대해 유사한 개선의 우선 순위를 지정할 수 없었습니다.
Re: 일반화 회귀의 릿지 페널티 함수 질문감사합니다. Ian, "Ridge test"라는 스크립트 영역의 스크립트로 샘플 데이터를 수정하고 다시 첨부했습니다. 스크립트를 실행하여 테스트할 수 있습니다.
Re: 일반화 회귀의 릿지 페널티 함수 질문FWIW, 32개의 코어와 128GB의 RAM이 있는 Windows 10 상자가 있습니다. JMP가 무엇을 활용할지는 모르겠지만 도움이 된다면 다른 벤치마크를 시도해 보고 싶습니다. 그러나 세부 사항이 중요합니다(특히 달리기에 5시간이 걸리는 경우 ... ).능선 회귀를 수행하는 스크립트를 게시할 수 있습니까? 나는 그것을 테이블에서 보지 못했다.
Re: 일반화 회귀의 릿지 페널티 함수 질문감사 해요, @Bill_Worley 그리고 @clay_barker , 귀하의 제안과 설명은 매우 도움이 됩니다. 저는 이 경우에 먼저 Elastic Net 또는 PLS 방법을 시도하도록 고객을 설득하려고 노력할 것입니다.
Re: 일반화 회귀의 릿지 페널티 함수 질문안녕 에릭,
고객이 시도할 수 있는 또 다른 제안은 부분 최소 제곱이며 이 경우에는 PLS-DA입니다.플랫폼은 변수 선택을 허용하지만 모델링 프로세스의 첫 번째 단계에서 모든 변수를 사용합니다. 그것은 꽤 빨리 끝났고 어떤 모델링 플랫폼이 전체적으로 가장 잘 맞는지 알아보기 위한 모델 비교에 유용할 수 있습니다.
그것은 PLS에 대해 말했고 나는 이것에 대해 Clay와 함께합니다.저는 Gen Reg를 사용하여 여러 스펙트럼 데이터 세트를 분석했으며 Elastic Net은 이처럼 광범위한 데이터 세트로 우수한 예측 모델을 구축하는 데 높은 순위를 기록했습니다.
친애하는,
청구서
Re: 일반화 회귀의 릿지 페널티 함수 질문시간과 도움을 주셔서 감사합니다, Ian.
Re: 일반화 회귀의 릿지 페널티 함수 질문안녕 @clay_barker , 답변 감사합니다. 몇 가지 질문이 있어 귀하와 같은 GR 전문가에게 확인해야 합니다. 고객은 얼마나 많은 변수 또는 관찰에 대한 데이터를 분석할 때 패널티 방법으로 Ridge를 사용하는 "방지"에 대한 제안이 있었는지 알고 싶어 합니까?또한, FDE에서 해당 스펙트럼 데이터를 분석하도록 제안하는지 궁금합니다. 감사합니다.
Re: 일반화 회귀의 릿지 페널티 함수 질문@ian_jmp , 기술 지원 트랙은 다음과 같습니다. 7613489182 . 그곳에서 당신이 찾고 있는 것을 찾을 수 있을 것입니다.
참조: @AdamMorris , @clay_barker
