영상은 2024년 8월에 업데이트되었습니다.
다중공선성은 종속 변수를 추정하는 데 사용되는 독립 변수 간에 매우 높은 수준의 상관 관계가 존재하여 종속 변수의 변화에 대한 각 독립 변수의 기여도를 결정할 수 없는 것입니다. 데이터 세트의 높은 다중공선성은 이 문제를 완화하는 기술을 사용하지 않는 한 작성하는 모든 모델이 거의 확실히 과적합됨을 의미합니다. 다중공선성을 제한하여 우수한 예측 모델을 작성할 가능성을 개선하는 데 사용할 수 있는 여러 가지 모델링 기술이 있습니다. 여기에는 JMP에서 모두 사용할 수 있는 주성분 분석 및 부분 최소 제곱법과 JMP Pro에서 적합 모델 옵션으로 사용할 수 있는 일반화 회귀가 포함됩니다.
방법을 확인하세요:
- 소수의 구성 요소를 사용하여 변동성을 제한하고 다중공선성을 완화함으로써 데이터 집합을 모델링하기 위해 주성분 분석(PCA)을 수행합니다.
- 설명 변수(X)의 선형 조합인 요인을 기반으로 하는 선형 모델을 맞추기 위해 부분 최소 제곱법을 사용합니다.
- 이러한 요인들은 X와 응답(Y) 간의 공분산을 최대화하는 방식으로 얻어집니다.
- PLS는 X와 Y 사이의 상관 관계를 활용하여 잠재적인 구조를 밝힙니다.
- PLS는 최소 제곱법(OLS)을 사용해도 만족스러운 결과가 나오지 않는 상황에서 좋은 성과를 보입니다. 여기에는 X 변수가 관측치보다 많은 경우, X 변수의 상관관계가 높은 경우, X 변수의 수가 많은 경우, Y 변수가 여러 개이고 X 변수가 많은 경우가 포함됩니다.
- PLS는 예측 변수가 관찰 변수보다 많은 경우 사용할 수 있습니다.
- PLS는 분광학, 화학계량학, 유전체학, 심리학, 교육, 경제학, 정치학, 환경 과학 등의 분야에서 고차원 데이터를 모델링하는 데 널리 사용됩니다.
- JMP PLS를 사용하는 방법을 살펴보세요. 두 가지 모델 피팅 알고리즘을 사용할 수 있습니다. 비선형 반복 부분 최소 제곱법(NIPALS)과 "PLS의 통계적으로 영감을 받은 수정"(SIMPLS)
- 단일 응답의 경우 두 방법 모두 동일한 모델을 제공하지만 다중 응답의 경우 약간의 차이가 있습니다.
- PLS는 van der Voet T2 테스트와 교차 검증을 사용하여 추출할 요인의 최적 개수를 선택하는 데 도움을 줍니다.
- 데이터에 대해 얻을 수 있는 더 나은 모델 중 가장 낮은 모델인 PRESS 값이 가장 낮은 요인의 수를 보여주는 Root Mean PRESS(예측 잔차 제곱 합) 플롯을 해석합니다.
- VIP(분산 중요도 플롯)를 사용하여 제거할 요인을 찾습니다.
- 백분율 변동 플롯 해석
- van der Voet T2 통계는 다른 수의 요인을 갖는 모델이 최소 PRESS 값을 갖는 모델과 상당히 다른지 여부를 판별하기 위해 테스트합니다.
- 일반적인 관행은 van der Voet 유의수준이 0.10을 초과하는 가장 적은 수의 요인을 추출하는 것입니다.
- 특히 높은 상관관계 및/또는 비정규 분포 데이터 및 변수 선택에 적합한 JMP Pro Generalized Regression 고급 페널티 회귀 기술을 사용하세요.
- LASSO 모델을 구축하고 결과를 해석하며 한계점을 파악합니다.
- Elastic Net 모델을 구축하고 상관관계가 높은 데이터를 해석하며 LASSO에 비해 몇 가지 이점을 이해합니다.
- 고차원 스펙트럼 데이터에 JMP Pro Generalized Regression을 사용하세요
- PCA 모델 기반 다변량 관리 차트, 상관관계 요약 플롯 및 고유값에 대한 PCA를 조사하고 해석합니다.
- PLS 결과 검토 및 해석
- 일반화 R 제곱을 포함한 탄성 네트 일반화 회귀 해석
- 매우 광범위한 데이터에 대해 JMP Pro Generalized Regression을 사용하고 결과를 해석합니다.
참고: 첨부된 .jmpprj 파일에는 데모에서 분석을 실행하는 스크립트가 포함되어 있습니다.
라이브 웨비나에서 Bill Worley @Bill_Worley 와 Scott Allen @scott_allen 이 답한 질문:
질문: PCA에 적합한 데이터는 키가 크고 넓다는 말은 무슨 뜻인가요?
A: "키가 큰" 데이터는 행이 많고 열이 적은 데이터 테이블이라고 생각할 수 있습니다. "넓은" 데이터는 열이 많고 행이 적습니다(관찰 수가 적음). 반면 PLS는 요인 수가 관찰 수보다 많은 경우에 자주 사용됩니다.
질문: 상관관계가 높은 변수가 있고 알고리즘 중 하나가 한 변수를 다른 변수보다 우선시하는 경우, 어떤 변수를 유지할지, 어떤 변수를 사용하지 않을지 어떻게 선택합니까?
A: 분산 인플레이션 계수(VIF)는 어떤 값이 높은 상관관계를 갖는지 찾는 방법입니다. VIF는 다른 변수와 실제로 얼마나 높은 상관관계를 갖는지 알려줍니다. 높은 상관관계를 갖는 요인을 찾을 수 있으며, 하나를 제거하면 VIF에 영향을 미칩니다. 그런 다음 다변량 분석을 사용하여 어떤 변수가 높은 상관관계를 갖는지 더 자세히 이해합니다. 비디오 보기:
질문: 일반화 회귀 분석에서 AIC 대신 BIC를 사용하는 것이 더 낫습니까?
A: 모델의 목표에 따라 다릅니다. BIC는 AICc보다 매개변수가 많은 모델에 더 많은 페널티를 줍니다. 따라서 일반적으로 매개변수가 적은 모델로 이어집니다.
질문: 사용자는 JMP에서 선택한 모델이 아닌 어떤 모델을 사용할지 선택할 수 있습니까?
A: 모델 비교를 실행하고 최상의 검증 또는 테스트 결과를 검토할 수 있습니다. 도구를 사용할 수도 있습니다. Remove Elastic Net Alph와 JMP는 세 가지 옵션을 통해 세 가지 모델 중 최상의 모델을 보여줍니다. 데이터가 많으면 실행하는 데 시간이 걸릴 수 있습니다.
질문: 이런 기술을 시계열 데이터에 어떻게 사용할까요?
A: 시계열 데이터는 JMP의 시계열 또는 FDE 도구를 사용하여 가장 잘 분석할 수 있습니다. 시계열 에 대한 정보와 곡선 데이터 분석에 대한 비디오를 참조하세요.
이 주제에 대한 이전 웨비나에서 답변한 질문:
질문: Pred Formula Y1은 PCA 회귀의 결과인가요?
A: 네, Y1과 Y2에 대한 예측 공식은 주성분의 회귀 분석을 통해 생성되었습니다. 이러한 예측 공식으로 프로파일러를 빌드할 때 주성분 대신 개별 효과를 볼 수 있는 상자를 선택할 수 있습니다.
질문: PCA 사례에서 변수를 제거하는 주요 기준은 무엇입니까?
A: 한 가지 접근 방식은 아래 영상을 참조하세요.
질문: PLS에서는 상호작용을 명시할 필요가 있나요? 아니면 변수들 간의 관계는 기본 모델(예: NIPALS)에 수용되나요?
A: PLS의 경우 상호 작용이나 다른 용어를 테스트하려는 모델 효과를 지정해야 합니다. 표준 JMP에서는 주 효과만으로 PLS 분석을 실행할 수 있습니다. JMP Pro에서는 Fit Model에서 PLS 개성을 사용하여 상호 작용이나 다항식과 같은 다른 모델 효과로 PLS를 실행할 수 있습니다.
질문: 글루텐 데이터 세트도 다중공선성과 관련이 있나요?
A: 네. 각 파장은 다음 파장에 의존하므로 파장 간에 공선성이 많습니다.
질문: PLS 또는 일반화 회귀가 일반적으로 높은 자기 상관관계가 있는 데이터에서 더 우수한지, 아니면 단순히 데이터 세트에 따라 달라지는지 말할 수 있습니까? 저는 PLS가 더 낫다고 생각했지만 반드시 그렇지 않은 것 같습니다.
A: 상황에 따라 다르며, 이는 다소 데이터에 따라 달라질 수 있습니다. 둘 다 서로 매우 가까운 좋은 모델을 제공합니다.
질문: 다음 중 역예측에 가장 적합한 모델링 옵션은 무엇입니까?
A: 광범위한 데이터에서는 올바른 설정을 얻는 데 어려움이 있을 수 있습니다. 역 예측에는 모든 옵션이 적합합니다.
질문: PCA 공식을 표에 어떻게 저장했는지 설명해 주시겠어요? 저는 좌표 자체를 저장하는 방법만 알고 있어요.
답변: 빨간색 삼각형에서 수식을 데이터 테이블에 저장합니다.
질문: Prediction Profiler에서 최적화를 위해 PLS 모델을 사용하는 경우, 최적화가 변수 간의 상관관계를 존중할까요? 아니면 외삽 제어가 켜져 있는 경우 변수 간의 상관관계가 처리되나요?
A: PLS에서는 변수 선택을 한 다음 결과를 사용하여 중요한 변수로 모델을 빌드할 수 있습니다. 그런 다음 VIP로 모델 만들기를 사용하여 다시 실행합니다. 이러한 모델을 데이터 테이블에 저장하면 크고 모든 변수가 포함됩니다.
질문: 모델 검토가 유용할까요?
A: 네. 시간이 걸립니다. 추가 방법을 선택하세요. 선택하면 Elastic Net을 거칩니다. 또한 Ridge Regression을 거칩니다. K-fold와 교차 검증이 있는 경우 시간이 걸립니다. 그리고 일반화 회귀와 PLS 모델 스크리닝에서 2방향 상호 작용을 추가할 수 있으며 2방향 상호 작용이 있든 없든 적합합니다.
자원
