다중공선성은 종속 변수를 추정하는 데 사용되는 것으로 추정되는 독립 변수 사이에 높은 상관 관계가 존재하여 종속 변수의 변동에 대한 각 독립 변수의 기여도를 결정할 수 없는 것입니다.데이터 세트의 다중 공선성이 높다는 것은 이 문제를 완화하는 기술을 사용하지 않는 한 구축하는 모든 모델이 거의 확실히 과적합될 것임을 의미합니다.다중 공선성을 제한하여 우수한 예측 모델을 구축할 가능성을 개선하는 데 사용할 수 있는 몇 가지 모델링 기술이 있습니다.여기에는 JMP에서 사용할 수 있는 주성분 분석 및 부분 최소 제곱과 JMP Pro에서 모형 적합 옵션으로 사용할 수 있는 일반화 회귀가 포함됩니다.
다음 방법을 참조하십시오.
- PCA(주성분 분석)를 수행하여 가변성을 제한하고 다중 공선성을 완화하여 소수의 구성 요소를 사용하여 데이터 세트를 모델링합니다.
- PCA 분석을 위한 최상의 데이터 세트는 키가 크거나 넓습니다. 둘 다일 수 있습니다
- 변수를 입력 또는 출력으로 해석하지 않음 - 단일 매트릭스에서 처리
- 가능한 한 많은 변동성을 설명하는 변수의 선형 조합 추출
- 이 모든 것은 첫 번째 주성분과 알고리즘은 변형의 100%가 설명될 때까지 계속됩니다. 바라건대 이것은 원래 변수 세트보다 훨씬 작은 숫자입니다.
- 각 연속 PC는 가능한 한 많은 변동을 설명하고 이전에 추출된 로딩 벡터와 직교합니다.
- Summary Plot과 Eigen 값 검토 및 해석
- 주성분을 데이터 테이블에 저장하고 Graph>Profiler를 사용하여 주성분 회귀를 수행합니다( 알림: 중간 값 확장 상자를 선택하십시오.)
- 부분 최소 제곱을 사용하여 요소, 즉 설명 변수(X)의 선형 조합을 기반으로 선형 모델에 맞춥니다.
- 이러한 요인은 X와 반응 또는 반응(Y) 사이의 공분산을 최대화하려는 방식으로 얻습니다.
- PLS는 X와 Y 사이의 상관 관계를 활용하여 기본 잠재 구조를 나타냅니다.
- PLS는 관측치보다 X 변수가 더 많은 경우를 포함하여 일반 최소 제곱법(OLS)을 사용해도 만족스러운 결과를 얻지 못하는 상황에서 잘 수행됩니다. 상관관계가 높은 X 변수; 많은 수의 X 변수; 여러 Y 변수와 많은 X 변수.
- 예측 변수가 관측값보다 많은 경우 PLS를 사용할 수 있습니다.
- PLS는 분광학, 계량화학, 유전체학, 심리학, 교육, 경제, 정치학 및 환경 과학과 같은 영역에서 고차원 데이터를 모델링하는 데 널리 사용됩니다.
- 비선형 반복 부분 최소 제곱(NIPALS) 및 "통계적으로 영감을 받은 PLS 수정"(SIMPLS)의 두 가지 모델 피팅 알고리즘에 JMP PLS를 사용하는 방법을 알아보세요.
- 단일 응답의 경우 두 방법 모두 동일한 모델을 제공합니다. 다중 응답의 경우 약간의 차이가 있음
- PLS는 van der Voet T2 검정 및 교차 검증을 사용하여 추출할 최적의 요인 수를 선택하는 데 도움을 줍니다.
- PRESS 값이 가장 낮은 요인의 수를 보여주는 Root Mean PRESS(예측 잔차 제곱합) 플롯을 해석합니다. 해당 모델은 데이터에 대해 얻을 수 있는 더 나은 모델 중 가장 적습니다.
- VIP(Variance Importance Plot)를 사용하여 제거할 요인을 찾습니다.
- 백분율 변동 도표 해석
- van der Voet T2 통계 검정은 요인 수가 다른 모형이 최소 PRESS 값이 있는 모형과 유의하게 다른지 여부를 확인합니다.
- 일반적인 방법은 van der Voet 유의 수준이 0.10을 초과하는 요인의 최소 개수를 추출하는 것입니다.
- 높은 상관 관계 및/또는 비정규 분포 데이터 및 변수 선택에 특히 적합한 JMP Pro 일반화 회귀 고급 패널티 회귀 기법을 사용합니다.
- LASSO 모델을 구축하고 결과를 해석하고 몇 가지 제한 사항을 이해합니다.
- Elastic Net 모델을 구축하고 상관 관계가 높은 데이터를 해석하고 LASSO에 대한 몇 가지 이점을 이해합니다.
- 고차원 스펙트럼 데이터에 JMP Pro 일반화 회귀 사용
- PCA 모델 기반 다변량 제어 차트, 상관 요약 도표 및 고유 값에 대한 PCA 검사 및 해석
- PLS 결과 검토 및 해석
- 일반화 R 제곱을 포함한 탄력적 순 일반화 회귀 해석
- 매우 광범위한 데이터에 JMP Pro 일반화 회귀를 사용하고 결과를 해석합니다.
참고: 첨부된 .jmpprj 파일에는 데모에서 분석을 실행하는 스크립트가 포함되어 있습니다.
Bill Worley가 답변한 질문 @Bill_Worley 그리고 스콧 앨런 @scott_allen 라이브 웨비나에서:
Q: PCA 회귀의 Pred Formula Y1입니까?
A: 예, Y1 및 Y2에 대한 예측 공식은 주성분의 회귀 분석에 의해 생성되었습니다. 이러한 예측 공식으로 프로파일러를 구축할 때 주성분 대신 개별 효과를 볼 수 있는 확인란을 선택할 수 있습니다.
Q: PCA 예제에서 변수를 제거하기 위한 주요 기준은 무엇입니까?
A: 한 가지 접근 방식은 아래 비디오를 참조하십시오.
Q: PLS에서 상호 작용을 지정하거나 기본 모델(예: NIPALS)에 수용된 변수 간의 관계를 지정해야 합니까?
A: PLS의 경우 상호 작용 또는 기타 용어를 테스트하려는 모델 효과를 지정해야 합니다. 표준 JMP에서는 주효과로만 PLS 분석을 실행할 수 있습니다. JMP Pro에서는 모델 적합에서 PLS 특성을 사용하여 상호 작용 또는 다항식과 같은 다른 모델 효과와 함께 PLS를 실행할 수 있습니다.
Q: 글루텐 데이터셋도 많은 다중 공선성과 관련이 있습니까?
답: 예. 각 파장은 다음 파장에 따라 달라지므로 파장마다 많은 공선성이 있습니다.
Q: PLS 또는 일반화 회귀가 일반적으로 높은 자동 상관 데이터에서 우수한지 또는 단순히 데이터 세트에 종속적인지 말할 수 있습니까? 나는 PLS가 더 낫다고 친절하게 생각했지만 반드시 그런 것은 아닌 것 같습니다.
A: 상황에 따라 다르며 데이터에 다소 의존적일 수 있습니다. 둘 다 서로 매우 가까운 좋은 모델을 제공합니다.
Q: 역 예측에 가장 적합한 모델링 옵션은 무엇입니까?
A: 광범위한 데이터를 사용하면 올바른 설정을 얻는 데 어려움이 있을 수 있습니다. 모든 옵션은 역 예측에 적합합니다.
Q: PCA 수식을 테이블에 저장한 방법을 설명해 주시겠습니까? 좌표 자체를 저장하는 방법만 알고 있습니다.
A: 빨간색 삼각형에서 수식을 데이터 테이블에 저장합니다.
Q: Prediction Profiler로 최적화를 위해 PLS 모델을 사용하는 경우 최적화가 변수 간의 상관 관계를 존중합니까, 아니면 외삽 제어가 켜져 있으면 변수 간의 상관 관계가 처리됩니까?
A: PLS에서는 변수 선택을 수행한 다음 결과를 사용하여 중요한 변수로 모델을 구축할 수 있습니다. 그런 다음 VIP로 모델 만들기를 사용하고 다시 실행하십시오. 이 모델을 데이터 테이블에 저장하면 크기가 크고 모든 변수가 있습니다.
Q: 모델 스크리닝이 유용할까요?
A: 네. 시간이 걸립니다. 추가 방법을 선택합니다.이를 선택하면 Elastic Net을 통과하게 됩니다. 또한 Ridge Regression을 거치게 되며 K-folds 및 교차 검증이 있는 경우 시간이 걸립니다. 그리고 일반화 회귀 및 PLS 모델 스크리닝에서 양방향 상호작용을 추가할 수 있으며 양방향 상호작용 유무에 관계없이 적합합니다.
자원
