상관관계가 높고 차원이 큰 데이터를 위한 예측 모델 구축
이 영상은 2024년 8월에 업데이트되었습니다.
다중공선성은 종속변수를 추정하는 데 사용되는 독립변수들 간에 매우 높은 상관관계가 존재하여 각 독립변수가 종속변수의 변동에 미치는 영향을 정확히 파악할 수 없는 상태를 말합니다. 데이터셋에 다중공선성이 높으면, 이를 완화하는 기법을 사용하지 않는 한 구축하는 모든 모델이 과적합될 가능성이 매우 높습니다. 다중공선성을 제한하여 좋은 예측 모델을 구축할 가능성을 높이는 데 사용할 수 있는 몇 가지 모델링 기법이 있습니다. 이러한 기법에는 JMP에서 사용할 수 있는 주성분 분석(PCA)과 부분 최소 제곱법(PLS), 그리고 JMP Pro에서 '모델 적합' 옵션으로 제공되는 일반화 회귀 분석이 있습니다.
방법을 알아보세요:
- 주성분 분석(PCA)을 수행하여 소수의 주성분으로 데이터 세트를 모델링함으로써 변동성을 제한하고 다중공선성을 완화할 수 있습니다.
PCA는 변수들을 서로 비교하는 것이지, 출력값과 비교하는 것이 아닙니다.
PCA는 변동성을 설명하는 데 도움이 되는 변수들의 선형 조합을 추출하여 중요 변수의 수를 줄입니다. 가능한 한 많은 변동성을 설명함으로써 중요 변수의 수를 최소화합니다.
- PCA 분석에 가장 적합한 데이터 세트는 세로로 길거나 가로로 넓은 형태이거나, 둘 다일 수도 있습니다.
- 변수를 입력이나 출력으로 해석하지 않고 단일 행렬을 다룹니다.
- 가능한 한 많은 변동성을 설명하는 변수들의 선형 조합을 추출합니다.
- 이 모든 과정은 첫 번째 주성분 분석에서 시작하여 전체 변동의 100%가 설명될 때까지 알고리즘이 계속됩니다. 바라건대, 이 수치는 원래 변수 집합보다 훨씬 작을 것입니다.
- 각각의 연속적인 주성분(PC)은 가능한 한 많은 변동을 설명하며, 이전에 추출된 로딩 벡터와 직교합니다.
- 요약 도표와 고유값을 검토하고 해석합니다.
- 주성분 분석 결과를 데이터 테이블에 저장하고, 그래프 > 프로파일러를 사용하여 주성분 회귀 분석을 수행합니다. ( 참고: 중간값 확장 상자를 선택하세요.)
- 부분 최소 제곱법을 사용하여 요인, 즉 설명 변수(X)의 선형 조합을 기반으로 선형 모델을 적합시킵니다.
- 이러한 요소들은 X 변수와 반응 변수(Y 변수) 간의 공분산을 최대화하려는 방식으로 얻어집니다.
- PLS는 X와 Y 사이의 상관관계를 활용하여 숨겨진 잠재 구조를 드러냅니다.
- PLS는 관측치보다 X 변수의 수가 많거나, X 변수 간의 상관관계가 높거나, X 변수의 수가 많거나, Y 변수의 수가 많고 X 변수의 수도 많은 경우와 같이 일반 최소 제곱법(OLS)을 사용했을 때 만족스러운 결과가 나오지 않는 상황에서 우수한 성능을 보입니다.
- PLS는 예측 변수의 수가 관측치의 수보다 많을 때 사용할 수 있습니다.
- PLS는 분광학, 화학계량학, 유전체학, 심리학, 교육학, 경제학, 정치학, 환경과학 등 다양한 분야에서 고차원 데이터 모델링에 널리 사용됩니다.
- JMP PLS 사용 방법을 알아보세요. 두 가지 모델 적합 알고리즘을 사용할 수 있습니다. 비선형 반복 부분 최소 제곱법(NIPALS)과 "통계적으로 영감을 받은 PLS 수정법"(SIMPLS)입니다.
- 단일 응답의 경우 두 방법 모두 동일한 모델을 제시하지만, 다중 응답의 경우에는 약간의 차이가 있습니다.
- PLS는 van der Voet T2 검정과 교차 검증을 사용하여 추출할 최적의 요인 수를 선택하는 데 도움을 줍니다.
- PRESS(예측 잔차 제곱합) 플롯을 해석하세요. 이 플롯은 PRESS 값이 가장 낮은 요인의 수를 보여주며, 해당 모델은 데이터에 대해 얻을 수 있는 최상의 모델 중 가장 성능이 떨어지는 모델입니다.
- 분산 중요도 플롯(VIP)을 사용하여 제거할 요인을 찾으십시오.
- 백분율 변동 그래프 해석하기
- van der Voet T2 통계 검정은 요인의 개수가 다른 모델이 최소 PRESS 값을 갖는 모델과 유의미하게 다른지 여부를 판단하는 데 사용됩니다.
- 일반적으로는 반 데르 보에트 유의수준이 0.10을 초과하는 최소 개수의 요인을 추출하는 방식을 사용합니다.
- JMP Pro의 일반화 회귀 분석 기능을 활용하여 상관관계가 높거나 정규 분포를 따르지 않는 데이터에 특히 적합한 고급 페널티 회귀 기법과 변수 선택 기능을 사용하십시오.
- LASSO 모델을 구축하고, 결과를 해석하며, 모델의 한계를 이해합니다.
- 엘라스틱 넷 모델을 구축하고 상관관계가 높은 데이터에 대한 결과를 해석하며, LASSO 대비 엘라스틱 넷의 장점을 이해합니다.
- 고차원 스펙트럼 데이터에는 JMP Pro의 일반화 회귀 분석을 사용하십시오.
- PCA 모델 기반 다변량 관리도, 상관관계 요약 플롯에 대한 PCA 및 고유값을 검토하고 해석합니다.
- PLS 결과를 검토하고 해석하십시오.
- 일반화된 R제곱을 포함한 엘라스틱 넷 일반화 회귀 분석 결과를 해석하십시오.
- JMP Pro의 일반화 회귀 분석을 사용하여 매우 방대한 데이터를 분석하고 결과를 해석하십시오.
참고: 첨부된 .jmpprj 파일에는 데모에서 사용된 분석을 실행하는 스크립트가 포함되어 있습니다.
라이브 웹 세미나에서 빌 워리( @Bill_Worley )와 스콧 앨런 (@scott_allen) 이 답변한 질문들:
질문: 그가 PCA에 적합한 데이터가 세로로 길고 가로로 넓다고 말했을 때 무슨 의미였나요?
A: "세로형" 데이터는 행은 많고 열은 적은 데이터 테이블로, "가로형" 데이터는 열은 많고 행(관측치)은 적은 데이터 테이블로 생각할 수 있습니다. 반면, PLS는 요인의 개수가 관측치의 개수보다 많을 때 자주 사용됩니다.
질문: 변수들 간의 상관관계가 매우 높고, 알고리즘 중 하나가 특정 변수를 다른 변수보다 선호할 경우, 어떤 변수를 유지하고 어떤 변수를 제외할지 어떻게 선택해야 할까요?
A: 분산팽창계수(VIF)는 변수들 간의 상관관계가 높은 값을 찾는 방법입니다. VIF는 변수들이 다른 변수들과 얼마나 높은 상관관계를 가지고 있는지를 보여주는 지표일 뿐입니다. 상관관계가 높은 변수들을 찾아낸 후, 그중 하나를 제거하면 VIF 값이 변하게 됩니다. 그런 다음 다변량 분석을 통해 어떤 변수들이 높은 상관관계를 가지는지 더 자세히 파악할 수 있습니다.
질문: 일반화 회귀 분석에서 AIC보다 BIC를 사용하는 것이 더 나은가요?
A: 모델의 목표에 따라 다릅니다. BIC는 AICc보다 매개변수가 많은 모델에 더 큰 불이익을 줍니다. 따라서 일반적으로 매개변수가 더 적은 모델이 선호됩니다.
질문: 사용자가 JMP에서 선택한 모델 외에 다른 모델을 사용할 수 있는 옵션이 있습니까?
A: 모델 비교를 실행하여 최상의 검증 또는 테스트 결과를 확인할 수 있습니다. 또한, Elastic Net Alpha를 제거하고 JMP를 사용하여 세 가지 모델 옵션 중 최적의 모델을 보여주는 도구를 사용할 수도 있습니다. 데이터 양이 많은 경우 이러한 도구를 실행하는 데 시간이 다소 걸릴 수 있습니다.
질문: 이러한 기법들을 시계열 데이터에 어떻게 활용하시겠습니까?
A: 시계열 데이터는 JMP의 시계열 또는 FDE 도구를 사용하여 분석하는 것이 가장 좋습니다. 자세한 내용은 다음을 참조하십시오. 시계열 그리고 분석에 관한 영상 곡선형 데이터.
이 주제에 대한 이전 웨비나에서 답변된 질문:
질문: 예측 공식 Y1은 PCA 회귀 분석에서 나온 것인가요?
A: 네, Y1과 Y2에 대한 예측 공식은 주성분 회귀 분석을 통해 생성되었습니다. 이러한 예측 공식을 사용하여 프로파일러를 구축할 때, 주성분 대신 개별 효과를 볼 수 있도록 하는 옵션을 선택할 수 있습니다.
질문: PLS 분석에서 변수 간 상호작용을 명시적으로 지정해야 하나요, 아니면 기본 모델(예: NIPALS)에 변수 간 관계가 이미 반영되어 있나요?
A: PLS 분석을 하려면 검정하려는 모델 효과(상호작용 또는 기타 항)를 지정해야 합니다. 일반 JMP에서는 주효과만 사용하여 PLS 분석을 실행할 수 있습니다. JMP Pro에서는 '모델 적합' 메뉴에서 PLS 설정을 통해 상호작용이나 다항식과 같은 다른 모델 효과를 포함하여 PLS 분석을 실행할 수 있습니다.
질문: 글루텐 데이터셋에도 다중공선성이 많이 나타나나요?
A: 네. 각 파장은 다음 파장에 의존하기 때문에 파장 간에 많은 부분이 동일선상에 있습니다.
질문: PLS와 일반화 회귀 분석 중 어느 것이 자기상관이 높은 데이터에 일반적으로 더 우수한지, 아니면 데이터셋에 따라 달라지는지 알 수 있을까요? 저는 PLS가 더 좋다고 생각했는데, 꼭 그렇지는 않은 것 같네요.
A: 상황에 따라 다르며, 데이터에 따라 결과가 달라질 수도 있습니다. 두 방법 모두 매우 유사한 좋은 모델을 제공합니다.
질문: 역예측에 가장 적합한 모델링 옵션은 무엇일까요?
A: 데이터 양이 많을 경우, 적절한 설정을 찾는 데 어려움을 겪을 수 있습니다. 역예측에는 모든 옵션이 적합합니다.
질문: PCA 수식을 표에 저장하는 방법을 설명해 주시겠어요? 저는 좌표만 저장하는 방법을 알고 있습니다.
A: 빨간색 삼각형에서 [수식을 데이터 테이블에 저장]을 클릭하세요.
질문: 예측 프로파일러를 사용하여 PLS 모델을 최적화할 경우, 최적화 과정에서 변수 간의 상관관계가 고려되나요? 아니면 외삽 제어 기능이 켜져 있으면 변수 간의 상관관계가 자동으로 처리되나요?
A: PLS에서는 변수 선택(Variable Selection)을 수행한 다음, 그 결과를 사용하여 중요한 변수들로 모델을 구축할 수 있습니다. 그런 다음, VIP를 적용한 모델 생성(Make Model with VIP) 기능을 사용하여 다시 실행하세요. 이러한 모델들을 데이터 테이블에 저장하면 모든 변수가 포함되어 크기가 매우 커집니다.
질문: 모델 선별이 유용할까요?
A: 네, 시간이 좀 걸릴 겁니다. 추가 방법을 선택하세요. 이 옵션을 선택하면 엘라스틱 넷(Elastic Net)을 거치게 됩니다. 또한 릿지 회귀(Ridge Regression)도 거치게 되는데, K-겹 교차 검증을 사용하는 경우 시간이 더 오래 걸릴 수 있습니다. 일반화 회귀(Generalized Regression)와 PLS 모델 스크리닝(PLS Model Screening)에서는 2차 상호작용을 추가할 수 있으며, 2차 상호작용을 포함하거나 포함하지 않은 경우 모두 적합 과정을 거칩니다.
gail_massari_1-1731005860636.jpeg
자원
