상관 변수가 있는 다중 회귀안녕 모두,
다중 회귀와 관련하여 도움이 필요하며 도움을 주시면 정말 감사하겠습니다! 미리 감사드립니다 
간단히 말해서 문제는 다음과 같습니다.
- 연속 Y와 16개의 X가 있습니다.
- 다변량 분석을 실행하면 일부 용어가 상관 관계가 있는 것을 볼 수 있습니다. 예를 들어, X1과 X2는 상관관계가 있는데 그중 하나만 사용할 수 있습니다.
- 그러나 X2보다 X1을 임의로 선택하고 싶습니다. 그래서 제가 지금 하고 있는 일은 먼저 X1로 회귀를 실행한 다음 X2로 회귀를 실행하는 것입니다. 그런 다음 모델을 이러한 용어와 비교합니다. 그러나 실행해야 하는 조합의 수가 너무 많고 수동으로 작업하는 동안 시간이 많이 걸리고 실수하기 쉽습니다.
- 이것을 해결하는 더 현명한 방법이 있는지 확인하고 싶었습니다.
- 나는 이것을 어떤 종류의 루프에서 실행하고 최고의 모델을 강조하는 스크립트를 작성하여 해결할 수 있다는 것을 알고 있습니다.
- 그러나 스크립트를 작성할 지식이 없습니다.
- 다른 팁, 요령도 좋습니다! (저는 JMP Pro가 없습니다)
당신의 의견을 기다리겠습니다.
친애하는,
비풀
암사슴다른스크립팅Re: 상관 변수가 있는 다중 회귀매우 감사합니다 @David_Burnham ! 귀하의 피드백에 감사드리며 많은 도움이 되었습니다. 매우 감사.
친애하는,
비풀
Re: 상관 변수가 있는 다중 회귀감사합니다 @statman 당신의 생각을 공유하기 위해. 이것은 매우 도움이 되었습니다. 매우 감사
친애하는,
비풀
Re: 상관 변수가 있는 다중 회귀다시 한 번 감사드립니다, 빅터. 이것은 매우 유용한 피드백이었습니다. Stepwise Regression 및 PCA 접근 방식을 시도했는데 이미 많은 도움이 되었습니다.
다시 한번 감사드립니다.
친애하는,
비풀
Re: 상관 변수가 있는 다중 회귀안녕 @vipul ,
다른 모델은 다중 공선성을 다루는 다른 접근법과 방법으로 이어질 것입니다.
X1 및 X2가 다른 예측 변수 사이에서 높은 상관 관계가 있는 한 쌍의 예측 변수임을 고려하면 모델은 다르게 반응합니다.
- 단계적 회귀 접근 방식(또는 의사 결정 트리)을 사용하면 모델이 상관 관계가 높은 예측 변수를 모델에서 제거하고 가장 유익한 예측 변수만 유지합니다. 귀하의 경우에는 X1 또는 X2만 사용하게 됩니다(어떤 것이 최고의 모델링/성능을 제공하는지에 따라 다름).
- Random Forest(또는 JMP용 예측자 스크리닝) 접근 방식을 사용하면 각 트리에 대한 예측자의 하위 집합과 함께 여러 결정 트리가 구성됩니다. 즉, X1과 X2는 동일한 수의 예측 변수 하위 집합에서 테스트되므로 모델에서 선택될 동일한 기회를 갖게 됩니다. 어느 쪽이 더 많은 정보를 제공하는지에 따라 두 예측 변수 중 하나가 다른 예측 변수보다 더 높은 기능 중요도(모델 기여도)를 가지지만 두 예측 변수가 모델에서 고려될 수 있습니다.
- PLS/PCA 접근 방식을 사용하면 예측 변수의 수를 상관관계가 없는 예측 변수의 더 작은 하위 집합으로 줄이므로 대부분의 예측 변수 정보를 유지할 수 있습니다(유지하는 주성분 수에 따라 다름). 귀하의 입력은 변환/결합되고 상관되지 않습니다(새로운 X'는 X1과 X2의 조합으로 생성될 수 있습니다).
선택할 방법은 모델에 대해 가질 수 있는 성능에 따라 다르지만 더 중요한 것은 주제에 대한 도메인 지식에 따라 다릅니다. 다른 모델링은 다른 예측 변수의 중요성 또는 중요성에 대한 다른 설명 및 다른 가설로 이어질 수 있으므로 도메인 지식은 가장 적절하고 합리적인 모델을 선택하도록 안내해야 합니다.
그것이 당신을 도울 수 있기를 바랍니다,
Re: 상관 변수가 있는 다중 회귀David는 시도해 볼 몇 가지 플랫폼을 제공했습니다. 결합은 통계적 절차가 아니라 공학적/과학적 절차입니다.
가상의 예를 들어 보겠습니다.
고무 밴드(Y=거리)를 사용하여 발사체가 발사될 수 있는 거리에 어떤 요소가 영향을 미치는지 결정하려고 한다고 상상해 보십시오. 관심 있는 많은 변수 중 두 가지(발사체의 질량, 발사체의 형상, 발사 각도, 주변 기류, 발사 기술 등)는 다음과 같습니다.
1. X1 = 고무줄을 늘린 길이
2. X2 = 고무줄의 폭을 변경하여 변화하는 "스프링 상수"
이 두 변수는 데이터 세트에서 상관 관계가 있는 것으로 나타나고 둘 다 시스템에 공급되는 에너지의 양에 직접적인 영향을 미칩니다(가설). 두 변수가 동일선상에 있다고 생각합시다. 실험에서 독립 변수로 취급하는 대신 다음과 같은 수준으로 구성된 하나의 요인으로 결합할 수 있습니다.
- = 짧은 길이의 신축 및 좁은 너비 밴드
+ = 스트레치의 긴 길이와 두꺼운 폭의 밴드
그런 다음 이 "결합 요인"을 실험에서 다른 많은 요인과 비교했습니다. 이 요소가 중요하게 보이면 다음 실험을 실행하여 가장 효과적으로 관리하는 방법을 더 깊이 이해할 수 있습니다. 시스템에 에너지 (이것은 새로운 응답 변수가 됩니다).
Re: 상관 변수가 있는 다중 회귀참고로 모든 X에 대해 한 번에 하나씩 맞추는 절차는 다음에 의해 자동으로 수행됩니다. 반응 스크리닝 분석> 스크리닝에서 플랫폼을 찾을 수 있습니다.
Re: 상관 변수가 있는 다중 회귀당신은 또한보고 싶어 할 수도 있습니다 클러스터 변수 분석>클러스터링 아래의 유틸리티.상관 관계가 있는 X는 동일한 클러스터에 배치됩니다.그런 다음 각 클러스터에 대해 회귀에 포함할 '대표 변수'를 선택할 수 있습니다.빨간색 삼각형에는 '맞춤 모델 시작' 옵션도 있습니다.
Re: 상관 변수가 있는 다중 회귀안녕 @statman ,
시간을 내어 귀하의 관점을 공유해 주셔서 감사합니다. 상관 관계가 있는 여러 X를 결합하는 방법에 대해 자세히 설명해 주시겠습니까?
미리 다시 한번 감사드립니다.
친애하는,
비풀
Re: 상관 변수가 있는 다중 회귀안녕 @Victor_G
시간을 내어 답변해 주셔서 감사합니다. 예측자 선별 모듈을 바로 사용하겠습니다. 그것이 약간의 단서를 제공하기를 바랍니다.
그러나 (예를 들어) X1과 X2가 가장 가능성이 높은 예측 변수로 다시 나타날 것이기 때문에 이것이 다중 공선성 문제를 해결할 것이라고 생각하십니까?
Re: 상관 변수가 있는 다중 회귀내 생각은 다음과 같습니다. 통계적 절차가 없습니다. 선택하기 다중 공선성이 존재할 때 연구에 포함할 요인. 결정은 SME(Subject Matter Expert)가 내려야 합니다. 이에 영향을 미칠 수 있는 사항은 다음과 같습니다.
1. X 관리의 용이성 또는 비용
2. 포함 여부에 대한 과학적 근거(가설)(데이터를 얻은 후 개발하는 것보다 예측하는 것이 좋습니다)
3. 다른 Y에 미치는 영향
이제 다음과 같은 다른 작업을 수행할 수 있습니다.
1. 상관관계가 있는 x를 하나의 X로 결합
2. 대체 응답 변수 개발
3. 다른 변환(예: PCA)을 시도해 보십시오. 이로 인해 과학적 관계가 흐려질 수 있습니다.
4. 요인에 대한 실험 실행
Re: 상관 변수가 있는 다중 회귀안녕하세요 @vipul ,
JMP는 최소 BIC/AICc 또는 p-값 임계값으로 모델을 생성하는 경향이 있는 변수를 사용하려고 하기 때문에 플랫폼 "모델 적합"에서 "단계별" 성격을 사용하는 것이 귀하의 필요에 부합할 수 있습니다. 플랫폼의 빨간색 삼각형을 클릭하면 "모든 가능한 모델"을 테스트할 수 있는 옵션도 있습니다. 여기에서 모델에서 가장 높은 수의 항(요인)과 볼 최상의 모델 수를 지정해야 합니다. 그런 다음 JMP는 R², RMSE, AICc 및 BIC와 같은 각 모델의 항 수와 함께 테스트된 모든 모델이 포함된 테이블을 제공하며, 충분히 흥미로운 모델을 찾으면 테스트된 모든 모델을 실행할 수 있습니다.
그러나 데이터 세트의 다중 공선성 문제에 대해서는 이것이 좋은 생각이 아니라고 생각합니다. JMP와 상관관계가 높은 변수가 있는 데이터 세트가 있는 경우 설명 가능성 및/또는 예측 가능성에 관심이 있는지 여부에 따라 다음 옵션을 시도할 수 있습니다.
- 응답에 가장 중요한 변수를 찾으려면 "예측자 선별"(분석 -> 선별에서)을 사용하십시오. 가장 중요한 n개를 선택하고(임계값 n, 도메인 전문성에 따라 유지하려는 중요한 변수의 수 또는 "5개의 상위 예측 변수를 원합니다"와 같은 임의의 임계값을 변경할 수 있음) "Copy selected"를 클릭한 다음 복사한 변수로 회귀 모델(Fit Model)을 실행합니다.
- 주성분 분석을 사용하여 초기 16개 X를 대부분의 초기 정보를 포함하는 더 낮은 독립 변수 집합으로 줄입니다. 그런 다음 원래 X 대신 주성분으로 회귀 모델을 시도하십시오.
- 부분 최소 제곱(분석 -> 다변량 -> 부분 최소 제곱)을 사용하여 상관 변수가 있는 모델을 만듭니다.
이러한 옵션은 가능한 모든 모델에 맞추려고 시도하고 R² 또는 기타 메트릭에 따라 최상의 모델을 선택하는 것보다 더 강력하고 신뢰할 수 있다고 생각합니다. 언급한 원래 접근 방식은 여전히 가치 있는 정보.
가능한 다른 많은 옵션이 있지만 JMP Pro에서 사용할 수 있습니다(예: 불이익 회귀 모델 기술 포함).
이 처음 세 가지 옵션이 이미 도움이 될 수 있다고 생각합니다.
