상관변수를 사용한 다중 회귀안녕하세요 여러분,
다중 회귀와 관련하여 도움이 필요하며 도움을 주시면 정말 감사하겠습니다! 미리 감사드립니다 
간단히 말해서 여기에 문제가 있습니다.
- 연속된 Y와 16개의 X가 있습니다.
- 다변량 분석을 실행하면 일부 용어가 서로 연관되어 있는 것을 볼 수 있습니다. 예를 들어 X1과 X2는 서로 연관되어 있으며 그중 하나만 사용할 수 있습니다.
- 그러나 X2 대신 X1을 임의로 선택하고 싶습니다. 그래서 제가 지금 하고 있는 일은 먼저 X1을 사용한 다음 X2를 사용하여 회귀를 실행하는 것입니다. 그런 다음 모델을 이 용어와 비교합니다. 그러나 실행해야 하는 조합의 수가 너무 많아서 수동으로 수행하는 데 시간이 많이 걸리고 실수가 발생하기 쉽습니다.
- 이 문제를 해결하는 더 현명한 방법이 있는지 확인하고 싶었습니다.
- 나는 이것을 일종의 루프에서 실행하고 다음의 기반 중 가장 좋은 모델을 강조하는 스크립트를 작성하여 이 문제를 해결할 수 있다는 것을 알고 있습니다.
- 그러나 스크립트 작성에 대한 지식이 없습니다.
- 다른 팁이나 요령도 좋을 것입니다! (저는 JMP Pro가 없습니다)
귀하의 의견을 기다리겠습니다.
친애하는,
비풀
자동화 및 스크립팅실험 설계Re: 상관변수를 사용한 다중 회귀매우 감사합니다 @David_Burnham ! 귀하의 피드백에 매우 감사드리며, 많은 도움이 되었습니다. 매우 감사.
친애하는,
비풀
Re: 상관변수를 사용한 다중 회귀감사합니다 @statman 당신의 생각을 공유하기 위해. 이것은 매우 도움이 되었습니다. 매우 감사
친애하는,
비풀
Re: 상관변수를 사용한 다중 회귀다시 한 번 감사드립니다, 빅터. 매우 도움이 되는 피드백이었습니다. 저는 Stepwise Regression과 PCA 접근 방식을 시도했는데 이미 많은 도움이 되었습니다.
다시 한번 감사드립니다.
친애하는,
비풀
Re: 상관변수를 사용한 다중 회귀안녕 @vipul ,
모델이 다르면 다중 공선성을 처리하는 접근 방식과 방법이 달라집니다.
X1과 X2를 다른 예측 변수들 사이에 높은 상관 관계가 있는 예측 변수 쌍으로 간주하면 모델은 다르게 반응합니다.
- 단계적 회귀 접근 방식(또는 의사결정 트리)을 사용하면 모델은 모델에서 상관 관계가 높은 예측 변수를 제거하고 가장 유용한 예측 변수만 유지합니다. 귀하의 경우에는 X1 또는 X2만 사용하게 됩니다(어느 것이 최상의 모델링/성능을 제공하는지에 따라 다름).
- Random Forest(또는 JMP의 예측자 선별) 접근 방식을 사용하면 각 트리에 대한 예측 변수의 하위 집합과 함께 여러 의사결정 트리가 구성됩니다. 이는 X1과 X2가 동일한 수의 예측 변수 하위 집합에서 테스트되므로 모델에서 선택될 확률이 동일하다는 것을 의미합니다. 어느 것이 더 많은 정보를 가져오는지에 따라 두 예측 변수 중 하나는 다른 예측 변수보다 더 높은 특징 중요도(모델 기여도)를 가지지만 두 예측 변수는 모델에서 고려될 수 있습니다.
- PLS/PCA 접근 방식을 사용하면 예측 변수 수를 상관 관계가 없는 예측 변수의 더 작은 하위 집합으로 줄이므로 유지하는 주성분 수에 따라 대부분의 예측 변수 정보를 유지할 수 있습니다. 입력이 변환/결합되고 상관되지 않습니다(새 X'는 X1과 X2의 조합으로 생성될 수 있음).
선택할 방법은 모델을 통해 얻을 수 있는 성능에 따라 다르지만 더 중요한 것은 해당 주제에 대해 갖고 있는 도메인 지식에 따라 다릅니다. 모델링이 다르면 다양한 예측 변수의 중요성에 대한 설명과 가설이 달라질 수 있으므로 도메인 지식을 바탕으로 가장 적절하고 합리적인 모델을 선택해야 합니다.
도움이 되길 바랍니다.
Re: 상관변수를 사용한 다중 회귀David는 시도해 볼 수 있는 몇 가지 플랫폼을 제공했습니다. 결합은 통계적 절차가 아니라 엔지니어링/과학적 절차입니다.
가상의 예를 들어보겠습니다.
고무줄을 사용하여 발사체를 발사할 수 있는 거리(Y=거리)에 어떤 요소가 영향을 미치는지 확인하려고 한다고 상상해 보세요. 관심 있는 많은 변수(발사체의 질량, 발사체의 기하학적 구조, 발사 각도, 주변 기류, 방출 기술 등) 중 두 가지는 다음과 같습니다.
1. X1 = 고무밴드가 늘어나는 길이
2. X2 = 고무밴드의 폭을 변경하여 변화하는 "스프링 상수"
이 두 변수는 데이터 세트에서 상관 관계가 있는 것으로 나타나며 둘 다 시스템에 공급되는 에너지 양에 직접적인 영향을 미칩니다(가설). 두 변수를 동일 선상에 있다고 생각해 보겠습니다. 실험에서 이들을 독립 변수로 처리하는 대신 다음과 같은 수준으로 구성된 하나의 요인으로 결합할 수 있습니다.
- = 신축성이 짧은 길이와 폭이 좁은 밴드
+ = 긴 길이의 신축성과 두꺼운 폭의 밴드
그런 다음 이 "결합 요인"을 실험에서 다른 많은 요인과 비교했습니다. 이 요소가 중요한 것으로 나타나면 후속 실험을 실행하여 가장 효과적으로 관리하는 방법을 더 자세히 이해할 수 있습니다. 시스템에 에너지 (이것은 새로운 반응 변수가 됩니다).
Re: 상관변수를 사용한 다중 회귀참고로 모든 X에 대해 한 번에 하나씩 맞추기 위해 설명하는 절차는 자동으로 수행됩니다. 반응 선별 분석> 스크리닝 아래에 있는 플랫폼입니다.
Re: 상관변수를 사용한 다중 회귀다음을 살펴보는 것도 좋습니다. 클러스터 변수 분석>클러스터링 아래의 유틸리티입니다.상관된 X는 동일한 클러스터에 배치됩니다.그런 다음 각 클러스터에 대해 회귀 분석에 포함할 '대표 변수'를 선택할 수 있습니다.빨간색 삼각형에는 '맞춤 모델 실행' 옵션도 있습니다.
Re: 상관변수를 사용한 다중 회귀안녕 @statman ,
시간을 내어 귀하의 관점을 공유해 주셔서 감사합니다. 여러 개의 상관 X를 결합하는 방법에 대해 자세히 설명해 주시겠습니까?
미리 다시 한번 감사드립니다.
친애하는,
비풀
Re: 상관변수를 사용한 다중 회귀안녕 @Victor_G
시간을 내어 답변해 주셔서 감사합니다. 바로 예측자 선별 모듈을 사용하겠습니다. 그것이 몇 가지 단서를 제공하기를 바랍니다.
그러나 X1과 X2가 다시 가장 가능성 있는 예측 변수로 등장하므로 이것이 다중 공선성 문제를 해결할 것이라고 생각하십니까?
Re: 상관변수를 사용한 다중 회귀내 생각은 다음과 같습니다. 통계적 절차는 없습니다. 선택하기 다중 공선성이 존재할 때 연구에 포함할 요인은 무엇입니까? 결정은 SME(주제 전문가)가 내려야 합니다. 이에 영향을 미칠 수 있는 사항은 다음과 같습니다.
1. X 관리의 용이성 또는 비용
2. 포함 여부에 대한 과학적 근거(가설)(데이터를 얻은 후 개발하기보다는 예측하는 것이 좋습니다)
3. 다른 Y에 대한 영향
이제 수행할 수 있는 다른 작업은 다음과 같습니다.
1. 상관된 x를 하나의 X로 결합
2. 대체 반응 변수 개발
3. 과학적 관계가 흐려질 수 있지만 다른 변환(예: PCA)을 시도하십시오.
4. 요인에 대한 실험 실행
Re: 상관변수를 사용한 다중 회귀안녕하세요 @vipul ,
JMP는 최소 BIC/AICc 또는 p-값 임계값을 사용하여 모델을 생성하는 경향이 있는 변수를 사용하려고 하기 때문에 "모델 적합" 플랫폼에서 "단계별" 특성을 사용하는 것이 귀하의 필요에 부합할 수 있습니다. 플랫폼의 빨간색 삼각형을 클릭하면 "가능한 모든 모델"을 테스트할 수 있는 옵션도 있습니다. 여기서는 모델에서 가장 높은 항(요인) 수와 볼 수 있는 최상의 모델 수를 지정해야 합니다. 그런 다음 JMP는 테스트된 모든 모델과 각 모델의 항 수(R², RMSE, AICc 및 BIC)가 포함된 테이블을 제공하며, 충분히 흥미로운 모델을 찾으면 테스트된 모델 중 하나를 실행할 수 있습니다.
그러나 데이터 세트의 다중 공선성 문제로 인해 이것이 좋은 생각이 아닐 수도 있습니다. JMP와 상관관계가 높은 변수가 포함된 데이터세트가 있는 경우 설명 가능성 및/또는 예측 가능성에 관심이 있는지에 따라 다음 옵션을 시도해 볼 수 있습니다.
- 반응에 가장 중요한 변수를 찾으려면 "예측자 선별"(분석 -> 선별)을 사용하십시오. 가장 중요한 n개를 선택하고(임계값 n, 도메인 전문 지식 또는 "5개의 상위 예측 변수를 원합니다"와 같은 임의 임계값에 따라 유지하려는 중요한 변수의 수), "선택한 복사"를 클릭한 다음 복사한 변수를 사용하여 회귀 모델(Fit Model)을 실행합니다.
- 초기 16개의 X를 초기 정보의 대부분을 포함하는 더 낮은 독립 변수 세트로 줄이려면 주성분 분석을 사용하십시오. 그런 다음 원래 X 대신 주성분을 사용하여 회귀 모델을 시도해 보십시오.
- 부분 최소 제곱(분석 -> 다변량 -> 부분 최소 제곱)을 사용하여 상관 변수가 있는 모델을 만듭니다.
나는 이러한 옵션이 가능한 모든 모델을 맞추려고 시도하고 R² 또는 기타 측정 항목에 따라 최상의 모델을 선택하는 것보다 더 강력하고 신뢰할 수 있다고 생각합니다. 왜냐하면 귀하가 언급한 원래 접근 방식은 여전히 가치 있는 상관 X의 일부를 삭제할 것이기 때문입니다. 정보.
다른 많은 옵션도 가능하지만 JMP Pro에서 사용할 수 있습니다(예를 들어 페널티 회귀 모형 기술 사용).
이 처음 세 가지 옵션이 이미 도움이 될 수 있다고 생각합니다.
