모델: 높은 VIF가 모든 경우에 문제입니까?상황은 다음과 같습니다. X에서 25개의 매개변수를 사용하여 특정 Y를 표현하는 모델을 구축하려고 합니다. 내 매개변수 X의 모든 데이터는 최대 정보를 얻기 위한 주파수 스캐닝으로 25개의 주파수(my X)를 사용하여 1개의 샘플을 분석하는 동일한 단일 기술에 의해 제공됩니다. 즉, 각 단일 Y 데이터에 대해 25개의 X가 있습니다.
하지만 문제는 내가 모델을 구축할 때 거대한 VIF를 얻는다는 것입니다. 내 매개변수 X는 동일한 기술의 주파수일 뿐이므로 본질적으로 동일선상에 있으므로 동일한 방식으로 진화하기 때문입니다.
그리고 내가 배운 대로 하면, 즉 가장 높은 VIF를 기준으로 각 매개변수를 하나씩 제거하면 하나의 주파수만 남게 되어 스캐닝 기술의 모든 관심이 제거됩니다.
이 특정한 경우에 모델이 이러한 공선성에 의해 실제로 편향되어 있습니까, 아니면 신뢰할 수 있습니까?
@alexbeck 아마도?
Re: 모델: 높은 VIF가 모든 경우에 문제입니까?@martindemel 휴가에서 돌아온 후에 이것을 조사할 수 있습니까?
Re: 모델: 높은 VIF가 모든 경우에 문제입니까?괜찮은 ! 나는 그 모든 것을 시도하고 내가 찾을 수있는 것을 볼 것입니다. 정말 감사합니다 !Re: 모델: 높은 VIF가 모든 경우에 문제입니까?전적으로. 모델의 모든 것이 정상입니다. 이상값은 스튜던트화 잔차인 Adj. R2는 아주 좋은 등 ... 그냥 VIF 미쳤어Re: 모델: 높은 VIF가 모든 경우에 문제입니까?언급하는 것을 잊었지만 높은 VIF에 대해 말할 때 수백, 수천을 의미했습니다. 그래도 분산이 그다지 높지 않은 경우 이러한 값을 허용할 수 있습니까?
PLS는 이전에 실제로 언급되었습니다. 시도하겠습니다!
불행히도 나는 JMP Pro가 없습니다 ...Re: 모델: 높은 VIF가 모든 경우에 문제입니까?Functional Data Explorer라는 도구가 있다면 어떻게 될지 모르겠습니다. 이 팁에 감사드립니다!
사실, 내 25개의 모든 주파수 내에서 내 Y를 설명하는 데 실제로 관련된 것은 거의 없었기 때문에 모델링 중에 중요하지 않은 것을 제거하기 위해 단계적으로 사용했습니다. 그렇지 않으면 중요하지 않은 매개변수가 18개이고 중요 매개변수가 6개뿐인 모델을 얻게 됩니다. 그게 정말 말이 되나요?
PLS도 확인해 보겠습니다. 정말 좋은 생각입니다. 도와주셔서 감사합니다!Re: 모델: 높은 VIF가 모든 경우에 문제입니까?충분히 명확했다면 죄송합니다. 다시 시도해 보겠습니다.
정확히 25단계의 X가 아니라 동일한 기술에서 나오는 25개의 다른 X입니다. 테크노는 다양한 주파수를 스캔하고 각각에 대해 내 X라는 하나의 값을 제공합니다.
그리고 높은 VIF를 언급할 때 수백, 수천에 대해 이야기하고 있습니다.Re: 모델: 높은 VIF가 모든 경우에 문제입니까?이 상황에서 사용할 수 있는 많은 기술이 있습니다.릿지 회귀 또는 신경망과 같은 정규화 모델은 공선성을 꽤 잘 극복할 수 있습니다.주 구성 요소와 같은 차원 감소 기술을 사용하고 구성 요소 점수에 대한 회귀를 수행할 수도 있습니다.
Re: 모델: 높은 VIF가 모든 경우에 문제입니까?Mark가 지적한 것처럼 "경험 법칙"은 항상 주의해서 사용해야 합니다. 적절한 모델을 구축하는 데는 여러 가지가 있습니다. 기법 사용됨(예: 가정 평가( NID(0, 에스 2 )) , R-square-R-square Adj, 이상값 테스트, 잔차 분석 등) VIF는 단 하나입니다.
Re: 모델: 높은 VIF가 모든 경우에 문제입니까?나는 VIF에 대한 일반적인 "경험 법칙"을 보았습니다. 10 미만은 양호하고 10 이상은 불량입니다. 이 규칙은 안타깝게도 쓸모가 없으며 따르지 않아야 합니다.
일반적으로 허용 가능한 VIF는 모수 추정치의 상대적 크기와 반응 분산에 따라 달라집니다. 반응 변화가 크고 분산이 작은 경우 매우 큰 VIF를 허용할 수 있습니다. 반면에 반응 변화가 작고 분산이 크면 작은 VIF가 너무 클 수 있습니다.
다른 회귀 방법을 사용할 수 있는지 궁금합니다. 예를 들어 PLS는 X가 파장이나 분자량과 같은 일부 스펙트럼의 영역인 경우 매우 성공적입니다. 이 X는 상관관계가 높습니다. PLS 회귀 모델은 공선성으로 불이익을 주는 대신 이 정보를 이용합니다.
JMP Pro가 있는 경우 X를 기능 데이터로 취급하고 기능 주성분을 저장할 수도 있습니다. 이러한 FPC는 Y의 회귀 모델에서 X 대신 사용됩니다.
어떻게 생각하나요?
Re: 모델: 높은 VIF가 모든 경우에 문제입니까?Functional Data Explorer를 실제로 사용하고 싶은 것처럼 들립니다. 각 Y에 대해 프로파일을 정의하는 주파수 범위가 있습니다. 그것이 바로 기능적 데이터 탐색기가 분석해야 하는 것입니다.
그러나 회귀를 사용하려는 경우 전체 모델(모델에 모든 X가 있는 모델)에서 항을 제거하지 않고 모델 사용에만 관심이 있다면 높은 VIF는 큰 문제가 되지 않습니다. 예측을 위해.
VIF가 높은 중요하지 않은 용어를 제거하여 어떤 주파수가 가장 중요한지에 더 관심이 있는 것 같기 때문에 여전히 높은 VIF가 문제를 일으킬 위험이 있습니다. 회귀를 고수하는 경우 접근 방식이 가장 좋을 수 있지만 VIF가 높다는 것은 모수 추정값의 분산이 부풀려진다는 것을 의미합니다. 그것은 또한 모수 추정치가 매우 불안정하다는 것을 의미합니다. 모델에서 하나의 X를 제거하면 다른 매개변수의 매개변수 추정치 및 유의성 테스트가 크게 변경될 수 있습니다. 최종 모델이 최고가 아닐 수도 있습니다.
이러한 프로파일의 중요한 기능을 정말로 식별해야 하는 경우 기능적 데이터 탐색기를 살펴보십시오. 이것이 옵션이 아닌 경우 다중 공선성을 처리하도록 설계된 모델링 기술을 검토해야 합니다. PLS 또는 PCR은 이러한 두 가지 기술에 불과합니다.
Re: 모델: 높은 VIF가 모든 경우에 문제입니까?문제를 완전히 이해하지 못한 것 같습니다. 하나의 X(주파수)의 25개 수준이 있는 것처럼 들립니다....그래서 모델에 하나의 X만 있는 모델을 만들고 있습니까? 다소 복잡한 비선형 모델을 추정할 수 있는 많은 자유도가 있지만 방정식에는 하나의 예측 변수만 있습니다.
높은 VIF(>10 초과, >5를 평가해야 함)는 모델을 재평가해야 한다는 표시일 뿐입니다(모델 유용성이 과도하게 언급될 수 있음). 예, 그것은 다중 공선성의 척도이지만 높은 값이 반드시 공선성을 나타내는 것은 아닙니다. 이를 위해서는 일반적으로 이해하고 적절하게 보상할 주제 전문 지식이 필요합니다.
