회귀 모델 최적화를 위한 독립성 매개변수 선택 방법안녕하세요 팀 여러분,
모델 적합 과정에서 매개변수를 다르게 선택하면 결과가 달라지는 것을 발견했습니다. 모델을 만든 후에는 스튜던트화 잔차가 높은 데이터 포인트를 살펴보고 유효성을 검증합니다. 적절한 모델을 얻기 위해 매개변수를 선택하는 작업을 여러 번 반복해야 했습니다. 아래 예시를 통해 살펴보겠습니다.
모델 1:
모델 2:
보시다시피, 모델 2는 모델 1에 비해 스튜던트화 잔차가 높은 데이터 포인트가 훨씬 많습니다. 스튜던트화 잔차가 높은 이러한 데이터 포인트들을 검증해 보니, '불량'으로 분류되었습니다. 모델 2가 더 견고한 것으로 보입니다.
제 질문은 두 모델 모두 R제곱 값이 높게 나왔는데도 불구하고, 왜 모델 2가 더 많은 불량 데이터를 걸러낼 수 있었는지입니다. 이는 제가 모델을 만들 때 선택한 매개변수 때문일 수도 있습니다.
질문:
- 데이터 세트의 새 열에서 데이터 포인트를 '양호'/'불량'으로 분류할 경우, JMP에서 모델이 불량 데이터 포인트를 더 잘 걸러낼 수 있도록 어떤 매개변수를 선택해야 하는지 제안해 주는 방법이 있을까요?
-데이터 포인트를 분류하지 않을 경우, JMP에서 모델이 불량 데이터 포인트를 걸러내는 데 더 강건해지도록 어떤 매개변수를 선택해야 하는지 제안해 주는 방법이 있나요?
커뮤니티 여러분의 조언을 얻을 수 있기를 바랍니다.
감사합니다
고급 통계 모델링기초 데이터 분석 및 모델링예측 모델링 및 머신 러닝제목: 회귀 모델 최적화를 위한 독립성 매개변수 선택 방법제 조언은 더 많은 정보를 제공해 주시는 것입니다. 두 번째 모델이 첫 번째 모델보다 데이터에 더 잘 맞는 것은 분명하지만, 어떤 모델을 사용할지(혹은 둘 다 사용할지 말지) 결정하기에는 충분하지 않다고 생각합니다. 매개변수를 다르게 선택했다고 하셨는데, 제 생각에는 모델에서 요인으로 사용할 변수를 다르게 선택했다는 의미인 것 같습니다. 어떤 변수를 사용할지 결정하는 것은 복잡한 문제이며, 모델이 데이터에 얼마나 잘 맞는지를 통해서만 부분적으로 답을 얻을 수 있습니다. 두 모델 모두 선형 모델인 것 같으니, 특히 이상치가 걱정된다면 다양한 비선형 모델을 시도해 볼 수 있습니다. 큰 잔차에 대해서는 두 가지 생각이 듭니다. 첫째, 데이터 양이 많기 때문에 큰 잔차가 모델에 큰 영향을 미치지는 않을 것 같습니다. 둘째, 왜 큰 잔차가 걱정되는지 설명해 주시면 좋겠습니다(로그 변환을 시도해 보는 것도 한 가지 방법입니다).
일반적으로, 저는 여러분의 반응 변수가 무엇인지, 어떤 유형의 데이터를 가지고 있는지, 그리고 분석의 목적이 무엇인지에 대해 더 자세한 정보를 알아야 합니다. "최적 적합 모델"은 분석의 한 부분일 뿐입니다. 그리고 대부분의 "최적 적합" 측정은 특정 유형의 관측치보다는 평균값을 기준으로 합니다. 잔차가 크다는 점에 대한 여러분의 우려는 일부 데이터 포인트가 다른 포인트보다 더 중요하다는 것을 시사하는 것 같습니다. 만약 그렇다면, 선형 회귀 모델은 적절한 모델이 아닐 수 있습니다 (예를 들어, 평균적인 관측치보다는 특정 관측 영역에서 모델의 정확도가 더 중요하다면 분위수 회귀 모델이 더 적합할 수 있습니다).
제목: 회귀 모델 최적화를 위한 독립성 매개변수 선택 방법"분석의 목적은 무엇입니까?"
일반적으로 제품(무게)을 만드는 레시피에는 온도, 힘, 높이, 두께, 시간이라는 5가지 요소가 있습니다. 제 생각에는 이러한 요소(온도, 힘, 높이, 두께, 시간)와 종속 변수(제품 무게)에 대한 충분한 이력 데이터가 있다면, y=bo+b1x1+b2x2+...와 같은 모델을 만들고 공식을 도출할 수 있을 것 같습니다. 그런 다음 이 공식을 온라인 공정 시스템에 적용하여 실제 무게와 모델에서 예측한 무게를 비교할 수 있을 것입니다. 제 생각이 맞는지 확신할 수는 없지만, 잔차가 클수록 요소 중 하나 또는 두 개가 비정상적으로 변했을 가능성이 높다고 생각합니다. 따라서 회귀 모델을 사용하여 이 작업을 수행하고자 합니다.
위의 예시로 돌아가서, 저는 과거 데이터 세트를 가지고 있었고 어떤 출력이 불량인지 확실히 알고 있었습니다. 그런 다음 회귀 모델이 불량 제품을 걸러낼 수 있는지 확인하기 위해 모델을 실행했습니다. 위의 두 모델 중 모델 2가 제가 찾던 모델이었습니다. 모델 2는 잔차가 높은 데이터 포인트를 정확하게 지적했기 때문입니다. 하지만 이 모델 2를 얻기 위해 적절한 모델을 찾을 때까지 여러 번 시행착오를 거치면서 많은 시간을 투자해야 했습니다.
제목: 회귀 모델 최적화를 위한 독립성 매개변수 선택 방법과거 데이터를 기반으로 모델을 개발하는 것은 어렵고 위험합니다. 저는 과거 데이터를 활용하여 실험 설계를 통해 검증할 수 있는 가설을 세우는 것을 제안합니다. 과거 데이터는 맥락이 부족합니다. 예를 들어, 각 x 값과 Y 값에 관련된 측정 오차를 알고 계십니까? 데이터 수집 당시 다른 요인들은 어떠했습니까? 데이터 왜곡 문제는 없습니까? 잠재적인 지연 효과는 어떻습니까? 원자재의 변동은 어떻습니까? 당신의 생각이 틀린 것은 아니지만 위험합니다. 잔차값이 크게 나온다면, 그것은 당신이 주장하는 것처럼 "나쁜" 데이터가 아니라 모델 자체의 문제입니다. 시간에 따른 무게의 일관성을 평가하는 도구를 원한다면 샘플링이 더 효과적인 방법입니다.
정답은 하나가 아니지만, 과거 데이터를 기반으로 모델을 구축할 때는 일반적으로 가산적 접근 방식을 권장합니다. 또한, 이 방법은 해당 분야 전문가(SME)의 도움 없이는 불가능합니다. 1차 모델부터 시작하여 필요에 따라 차수를 추가하십시오. R-제곱 조정값, R-제곱 조정-R-제곱, RMSE, p-값, 잔차, AIC, BIC 등 다양한 통계 지표가 도움이 될 수 있습니다. 잔차는 실제 값에서 예측값(모델에서 예측된 값)을 뺀 값입니다. 잔차는 기본 가정(NID(0, 일정 분산))에 대한 통찰력을 제공하는 데 사용됩니다. 모델이 특정 데이터 포인트를 제대로 예측하지 못하는 이상치를 식별하는 데 유용하며, 평균이 0인 무작위 오차 가정의 문제점을 평가하는 데에도 도움이 됩니다. 또한, 잔차는 모델의 불완전성을 감지하여 비선형 항을 도입해야 할 필요성을 파악하는 데에도 유용합니다.
