선형 적합과 로그 적합의 성능 평가안녕하세요 여러분,
선형 모델과 로그 모델(즉, 반응만 로그 변환된 모델)의 성능을 평가하는 방법에 대한 제안이 있는지 궁금합니다. 예측 가능성과 정확도 측면에서 어떤 모델이 더 나은지 평가하려고 합니다.
제가 처음 생각한 것은 R-제곱 값과 RMSE 값을 비교하는 것이었지만, 두 모델의 단위가 달라서 직접 비교할 수는 없는 것 같습니다.
안녕하세요, Janneman
고급 통계 모델링기본 데이터 분석 및 모델링예측 모델링 및 머신 러닝신뢰성 분석Re: 성능 선형 적합 대 로그 적합 평가안녕하세요 @자네만 ,
모델의 목적과 적용 가능성/적용 범위/일반화를 더 잘 이해하려면 답해야 할 질문이 많을 수 있습니다.
- 모델링의 목적은 무엇입니까? 설명적, 예측적, 둘 다인가요?
- 데이터는 어떻게 수집되었나요? 데이터 수집 과정에 설계가 포함되었나요?
- 모델의 예상 "성능"에 대해 생각하는 데 도움이 되는 추가 질문: 최상의 모델
모델 설명 성능(R²/R² 조정, 단위 없음 ), 예측 성능(RMSE, MAE 등), 통계적 유의성(모델 p-값, 개별 항 p-값 등), 모델 복잡도/조정(AICc, BIC 등을 통해) 등을 비교하는 데 사용할 수 있는 평가 지표 외에도, 잔차 시각화 및 분석을 통해 모델을 먼저 평가하고 "디버깅"하는 것이 중요하다고 생각합니다. 모델 비교 및 선택에 대한 자세한 내용은 모델 축소를 참조하세요.
응답을 변환한다는 것은 평균 응답과 분산 응답을 모두 변환한다는 것을 의미합니다. 그런 다음 변환된 응답 모델의 잔차가 원래 응답 모델보다 회귀 모델 가정을 더 잘 준수하는지 확인할 수 있습니다. 상황이 개선되지 않는 것 같으면 평균 응답과 분산 응답을 독립적으로 처리하는 일반화 회귀 모델을 사용할 수 있습니다. 이 유형의 모델은 모든 것을 변환하려고 하지 않고(예: 로그 변환을 통해) 연결 함수를 사용하여 평균을 예측 변수의 선형 함수로 변환하고 분산 함수를 사용하여 분석의 분산 이질성을 허용합니다. 응답을 완전히 변환(로그 변환 또는 Box-Cox Y 변환을 통해)하거나 일반화 회귀 모델을 사용하면 원래 모델과 같거나 더 간단한 모델을 갖게 됩니다(모델의 항이 적으므로 AICc/BIC가 낮음).
변환된 응답을 사용하여 모델을 단순화하고 응답을 변환하여 더 나은 잔여 패턴을 얻는 등, 필요할 수 있다는 강력한 징후가 있지 않는 한 응답을 변환하지 않을 것입니다.
자세한 내용은 "최소 제곱법"과 "일반화 선형 방법"의 차이점을 참조하세요. 이 두 가지 유형의 모델 간의 차이점에 대한 자세한 내용은 적합 모델에서 "최소 제곱법"과 "일반화 선형 방법"의 차이점을 참조하세요.
통계적 평가가 완료되고 두 모델을 모두 유지할 수 있는 경우 정규화된 예측 지표 및/또는 단위가 없는 예측 지표를 사용하여 모델을 비교하고 변환으로 인한 편향된 비교를 피할 수 있습니다.
이 답변이 도움이 되기를 바랍니다.
Re: 성능 선형 적합 대 로그 적합 평가안녕하세요 @빅터_G ,
우선, 자세한 답변에 감사드립니다.
이 모델의 목적은 예측성과 설명성을 모두 갖는 것입니다. 데이터는 다중 요인 CCD를 수행하여 수집되었습니다.
반응 분포만으로는 데이터가 정규 분포를 따르는지, 아니면 로그 정규 분포를 따르는지 명확하게 알 수 없습니다. 따라서 두 분포(하나는 선형 분포, 다른 하나는 로그 변환 분포)를 모두 사용하여 어느 분포가 더 예측적이고 설명력이 있는지 평가합니다.
저는 p < 0.05인 요인을 반복적 과정을 통해 선택하는 단계적 과정을 사용하여 모델을 적합시켰습니다.
두 모델을 모두 유지하기에 이 정도의 통계적 평가가 충분하다고 생각하십니까? 더 나아가, 선형 모델과 로그선형 모델의 R 제곱과 조정 R 제곱 값은 매우 유사하지만, RMSE에는 상당한 영향을 미칩니다. 그래서 두 모델을 공정하게 비교할 방법을 찾고 있었고, 최적의 모델을 선택했습니다.
모델을 비교하고 변환으로 인한 편향된 비교를 방지하기 위해 어떤 다른 정규화되거나 단위가 없는 예측 지표를 사용할 수 있을까요? 이미 R²/R²adj에 대해 언급하셨는데,
Re: 성능 선형 적합 대 로그 적합 평가@Victor_G 님이 게시글에서 말씀하신 내용에 전적으로 동의합니다. 다만 RMSE 비교에 대한 부분만 덧붙이고 싶습니다. 로그 변환된 모델의 RMSE는 변환되지 않은 모델의 RMSE와 분명히 같은 척도가 아닙니다.
이를 수정하려면 다음을 수행할 수 있습니다.
- 모든 관찰에 대해 로그 스케일로 예측을 얻습니다.
- 예측을 지수화하여 역변환합니다.
- 여기서 스미어링 재변환(Duan)을 살펴보세요(위키피디아에 좋은 설명이 있습니다). 이는 기본적으로 역변환된 예측에 스미어링 상수를 곱하여 변환을 보정하는 것입니다(젠슨 부등식을 참고하세요). 그렇지 않으면 예측에 편향이 발생합니다.
- 역변환된 예측값과 변환되지 않은 관찰값을 사용하여 잔차를 계산합니다.
- 마지막으로 잔차를 사용하여 RMSE를 계산합니다.
그런 다음 이 RMSE를 일반 선형 모델의 RMSE와 비교할 수 있습니다.
Re: 성능 선형 적합 대 로그 적합 평가첫째, 귀무가설 하에서 회귀 모형이 가정한 대로 반응변수가 정규분포를 따를 것으로 예상할 수 있습니다. 예측 변수의 영향으로 반응변수가 비정규분포를 보일 것입니다. 잔차의 조건부 반응변수는 이러한 가정을 평가하는 더 나은 방법입니다.
두 번째로, 두 모델을 반응에 미치는 영향에 대한 관심으로 생각하고, 다른 모델을 반응의 규모에 대한 영향에 대한 관심으로 생각할 수도 있습니다.
Re: 성능 선형 적합 대 로그 적합 평가첫째, @마크_베일리 님이 설명하신 것처럼 정규 분포는 데이터 자체가 아니라 잔차에 대한 가정입니다. 이 개념은 모델링 후 데이터에 패턴이 남지 않고, 정규 분포를 따르는 무작위 오차만 남게 되며, 모든 패턴이 회귀 모델에 의해 포착된다는 것입니다.
둘째, 단계적 선택 방법은 설계된 실험 데이터에 적합하지 않을 수 있습니다(특히 p-값 임계값이 있는 경우). 가정된 모델(중심 합성 모형에 연결된 반응 표면 모형)을 사용하여 데이터를 수집했기 때문입니다. 사용하는 플랫폼과 적용된 규칙 에 따라 효과 유전을 강제하지 않는 모델을 만들 수 있습니다. 따라서 겉보기에 만족스러운 고성능 모델을 얻을 수 있지만 이러한 성능을 일반화하지 못하는(강건하지 않음) 모델이 될 수 있습니다. 규칙에 유전을 강제하거나 GenReg 모형에서 Pruned 접근법을 사용하는 것이 더 나을 수 있습니다(또는 단순히 전체 가정 모형으로 시작하는 것이 더 나을 수 있습니다). 단계적 회귀의 다른 함정:
- 모델의 R² 값은 위쪽으로 편향됩니다.
- 효과의 유의성을 결정하는 데 사용되는 F 및 카이제곱 검정 통계량은 광고된 분포를 가지고 있지 않습니다.
- 모델 계수 신뢰 구간이 너무 작고(표준 오차 축소) 모델 계수가 과대평가되었습니다.
- 모델 계수의 P 값은 암묵적 다중 비교에 기반하기 때문에 더 이상 의미가 없습니다.
- 모델 예측 변수의 공선성은 선택된 변수에 큰 영향을 미치므로, 변수 선택이 임의적이 됩니다. 게다가, 공선성 자체도 제대로 다루지 않습니다.
단계별 선택 알고리즘은 거의 항상 통계적 추정치를 망칩니다.
목표가 주로 예측 성과에 관한 것이라면, 이 목표를 우선순위에 두고 강화할 수 있도록 평가 지표를 선택해야 합니다. 단계적 선택에서 AICc 또는 BIC를 중단 규칙으로 사용하는 것이 모델 구축에 더 적합할 수 있습니다. 통계적 유의성이 우선순위가 아닐 수 있기 때문입니다(중요하거나 효과가 높은 항의 p-값이 낮더라도). 비교 및 선택을 위해, 이 방정식을 사용하여 모델의 잔차에서 MAPE(평균 절대 백분율 오차)를 계산하거나, 이 방정식을 사용하여 RMSPE(평균 제곱근 백분율 오차)를 계산할 수 있습니다.
사용 가능한 다른 지표도 있지만, 이러한 "백분율" 버전은 동일한 백분율 척도로 두 모델을 비교하는 데 도움이 됩니다.
이 보완적인 답변이 도움이 되기를 바랍니다.
