혼합 설계 실험계획법에서 좋은 r2 값은 무엇일까요?저는 보정 곡선만 접해왔고, 0.999 정도의 적합도만 알고 있던 분야에서 일해왔습니다. 그래서 혼합 실험 설계(dOE) 모델링에서 좋은 모델이라고 여겨지는 r² 값은 어느 정도인지 궁금합니다. 좋은 모델인지 판단하기 위해 확인해야 할 다른 중요한 값들이 있을까요?
실험 설계Re: 혼합 설계 실험계획법에서 좋은 r2 값은 무엇인가요?제 생각에는 혼합 설계는 기본적으로 최적화 설계입니다. 즉, 이미 스크리닝을 마쳤고, 합리적인 1차 모델을 가지고 있으며, 잡음과 다변수 고려 사항을 이해하고 있다는 뜻입니다. 이제 최적의 조건을 선택하는 단계에 있는 것입니다. 이는 주로 반응 표면 플롯(혼합 반응)을 통해 이루어집니다. 일반적인 모델 구축 통계는 다소 어려울 수 있습니다. 다중공선성이 상당히 높을 수 있는데, 이는 완전히 허용될 수도 있지만, 전통적인 통계와 계수를 해석하기 어렵게 만듭니다.
이러한 점을 고려할 때, 코넬은 R-제곱 조정값의 최소값을 0.85로 제시하는 것으로 보입니다(R-제곱 자체만으로는 유용한 경우가 드뭅니다). 하지만 만약 그런 의미가 아니라면, 단순히 모델 형태를 수정하는 것이 유용할 수 있다는 뜻일 뿐입니다.
Piepel, Gregory, Cornell, John (1994) "혼합물 실험 접근법: 사례, 논의 및 권장 사항", Journal of Quality Technology, Vol. 26, No. 3, 7월 참조
스니(Snee)의 혼합 설계에 대한 세 가지 기본 단계(박스와 윌슨의 반응 표면 방법론 기반):
1. 데이터는 실험 설계를 이용하여 생성됩니다.
2. 데이터에 모델(일반적으로 다항식)을 적용합니다.
3. 반응 표면 윤곽을 분석하여 최적의 반응값을 얻을 수 있는 영역을 파악합니다.
Snee, Ronald (1971) "혼합물 실험의 설계 및 분석", "Journal of Quality Technology", Vol. 3, No. 4, 10월호 참조
Re: 혼합 설계 실험계획법에서 좋은 r2 값은 무엇인가요?제 모델은 R² 값이 0.92, 조정 R² 값이 0.90인 2차 혼합 모델입니다. R² 값에 따라 판단해야 할지, 아니면 예측 정확도에 따라 판단해야 할지 궁금합니다. 모델에 포함되지 않은 지점을 테스트했을 때 예측값과 약간의 차이가 나타났는데, 이는 예상되는 결과이지만, 이 차이가 실험 오차 때문인지 아니면 모델 자체의 문제인지 판단하기 어렵습니다. 적합도 부족(Lack of fit) 값은 0.9입니다.
Re: 혼합 설계 실험계획법에서 좋은 r2 값은 무엇인가요?"내 모델이 충분히 좋은가"를 절대적으로 평가할 수 있는 통계적 기준은 없습니다. '충분히 좋다'는 것은 명확하게 정의할 수 있는 기준이 아닙니다. 최고의 모델은 주제 관점에서 타당하고 운영적인 관점에서 유용한 모델입니다.
Re: 혼합 설계 실험계획법에서 좋은 r2 값은 무엇인가요?좋은 생각인 것 같지만, 사람들이 "이건 절대 좋은 모델이 아니야"라고 말하는 기준점이 분명히 있을 것 같아요. 사용자 입장에서 저는 현재 사용하는 모델과 그 한계를 인지하고 있는 만큼의 기능에 만족하지만, 이 분야에 새로 입문한 저로서는 이 모델이나 실험계획법이 잘 실행되었는지 판단할 입장이 아니라고 생각합니다.Re: 혼합 설계 실험계획법에서 좋은 r2 값은 무엇인가요?모델이 적절하지 않다는 결론을 내릴 만한 단서는 많습니다. 하지만 다시 한번 말씀드리지만, '좋은' 모델의 기준을 명확히 정의하지 않으셨습니다. 통계 지식은 풍부하지만 해당 분야 지식이 없는 사람이 모델의 적절성을 더 잘 판단할 수 있다고 생각하시는 이유는 무엇입니까? 모델은 오차가 0을 중심으로 무작위로 분포되도록 반응을 예측해야 합니다. 또한, 모델은 변화하는 환경 속에서도 일관성을 유지해야 합니다.
"좋은 모델이란 연구 대상 현상의 핵심적인 특징을 포착하고, 가정에서 발생할 수 있는 편차에 대해 견고한 절차를 도출하는, 가급적 사용하기 쉬운 근사치이다."
GEP 박스
Re: 혼합 설계 실험계획법에서 좋은 r2 값은 무엇인가요?@statman 님이 지금까지 말씀하신 모든 내용에 동의합니다. 한 가지 덧붙이자면, 모델의 '좋음'을 평가할 때 R² 값만 보지 않으셨으면 좋겠습니다. (물론 '좋음'이라는 건 존재하지 않습니다.) R²에만 집중하면 '단일 통계량 편협증'이라는 무서운 병에 걸릴 수 있습니다. 대신 다음 질문에 답해 보세요. "이 모델이 현재 실험의 목표와 목적을 적절하게 충족하는가?" 솔직히 이 질문에 '예'라고 답할 수 있다면 R² 값이 얼마인지는 중요하지 않습니다. 제가 업계에서 일할 때는 문제를 해결하는 것이 우리의 임무였지, '좋은' 통계치(R², p값, F 비율, 평균 제곱 오차, t 통계량 등)를 내는 것이 아니었습니다.
Re: 혼합 설계 실험계획법에서 좋은 r2 값은 무엇인가요?명확한 설명 감사드립니다. 제가 지금까지 R2 값에 주로 집중했던 이유는, 실험 설계(DOE)를 처음 접하는 교수님께서도 R2 값을 주로 사용하셨기 때문입니다. 아마도 교수님께서 다른 연구 분야에서 R2 값이 중요한 역할을 하는 것을 보신 적이 없어서 그러셨던 것 같습니다. 저 역시 실험 설계 이론에 익숙하지 않고, 연구를 다음 단계로 나아가기 위한 도구로 활용하려는 단계였기에, 완벽하지는 않더라도 작동하는 모델만으로도 충분하다는 것을 교수님께 설득하지 못했습니다. 다음번에는 통계적 값보다는 실질적인 이점과 결과에 더 집중해야겠습니다. 조언 감사합니다!
