내 적합성 부족 p값이 매우 작은 이유는 무엇입니까?안녕하세요, JMP 커뮤니티 여러분. 최근 RSM 설계를 활용한 실험을 마쳤습니다. 데이터를 소프트웨어에 입력하고 (상호작용 및 RS를 고려하여) 모델을 실행했습니다. 효과 요약표를 기준으로 관련성이 낮은 요인과 상호작용은 제외했습니다. 하지만 적합성 부족 p값이 여전히 매우 작습니다(아래 스크린샷 참조). RSq 값이 0.97~0.98로 높은데도 불구하고 모델이 과적합된 것은 아닌지 걱정됩니다. (물론 요인들 간에 비선형 상호작용이 존재하기 때문에 이 값이 과적합을 나타내는 좋은 지표는 아닐 수 있다는 점도 알고 있습니다.)
단계적 회귀 분석(Stepwise modelling)도 시도해 봤지만, 적합도 부족 p값은 개선되지 않았습니다. 앞으로 어떻게 해야 할지, 또는 데이터에 맞는 모델을 찾기 위해 어떤 방법을 시도해 봐야 할지 조언을 부탁드립니다. 현재 최적의 조건을 찾지 못해 어려움을 겪고 있습니다. 감사합니다.
기초 데이터 분석 및 모델링예측 모델링 및 머신 러닝제목: 내 적합성 부족 p값이 왜 이렇게 작은가요?안녕하세요 @Chemist9 님 ,
커뮤니티에 오신 것을 환영합니다!
적합성 부족 테스트는 모델이 데이터에 잘 맞는지를 평가하는 데 유용합니다.
모델 보고서의 스크린샷만으로는 도움을 드리기가 매우 어렵습니다. 보고서의 다른 부분(예측값 대비 실제값 그래프, 잔차 등)의 스크린샷을 더 공유해 주시거나, 더 나아가 익명화된 데이터셋을 제공해 주시면 감사하겠습니다. 이 검정에서 통계적으로 유의미한 p값이 나왔다는 것은 모델 오차가 순수 오차보다 훨씬 크다는 것을 의미하며, 따라서 모델이 적절하지 않을 수 있음을 시사합니다.
이러한 상황이 귀하의 사례에서 발생할 수 있는 이유는 여러 가지가 있습니다.
- 수집한 결과/데이터에 비해 모델이 "너무 단순"한 경우, 예를 들어 데이터의 곡률을 모델링하는 데 필요한 항(2차항, 상호작용, 이차 효과 또는 고차 효과)이 부족한 경우, 모델에서 일부 항을 제거할 때 어떤 정보를 기준으로 했습니까(p값만 사용했습니까)? 가정한 전체 모델의 동작과 성능은 어떻습니까? RSM 모델을 구축한 목적이 최적화 및 예측이므로, 모델의 RMSE(모델의 정밀도) 및 정보 기준(AICc/BIC)과 같은 여러 지표를 사용하여 모델의 복잡성과 정확도 간의 균형을 평가하고 개선하는 것이 좋습니다.
- 모델과 비교했을 때 복제된 데이터 포인트의 분산이 극히 낮다면, 복제 실험들이 서로 독립적인가요? 이러한 실험들은 어떻게 진행되었나요? 이러한 실험들은 "진정한" 복제 실험인가요? 즉, 단순히 동일한 실험을 두세 번 측정한 것이 아니라, 각 실험을 독립적으로 설계하고 측정했나요?
회귀 모델의 적합성을 확인하기 위해 잔차 분석을 실시하는 것도 권장합니다. 이를 통해 회귀 가정이 충족되는지, 그리고 모델의 부적합성을 나타낼 수 있는 잔차의 패턴이 있는지 확인할 수 있습니다. 만약 패턴이 발견된다면, 모델에 일부 항이 누락되었거나 데이터에 맞게 변환이 필요할 수 있음을 시사합니다.
이 답변이 도움이 되길 바랍니다.
제목: 내 적합성 부족 p값이 왜 이렇게 작은가요?@Victor_G 님 , 도움 주셔서 감사합니다!
지금까지 제가 살펴본 내용을 미리 알려드리겠습니다.
- 모든 가능한 이원 상호작용과 이차항을 포함한 모델을 실행해 보았습니다. 그런 다음 효과 요약표에 표시된 p값을 기준으로 일부 항을 제외했습니다. p값이 0.05보다 큰 항들을 제거했습니다(단, 온도는 다른 요인들과 중요한 상호작용을 하므로 제외했습니다).
- 중요하지 않은 상호작용을 제거한 모델에서 정규화된 RMSE는 5.66%가 나왔는데, 이는 제가 현재 연구 중인 야금 공정에는 여전히 허용 가능한 수준이라고 생각합니다. 하지만 RMSE를 좋게 또는 나쁘게 판단하는 기준이 다른지 알려주시면 감사하겠습니다.
- 말씀하신 정보 기준(AICc/BIC)은 아직 살펴보지 않았습니다. 단계적 성격 분석을 이용한 모델링으로 이 정보를 얻을 수 있을까요?
- 네, 제 실험들은 모두 독립적으로 수행되고 측정되었습니다. 분산이 작기 때문에 모델이 이미 너무 세밀하게 오차를 계산하고 있는 것일까요?
이 논의를 더욱 원활하게 진행하기 위해, 언급하신 관련 그래프를 아래에 첨부합니다.
- 실제 결과와 예측 결과 비교: 개인적으로는 어떤 패턴(S자형 등)도 보이지 않지만, 대부분의 점들이 오른쪽 위 영역에 집중되어 있는 것 같습니다.
- 예측값 대비 잔차: 그래프에 어떤 패턴이 있는지는 확실하지 않지만, 무작위로 분포되어 있다고는 생각하지 않습니다.
- 표준화 잔차: 현재 제 이해에 따르면 모든 점이 녹색과 빨간색 경계선 안에 있으므로 제거해야 할 이상치는 데이터에 없습니다.
지금 제 문제는 이러한 도구들에 대한 지식이 매우 부족해서 앞으로 어떻게 해야 할지 모르겠다는 것입니다.
커뮤니티의 신규 회원이자 JMP 사용자로서, 당신의 답변이 정말 큰 도움이 되었습니다. 앞으로의 대화가 기대됩니다. 감사합니다!
제목: 내 적합성 부족 p값이 왜 이렇게 작은가요?네, 도움이 되네요.
실제값과 예측값 비교 그래프를 보면, 일부 낮은 값은 과대평가되고 일부 높은 값은 과소평가된 것 같습니다. 또한 이 그래프에 나타나는 "점들의 선"이 궁금합니다. 이 점들은 반복 측정된 값인지, 아니면 모델에서 특정 항이 누락되어 서로 구분되지 않는 다른 지점인지 알고 싶습니다.
정보 기준은 적합 최소 제곱 보고서 의 적합도 요약 패널에서 확인할 수 있는 추가 측정 항목입니다.
네, 복제된 지점 간의 분산이 매우 작은 경우, 적절한 모델을 사용하면 통계적으로 유의미한 적합성 부족 검정 결과를 얻을 수 있습니다(그래서 제가 "진정한" 복제에 대해 질문드린 것입니다. 복제를 올바르게 수행했는지, 그리고 자연적인 실험 변동을 과소평가하지 않았는지 확인하기 위해서입니다). 또한 중심점의 수가 많을수록 통계적으로 유의미한 적합성 부족 검정 결과가 더 쉽게 나타날 수 있습니다. (참고: https://statease.com/blog/importance-center-points-central-composite-designs/#:~:text=The%206%20center%20point%20design,making%20the%20test%20almost%20meaningless )
요인 분석 옵션에서 접근 가능한 Box-Cox 변환 패널을 확인하여 데이터에 더 잘 맞도록 변환이 필요한지 확인하십시오. 백분율 값 응답의 경우 예측값이 0에서 100 사이의 범위에 유지되도록 LogitPct 또는 LogisticPct 변환이 일반적으로 필요합니다. 이러한 변환은 잔차 및 실제값 대 예측값 그래프에서 S 패턴을 줄이는 데 도움이 됩니다.
이 후속 정보가 도움이 되기를 바랍니다.
제목: 내 적합성 부족 p값이 왜 이렇게 작은가요?안녕하세요 @Victor_G 님 !
알려주신 대로 해보니 모델이 어느 정도 개선된 것 같습니다. 하지만 이 모델이 제 데이터에 가장 적합한 모델인지는 아직 확신이 서지 않습니다.
당신이 언급하신 "점들의 선"은 실제 복제본입니다.
LogitPct와 LogisticPct를 모두 사용해 보았는데, 제 데이터셋에는 LogitPct가 더 적합한 것 같습니다. LogisticPct에 비해 예측 프로파일이 더 현실적이었고 AICc 값도 더 낮았습니다. 또한, LogitPct를 사용하니 이전에 발생했던 최대 Y 반응값이 100%로 제한되었습니다. 하지만 RMSE는 개선되었음에도 불구하고 적합도 부족 p값은 여전히 매우 작습니다. 중심점 때문에 적합도 부족 p값이 낮게 나오는 것일까요? 저는 반응 표면 분석(RSM)을 적용한 중심 합성 설계(Central composite design) 방식으로 실험을 설계했습니다.
고차 모델을 적용해 볼까 생각 중입니다. JMP에서 가능한 고차 상호작용을 제안해 주는 기능이 있나요? 아니면 '모델 적합' 창에서 수동으로 설정해야 하나요?
도움 주셔서 정말 감사합니다!
제목: 내 적합성 부족 p값이 왜 이렇게 작은가요?안녕하세요 @Chemist9 님 ,
네, 보내주신 스크린샷을 보니 모델이 훨씬 좋아 보이네요.
RSM에 중심점이 몇 개나 있나요? 제가 이전에 StatEase에서 제공한 링크를 보시면 아시겠지만, 일반적으로 중심점의 개수는 3~5개 정도입니다. 중심점의 개수가 더 많으면 적합성 부족 검정의 민감도가 급격히 높아져서 작은 p값이 "위양성"일 가능성이 있습니다. 일부 중심점을 "숨기거나 제외"하여 검정 결과가 여전히 동일한지 확인해 볼 수 있습니다.
모델 적합 창에서 수동으로 다른 항을 추가해 볼 수도 있습니다. 어떤 유형의 중심 합성 RSM 설계를 선택하셨나요? 중심면 설계인가요? 만약 그렇다면, 각 요인당 세 가지 수준이 있으므로 모델의 차수는 2로 제한됩니다. 주효과와 이차효과 간의 상호작용인 부분 3 차항을 모델에 추가해 보는 것도 좋습니다. 이러한 항은 일반적으로 드물지만, 만약 하나라도 활성화된다면 모델의 성능을 크게 향상시킬 수 있습니다.
마지막으로, 모델을 검증하는 방법에 대해 생각해 보세요.
- 이 모델의 목적은 무엇인가요? 최적화, 예측, 지식 구축 등인가요? 성공 기준은 무엇인가요?
- 모델의 동작이 귀하의 전문 지식 및 기대와 일치합니까?
- 예측의 정확도가 실질적으로 허용 가능한 수준인가요?
- 실험 공간 전체에 걸쳐 모델을 검증할 계획이신가요(실험 공간의 미검증 위치에서 새로운 실험을 수행하여)? 아니면 모델이 찾아낸 최적값에만 관심이 있으신가요?
다음은 모든 경우를 포괄하지는 않지만, 모델 개선을 멈추고 모델 사용을 시작해야 할 시점을 정의하는 데 도움이 될 수 있는 질문들입니다.
이 답변이 도움이 되길 바랍니다.
제목: 내 적합성 부족 p값이 왜 이렇게 작은가요?빅터의 의견에 동의합니다. 아마도 2차 모델로는 반응 변동을 완전히 설명하지 못할 수도 있습니다. 모델이 더 복잡할 수 있으므로 고차항의 영향을 확인하는 것이 흥미로울 것입니다. RSM은 CCD를 사용하여 생성되었다고 가정합니다. DOE를 확장하여 3차 모델을 얻으면 적합성 부족 p값에 미치는 영향을 확인할 수 있을 것 같습니다.
제목: 내 적합성 부족 p값이 왜 이렇게 작은가요?안녕하세요 @Chemist9님 : "점들의 선"이 모델에 포함되지 않은 어떤 요소 안에 중첩되어 있나요? 즉, 각 "점들의 선"이 "실험 실행"이나 다른 차단 요인 또는 실험 단위에서 나온 것인가요?
