Fit 확정 선별 검사 플랫폼 혼란DSD를 실행하고 "Fit Definite Screening" 버튼을 클릭하면 프로그램에서 다음과 같은 내용이 출력됩니다.
- 1단계 - 주효과 추정
- 2단계 - 짝수 차수 효과 추정치 및
- 결합 모델 매개변수 추정치
- 예측 프로파일러와 함께 제공됩니다.
1단계 메뉴에서 Prob>|t| 값이 0.01 미만으로 유의미한 것으로 나타난 주효과가 여러 개 있는데, 결합 모델 매개변수 추정치 메뉴에서는 동일한 효과의 Prob>|t| 값이 0.20 이상이라면 어떻게 해석해야 할까요? 모델을 축소해야 한다는 의미일까요?
JMP 문서에는 예측 프로파일러가 결합 모델용이라고 나와 있는데, 이는 적합도 확정 스크리닝 표에 나열된 결합 모델을 의미하는 것인지, 아니면 해당 결합 모델의 축소형을 의미하는 것인지 궁금합니다.
또한 궁금한 점은 모든 분석 후에 "모델 실행"을 선택하고 수동으로 결과를 축소해야 하는지 여부입니다.
실험 설계제목: Fit 확정 선별 검사 플랫폼 관련 혼란에 대하여안녕하세요 @MJZ82 님 ,
주효과의 최종 p값이 증가하는 이유는 1단계에서만 계산했던 것과는 다른 자유도를 사용하여 계산했기 때문입니다. 1단계에서는 주효과만 분석하므로 설계의 자유도가 더 높고, 따라서 주효과를 탐지하기 위한 유의수준이 0.05로 설정됩니다.
두 번째 단계에서는 이미 주요 효과를 모델에 포함시키기 위해 일정 자유도를 사용했으므로, 고차 효과는 더 높은 임계값 p값(일반적으로 0.2)으로 모델에 포함됩니다. 이는 1단계에서 주요 효과를 검정했던 것과 동일한 방식으로 고차 효과를 검정하는 데 남은 자유도가 더 적기 때문입니다. 이 방법론에 대한 자세한 내용 은 Fit Definitive Screening Platform의 통계적 세부 정보 에서 확인할 수 있습니다.
최종 결합 모델 패널에서 p값은 이 모델의 항들이 단순 최소 제곱 모델에 동시에 입력되었을 때와 동일하게 계산되므로, 이전 두 단계에서 계산된 p값과는 다른 (더 높은) 값을 나타냅니다. 마지막에 표시되는 프로파일러는 최종 결합 모델을 나타냅니다.
결합 모델 매개변수 추정치 패널의 p값에 근거하여 모델을 추가로 축소하는 것은 권장하지 않습니다. 적합도 확정 스크리닝에 사용된 방법론은 순차적 접근 방식을 기반으로 하기 때문입니다. 즉, 먼저 반응에 대한 주효과의 영향을 파악한 다음, 이전에 적합된 주효과 모델의 잔차를 기반으로 활성 2차 효과를 식별합니다. 결합 모델 매개변수 추정치 패널에서처럼 항들을 동시에 포함하여 계산된 p값은 모델 항을 식별하고 포함하기 위해 수행된 과정을 반영하지 않으므로 신뢰할 수 없고 편향될 수 있습니다. 따라서 일부 항을 제거하는 결정은 이러한 정보에만 의존해서는 안 됩니다. 또한 실험계획법(DoE)에서 모델을 적합할 때 효과 유전성을 고려하는 것이 중요하므로, 유의미한 상호작용의 주효과나 동일 요인의 이차 효과가 모델에 포함된 경우 해당 효과를 제거해서는 안 됩니다.
다양한 모델링 플랫폼 (Fit Definitive Screening Platform, Fit Two Level Screening Platform , 표준 최소 제곱 모델 , 일반화 회귀 모델 등)을 사용하여 여러 모델을 시도해 보고, 각 방법에서 공통적으로 식별된 항과 차이점을 비교해 볼 수 있습니다. 모델링은 단순히 p값에만 의존하는 것보다 훨씬 광범위하고 복잡한 주제입니다. 목표에 따라 모델 평가 및 선택에 대한 다양한 접근 방식을 취할 수 있습니다.
- 설명적 모델 설명적 접근 방식에서는 응답에 실제로 영향을 미치는 요인에 더 집중하게 되므로, 통계적 유의성(p값과 0.05와 같은 사전 정의된 임계값 사용)과 실질적 유의성(추정치의 크기, 해당 분야 전문 지식에 기반한 선택)을 기준으로 각 요인을 포함할지 여부를 평가할 수 있습니다. R², 조정된 R²(그리고 두 값의 차이, 최소화해야 함)는 식별된 요인들이 설명하는 변동량을 파악하고 연구 대상 시스템을 설명하는 데 적합한 모델을 선택하는 데 유용한 지표가 될 수 있습니다.
- 예측 모델 예측 모드에서는 예측 오류를 최소화하는 데 도움이 되는 항에 더 집중하게 되므로, 실제 값과 예측 값의 비교 그래프 및 오류 크기(잔차 그래프) 시각화를 통해 예측 성능 향상 정도를 평가하여 각 항의 포함 여부를 결정할 수 있습니다. RMSE는 어떤 모델이 가장 우수한 예측 성능을 보이는지 평가하는 데 유용한 지표입니다(목표는 RMSE를 최소화하는 것입니다).
두 부분을 조합한 방식에도 관심이 있을 수 있습니다. 예를 들어, 다양한 지표를 사용하여 모델을 평가하고 선택할 수 있습니다. 정보 기준 (AICc, BIC)는 모델의 예측 성능과 복잡성 사이의 균형점을 찾는 데 도움이 되는 지표입니다. 이러한 기준에 따라 모델을 평가하고 선택할 때, 값이 낮을수록 좋습니다.
이 답변이 도움이 되길 바랍니다.
제목: Fit 확정 선별 검사 플랫폼 관련 혼란에 대하여자세한 답변 감사합니다.
만약 "결합 모델 매개변수 추정치"에서 모델에 포함된 9개 항(절편 제외) 중 유의미한 항이 1개만 나타난다면 어떻게 해야 할까요?
제 "1단계 - 주효과 추정치"에서는 5개의 주효과 중 3개가 유의미한 것으로 나타났습니다. 그런데 "결합 모델 매개변수 추정치"에서는 이 3개의 주효과에 더해 3개의 상호작용항과 3개의 2차항이 모두 유의미한 것으로 나타났습니다. 이렇게 결합된 9개의 항 중에서 2차항 중 하나만 유의미하고, 나머지 항들은 대부분 p값이 0.20 이상으로 나타났습니다.
"Fit Definitive Screening" 플랫폼을 실행한 후, "Combined" 모델에서 9개 항 중 8개의 p값이 유의미하지 않은 것으로 나타났더라도, 모델 출력값을 추가로 줄이는 것은 일반적으로 권장되지 않는 것인가요?
제목: Fit 확정 선별 검사 플랫폼 관련 혼란에 대하여앞서 언급했듯이, 결합 모델에서 p값 계산 방식(동시 검정)은 효과에 대한 순차적이고 계층적인 검정을 기반으로 하는 Fit Definitive Screening에서 사용하는 방법론과 다릅니다. 이 Fit Definitive Screening은 기존의 검정 및 모델 구축 방식보다 민감할 수 있으므로, 1단계 또는 2단계에서 유의미한 것으로 나타난 항이라도 최종 결합 모델 패널에서는 통계적으로 유의미하지 않은 것으로 나타날 수 있습니다.
그렇다고 해서 이러한 용어들이 실질적으로 중요하지 않거나 모델에 유용하지 않다는 의미는 아닙니다.
여러 모델을 평가할 때는 회귀 가정을 검증하는 것(잔차 분석을 통해)뿐만 아니라 다양한 지표를 사용하여 모델을 비교하고, 해당 분야의 전문 지식을 활용하여 모델링 과정을 안내하는 것이 중요합니다.
