진짜 효과를 놓치는 것은 나쁘지만 거짓 효과를 식별하는 것은 더 나쁠 수 있습니다.로버트 앤더슨 JMP 수석 시스템 엔지니어
과학자와 엔지니어는 자신의 공정이나 제품에 가장 적합한 모델을 찾고, 어떤 요인이 진정으로 중요하고 어떤 요인이 그렇지 않은지 정확하게 파악할 수 있어야 합니다. 종종 가장 큰 우려는 중요하거나 필수적인 요인을 놓치는 것입니다. 그러나 더욱 교활하고 잠재적으로 더 심각한 문제는 통계 모델링 방법이 통계적으로 유의미하지만 실제로는 활성적이지 않은 요인을 자주 식별한다는 것입니다. 이러한 비정확한 효과를 식별하면 귀중한 과학 및 공학 자원이 이러한 잘못된 효과에 대한 추가 조사에 낭비되는 결과를 초래합니다. 결함이 있는 모델과 비정확한 효과를 인식하는 데 상당한 시간과 자원이 소요될 수 있습니다. JMP Pro의 홀드백 검증 방법론은 비교적 적은 데이터 세트에서도 이러한 모델 과적합 문제를 효과적으로 억제하는 방법을 제공합니다. 본 논문에서는 시뮬레이션 데이터 세트를 사용하여 비정확한 효과를 탐지하는 문제가 얼마나 자주 그리고 쉽게 발생할 수 있는지, 그리고 홀드백 검증을 통해 이 문제를 어떻게 효과적으로 억제할 수 있는지 보여줍니다. 그러나 홀드백 검증이 만능 해결책은 아니며, 홀드백 검증이 제대로 작동하지 않는 몇 가지 사례도 제시합니다.
