모델링의 검증을 살펴보는 일련의 블로그 게시물 중 첫 번째에 오신 것을 환영합니다. 나와 함께 있어주세요 - 이것이 가장 흥미로운 주제처럼 들리지 않을 수도 있다는 것을 이해합니다. 그러나 이는 현대적인 데이터 분석을 가능하게 하는 핵심 방법입니다. 검증이 없으면 지원 벡터 머신 및 신경망과 같은 정교한 기계 학습 알고리즘은 거의 쓸모가 없습니다. 데이터 학습 프로세스를 대폭 단순화하는 상당히 "멍청한" 접근 방식으로 보일 수 있지만, 데이터를 생성한 프로세스나 시스템에 대한 최선의 이해를 바탕으로 주의해서 적용해야 합니다. 검증을 이해하는 것은 현대 데이터 분석 시대에서 성공하기 위한 기본입니다.
향후 게시물에서는 홀드백 및 교차 검증의 기본 사항과 JMP Pro의 검증 열 만들기 도구를 사용하여 이것이 얼마나 쉬운지에 대해 이야기하겠습니다. BCV(Befitting Cross Validation) 및 BBA(Befitting Bootstrap Analysis)를 보장해야 하는 필요성을 설명하는 과학 및 엔지니어링 분야의 몇 가지 사례 연구를 살펴보겠습니다. 또한 설계된 실험과 같이 더 작은 데이터를 위한 자체 검증 앙상블 모델(SVEM)을 포함한 최첨단 접근 방식도 다룹니다. 과학자와 엔지니어가 최신 데이터 분석을 자신있게 적용하는 데 JMP가 왜 유용한지 알게 되셨기를 바랍니다. 먼저 일반화의 필요성에 대해 이야기하겠습니다.
일반화 가능성과 복제 위기
이 시리즈의 주제는 JMP 최고 데이터 과학자인 Chris Gotwalt와 KPA 그룹 회장인 Ron Kenett와의 토론을 통해 나왔습니다. 우리는 일반화 가능성, 즉 이것이 통계의 공식적인 과정이면서도 인간 본성의 일부라는 점에 대해 이야기했습니다.
Ron: “우리는 항상 일반화합니다. 한 레스토랑에서의 경험을 통해 우리는 같은 체인에 있는 다른 레스토랑에서 어떤 경험을 하게 될지 추론합니다. 아니면 한 엔지니어링 프로젝트에서 다른 엔지니어링 프로젝트로 추론합니다.”
크리스: “배움이 바로 그거예요. 이런 일의 대부분은 JMP 데이터 테이블에서는 발생하지 않습니다!”
Chris Gotwalt, JMP Chief Data ScientistChris Gotwalt, JMP 최고 데이터 과학자
Ron Kenett, Chairman of the KPA GroupKPA 그룹 회장 Ron Kenett
학문적 연구에서 재현성은 항상 중요했습니다. 모든 연구 결과를 독립적으로 복제할 수 있어야 한다는 것은 과학의 초석입니다. 이는 2010년대 초 심리학과 의학 분야에서 심각한 문제가 널리 인식되면서 '복제 위기'라는 용어가 처음 등장한 이후 특히 뜨거운 주제였습니다 . 그러나 특정 산업에서는 일반화 가능성이 가장 중요합니다. 일반화는 재현성을 향상시킵니다.
Chris: “제약과 같이 규제를 받는 산업에서는 주장이 일반화 가능하고 “진실”로 옹호될 수 있다는 것을 아는 것이 항상 중요했습니다. 귀하의 약물이 임상 시험 결과를 기반으로 약속한 것보다 일반 인구에서 눈에 띄게 덜 안전하거나 효과적이라면 모든 면에서 비용이 많이 들 것입니다. 하지만 JMP 사용자는 산업 문제 해결 및 개선 작업에 더 자주 참여하고 있습니다.”
Ron: “우리는 일반화 가능성을 정보의 품질에 영향을 미치는 8가지 차원 중 하나로 정의했습니다. 이를 해결하면 데이터 분석에서 파생된 정보의 품질이 향상됩니다.”
일반화 가능성은 무시할 수 있지만, 이를 잘못 이해하면 여전히 높은 비용이 듭니다. 실험을 통해 결론을 내린 솔루션이 생산에 투입될 때 효과가 없다면, R&D에서 문제를 다시 해결하기 위해 돌아가야 하는 고가의 재료, 제조 시간 및 모든 노력을 낭비했을 가능성이 높습니다. 반대로, 올바른 결과를 얻고 솔루션에 대한 확신이 있다면 낭비를 방지하고 혁신의 속도를 가속화할 수 있습니다.
최신 분석의 일반화 가능성
"작은" 데이터의 세계에서 우리는 일반화되지 않는 추론의 위험을 이해하기 위해 p-값과 같은 통계적 척도를 사용합니다. 이러한 도구는 작은 데이터 샘플을 사용하여 우리가 실제로 관심을 갖는 더 큰 인구나 시스템에 대한 신뢰할 수 있는 통찰력을 생성할 수 있도록 고안되었습니다. 불행하게도 p-값은 잘못 해석되거나, 오용되거나, 심지어 남용될 수도 있습니다.
Ron: “많은 사람들이 p-값을 가설이 성립할 확률로 이해하는데, 이는 오해의 소지가 있습니다. 가르치는 방식은 대부분 맞지만, 사용하는 방식은 대부분 틀리죠.”
이러한 문제와 앞서 언급한 복제 위기의 원인에 연루되어 있음에도 불구하고 p-값은 과학자와 엔지니어에게 큰 도움이 되었습니다. 더 큰 데이터와 인공 신경망과 같은 새로운 모델링 방법을 사용하면 일반화를 보장하기 위해 다양한 도구를 고려해야 합니다.
과학과 공학의 예를 들어 이를 설명하는 이 시리즈의 다음 게시물에 여러분도 함께 해주시기를 바랍니다. 일반화하지 않는 결과를 생성하는 방법을 보여주는 것부터 시작하겠습니다. 개발자가 마련한 모든 보호 기능 덕분에 실제로 JMP에서는 이것이 상당히 어렵습니다. 이는 JMP의 도구가 이러한 종류의 문제로부터 어떻게 보호하는지, 그리고 검증을 통해 확신을 가지고 분석을 쉽게 적용할 수 있는지 이해하는 데 유용합니다.
더 알아보기:
이 시리즈를 통해 많은 것을 배울 수 있기를 기대합니다.
TV에서 재미있는 다큐멘터리 영화를 보는 것 같아요!
일반화 가능성에 대한 포스팅이라는 점을 고려하면, "p-값은 주로 과학자와 엔지니어에게 도움이 되었습니다"라는 진술은 다소 오해의 소지가 있다고 생각합니다. p-값은 표본에서 추출된 모집단까지의 일반화 가능성을 생각하는 데 유용할 수 있습니다. 그러나 대부분은 아니지만 많은 응용 프로그램에는 표본을 다소 다른 모집단(다른 기간, 다른 위치, 다른 사람 등)으로 일반화하는 작업이 포함됩니다. 추론하는 모집단은 본질적으로 표본을 추출한 모집단과 동일합니다. 이러한 가정은 공학적 맥락에서는 합리적일 수 있지만 사회과학에서는 그렇지 않습니다. 추론이 이루어지는 모집단에 대한 표본의 적합성은 p-값에 의존하여 어떻게든 처리함으로써 무시되는 경우가 너무 많습니다.
