모델링의 유효성 검사를 살펴볼 블로그 게시물 시리즈의 첫 번째 게시물에 오신 것을 환영합니다. Stay with me - 이것이 가장 흥미로운 주제처럼 들리지 않을 수 있음을 이해합니다. 그러나 최신 데이터 분석을 가능하게 하는 핵심 방법입니다. 유효성 검사가 없으면 지원 벡터 기계 및 신경망과 같은 정교한 기계 학습 알고리즘은 거의 쓸모가 없습니다. 그리고 데이터로부터 학습하는 프로세스를 대폭 단순화하는 상당히 "멍청한" 접근 방식으로 보일 수 있지만 데이터를 생성한 프로세스 또는 시스템에 대한 최선의 이해를 사용하여 주의해서 적용해야 합니다. 유효성 검사를 이해하는 것은 최신 데이터 분석 시대의 성공을 위한 기본입니다.
향후 게시물에서는 Holdback 및 Cross Validation의 기본 사항과 JMP Pro의 Make Validation Column 도구를 사용하여 이것이 얼마나 쉬운지에 대해 이야기할 것입니다. BCV(Befitting Cross Validation) 및 BBA(Befitting Bootstrap Analysis)를 보장해야 하는 필요성을 설명하는 과학 및 공학 사례 연구를 살펴보겠습니다. 또한 설계된 실험과 같은 더 작은 데이터를 위한 자체 검증 앙상블 모델(SVEM)을 비롯한 최첨단 접근 방식을 다룰 것입니다. JMP가 과학자와 엔지니어가 자신 있게 최신 데이터 분석을 적용할 수 있도록 지원하는 데 특히 유용한 이유를 알게 되셨기를 바랍니다. 먼저 일반화의 필요성에 대해 이야기하겠습니다.
일반화 가능성과 복제 위기
이 시리즈의 주제는 JMP 수석 데이터 과학자인 Chris Gotwalt와 KPA Group 회장인 Ron Kenett와의 토론에서 나왔습니다. 우리는 일반화 가능성에 대해 이야기했습니다. 일반화 가능성이 통계의 공식 프로세스인 동시에 인간 본성의 일부이기도 합니다.
Ron Kenett, Chairman of the KPA GroupKPA 그룹 회장 Ron Kenett
Ron: “우리는 항상 일반화합니다. 한 식당에서의 경험에서 우리는 같은 체인의 다른 식당에서 우리의 경험이 어떨지 추론합니다. 또는 한 엔지니어링 프로젝트에서 다른 엔지니어링 프로젝트로 추론합니다.”
Chris Gotwalt, JMP Chief Data ScientistChris Gotwalt, JMP 수석 데이터 과학자
Chris: “배움이란 그런 것입니다. 이 중 대부분은 JMP 데이터 테이블에서 발생하지 않습니다!”
학술 연구에서 재현성은 항상 중요했습니다. 모든 연구 결과를 독립적으로 복제할 수 있어야 한다는 것은 과학의 초석입니다. 특히 2010년대 초 심리학과 의학 분야의 심각한 문제에 대한 인식이 확산되면서 '복제 위기'라는 용어가 처음 등장하면서 화제가 됐다. 그러나 일반화 가능성은 특정 산업에서도 최전선에 있습니다. 일반화 가능성은 재현성을 향상시킵니다.
Chris: “제약과 같은 규제 산업에서는 주장이 일반화될 수 있고 "진실"로 옹호될 수 있다는 것을 아는 것이 항상 중요했습니다. 귀하의 약물이 임상 시험 결과에 따라 약속한 것보다 일반 인구에서 눈에 띄게 덜 안전하거나 효과적이라면 모든 면에서 비용이 많이 들 것입니다. 그러나 JMP 사용자는 산업 문제 해결 및 개선 분야에서 일하는 경우가 더 많습니다.”
Ron: “우리는 일반화 가능성을 정보의 품질에 영향을 미치는 8가지 차원 중 하나로 정의했습니다. 이 문제를 해결하면 데이터 분석에서 파생된 정보의 품질이 향상됩니다.”
일반화 가능성은 무시할 수 있지만 잘못 이해하는 데는 여전히 높은 비용이 듭니다. 실험에서 결론을 내린 해결책이 생산에 들어갈 때 작동하지 않는다면 값비싼 재료와 제조 시간을 낭비하고 R&D에서 다시 문제를 해결하기 위해 돌아가야 하는 모든 노력을 낭비했을 것입니다. 반대로 올바르게 이해하고 솔루션에 대한 확신이 있다면 낭비를 피하고 혁신 속도를 높일 수 있습니다.
최신 분석의 일반화 가능성
"작은" 데이터의 세계에서 우리는 p-값과 같은 통계적 척도를 사용하여 일반화되지 않는 추론의 위험을 이해합니다. 이러한 도구는 작은 데이터 샘플을 사용하여 우리가 실제로 관심을 갖는 대규모 인구 또는 시스템에 대한 신뢰할 수 있는 통찰력을 생성할 수 있도록 개발되었습니다. 불행하게도 p-값은 잘못 해석되고 오용될 수 있으며 심지어 남용될 수도 있습니다.
Ron: “많은 사람들이 p-값을 오해의 소지가 있는 가설이 성립할 확률로 이해합니다. 가르치는 방식은 대부분 정확하지만 사용 방식은 대부분 부정확합니다.”
이러한 문제와 앞에서 언급한 복제 위기의 원인에 연루되어 있음에도 불구하고 p-값은 대체로 과학자와 엔지니어에게 도움이 되었습니다. 더 큰 데이터와 인공 신경망과 같은 새로운 모델링 방법을 사용하면 일반화 가능성을 보장하기 위해 다양한 도구를 고려해야 합니다.
과학과 공학의 예를 들어 설명할 이 시리즈의 다음 게시물에 저와 함께 하시길 바랍니다. 일반화하지 않는 결과를 생성하는 방법을 보여줌으로써 시작하겠습니다. 개발자가 마련한 모든 보호 기능 덕분에 JMP에서는 실제로 이 작업이 상당히 어렵습니다. 이는 JMP의 도구가 이러한 종류의 문제로부터 사용자를 보호하는 방법과 검증을 통해 자신 있게 분석을 쉽게 적용하는 방법을 이해하는 데 유용합니다.
