본 발표에서는 JMP Profiler의 실제 적용 사례를 살펴보고, 특히 예측 구간 기능을 강화한 점에 초점을 맞추겠습니다. Cencora-PharmaLex의 상세한 사례 연구를 통해 예측 구간이 모델 예측의 불확실성을 정량화하여 의사결정을 위한 더욱 견고한 틀을 제공하는 방식을 보여드리겠습니다. 이 추가 기능은 특히 위험 관리와 정확한 예측이 필수적인 중요한 시나리오에서 더욱 정보에 기반한 의사결정을 가능하게 합니다. 본 사례 연구를 통해 예측 구간이 데이터 기반 의사결정의 신뢰성을 향상시켜 제약 및 생명과학 프로젝트에서 더 나은 결과를 도출하는 데 기여하는 가치를 강조하고자 합니다.
또한, JMP 시뮬레이터의 현재 기능을 검토합니다. 현재 시뮬레이터는 위험 기반 의사결정을 지원하는 예측 분포 기능을 아직 통합하지 못했습니다. 예시와 공식을 통해 이러한 한계를 해결하고, 향후 JMP 버전에서 개선될 수 있는 가능성을 제시하여 제약 및 생명과학 프로젝트에서 더 나은 결과를 도출하고자 합니다.
안녕하세요, 여러분. 제 이름은 헤일리입니다. 제 배경에 대해 간단히 소개드리자면, 저는 생물통계학 박사 학위를 가지고 있으며, 현재 PharmaLex Cencora에서 통계 및 데이터 과학 관리자로 근무하고 있습니다. 임상 및 비임상 연구 모두에서 통계 분석을 담당하며, 의사 결정에 필요한 신뢰할 수 있는 정보를 제공하는 데 기여하고 있습니다. 다양한 프로젝트를 지원하기 위해 데이터 분석에 JMP를 적극적으로 활용하고 있습니다. 제 목표는 고급 통계 기법을 적용하여 연구의 질과 효율성을 향상시키는 것입니다.
이번 발표에서는 JMP 프로파일러에서 예측 구간을 활용하여 의사결정 과정을 개선하는 방법에 대해 설명하고, 센코라 파마렉스(Cencora PharmaLex)의 사례 연구를 소개하겠습니다. 이 포스터는 JMP 프로파일러 도구가 예측 구간을 사용하여 의사결정 과정을 어떻게 개선하는지 보여줍니다. 예측 구간은 불확실성을 관리하고 결과를 명확하게 제시하는 데 도움이 됩니다. 이는 정확성과 위험 관리가 중요한 상황에서 특히 유용합니다. 예측 구간을 추가하면 의사결정의 신뢰도가 높아지고 모델의 정확도가 향상됩니다.
이번 발표는 두 부분으로 나누어 진행하겠습니다. 첫 번째 부분에서는 시뮬레이션에 대해 설명하고, 두 번째 부분에서는 Cencora PharmaLex의 사례 연구를 소개하겠습니다. Cencora PharmaLex는 제약 및 생명과학 산업 분야에서 전문 서비스를 제공하는 선도 기업입니다. 이 사례 연구에서는 Cencora PharmaLex가 직무 프로파일링 도구를 활용하여 고객의 의사결정 과정을 개선한 프로젝트에 초점을 맞추겠습니다. 예측 구간을 도입함으로써 Cencora PharmaLex는 모델 예측의 불확실성을 정량화하여 더욱 정보에 기반한 신뢰할 수 있는 의사결정을 내릴 수 있었습니다.
먼저 시뮬레이션에 대해 설명드리겠습니다. 본 연구는 5개의 연속 변수를 포함하는 실험설계(DOE)에서 다양한 모델과 시나리오를 검증하여 예측 구간의 정확성과 신뢰성을 평가합니다. 실험설계에는 5개의 연속 변수와 선택된 상호작용을 포함하는 불완전 모델이 사용되었습니다.
우리는 세 가지 시나리오를 정의했습니다. 첫 번째는 12라운드의 저위험 설계이고, 두 번째는 30라운드의 고위험 설계이며, 각 시나리오는 100회 반복되었습니다. 반응은 특정 모델을 사용하여 시뮬레이션되었고, 요인 공간의 주요 지점(여기서는 -1, 0.5, 0으로 설정)에서 평가되었습니다. 선형 효과 모델과 랜덤 효과 모델은 JMP를 사용하여 분석되었고, 성능 평가를 위해 LM 및 Stan을 사용한 R 기반 모델과 비교되었습니다.
보시다시피, 첫 번째 결과는 예측값에 대한 것입니다. 랜덤 효과 모델은 특히 설계가 단순할수록 JMP와 Stan 간의 예측값 차이를 보여줍니다. 그러나 선형 모델에서는 두 소프트웨어 모두 예측값에서 차이가 나타나지 않습니다. 블록 수와 실행 횟수를 늘리면 일반적으로 두 모델 모두 예측값이 향상되는 것을 선형 모델과 혼합 모델에 대한 두 그래프에서 확인할 수 있습니다.
이제 상한 및 하한 예측 구간에 대해서만 이야기하자면, JMP와 R의 LM 함수를 사용한 선형 모델에서 하한 및 상한 예측 구간이 JMP나 R의 LM 함수 모두에서 나타나지 않는다는 점이 차이점이며, 이는 두 결과 모두의 신뢰성을 확인시켜 줍니다.
하지만 마지막 블록에서 혼합 모델에 도달하면 일반적으로 프로파일러에서 예측 구간이 넓어집니다. 보시다시피 JMP와 Stan의 두 그래프를 비교해 보면 예측의 불확실성이 더 크다는 것을 알 수 있습니다. 데이터 포인트와 변동성이 많아질수록 모델은 가능한 결과의 범위를 더 넓게 포착하게 되어 예측의 정확도가 떨어지지만, 더 큰 규모의 설계는 모델의 일반화 능력을 향상시킵니다.
또한 이러한 결과는 시스템 내 상호작용의 복잡성과 예측 가능성을 강조합니다. 특히 변동성이 높은 시나리오에서 이러한 효과가 두드러지는데, 예측 프로파일러가 정확한 추정치보다는 잠재적 값의 더 넓은 범위를 예측하기 때문입니다. 낮은 설계에 대한 비교를 보면 예측값의 범위가 더 넓은 것을 확인할 수 있습니다.
여기서 한 가지 주의할 점을 말씀드리고 싶습니다. JMP 결과는 전반적으로 낙관적입니다. 즉, 성공 확률이 지나치게 높게 책정되었을 수 있습니다. JMP는 t 분포가 아닌 정규 분포를 사용하여 예측 구간을 계산합니다.
학생들은 자유도를 고려하여 제한된 데이터를 설명하고, 실험 설계(DOE) 위치를 감안하여 완전한 형태 대신 RMSE 시그마[들리지 않음 00:06:24]를 예측 오차로 사용합니다. 관측치 수가 모수 수보다 훨씬 많고 자유도가 높거나 충분히 높을 경우, JMP의 선형 혼합 모델에서 예측 구간이 R의 Stan보다 더 넓어질 수 있다는 점에 유의해야 합니다. 자유도가 낮을 때는 JMP의 예측 구간이 지나치게 낙관적일 수 있으므로 주의해야 합니다.
여기서는 센코라 파마렉스(Cencora PharmaLex) 사례 연구를 통해 고객에게 프로젝트의 정확도와 신뢰도를 보여주기 위해 예측 구간을 어떻게 활용하는지 설명하고자 합니다. 프로파일러는 요인 수준에 따라 반응 변수에 대한 예측선을 보여줍니다. 이 프로젝트에서는 실험 설계(DOE)를 통해 8개의 서로 다른 변수를 설계했습니다.
예측 구간은 실제 응답이 특정 수준 내에 포함될 것으로 예상되는 범위를 나타냅니다. 예를 들어, 여기서는 95%를 고려해 보겠습니다. 빨간색 수직선을 변경하면 어떤 차이가 있는지 쉽게 보여줄 수 있습니다. 고객에게 "예측값과 예측 구간의 폭 차이를 살펴보세요. 구간이 좁을수록 예측이 더 정확하고, 구간이 넓을수록 불확실성이 큽니다."라고 설명할 수 있습니다. 두 그래프에서 값을 변경하면 빨간색 수직선이 움직여 고객에게 어떤 차이가 있는지 보여줄 수 있습니다.
결론적으로, 예측 구간은 가능한 결과의 범위를 제시하고 불확실성을 정량화함으로써 의사결정 과정을 개선하는 데 도움이 된다고 할 수 있습니다. 예측 구간은 위험을 평가하고 정확도를 높이며 더 나은 선택을 내릴 수 있도록 지원합니다. 특히 임상 및 생명 과학 분야의 일부 고객에게 있어 중요한 상황에서 예측 구간의 가치는 위험 관리 및 제약, 생명 과학과 같은 분야에까지 확장됩니다. 초대해 주셔서 감사합니다. 제 발표 자료를 시작하겠습니다.
