안녕하세요. 저는 레이 번코프스키(Ray Bunkofske)이고, 리제네론 파마슈티컬스(Regeneron Pharmaceuticals)에서 근무하고 있습니다. JMP로 작성한 애플리케이션을 소개하겠습니다. 이 애플리케이션을 사용하면 분석 핵심 성과 지표(KPI)의 변동을 더 쉽게 감지하고, 이상 결과의 근본 원인을 추적할 수 있습니다. 각 분석에는 다양한 요약 통계가 있으며, KPI는 이러한 통계의 선형 조합으로 구성되어 있으며, 이러한 KPI는 이러한 결과의 문제점을 감지하는 데 유용한 것으로 나타났습니다.
회사 전체에 걸쳐 수십 가지의 다양한 분석법이 있으며, 각 분석법에는 문제 발생 시 모니터링 및 검토해야 할 여러 매개변수가 있습니다. 사용자가 어떤 분석법에 문제가 있는지 감지하고 해당 분석법의 변동에 대한 잠재적 원인을 파악할 수 있는 단일 애플리케이션을 제공하는 것이 목표입니다. 또한 장기적인 건강 상태에 대한 관리 지표를 표시하고 체계적인 변동의 원인을 파악할 수 있습니다. JMP에서 지원하는 다변량 분석을 활용하여 모든 분석법의 정규화된 결과를 단일 페이지에 제공하여 새로운 추세를 신속하게 파악할 수 있습니다. 제가 사용하는 주요 지표는 호텔링 T²와 모델까지의 거리입니다. 이는 여러 KPI를 하나의 관리도에 통합할 수 있어 각 분석법마다 여러 차트를 검토할 필요가 없어 매우 유용합니다.
또한 기존의 단변량 차트를 지원하므로 사용자는 특정 매개변수로 이동하여 결과를 검토하고 이상한 결과에 대한 가능한 이유를 자세히 살펴볼 수 있습니다.지금 JMP로 전환하겠습니다.여기서 개별 관리도를 검토할 수 있습니다.각 매개변수의 관리 한계는 열 속성에 저장되고 왼쪽 상단에는 사용 가능한 분석 목록과 지난 1년 동안 각 분석이 실행된 횟수가 표시됩니다.다음에는 특정 주에 가장 높은 것으로 태그가 지정된 매개변수를 보여주는 몇 개의 열이 있습니다.마지막으로 신호등 차트가 있는데, 모든 것이 1시그마 내에 있으면 녹색, 1~3시그마 사이에 있으면 노란색, 3시그마를 벗어나면 빨간색입니다.특정 차트를 보려면 관심 있는 차트를 강조 표시하기만 하면 됩니다.매개변수 표시를 클릭합니다.해당 매개변수가 여기에 표시되고 검토할 매개변수를 선택할 수 있습니다.하나 또는 여러 개일 수 있습니다. 그런 다음 '차트 만들기'를 선택하면 매개변수가 아래에 표시됩니다. 여기서는 관리 한계를 크게 벗어난 몇 가지 지점을 보여주는 예를 볼 수 있습니다.
규모를 확장하려면 가장 쉬운 방법은 레일 이상치 지점을 클릭하고 차트를 다시 만든 다음, 3시그마 관리 한계에 높은 이상치 또는 낮은 이상치를 별표로 표시하는 것입니다. 다음 및 이전 플롯을 사용하여 플롯 간을 이동할 수 있습니다. 실험실 실패, 이벤트 통지, 일반 실패가 발생한 지점을 선택할 수 있는 간단한 범례 기능이 있습니다. 분석 버전별로 색상을 지정할 수 있습니다. 누가 분석을 수행했습니까? 이들은 가명입니다. 관리자는 키를 가지고 있으므로 이름 8이 샐리이고 이름 35가 조니라는 것을 알고 있습니다.
또한 샘플 유형도 있습니다. 비정기적, 방출 또는 안정성 여부에 따라 색상이 지정됩니다. 또 다른 방법은 제가 '상황 한눈에 보기' 페이지로 이동하는 것입니다. 여기에는 많은 정보가 있으므로 왼쪽 상단에서 시작하겠습니다. 기간을 선택할 수 있습니다. 이 경우 지난 60일입니다. 지난 60일 동안의 데이터를 사용한 분석 결과, 분석량, 최대 호텔링 T², 최대 DModX가 여기에 있습니다. 이 중 하나라도 관리 상한선인 1을 초과하는 항목은 빨간색으로 표시됩니다.
여기에는 지난 60일 동안 데이터가 없는 분석이 있습니다. 그런 다음 여기에 빨간색 점을 유발한 개별 관측치가 있습니다. 아래로 슬라이드하면 모든 분석에 대한 호텔링 T² 플롯이 있습니다. 각 점은 주어진 주에 대한 호텔링의 최대값을 나타냅니다. 모두 정규화되었으므로 한계는 1입니다. 이 두 개의 세로 막대는 지난 2주 동안의 것으로, 눈으로 확인할 수 있도록 표시했습니다. 일부 스플라인 피팅에 범프가 있고 거기에 점이 없는 것을 볼 수 있습니다. 그 이유는 해당 점이 차트에서 벗어났기 때문입니다. 레일을 클릭하면 3 시그마 한계에서 해당 점을 다시 그려서 실제로 무슨 일이 일어나고 있는지 더 쉽게 볼 수 있습니다. 그런 다음 이러한 점 중 하나에 대한 세부 정보를 보려면 플롯을 클릭하면 세부 정보 페이지로 이동합니다. 이것이 CTP 번호 21입니다. 이것이 JMP에서 수행하는 능력 분석입니다. X축은 안정성, Y축은 능력입니다. 지금 이 상황은 썩 좋아 보이지 않습니다. 기억하시겠지만, 이 차트에는 이상치가 몇 개 있었습니다.
이상치를 제거하고 보고서를 다시 실행하여 상황이 바뀌는지 확인하겠습니다. 실제로 그렇습니다. 제 능력은 이제 1.33을 넘었고 안정성도 여전히 좋습니다. 자세한 숫자는 맨 위에 있습니다. 아래로 이동하면 개별 호텔링 T²가 있는데, 각 지점은 더 이상 주 최대값과 DModX가 아닌 각 분석입니다. 다시 말하지만, LTIF, 이벤트 알림 또는 일반 오류로 색상을 지정할 수 있습니다. SOP 버전, 분석가 또는 샘플 유형입니다. 지점 위로 마우스를 가져가면 JMP에서 개별 매개변수의 작은 파레토가 팝업되어 무슨 일이 일어나고 있는지 보여줍니다. 그런 다음 클릭하고 다시 마우스를 가져가면 해당 매개변수의 관리 차트가 나타나고 별도 창에 표시되어 세부 정보를 볼 수 있습니다. 지금은 그냥 없애겠습니다.
또 다른 방법은 자세히 살펴보는 것입니다. 바로 여기 마지막에 실험실 검사 결과가 많이 있습니다. 이 두 지점의 차이점은 무엇일까요? 저는 이 그룹을 A 그룹이라고 부르겠습니다. 나머지는 모두 B 그룹으로 설정하고 예측 인자 검사를 해 보겠습니다. 그러면 이렇게 나오는데, 두 그룹 간의 차이는 피펫 번호 5, 피펫 번호 3, 시약 번호 1 등으로 나타납니다.
0.1 이상의 부분을 갖는 모든 것에 대해 플롯을 생성합니다. 아래로 슬라이드하여 데이터에 따라 다양한 종류의 플롯을 볼 수 있습니다. 조사가 필요한지 여부는 직접 결정할 수 있습니다. 이 경우에는 그렇지 않은 것 같습니다. 여기 아래에는 매우 다른 피펫 하나가 있고, 이 피펫에서도 같은 결과가 나타납니다. 여기서 할 수 있는 또 다른 작업은 일부 지점을 강조 표시하고 플레이트 목록 만들기를 클릭하면 이와 같은 목록이 표시되는 것입니다. 강조 표시한 각 지점에 대해 플레이트가 세 개 있어야 하는지 여부와 모두 참(통과)인지 여부를 보여줍니다. 통과한 플레이트도 있고, 모두 통과한 플레이트도 있습니다. 이를 통해 각 분석에서 실행된 플레이트 수를 매우 쉽게 확인할 수 있습니다. 그런 다음 관련된 메모가 있는 경우 여기에 표시되고 추적 시스템으로 이동하여 진행 상황을 확인할 수 있습니다. 더 자세한 내용을 보려면 설명과 강조 표시된 지점을 볼 수 있습니다. 설명 표시를 클릭하세요. 그러면 각 분석에 대한 번호, 참조 번호, 그리고 실험이 실행될 당시 분석가가 작성한 메모가 표시됩니다.
조금 움직여 보겠습니다. 선택한 분석에 대한 매개변수가 표시됩니다. 그중 하나를 자세히 살펴보려면 관심 있는 항목을 강조 표시하기만 하면 됩니다. 차트 만들기를 클릭합니다. 다양한 통계와 함께 매개변수에 대한 관리 차트가 만들어집니다. 다른 탭에는 유효성 보고서가 있습니다. 왼쪽에는 개별 SOP 분석이 모두 있습니다. 요구 사항을 충족한 경우와 충족하지 못한 경우의 비율입니다. 더 자세한 정보가 필요하면 오른쪽으로 이동하면 됩니다. 이 경우 동일한 분석이 강조 표시되어 있습니다. 그런 다음 월별로 진행 상황을 볼 수 있습니다. 각 월에 수행된 분석 수, 해당 월에 알려진 실험실 오류가 발생한 시간의 비율, 개별 매개변수에 문제가 발생한 시간의 백분율을 표로 볼 수 있으며, 이는 오른쪽 상단의 범례와 일치합니다. 좀 더 자세히 알아보고 싶다면, 예를 들어 2025년 3월 같은 경우입니다. 2025년 3월을 선택하면 주별로 표시됩니다.
특정 주의 결과를 볼 수도 있고, Aliquot 단위로 플롯하여 특정 분석의 결과를 볼 수도 있습니다. 이 기능의 장점은 일부 분석은 이상하고 다른 분석은 모두 잘 수행한다면, 분석 결과는 괜찮을 가능성이 높지만, 이 시점에서 새로운 분석가나 담당자에게 문제가 발생했을 수 있으므로 좀 더 자세히 살펴볼 필요가 있다는 것입니다. 또 다른 보고 기능은 실험실 오류 보고입니다. 기본적으로 하단에 모든 분석이 나열되고 월별로 색상이 지정됩니다. 분석 번호 1과 분석 번호 33에 가장 많은 문제가 있는 것을 알 수 있습니다. 다양한 종류의 오류를 확인할 수도 있고, 원형 차트나 누적 막대 차트 등 원하는 대로 표시할 수 있습니다. 더 자세히 알아보려면 특정 분석을 선택하면 각 월별로 하나의 막대 그래프가 표시되거나, 반대로 특정 월을 선택하여 모든 분석의 결과를 볼 수 있습니다. 파워포인트로 돌아가겠습니다.
이 도구는 매주 검토를 제공하고 분석이 제대로 실행되고 있음을 보여주는 간단한 공간을 제공하기 위해 개발되었습니다. 문제가 발생할 경우, 변동의 원인을 파악할 수 있는 간단한 방법입니다. 시약과 배치를 포함할 수 있었던 것은 물론, 제대로 작동하지 않는 특정 분석용 피펫 조합을 식별하는 데에도 도움이 되었습니다. 마지막으로, 이 모든 것을 가능하게 해주신 동료들에게 감사드리고 싶습니다. 그들이 없었다면 저는 이 모든 것을 해낼 수 없었을 것입니다. 분석팀이 있습니다. 분석을 수행하는 그룹의 관리자, 분석 개발 담당자, 장비 및 시약 지원을 제공하는 그룹, 그리고 장비가 제대로 작동하거나 분석 애플리케이션에 연결되도록 모든 것을 실제로 구현하는 자동화 팀이 있습니다. 감사합니다. 질문이 있으신가요?
