안녕하세요, 저는 애비 콜린스입니다. 후지필름 바이오테크놀로지스에서 통계학자로 일하고 있습니다. 오늘은 통계 분석에 활용할 수 있도록 제가 개발한 비교 분석 애드인에 대해 소개해 드리겠습니다. 이 애드인을 사용하게 된 동기를 말씀드리겠습니다. 후지필름은 계약 의약품 개발 및 제조 기관입니다. 개발 업무의 일환으로 축소 모델 분석 또는 소규모 모델 분석을 수행합니다. 이 분석을 통해 대규모 제조 규모 데이터와 소규모 데이터 간의 동등성을 판단하여 대규모 공정 및 주요 품질 속성을 더욱 발전시키고 연구할 수 있습니다.
두 척도 간의 동등성을 판단하는 한 가지 방법은 통계 분석입니다. 이 추가 기능의 목적과 그 배경은 바로 이러한 분석에서 비롯됩니다. 이 추가 기능을 사용하면 축소 모델에 필요한 모든 통계 분석을 수행할 수 있습니다.
배경 설명으로 넘어가겠습니다. 여기 2,000리터 바이오리액터 이미지가 있는데, 이는 상업용 제조 대규모 데이터에서 가져온 것입니다. 이 작은 250밀리리터 바이오리액터에 비해 얼마나 큰지 확인하실 수 있습니다. 실험실에서 개발할 공정이 바로 이 크기입니다. 따라서 두 규모 간의 동등성을 확인해야 합니다.
통계적으로 이를 위해서는 분석에 필요한 대규모 데이터 포인트 세 개가 필요합니다. 이 분석을 수행할 때는 아직 개발 초기 단계이기 때문에 대용량 데이터 세트가 부족한 경우가 많습니다. 하지만 최소 세 개는 필요합니다. 개발 및 제조 과정에서 더 많은 데이터가 확보되면 이 추가 기능을 재평가하고 재사용할 것을 항상 권장합니다.
실제 추가 기능으로 넘어가겠습니다. 여기 데이터 구조 이미지에서 볼 수 있듯이 이 추가 기능을 사용하는 데 적합한 데이터 세트의 스크린샷이 있습니다. 추가 기능을 실제로 실행하는 데 필요한 유일한 요구 사항은 노란색으로 강조 표시된 실행 식별 또는 행 식별 열과 그룹 식별 열이 있는 것입니다. 따라서 데이터는 두 그룹화 수준으로 그룹화되어야 합니다. 하지만 그 외에는 추가 기능이 모든 열 이름, 그룹 수준 이름에 대해 견고합니다. 중요하지 않습니다. 실행 ID, 그룹 이름, 열 이름. 그 중 어느 것도 중요하지 않습니다. 스크립트는 그 모든 것에 대해 견고합니다. 데이터가 제대로 스택되어 있고 실제 데이터 외에도 최소한 두 개의 정보 열이 있어야 합니다.
추가 기능 실행으로 넘어가겠습니다. 표시되는 첫 번째 프롬프트 창은 SSM 동등성 테스트 창입니다. 이것은 스크립트가 인식하고 분석할 수 있도록 데이터의 모양을 입력하는 곳입니다. 행 또는 실행 식별 열의 경우, 이 예에서는 실행 번호가 됩니다. 실행 유형 또는 그룹화 변수가 포함된 열은 무엇입니까? 여기서는 scale입니다. 그리고 해당 그룹화 변수 내의 참조 그룹을 묻는데, 이것이 대규모 데이터가 됩니다. 그리고 비교하려는 테스트 그룹은 축소된 소규모 데이터입니다. 따라서 작습니다. 실제 동등성 테스트를 위한 첫 번째 매개변수가 포함된 열 또는 첫 번째 숫자 열은 무엇이며, 열 3이 됩니다.
다음 프롬프트로 넘어가겠습니다. 다음에 나타나는 창은 사용자에게 데이터 세트에서 실제로 분석을 실행할 숫자 열을 지정하도록 요청합니다. 데이터 세트의 모든 숫자 열이 나열되며, 원하는 만큼 선택할 수 있습니다. 이 기능은 선택한 열에 대한 하위 집합을 생성해 주기 때문에 유용합니다. 따라서 매우 큰 데이터 세트로 시작하더라도 실제로 하위 집합을 만드는 것에 대해 걱정할 필요가 없습니다. 여기서 하위 집합을 만들 수 있습니다.
실제로 애드인을 실행하면, 애드인이 백그라운드에서 무슨 일을 할까요? 백그라운드에서 이 작은 플로차트는 애드인이 어떤 작업을 하는지 보여줍니다. 사용자 입력 섹션 바로 뒤에 있는 이 위쪽 상자를 보면 데이터에 대한 스케일별 요약 통계를 볼 수 있습니다. 이 부분에 대해서는 자세히 설명하지 않겠습니다. 출력 결과에서 보여드리겠습니다. 그리고 아래쪽 상자, 즉 6시그마 산점도에 대해서도 더 자세히 설명하겠습니다. 출력 결과에서 자세히 설명하겠습니다. 하지만 가운데 있는 플로차트에 대해 말씀드리고 싶습니다.
백그라운드에서 추가 기능은 두 그룹 간의 등분산성을 테스트합니다.Brown Forsythe 검정, Leven 검정, F 검정을 살펴봅니다.이러한 검정 중 3개 중 2개에서 P 값이 0.05보다 크면 추가 기능은 그룹 간에 등분산성이 있다고 가정하여 진행합니다.따라서 풀링된 t 검정, Welch 검정, TOST 또는 풀링된 분산이 있는 두 개의 단측 t 검정을 수행합니다.마찬가지로, 실제로 이러한 검정 중 3개 중 2개에 실패하면 P 값이 0.05 미만이 되므로 추가 기능은 두 그룹 간에 등분산성이 있다고 가정하여 진행하므로 등분산성을 가정한 표준 t 검정, Welch 검정, TOST에 대한 결과를 생성합니다.
JMP에서 TOST를 실행해 보셨다면 실제 동등성을 결정하고 이를 동등성 검정 플랫폼에 입력해야 한다는 것을 알고 계실 겁니다. 하지만 이 추가 기능의 경우, TOST 결과가 자동으로 생성되며, 참조 그룹 표준 편차의 3배에 해당하는 실제 동등성을 사용합니다. 저희의 경우, 이는 분석에 포함된 각 매개변수에 대한 대규모 데이터 표준 편차의 3배에 해당합니다.
저희는 개발 초기 단계에 있기 때문에, 아직은 사용할 수 있는 강력하고 과학적으로 뒷받침되는 실용적인 동등성을 확보하지 못했습니다. 하지만 이 시점에서는 SD의 세 배를 사용하는 것이 좋은 출발점이 될 수 있습니다. 해당 정보를 확보하는 경우가 많지 않기 때문입니다. 이 애드인이 바로 그 역할을 합니다. 이 애드인은 이 정보를 사용하여 TOST 결과를 자동으로 생성합니다. 그 후, 애드인은 모든 테스트 결과와 함께 해당 테스트와 함께 제공되는 실제 JMP 출력의 요약 표를 생성합니다.
이제 추가 기능을 시연하고 결과에 대해 말씀드리겠습니다.
포스터에서 보셨던 데이터 테이블이 여기 있습니다. 추가 기능으로 이동하겠습니다. 비교 분석을 클릭하고 첫 번째 창을 채웁니다. 실행 ID 열은 무엇입니까? 실행 번호가 됩니다. 실행 유형 그룹은 무엇입니까? 규모입니다. 참조 그룹은 대규모 데이터입니다. 테스트 그룹은 소규모입니다. 테스트하고 싶은 첫 번째 열은 열 3입니다. 대문자, 소문자를 입력하면 그에 따라 구분됩니다. 따라서 데이터 세트에서 대문자로 표시된 경우 대문자로 입력해야 합니다. 확인을 클릭합니다. 매개변수 5와 6을 포함하지 않으려고 할 수도 있습니다. 따라서 Ctrl 키를 누른 상태에서 해당 항목을 제외한 모든 항목을 선택합니다. 확인을 클릭합니다.
좋은 점은 이제 이 비교 분석의 모든 출력에 대한 JMP 보고서가 있다는 것입니다.맨 위에는 이 분석에서 선택한 데이터의 하위 집합이 있습니다.매개변수 5와 6을 제외한 모든 매개변수가 있는데, 제가 선택하지 않았기 때문에 누락되었습니다.그 다음에는 척도에 따라 선택한 매개변수에 대한 요약 통계가 있습니다.따라서 대규모 및 소규모 데이터가 있습니다.현재 추가 기능의 기본값은 그룹당 최소값, 최대값, 평균, 표준 편차 및 표본 크기를 포함하는 것입니다.그런 다음 이 추가 기능에서 수행된 모든 비교 결과에 대한 멋진 요약 표를 얻을 수 있습니다.여기에서 처음 세 개의 열과 테스트 그룹을 볼 수 있으며 실패 횟수와 합격률이 있습니다.이 세 개의 정보 열은 여기에서 볼 수 있는 Six Sigma 산점도와 함께 제공됩니다.
이 그림을 보면 녹색 영역이 Six Sigma 영역입니다. 업계에 종사하고 있다면 이 용어에 익숙할 수도 있지만, 이는 참조 그룹인 대규모 데이터 위아래로 3표준편차에 불과합니다. 그래서 녹색 음영 영역이 생성됩니다. 아래로 스크롤하면 빨간색 선이 있습니다. 이는 소규모 데이터 또는 테스트 그룹의 평균입니다. 대규모 데이터의 평균은 파란색 선으로 표시되어 있습니다. 개별 데이터 포인트가 표시되어 있고, 전체 평균은 검은색 선으로 표시되어 있습니다. 테스트 그룹은 테스트 그룹에 포함된 데이터 포인트의 수입니다. 이는 소규모 데이터입니다. 불합격 횟수는 소규모 데이터에 대해 Six Sigma 범위를 벗어난 데이터 포인트의 수입니다. 따라서 합격률은 Six Sigma 범위 내에 있는 데이터 포인트의 비율입니다. 여기 녹색 음영 영역에 8개 중 7개가 포함되어 있으므로 이 산점도를 기준으로 합격률은 88%입니다.
다음 정보 열로 넘어가면 검정 가정입니다. 백그라운드에서 추가 기능이 등분산 검정을 실행하는 곳입니다. 세 가지 등분산 검정 중 두 가지를 통과하면 등분산이라고 합니다. 실패하면 등분산이라고 표시됩니다. 여기에서 해당 검정 가정에 맞는 적절한 t-검정 P-값이 있습니다. 따라서 등분산이면 합동 t-검정에 해당하는 P-값이 있습니다. 그리고 등분산이면 표준 t-검정의 P-값이 됩니다. 그런 다음 이를 통과 또는 실패를 숨기는 열로 바꾸는데, 통과는 P-값이 0.05보다 크면 두 그룹 간에 평균 차이가 0이 아니라는 것을 의미합니다. 그리고 P-값이 0.05보다 작으면 두 그룹 간에 평균 차이가 유의미하므로 실패입니다. 마찬가지로 웰치 검정에 대한 P값이 있고, 이 P값을 기준으로 합격/불합격을 결정합니다.
그 후, TOST 평가 결과가 있습니다. 동등 및 비동등이 있습니다. 이는 JMP의 기본값으로 생성된 유일한 옵션입니다. 요약 결과를 살펴본 후 여기 아래로 스크롤하면 해당 검정 결과를 얻기 위한 모든 Y x X 적합 정보가 여전히 이 저널에 있음을 확인할 수 있습니다. 여기에는 평균 다이아몬드가 있는 표준 플롯이 있고 Tukey-Kramer 원도 그려져 있습니다. t-검정 정보, 분산 검정 정보, Welch 검정도 있습니다. 아래로 스크롤하면 동등성 검정 또는 TOST 결과도 여기에 있습니다. 신뢰 구간, 파란색으로 표시된 동등성 영역, 빨간색 실패 영역 및 포함된 모든 매개변수에 대한 모든 정보가 이 보고서에 모두 포함되어 있습니다.
기본적으로 추가 기능은 계속 열려 있습니다. 이 창을 최소화하면 개별 Y x X 플랫폼 맞춤 창이 열립니다. 이 산점도가 생성된 개별 플랫폼도 열려 있으므로 데이터 테이블에 저장할 수 있습니다. 여기서 DT 하위 집합이 생성되는데, 이는 선택한 매개변수만 포함된 데이터의 하위 집합입니다. 저는 이 부분을 그대로 두고 추가 기능에서 이러한 항목을 열어 두어 데이터 테이블에 저장할 수 있도록 했습니다. 나중에 다시 돌아오거나 데이터가 업데이트될 경우 추가 기능을 다시 실행할 필요 없이 데이터 테이블을 저장할 수 있습니다. 모든 항목이 여기에 저장됩니다. 이 항목을 최소화하고 프레젠테이션으로 돌아가겠습니다.
구체적인 결과에 대해 말씀드리고 싶은 또 다른 사항이 있습니다. 최종 결과표를 만드는 것입니다. 보시다시피, 제가 한 일은 종합 결과표나 데이터표를 만들고, 요약 결과를 마우스 오른쪽 버튼으로 클릭하여 데이터표로 만든 것뿐입니다. 그러면 통계적 결론과 과학적 결론이 도출되는 것을 보실 수 있습니다. 이러한 통계적 결과를 바탕으로 통계적 결론을 도출합니다. 이 분석에 포함되도록 선택된 모든 테스트를 100% 통과하면 녹색으로 표시됩니다.
어떤 이유로든 어떤 테스트가 실패하면 통계적으로 빨간색으로 표시하고 어딘가에서 실패했다고 말할 수 있습니다. 노란색으로 표시되는 유일한 경우는 모든 테스트를 통과했지만 TOST 결과가 불확실한 경우입니다. 불확실한 TOST는 이 예시처럼 신뢰 구간이 동등 영역과 비동등 영역 모두에서 겹치는 경우를 의미합니다. 따라서 100% 합격이나 100% 불합격이 아니기 때문에, 기술적으로 저희는 이를 불확실한 결과로 정의했습니다. 그 부분이 노란색입니다. 그렇지 않고 불확실한 결과를 얻었지만 다른 부분에서 불합격하면 바로 여기에 빨간색이 표시됩니다.
이 예시에서 빨간색으로 표시된 이유는 산점도 정보만으로는 100% 통과가 불가능하고, TOST도 확실하지 않기 때문입니다. 그래서 이 예시가 빨간색인 것입니다. 그 후, 이 결과를 과학자들에게 보냅니다. 과학자들과 함께 모든 결과와 결과를 검토합니다. 그런 다음 과학자들은 연구 대상 속성이나 프로세스에 대한 과학적 지식을 바탕으로 통계와 과학적 지식을 활용하여 Scale Down Model 분석의 동등성에 대한 최종 결론을 도출합니다.
향후 작업과 현재 추가 기능의 진행 상황입니다. 현재 작업 중인 것은 사용자가 TOST에 대한 실질적 동등성을 입력할 수 있도록 하는 것입니다. 앞서 언급했듯이 현재 추가 기능의 기본 설정은 참조 그룹 데이터의 표준 편차의 3배를 실질적 동등성 영역으로 사용하는 것입니다. 그러나 항상 그렇지 않고 표준 편차의 다른 승수를 사용하거나 실제로 입력하고 싶은 실제 실질적 동등성이 있는 경우 TOST를 개별적으로 수동으로 진행하지 않고도 추가 기능 시작 부분에서 바로 입력할 수 있는 옵션을 제공하기 위해 작업 중입니다. 현재 해당 옵션이 작업 중입니다.
제가 추가하고 싶은 또 다른 사항은 요약 표를 디코딩하여 결론이 나지 않은 TOST 결과가 요약 표에 바로 나타나도록 하는 것입니다. 지금은 기본값이 '동등'과 '동등하지 않음'으로 되어 있어서 직접 수정해야 하는 번거로움이 없습니다. 이 작업도 현재 진행 중입니다. 또한, 이 애드인을 사용하는 과학자들을 위해 사용자 정의 기능을 더 다양하게 제공하고 싶습니다. 다른 테스트를 포함하거나 하위 집합을 선택하거나 다른 시각적 효과를 적용할 수 있는 기능이 있다면, 그들의 피드백을 받아 반영하고 싶습니다. 출력을 보기 좋게 만드는 데에는 항상 개선의 여지가 있습니다. 이 작업 역시 항상 진행 중입니다.
결론적으로, 이 추가 기능은 통계 분석에 걸리는 시간을 줄여주어 정말 유용했습니다. JMP에서 TOST를 사용해 보셨다면, 실제 동등성을 직접 입력하고, 분산 유형을 선택하고, 대조군을 원하는 경우, 그리고 분석 대상인 각 매개변수에 대해 이 작업을 직접 해야 한다는 것을 알고 계실 겁니다.
자동 TOST를 사용하고 요약 표를 자동으로 생성하며, 클릭 한 번으로 멋진 플롯을 미리 생성해 놓았기 때문에 분석 시간을 단축하고 효율성을 높이는 데 큰 도움이 되었습니다. JMP를 처음 사용하는 사용자와 과학자들이 스스로 통계 분석을 수행할 수 있도록 도와주는 훌륭한 도구이기도 합니다. JMP를 완벽하게 사용하지 않더라도 애드인 사용법을 익히고 출력을 해석할 수 있으며, 버튼 클릭만으로 매우 쉽게 사용할 수 있습니다. 정말 큰 도움이 되었고, 앞으로도 이러한 개선 사항을 지속적으로 적용하여 통계에 대한 인식을 높이고 더 많은 애드인을 개발할 수 있기를 바랍니다. 감사합니다.
