프랜시스 메디컬에서는 일회용 전달 장치의 캐뉼라를 요도에 삽입한 후, 작은 원형 카테터를 캐뉼라에서 전립선으로 빼내어 카테터에서 나오는 증기를 이용하여 조직을 절제합니다. 방광의 정수압으로 인해 캐뉼라와 카테터 사이의 동적 밀봉만이 전달 장치 내부로 체액이 유입되는 것을 막는 유일한 장벽이며, 이는 바람직하지 않습니다.
벤치에서 동적 밀봉 성능을 테스트하기 위해 공압 압력 감소 시험기를 사용하여 캐뉼라에 압력을 가합니다. 이 시험기의 출력은 연속적이지만 분포는 이중 모드이며, 밀봉이 누출되거나 누출되지 않는 이진 출력으로 모델링하는 것이 가장 적합합니다. JMP에서는 속성 출력에 대한 다양한 실험 설계(DOE) 연구를 비교할 수 있도록 검정력과 표본 크기를 계산하는 간단한 방법이 없습니다.
본 논문에서는 시뮬레이션 검정력 분석을 포함하여 테스트할 요소의 수와 실험 횟수를 결정하는 데 사용한 프로세스 방법론을 설명합니다. 또한, 기존 테스트보다 더 많은 동적 씰 파손을 유발하기 위해 압력 감소 테스트 전에 샘플을 처리하는 독창적인 방법을 발견했습니다. 최종적으로, 실험 결과는 확신을 가지고 설계 결정을 내릴 수 있게 해주었으며, 현재 설계 대비 동적 씰 성능을 25배 향상시켰습니다.
안녕하세요 여러분. 저는 레베카 브로이어이고, 오늘은 채드 네겔리와 함께합니다. 오늘은 실험 설계(DOE)를 활용하여 고속 동적 밀봉 장치의 성능을 향상시키는 방법에 대해 발표하겠습니다.
이 동적 밀봉 장치에 대해 간략히 설명드리겠습니다. 고속 동적 밀봉 장치는 전립선암 치료를 위해 수증기 절제 기술을 사용하는 당사의 의료 기기의 일부이며, 이 실험 설계(DOE)에서 관심 있는 기기 구성 요소는 화면에 표시되어 있습니다. 당사 기기는 캐뉼라를 요도에 삽입한 후 카테터를 전립선에 삽입하는 방식으로 작동합니다. 카테터의 작은 구멍을 통해 증기가 분출되어 주변 조직을 절제합니다.
알아두셔야 할 점은 방광이 기기에 정수압을 가한다는 것이며, 이로 인해 체액이 기기 내부로 유입될 수 있다는 것입니다. 체액 유입을 방지하기 위해서는 카테터와 캐뉼라 사이의 공간을 밀봉하여 체액의 유입을 막아야 합니다.
압력 감소 시험을 통해 밀봉 효과를 검증할 수 있습니다. 시험 장치는 시험용 고정 장치를 사용하여 밀봉한 후, 공압식 압력 감소 시험기로 압력을 가합니다. 그러면 압력 감소량이 측정되는데, 이는 밀봉 누출률과 같습니다. 기존에 관찰되었던 문제는 밀봉 누출률이 예상보다 높다는 것이었습니다. 따라서 본 실험 설계(DOE)의 목표는 밀봉 누출률을 줄일 수 있는 요인을 파악하는 것이었습니다.
이제 압력 감소 테스트 결과가 어떻게 나타나는지 살펴보겠습니다. 화면에는 두 개의 분포가 보이는데, 둘 다 동일한 데이터를 다른 방식으로 표현하고 있습니다. 위쪽 분포는 압력 감소 테스트 결과를 PSI 단위로 나타낸 것으로, 연속적인 값입니다. 아래쪽 분포는 동일한 데이터를 합격 또는 불합격으로 구분한 이진 값으로 나타낸 것입니다. 위쪽 분포를 보면 합격점은 녹색으로 표시되어 있습니다. 이 큰 구간이 합격을 나타내고, 불합격점은 빨간색으로 강조 표시되어 있습니다. 불합격된 테스트는 매우 적은 비율로 나타납니다.
중요한 점은 압력 감소 시험에서 얻는 연속적인 결과값이 반드시 우리에게 관련성이 있거나 유용한 것은 아니라는 것입니다. 우리가 정말로 중요하게 생각하는 것은 시험이 통과했는지, 즉 씰에 누출이 없는지, 아니면 시험이 실패했는지, 즉 씰에 누출이 있는지 여부입니다. 이 실험 설계에서는 결과를 이진 응답으로 모델링할 것입니다.
실험계획법(DOE)을 실행하기 전에, 우리는 씰 누출률에 영향을 미칠 수 있는 모든 가능한 요인들을 브레인스토밍하고, JMP를 사용하여 피시본 다이어그램으로 정리했습니다. 그리고 그 목록에서 이번 사례에 가장 관련성이 높다고 판단되는 6가지 요인을 추려냈습니다. 여기에서 각 요인(X1~X6)의 레벨을 확인할 수 있습니다. 요인 1~5는 각각 2개의 레벨을 가지고 있으며, 요인 6은 3개의 레벨을 가지고 있습니다. 이제 채드에게 마이크를 넘기겠습니다.
안녕하세요. 저는 채드 네겔리입니다. 오늘은 밀봉 누출 검사에서 실패율을 높이기 위해 컨디셔닝 공정을 어떻게 활용했는지 간단히 설명드리겠습니다. 저희는 다섯 가지 매개변수를 살펴보았습니다. 먼저 멸균 과정을 살펴보았습니다. 컨디셔닝 공정 이전에는 멸균 과정이 없었지만, 컨디셔닝 공정 이후에는 멸균 과정을 추가했습니다. 컨디셔닝 공정 이전에는 한 번의 테스트만 수행했지만, 이번에는 여러 번의 테스트를 진행했습니다. 밀봉 상태의 경우, 이전에는 카테터가 움직이지 않는 정적 상태에서 테스트했지만, 컨디셔닝 공정 이후에는 동적 상태에서도 테스트했습니다.
마지막으로, 씰 온도 테스트에서는 주변 온도 대신 고온에서 테스트를 진행했습니다. 이러한 조건화 과정을 통해 씰에 스트레스를 가했고, 그 결과 95%의 고장률이 발생했습니다. 이는 조건화 과정을 거치지 않았을 때보다 훨씬 높은 수치입니다. 이렇게 한 이유는 통계적 검정력을 높이고 표본 크기를 최소화하기 위함입니다.
레베카가 말했듯이, 이진 출력의 경우 로지스틱 방정식을 사용하여 해당 출력을 모델링합니다. 저희의 경우, 조건화 과정을 거친 후 95%의 성공률을 얻었습니다. 로지스틱 방정식을 사용하여 왼쪽 하단에 표시된 것처럼 Y절편을 구했습니다. 그런 다음 기준 성공률에 대한 다양한 입력값을 입력하여 오른쪽 표를 만들 수 있었습니다.
방금 살펴본 사례에서 95일 때 Y절편은 2.944입니다. 그런 다음 기준 금리가 75%, 50%, 25%, 1%인 네 가지 시나리오와 그에 따른 Y절편을 살펴보았습니다. 잠시 후 JMP 프레젠테이션 데모에서 이러한 수치를 사용하여 검정력 시뮬레이션을 생성하는 방법을 보여드리겠습니다.
다음 슬라이드에서는 JMP를 이용한 검정력 시뮬레이션을 진행해 보겠습니다. 지금 화면을 공유해서 JMP 저널을 생성했습니다. 이 시뮬레이션을 통해 이번 실험 설계(DOE)에 적합한 표본 크기를 계산해 볼 것입니다. 검정력이란 실험 설계에서 유의미한 효과가 나타났을 때 이를 감지하고 결과를 도출할 수 있는 능력을 의미합니다. 만약 표본 크기가 너무 작아서 실험 설계에서 유의미한 효과가 나타나지 않았는데도 이를 감지하지 못한다면, 이는 바람직하지 않은 상황일 것입니다.
다른 시나리오는 너무 많은 샘플을 실행하여 효과를 감지할 수는 있지만 자원을 낭비하는 경우입니다. 우리가 원하는 것은 적절한 샘플 크기를 만드는 것입니다. 바이너리 풋*을 사용하는 방법은 시뮬레이션을 통해서입니다.
워밍업으로 단일 요인 실험 설계(DOE)를 해보겠습니다. 여기 파일을 열겠습니다. 사용자 지정 디자이너에서 단일 요인, 즉 2단계 범주형 요인을 사용하여 DOE를 생성하고 10,000번 실행했습니다. 그런 다음 이 수식이 제대로 작동하는지 확인하기 위해 이 작업을 수행했습니다. 여기 파일을 클릭하면 JMP 테이블이 나타납니다. 10,000개의 행이 보이고, 이 수식을 입력해 보겠습니다.
이것은 이전 슬라이드에서 보여드렸던 것과 동일한 공식입니다. 95% 실패율에 대한 표에서 가져온 2.944를 대입했습니다. 이 공식은 한 번의 시행으로 이항 분포를 생성한 다음, 해당 공식을 적용하는 것입니다. 이제 분포를 실행하여 95% 실패율이 나오는지 확인해 보겠습니다. 여기를 클릭하시면 10,000번 실행 후 약 95%의 실패율이 나온 것을 확인할 수 있습니다. 이는 공식이 제대로 작동하고 있음을 검증하는 것이며, 앞으로 진행할 작업에 대한 신뢰도를 높여줍니다.
다음으로 할 일은 레베카가 방금 언급한 6개 요인 실험 설계(DOE)를 만드는 것입니다. JMP를 사용하여 2단계 범주형 요인 6개를 설정하고, 주효과 모델을 사용하며, 가능하다면 2차 상호작용 항도 포함하여 16회 실행하겠습니다. 그런 다음 시뮬레이션을 진행합니다. 대부분의 경우 실패율은 95%로 설정합니다. 그리고 X1이 활성화된 경우, X1의 누출률이 75%일 때 어떤 결과가 나타나는지 살펴보겠습니다.
저걸 클릭할게요. 이건 제가 DOE 사용자 정의 디자인에서 만든 스크립트인데, 이 DOE를 생성하는 데 사용했습니다. 이 수식을 자세히 살펴볼까요? 이건 우리가 만든 것인데… 좀 더 복잡합니다. 앞서 시뮬레이션에서 이미 보여드렸지만, 조건문을 만들어서 첫 번째 요소인 X1이 L1과 같으면 실패율을 95%로, 그렇지 않으면 실패율을 75%로 설정했습니다.
지금 바로 살펴보죠. 기본적으로 이 열에는 1 또는 0이라는 값이 생성되고, 시행은 한 번 있었습니다. 이제 이 모델을 실행해 보겠습니다. 어떤 작업을 했는지 보여드리겠습니다. Y 행에는 시뮬레이션된 Y와 실제 시행된 Y를 입력했습니다. 모델 효과에는 X1부터 X6까지 입력했고, 성격 변수로는 이항 분포와 로짓 연결 함수를 사용하는 일반화 선형 모델을 사용했습니다. 이제 실행해 보겠습니다.
여기서 모델을 실행했으니, 이 플랫폼의 '효과 테스트' 부분에 입력해 보겠습니다. 마우스 오른쪽 버튼을 클릭하고 '시뮬레이션'을 선택합니다. 그러면 'Y 시뮬레이션'과 'Y 시뮬레이션'이 표시되고, 두 값이 일치하며 2,500번 실행됩니다. 지금 바로 실행하면 이 분포 또는 모델 적합이 2,500번 반복되지만 시간이 너무 오래 걸립니다. 이 창을 닫겠습니다. 이미 완료했습니다. 바로 아래에 그 결과가 있습니다. 이제 '실행'을 클릭하겠습니다. 그러면 2,500개의 행으로 구성된 표가 나타나고, 여기에는 6개의 서로 다른 요인이 있습니다.
이제 이 여섯 가지 요인에 대해 분포를 실행하고, 모두가 볼 수 있도록 이 결과를 옮기겠습니다. X1을 기준으로 살펴보겠습니다. 맨 마지막 표에서 시뮬레이션 검정력을 찾아 알파 0.05 값을 확인하고, 기각률 열을 보면 23%가 나옵니다. 23%가 이번 시뮬레이션의 검정력입니다. 다른 효과들을 살펴보면 기각률이 매우 낮다는 것을 알 수 있습니다. 약 0.1 정도입니다.
95% Y절편으로 같은 시뮬레이션을 반복하고, 그 다음에는 50%로 줄여 보겠습니다. 아주 빠르게 실행하고 검정력 분석을 해보면, X1의 경우 84%가 나오는 것을 볼 수 있습니다. 검정력이 23%에서 84%로 크게 증가했습니다. 활성화되지 않아야 하는 X2부터 X6까지는 거부율이 매우 낮습니다. 하나 더 보여드리겠습니다. 그러면 모두 앞으로 어떻게 할지 이해하실 수 있을 것 같습니다. 이번에는 Y절편을 95%로, X1의 경우 1%로 설정해서 실행해 보겠습니다. 아주 빠르게 실행해 보면, X1의 시뮬레이션 검정력이 100%인 것을 확인할 수 있습니다. 검정력이 매우 좋습니다.
저희는 몇 가지 변수를 추가했습니다. 실험 횟수를 1회에서 5회까지 변경해 보았습니다. 제가 보여드린 모든 경우에서는 실험 횟수가 1회였지만, 각 실험에서 여러 샘플을 여러 번 처리할 수도 있습니다. 저희는 실험설계(DOE)에서 이 부분을 변경하여 실험을 진행했습니다. 그 결과는 여기에 요약되어 있습니다.
제가 보여드린 세 가지 시뮬레이션은 각각 검정력 23%, 84%, 100%였습니다. 또한 각 실험 조건에 대한 시행 횟수를 다르게 하여 시뮬레이션을 진행했는데, 여기 보이는 것이 총 표본 크기입니다. 최종적으로 선택한 설계는 아래에 있는 이 설계로, 여전히 6개 요인을 사용했지만 시행 횟수를 48회로 줄이고 시행 횟수를 1회로 줄였습니다. 이렇게 한 이유는 2개 요인 상호작용에서 나타났던 상관관계를 해소할 수 있었고, 이 모델이 더 적합하다고 판단했기 때문입니다.
이것이 바로 저희가 한 가지 요인을 활성화했을 때의 전력 시뮬레이션을 만든 방식입니다. 보시다시피, 95%에서 50~75% 사이의 밀봉 누출률 차이를 감지할 수 있으며, 약 90%의 검정력을 확보했습니다. 이 정도면 설계에 대한 충분한 신뢰도를 확보할 수 있다고 생각합니다. 이제 레베카에게 마이크를 넘기고, 그녀가 실험계획법(DOE) 분석 방법에 대해 설명해 줄 것입니다.
저희는 실험 설계(DOE)에서 얻은 데이터를 시각화하고 결과를 분석하는 데 몇 가지 방법을 사용합니다. 화면에 나와 있는 것처럼, 처음 세 가지 방법, 즉 단변량 시각화, 분할 모델, 그리고 단계적 모델 평균화는 데이터를 시각화하고, 데이터에서 가장 큰 변곡점이 어디에 있는지, 그리고 모델에서 어떤 항이 가장 높은 신호 대 잡음비를 가지는지 파악하는 데 도움을 줍니다. 그런 다음 일반화 선형 모델을 사용하여 어떤 요인 조합과 그 수준이 밀봉 누출 확률을 최소화하는지 예측합니다.
이제 JMP로 넘어가서 이러한 분석을 어떻게 수행했는지 보여드리겠습니다. 가장 먼저, 유통 플랫폼과 JMP를 사용하여 요인을 살펴보았습니다. 밀봉 누출 결과를 선택했는데, 요인 X6, 레벨 9, 요인 X3 원본, 그리고 요인 X4에서 밀봉 누출 범주에 속하는 샘플이 많이 나타났습니다.
다음으로, JMP를 사용하여 파티션 모델링을 수행했습니다. 이미 파티션 모델을 사용하여 여기에 모델을 생성했습니다. 분할 크기를 4로 설정했는데, 이는 실험 설계(DOE)에서 다양한 처리 조건에 해당하는 여러 요인들의 수준과 상관관계가 있었기 때문입니다. 그런 다음 이 모델을 5번 분할했고, 왼쪽에서 볼 수 있듯이 밀봉이 전혀 새지 않은 그룹이 하나 있습니다. 요인 X6은 부분적으로 전체 수준에서, 요인 X3은 밀봉이 잘 되지 않는 것으로 나타났습니다. 아래로 스크롤하여 기여도 열을 보면 요인 X6이 가장 유의미했고, 그 다음으로 X3, X1, X4 순으로 유의미한 것을 알 수 있습니다.
다음으로, 모델 평균화 기능과 JMP를 사용했습니다. 모델 적합 플랫폼을 이용하여 단계적 모델을 선택하고 모델 평균화 기능을 적용했습니다. JMP는 수많은 모델을 생성했습니다. 그중 AICC 값이 가장 낮은 상위 5%의 모델을 선별하여 해당 항들의 계수를 평균화했습니다. 그 결과는 이 표에 요약되어 있습니다. 저희 모델에는 총 27개의 항이 있으며, 각 항에 대한 추정치와 표준 오차를 제공합니다.
우리가 관심을 갖는 것은 신호 대 잡음비입니다. 여기에 공식이 있는데, 추정치를 표준 오차로 나누고 표준 편차를 구하면 신호 대 잡음비가 나옵니다. 그런 다음 그래프 작성기를 사용하여 그래프를 그리면 모델의 어떤 요소 또는 항이 가장 높은 신호 대 잡음비를 가지는지 확인할 수 있습니다.
우리는 여기서 일부 항만 살펴보고 있습니다. 신호 대 잡음비가 가장 높은 항들만 고려했는데, 요인 X6, X3, X4 모두 신호 대 잡음비가 2보다 높은 것으로 나타났습니다. 이는 우리가 설정한 임계값과 일치합니다. 또한 요인 X4와 X6의 상호작용은 2에 매우 근접한 것으로 보입니다.
이 모델의 단점 중 하나는 출력값이 연속적이기 때문에 예측에 사용할 수 없다는 것입니다. 결과가 0보다 작거나 1보다 클 수 있는데, 확률은 그런 식으로 작동하지 않으므로 이 모델은 예측에 적합하지 않습니다.
마지막으로, 주효과만 포함하는 일반화 선형 모델을 만들고, 이항 분포와 로짓 링크를 사용하여 어떤 요인과 조합이 씰 누출 발생을 최소화하는지 예측했습니다. 이제 모델에서 요인을 줄여나가겠습니다. 가장 높은 P값을 가진 요인부터 시작해서, 나머지 모든 항의 P값이 0.05 미만이 될 때까지 모델에서 항을 제거하겠습니다. 이렇게 하면 모델에 세 개의 항이 남습니다. X6이 가장 유의미하고, 그 다음으로 X3과 X4 순입니다.
다음으로, 예측 프로파일러로 이동하여 씰 누출 발생을 최소화하도록 바람직성 값을 설정했습니다. 여기서 보고 있는 것은 씰 누출 발생 확률입니다. 바람직성 값을 최대화한 것입니다. 이 모델은 X4, X3, X6 요인과 각각의 수준(소형, 강화, 전체)을 포함합니다. 이 모델은 씰 누출 발생 확률을 0.1% 미만으로 예측하는데, 이는 상당히 우수한 결과입니다. 또한, 이 모델의 AICC는 39.8입니다.
다음으로, 일반화 선형 모델을 하나 더 만들어 보겠습니다. 이번에는 요인 간 상호작용을 모델에 포함시킬 것입니다. 이항 분포 로짓 링크는 그대로 사용하지만, 이번에는 편향 조정을 활성화하겠습니다. 시간을 절약하기 위해 이미 유의미한 항만 남겨두었습니다. X6, X3, X4가 가장 유의미한 것으로 나타났는데, 이는 다른 모델과 일치합니다. 여기에도 요인 간 상호작용이 있습니다.
제가 선호도를 설정하고 다른 모델과 마찬가지로 선호도를 극대화한 이 프로파일러를 살펴보면, 주요 요인과 디자인 수준(1, 소형, 향상, 없음, 전체)을 고려했을 때, 씰 누출 발생 예측 확률이 거의 0%에 가까울 정도로 매우 낮다는 것을 알 수 있습니다.
이제 다시 파워포인트로 돌아가겠습니다. 이 표는 방금 살펴본 네 가지 모델과 가장 바람직한 것으로 나타난 모든 요인 수준을 요약한 것입니다. 각 모델별로 요약된 내용을 확인할 수 있습니다. 네 가지 모델에서 가장 빈번하게 나타난 요인 수준을 바탕으로 각 요인에 대한 최적의 설정 조합을 도출할 수 있었습니다.
X1, X3, X4, X6 요인은 모든 모델에서 유의미했습니다. 우리는 이러한 요인들의 수준으로 디자인 1, 향상된 디자인, 소형 디자인, 전체 디자인을 선택했고, X2와 X5 요인은 모델에서 유의미하지 않은 것으로 나타났기 때문에 아무것도 선택하지 않았습니다. 이제 채드에게 마이크를 넘기겠습니다.
안녕하세요. 레베카가 방금 실험 설계 분석 결과를 보여드렸는데요, 이제 원래 설계에서 요인 X1부터 X6까지의 변수들이 어떻게 달라졌는지, 그리고 최적 수준이 원래 설계와 어떻게 다른지 요약해 보겠습니다. 최적 수준에 상당한 변화가 있었죠. 결국 저희는 최적 설계를 선택하지 않고, 맨 오른쪽 열에 있는 설계를 선택했습니다.
기억하시겠지만, 그 작업의 주요 변경 사항은 X3에서 매우 큰 효과를 냈다는 것입니다. 원본에서 향상된 버전으로 바뀌었죠. X6에서는 효과가 전혀 없던 것에서 부분적인 효과로 바뀌었습니다. 나머지 네 가지 요소는 X5를 제외하고는 거의 그대로 유지했습니다. X5는 딱히 의견이 없었지만, 다른 이유로 그렇게 하기를 원했습니다. 이것이 우리가 선택한 디자인이며, 이제 결론에 대해 이야기해 보겠습니다.
광범위한 조건화 과정을 거쳐 샘플에서 약 95%의 고장률을 유도했을 때, 기존 설계는 94%의 누출률을 예측했는데, 이는 우리가 수행했던 초기 연구 결과와 매우 유사합니다. 95% 신뢰 구간 또한 상당히 넓습니다. 최적의 설계는 중간 열에 나타낸 설계이며, 매우 낮은 누출률을 예측했습니다. 이 설계 역시 95% 신뢰 구간이 매우 좁습니다.
선택적 설계는 최적 설계만큼 좋지는 않지만, 여전히 매우 낮은 밀봉률을 예측합니다. 이는 광범위한 컨디셔닝 공정을 가정한 결과라는 점을 기억해야 합니다. 실제 밀봉률은 이보다 훨씬 더 낮을 것입니다. 선택적 설계와 원래 설계를 비교해 보면, 광범위한 컨디셔닝 공정을 적용했을 때 밀봉률이 25배 이상 낮습니다. 이번 실험은 매우 성공적이었고, 결과도 전문가인 씰 제조업체의 예측과 일치했습니다. 그들은 우리가 테스트해야 할 여러 요소를 제시했고, 결과는 그들의 예측과 정확히 맞아떨어졌습니다.
레베카가 다음 슬라이드로 넘어가겠습니다. 참고 자료가 있습니다. JMP에서 이 연구를 진행하는 데 많은 도움을 주었습니다. JMP의 돈 맥코맥과 저희 지역 담당자가 표본 크기 및 연구 방법론을 결정하는 데 상당한 도움을 주었습니다. 돈은 지난 3월 디스커버리 서밋 유럽에서 합격/불합격 응답에 대한 표본 크기 결정 방법에 대해 자세히 설명하는 훌륭한 강연을 했습니다. 그 외에도 몇 가지 참고 자료가 더 있습니다.
마지막으로, 마지막 페이지에는 검정력 시뮬레이션 결과와 레베카의 분석 요약이 담긴 부록이 있습니다. 그리고 맨 마지막 부록 C에는 이처럼 대규모 실험 설계를 실행하면서 얻은 노하우와 팁을 정리하여 좋은 결과를 얻을 수 있도록 도와드리겠습니다. 오늘 저희 발표를 들어주셔서 진심으로 감사드립니다. 발표는 매우 성공적이었고, 여러분께 좋은 결과와 JMP를 활용한 문제 해결 방법을 공유할 수 있어서 정말 기쁩니다. 다시 한번 감사드립니다.
