본 발표에서는 예측, 신뢰, 허용 오차 한계의 중요한 역할에 대해 살펴봅니다. 이러한 한계는 계산이 간편하고 대부분의 교과서에 등장하기 때문에 널리 사용되지만, 그만큼 오용되거나 잘못 해석되는 경우도 많습니다. 특히 혼합 모형에서 이러한 한계를 정확하게 추정하는 것은 대부분의 산업 분야에서 심각한 제약 요인으로 작용합니다.
JMP는 (2019년 Wiley Medicine 저널에 발표된 논문을 기반으로) 이러한 한계를 추정하는 데 있어 가장 적합한 방법을 사용하지만, 해당 방법에는 몇 가지 단점이 있으므로 주의하지 않으면 문제가 발생할 수 있습니다. 컨설팅 회사로서 우리가 사용하는 방법은 견고해야 합니다. 따라서 우리는 이 문제를 더 심층적으로 조사하고 JMP를 이용한 시뮬레이션을 통해 이러한 한계를 평가하기로 결정했습니다.
본 발표는 문제에 대한 스토리텔링에 초점을 맞춰 다양한 산업 분야의 사람들이 이러한 통계적 딜레마를 인식하도록 하는 동시에, JMP를 사용하여 다양한 시나리오를 시뮬레이션하고 모델을 평가하는 방법을 시연합니다. 또한, 이를 위해 개발된 그래픽 인터페이스와 모델 구축, 그리고 해석 가능한 출력 결과를 생성하는 과정을 보여줍니다.
제 발표에 오신 것을 환영합니다. 저는 토마스입니다. NNE라는 회사에서 제약 업계 통계 컨설턴트로 일하고 있습니다. 오늘은 제가 매우 흥미롭게 생각하는 주제에 대해 이야기해 보려고 합니다. 이 주제는 여러 산업 분야에 걸쳐 매우 중요하다고 생각합니다. 고전 통계학에 기반한 내용이며, 특히 신뢰도, 예측, 그리고 허용 오차에 관한 것입니다. 그럼 바로 시작해 볼까요? 먼저 상황을 설정해 보겠습니다. 여러분이 의료용 주사기를 생산하는 회사의 품질 관리 엔지니어라고 가정해 보세요. 의료용 주사기가 안전하려면 몇 가지 품질 특성을 철저히 관리해야 합니다.
그중 하나는 크기가 적절해야 한다는 것입니다. 특정 크기로 설계되었다면 그 크기를 유지해야 합니다. 너무 크면 환자에게 과다 투여될 수 있고, 너무 작으면 과소 투여될 수 있기 때문입니다. 따라서 규격 한계라는 것이 있는데, 전문가들은 안전을 위해 특정 특성이 이 값 범위 내에 있어야 한다고 말합니다. 예를 들어, 이 경우 주사기의 직경은 10mm에서 10.5mm 사이여야 한다고 할 수 있습니다.
품질 엔지니어라고 가정해 봅시다. 사무실에 출근해서 새로 배송된 제품들을 확인했습니다. 예를 들어 주사기 100개라고 해볼게요. 이 주사기들의 품질에 대해 보고해야 합니다. 먼저 샘플을 하나 채취해서 직경을 측정해 보니 규격 범위 내에 있었습니다. 일단 규격 범위 내라는 건 알겠지만, 그다음에는 이런 생각이 들 겁니다. 단 하나의 샘플만으로 전체 제품의 품질이 유지되었다고 주장하기는 어려울 것입니다.
그러면 차선책으로 10개의 샘플을 채취하고, 그 결과 모든 값이 기준치 내에 있다고 나옵니다. 아마도 평균값을 보고하게 될 것이고, 그 결과에 만족할 것입니다. 하지만 그때 보건 당국이 나타납니다. 그들은 평균값도 괜찮고, 그래프도 괜찮아 보인다고 말하지만, 다음 샘플은 이와 같은 결과가 나올 수도 있고, 심지어 당신에게 유리한 결과가 나올 수도 있다는 것을 어떻게 알 수 있을까요?
예를 들어 평균값이나 단일 수치를 보고하거나 이처럼 그래프 하나만 보여주고 싶을 때, 추정치나 결론에 대한 불확실성을 정량화할 방법이 사실상 없다는 것이 문제 중 하나입니다. 바로 이러한 이유로 통계적 구간을 사용하는 것입니다. 오늘 우리는 어떤 값에 대한 구간을 제시하고, 그 구간에 대해 얼마나 확신할 수 있는지를 알아보겠습니다.
그것이 발표의 동기였지만, 나머지 발표에서는 통계적 구간에 대해 좀 더 이론적인 내용을 다루면서 앞으로의 발표를 위한 기본 규칙을 설명하겠습니다. 그런 다음 JMP를 사용하여 만든 시뮬레이션을 몇 가지 보여드리겠습니다. 다양한 시나리오를 직접 실행해 볼 수 있는 인터페이스를 만들었는데, 왜 이것이 중요한지 알게 되실 겁니다. 마지막으로, NNE에서 이러한 구간을 활용하여 고객 데이터를 처리하는 일반적인 워크플로가 어떻게 진행되는지 살펴보겠습니다.
앞서 말씀드린 것처럼, 통계적 구간에 대한 이론부터 살펴보기 전에 몇 가지 기본 규칙을 정하겠습니다. 본격적인 분석에 앞서 규칙을 명확히 해야겠죠. 예측 구간이나 허용 구간을 설정하는 방법은 여러 가지가 있습니다. 오늘 제가 소개할 방법은 고전 통계에 기반한 것이며, JMP에서도 구현되어 있는 방법입니다. 하지만 다른 방법들도 있다는 점을 미리 알려드립니다. 오늘 소개할 방법들은 가장 일반적인 방법이라고 할 수 있겠습니다.
우리가 먼저 세울 가정, 첫 번째 아이디어는 대표성을 확보했는지 여부입니다. 구간을 설정할 때 가장 먼저 하는 일은 과거의 데이터를 수집하는 것인데, 이 데이터를 바탕으로 어떤 결론을 내리고자 합니다. 이를 표본이라고 부르겠습니다. 이 표본이 대표성을 띠고 무작위로 추출된 표본인지가 중요합니다. 구간을 설정하여 모집단에 대한 결론을 내릴 때, 그 모집단은 공정일 수도 있고, 특정 목표 모집단일 수도 있습니다. 하지만 표본이 모집단을 대표하는지 여부가 관건입니다. 우리가 이야기할 구간의 핵심은 바로 이 대표성입니다. 예를 들어, 제품이 상자에 담겨 배송될 때마다 가장 쉬운 방법인 상자 윗부분만 추출한다고 가정해 보겠습니다.
일부 공정에서는 설정 방식에 따라 문제가 될 수 있습니다. 예를 들어 다른 부분에서 샘플을 채취하지 않거나, 의료기기와 같은 제품을 생산하는 오븐에서 항상 특정 위치에서만 샘플을 채취하는 경우, 온도 변화가 발생하면 샘플의 대표성에 문제가 생길 수 있습니다.
어쨌든, 처음에는 간단한 경우로, 데이터의 분포, 특히 정규 분포를 따른다고 가정하겠습니다. 측정 대상 변수가 무엇이든, 예를 들어 주사기 직경이든 다른 품질 특성이든, 데이터는 정규 분포를 따른다고 가정하는 것입니다. 데이터가 정규 분포를 따르지 않는다면 변환을 시도해 볼 수 있습니다. 다만, 이는 신뢰구간이 유효하려면 반드시 충족해야 하는 가정 중 하나라는 점을 기억해야 합니다.
데이터가 정규 분포를 따르지 않고 변환으로도 해결되지 않는다면, 모델과 같은 더 복잡한 구조가 필요할 수도 있습니다. 이 예시는 이후에 살펴볼 내용과도 관련이 있으므로 설명하겠습니다. 아래 데이터는 배치 내 변동을 모두 포함하는 정규 분포를 따르는 데이터입니다.
보시다시피 그룹 전체가 거의 비슷한 분포를 보이지만, 배치별 변동도 존재합니다. 예를 들어, 서로 다른 원자재를 사용하거나 특성이 다른 배치가 있을 수 있습니다. 이러한 변동은 데이터에 반영되지만, 전체적으로는 여전히 정규 분포를 따른다는 점을 고려해야 합니다. 이것이 바로 핵심적인 규칙입니다.
오늘 우리는 세 가지 주요 구간 유형에 대해 이야기해 보겠습니다. 첫 번째는 신뢰 구간, 예측 구간, 그리고 허용 구간입니다. 신뢰 구간은 가장 흔하게 사용되는 구간 중 하나입니다. 이는 분포의 특정 매개변수 또는 특성에 사용됩니다. 예를 들어, 데이터가 특정 분포를 따른다고 가정할 때, 이론적으로는 이론적인 값을 가진다고 말할 수 있습니다.
예를 들어, 평균이나 표준편차에 대해 이야기할 때, 가장 흔하게 사용되는 것 중 하나는 프로세스의 평균을 추정하는 동시에 그 추정치에 대한 신뢰도를 제시하는 것입니다. 이때 실제 평균, 표준편차, 분위수 또는 기타 특성이 속할 것으로 예상되는 범위를 보고합니다. 예를 들어, "전구의 평균 수명은 1,000시간에서 1,200시간 사이일 확률이 95%입니다."라는 문장이 있습니다. "제가 생산하는 전구의 평균 수명은 1,100시간입니다."라고 말하는 대신, 평균 수명이 속할 수 있는 범위를 제시하고 일정 수준의 신뢰도를 나타내는 것입니다.
우리가 말하는 신뢰도란 정확히 무엇을 의미할까요? 신뢰도는 방법론의 성능을 나타내는 지표로 이해해야 합니다. 특정 구간 자체에 대한 신뢰도가 아니라, 방법론 자체의 신뢰도를 의미합니다. 다시 말해, 장기적으로 볼 때 이 방법론을 사용하여 계산한 구간의 95%는 실제 모수를 포함한다는 뜻입니다. 즉, 5%의 경우에는 실제 모수를 포함하지 않을 수도 있다는 의미입니다. 따라서 원하는 신뢰도를 선택할 수 있으며, 95%가 가장 일반적입니다. 90%, 99%, 99.99% 등도 사용할 수 있습니다. 신뢰도 수준은 구간을 사용하는 목적에 따라 달라집니다.
다만, 95라는 숫자가 어떤 구간을 계산하면 향후 표본 평균의 95%가 그 구간 안에 포함된다는 것을 의미한다고 오해하는 사람들이 많으니 주의하시기 바랍니다. 이는 사실이 아니므로 이 점에 유의하세요.
제가 사용할 공식은 다음과 같습니다. 보시다시피 두 가지 공식이 있습니다. 그 이유를 설명드리겠습니다. 첫 번째 공식은 정규 분포를 가정하고 랜덤 효과를 고려하지 않은 경우이고, 두 번째 공식은 랜덤 효과를 고려한 경우입니다. 첫 번째 공식은 고전적인 공식이고, 두 번째 공식은 이후에 개발된 공식입니다. 지금은 공식에 대해 자세히 설명하지는 않겠지만, 더 자세히 알고 싶으신 분은 언제든지 질문해 주세요.
다음으로 예측 구간이 있습니다. 신뢰 구간은 평균값이나 표준 편차 또는 특성에 사용되는 반면, 예측 구간은 특정 관측값에 사용됩니다. 예를 들어 전구 예시를 다시 살펴보면, 생산자가 아닌 고객 입장에서는 평균적인 작동 특성보다는 특정 전구의 수명을 조사하고 싶을 수 있습니다. 전구를 구매할 때는 특정 용도에 맞춰 얼마나 오래 사용할 수 있는지 알고 싶을 뿐이기 때문입니다.
예측 구간은 미래의 단일 관측값에 대한 예측 범위를 나타내는 데 사용됩니다. 공식을 변경하면 세 개 또는 다섯 개의 관측값을 사용할 수도 있지만, 일반적으로는 하나의 관측값을 사용합니다. 예측 구간을 계산하고 95% 신뢰도라고 말할 때는, 모든 미래 관측값을 고려했을 때 그 범위에 하나의 관측값이 추가된다는 의미라는 점에 유의해야 합니다. 즉, 모든 미래 관측값이 예측 구간 안에 포함되거나, 아니면 단 하나의 관측값만 포함된다는 의미가 아닙니다.
예를 들어, 새 전구 하나의 수명이 700시간에서 1,500시간 사이일 것이라고 95% 확신할 수 있습니다. 다시 말해, 이 과정을 반복했을 때 95%의 확률로 맞을 것이라는 뜻입니다. 다음은 고전적인 공식과 무작위 효과를 고려한 혼합 모형 공식입니다.
다음으로 허용 오차 구간이 있습니다. 허용 오차 구간은 예측 구간보다 더 엄격합니다. 일반적으로 제약 회사나 의료 기기 회사에서 사용되는데, 이는 모집단에서 미래 관측값의 일정 비율을 포함하는 구간을 구축하는 데 사용되기 때문입니다. 단순히 하나의 추가 값만 포함하는 것이 아니라, 미래 값의 99%를 포함하도록 설정하는 것이 목표입니다. 이렇게 하면 충분히 안전한 구간이라고 확신할 수 있습니다.
예를 들어, 미래에 생산될 전구 중 최소 99개의 수명이 650시간에서 1,550시간 사이일 확률이 95%라고 말할 수 있습니다. 이렇게 하면 신뢰도를 나타내는 두 가지 척도, 즉 95%와 99%를 얻게 됩니다. 이는 신뢰도와 포함률을 의미합니다. 물론 95%나 99% 외에도 다른 값을 사용할 수 있습니다. 단지 예시일 뿐입니다. 신뢰도는 장기적으로 볼 때, 이렇게 계산된 구간의 95%가 미래 전구 전체의 최소 99%를 포함한다는 것을 의미합니다.
첫 번째 공식은 전형적인 공식이지만, 금방 복잡해집니다. 이 공식은 논문에서 가져온 것으로, 제가 아는 한 현재로서는 가장 적절한 공식입니다. 이는 하나의 랜덤 효과에 대한 공식이지만, 일반화할 수 있습니다.
이제 그만 얘기하고, 실제로 흥미로운 부분이 나오는 JMP로 넘어가 보겠습니다. 먼저 제가 만든 스크립트를 보여드리겠습니다. 이 창을 최소화하세요. 이게 바로 입력 화면, 즉 메인 화면입니다. 탭이 두 개 있는데, 첫 번째 탭부터 시작하겠습니다. 이 탭은 방금 살펴본 데이터와 구간을 시뮬레이션하는 데 사용됩니다. 모델 유형은 평균만 사용하는 모델과 랜덤 효과를 포함하는 모델 두 가지가 있습니다. 평균만 사용하는 모델에서는 정규 분포와 사용자가 계산한 경계값을 사용합니다. 평균, 표준 편차, 그리고 시뮬레이션할 데이터 포인트 개수를 변경할 수 있습니다. 이 모든 계산은 백그라운드에서 자동으로 진행됩니다.
여러분은 직접 조사하고, 각 요소들이 서로 어떻게 관련되는지 살펴볼 수 있습니다. 녹색 선은 신뢰 구간을 나타내고, 빨간색 선은 예측 구간을 나타내며, 허용 오차도 있습니다. 이 예시의 목적은 제가 예를 들어 보장 범위를 변경했을 때 어떤 결과가 나타나는지 확인하는 것입니다.
그러면 허용 오차 분포의 범위가 좁아지거나, 95% 신뢰도를 유지하면서 신뢰도를 변경하고 싶을 수도 있습니다. 신뢰도는 1에서 0.5를 뺀 값입니다. 더 높은 신뢰도를 설정하려면, 예를 들어 예측 구간이 -1.8에서 2 사이가 되는 것을 볼 수 있습니다. 더 높은 확신을 가지려면 범위가 넓어집니다. 범위가 넓어지는 이유는 예측에서 허용되는 오류의 수가 줄어들기 때문입니다. 99%의 확신도를 얻으려면 그 대가로 구간이 넓어져야 하며, 이는 모든 구간에 적용됩니다.
물론, 항상 자신에게 충분히 만족스러운 수준, 감당할 수 있는 최대 실패율, 그리고 예측 추세의 정확도를 어느 정도로 원하는지 사이에서 균형을 찾아야 합니다.
보시다시피, 여기서 시뮬레이션을 클릭하면 됩니다. 실제 수치가 나오는데, 이건 그냥 시뮬레이션을 해보기 위한 겁니다. 평균 모델에는 아무 문제가 없습니다. 이제 좀 더 흥미로운 랜덤 효과 모델로 넘어가 보겠습니다. 여기에도 평균과 표준편차가 나와 있습니다. 보시다시피 표준편차는 각 평균 내, 배치 내, 그룹 내 변동을 나타냅니다.
그다음에는 배치 간 변동이 있는데, 이는 분산 비율을 지정할 때 발생합니다. 분산 비율은 배치 내 변동 대비 배치 간 변동의 비율을 나타냅니다. 그런 다음 원하는 배치 수와 배치당 품목 수를 지정합니다. 예를 들어, 시뮬레이션을 클릭하면 됩니다. 여기에서 볼 수 있듯이, 이 값을 일반적인 값인 5로 다시 변경해 보겠습니다.
여기서 시뮬레이션된 데이터 포인트들이 그룹 간 변동성을 보이는 것을 알 수 있습니다. 즉, 각 그룹 내의 분포는 상당히 유사하지만, 그룹 간에도 어느 정도의 변동성이 존재합니다. 이는 분산 비율 때문입니다. 분산 비율을 10배로 높이면, 이제 그룹 내 변동성이 그룹 간 변동성보다 훨씬 작아지는 것을 확인할 수 있습니다.
한번 생각해 보세요. 이 모든 건 배치 수와 품목 수가 많지 않은 고객 데이터를 다루면서 시작됐습니다. 배치 수를 두 개, 품목 수를 두 개로 줄여서 데이터를 시뮬레이션해 보겠습니다. 다시 시뮬레이션해 보고, 그 이유를 잠시 후에 설명드리겠습니다. 여전히 비슷하죠. 이런 오류가 발생하는 경우가 흔하기 때문에 곧 이해가 되실 겁니다. 분산 비율을 1로 낮춰 보겠습니다.
자, 시작해 볼까요. 죄송합니다. 이제… 아주 흥미로운 점이 있습니다. 신뢰 구간이 생겼습니다. 신뢰 구간은 공정 평균에 대한 것입니다. 개별 한계값에 비해 평활화되어야 하지만, 예측 한계값이 신뢰 구간 내에 있음을 알 수 있습니다. 예측 한계값은 평균을 얼마나 잘 추정했는지에 따른 변동과 무작위 표본 추출로 인한 추가적인 변동을 모두 포함해야 한다는 점을 생각해 보세요. 어떤 의미에서는 예측 한계값이 신뢰 구간보다 상당히 넓어야 하지만, 실제로는 신뢰 구간보다 좁은 것으로 추정됩니다. 직관적으로는 이해가 되지 않지만, 이는 배치 수와 품목 수가 적은 데 따른 대가입니다.
이 문제는 아직 해결되지 않았는데, 그 이유는 이러한 공식들이 Wiley Medicine의 논문을 기반으로 하기 때문입니다. 제가 아는 한, 현재로서는 가장 좋은 공식 중 하나이자 최상의 방법이지만, 배치와 품목 수가 적거나 무작위 효과 수준이 충분하지 않은 경우, 즉 한계를 넘어서는 시도를 할 때는 문제가 발생할 수 있다는 점을 유념해야 합니다. 그룹 수가 적을 경우 이러한 한계는 그다지 신뢰할 수 없게 됩니다.
그 점을 명심하세요. 또한 허용 오차 범위를 살펴보세요. 매우 넓어 보입니다. 이러한 허용 오차 한계는 해당 문서에도 나와 있는데, 거기서는 그런 문제가 발생하지 않습니다. 어쨌든 탭을 변경할 수 있다는 점도 보여드리고 싶습니다. 여기서 시뮬레이션을 실행하면 한 번만 실행되고, 다시 클릭하면 두 번 실행됩니다.
하지만 일반적인 동작을 파악하기 위해 여러 번 실행하고 싶다면 어떻게 해야 할까요? 그러면 동일한 정보가 있는 이 탭으로 이동하면 됩니다. 이 탭은 무작위 모델에 대한 정보만 제공합니다. 예를 들어 마지막 탭의 버튼을 250번 클릭하도록 설정할 수 있습니다. 그런 다음 '시뮬레이션'을 클릭하고 잠시 기다리면 곧 결과가 나타납니다. 이제 결과를 볼 수 있습니다. 여기에는 몇 가지 일반적인 그래프, 히스토그램, 커널 밀도 추정치의 평활화 등이 포함되어 있으며, 이러한 그래프를 통해 예측 범위와 허용 오차 범위의 분포 형태와 확산 정도를 파악할 수 있습니다.
보시다시피 허용 오차 범위는 예측 오차 범위보다 넓고, 예측 오차 범위는 신뢰 구간 범위보다 넓은 경향이 있습니다. 이는 이러한 시나리오에서 당연한 결과입니다. 또한, 매우 중요하다고 생각되는 정보를 몇 가지 추가했습니다. 신뢰 구간이란 실제 평균값이 신뢰 구간에 포함되는 비율을 나타냅니다. 이 시뮬레이션에서는 95%가 되어야 하는데, 실제로는 94.4%가 나왔습니다. 상당히 좋은 결과입니다.
예측 구간을 추정 신뢰도로 설정했을 때, 구간에 추가 데이터 포인트가 포함되는 경우가 몇 번이나 될까요? 94%의 확률로 포함됩니다. 이 부분을 별표로 표시한 이유는 예측 구간을 이런 식으로 사용해서는 안 되기 때문이지만, 꽤 자주 발생하는 경우이므로 언급할 필요가 있다고 생각했기 때문입니다.
95% 신뢰도의 예측 구간이 있다고 생각하면, 앞으로 추출할 샘플의 95%가 예측 구간 안에 포함될 것이라고 예상할 수 있습니다. 하지만 실제로 95% 신뢰도에서 예측 구간 안에 포함되는 샘플은 84%에 불과하다는 사실을 알게 된다면 실망할 수도 있습니다. 이러한 방식으로 예측 구간을 사용하려는 경우, 실제보다 과대평가하여 위험을 줄일 수 있다는 점에 유의해야 합니다.
다음으로 예상 신뢰도와 허용 오차 범위의 예상 커버리지를 살펴보겠습니다. 이 경우 두 값 모두 95%가 되어야 하며, 상당히 양호한 결과입니다. 특히 분산을 높이고 배치 수를 줄이는 경우 이 점에 유의해야 합니다. 다시 시뮬레이션을 실행하여 결과를 확인해 보겠습니다. 이번에는 20개 품목으로 구성된 3개의 배치와 매우 높은 분산 비율을 가정했습니다. 출력 결과를 살펴보겠습니다.
예를 들어, 지금 이 시나리오에서 예측 구간으로 95%를 커버할 수 있다고 생각했는데 실제로는 57%만 커버하고 있습니다. 이 구간은 이 시나리오에서 제대로 작동하도록 설계되었기 때문에 충분히 좋은 결과를 보여주고 있지만, 예측 구간을 다른 방식으로 사용하지는 마십시오. 이것이 제가 제시한 인터페이스입니다.
마지막으로, 약속드린 대로 데이터를 분석하는 예시를 보여드리겠습니다. 지금까지 이야기해 온 주사기 예시로 다시 돌아가 보겠습니다. 주사기를 생산하는 두 개의 생산 라인, 즉 1번과 2번 라인이 있다고 가정해 보겠습니다. 총 40개의 배치가 있습니다. 여기 아래로 스크롤해 보시면 각 생산 라인에 20개씩, 총 40개의 배치가 있는 것을 확인할 수 있습니다. 그리고 여러분은 주사기의 직경을 측정했습니다.
이것이 샘플입니다. 배치당 20개의 측정값이 있습니다. 어디서부터 시작해야 할까요? 예를 들어 분포부터 살펴보는 것이 좋습니다. JMP에서 신뢰구간과 허용오차를 구하는 것은 매우 쉽기 때문입니다. 분포를 선택하고 95% 신뢰구간을 요청합니다. 그런 다음 예측구간을 요청하고 다시 95% 신뢰구간을 요청할 수 있습니다. 그리고 허용오차를 요청할 수도 있습니다. 이렇게 하면 구간을 얻을 수 있습니다.
이 부분은 괜찮을 것 같지만, 조금 주의해야 할 것 같습니다. 앞서 이야기했듯이, 우리가 세운 가정 중 하나가 분포가 정규 분포라는 점이기 때문입니다. 이 결과는 꽤 괜찮아 보입니다. 실제로는 이 정도면 충분하다고 할 수도 있겠네요. JMP에게 다양한 분포를 모두 적용해보고 가장 적합한 분포를 알려달라고 해볼까요? 잠시만 기다려 주세요. 곧 응답이 올 겁니다.
가능한 한 가정을 최대한 존중해야 하지만, 여기서는 JMP가 정규 분포를 첫 번째 선택으로 고려하지 않는다는 것을 알 수 있습니다. 실제로 JMP는 "대신 다음 중 하나를 선택하세요"라고 알려줍니다. 히스토그램을 살펴보거나 정규 분위수 그림을 만들어 데이터 포인트가 빨간색 선 안에 있는지 확인하면 일반적으로 문제가 없습니다. 그래프가 최대한 직선에 가까울수록 좋습니다. 이대로도 어느 정도 괜찮을 수 있지만, 더 나은 방법을 찾아보겠습니다.
일반적으로는 [모델 적합]을 선택합니다. 먼저 주사기 직경만 Y축으로 설정하고 다른 변수는 넣지 않습니다. 잔차를 살펴보면 이상한 점이 보입니다. 두 가지 레벨이 있는 것 같습니다. 다시 시도해 보겠습니다. [모델 적합]으로 이동하여 직경을 추가하고, 배치 변수를 랜덤 효과로 추가합니다. 배치 변수 자체는 중요하지 않지만 배치 간에 차이가 있을 수 있다는 점을 고려하는 것이 좋습니다. 배치 변수를 랜덤 효과로 추가하고 생산 라인도 입력합니다. [실행]을 클릭합니다.
여기서 무엇을 볼 수 있을까요? 잔차가 이제 상당히 고르게 분포되어 있는 것을 알 수 있습니다. 특정한 형태가 보이지 않죠. 이는 모델이 상당히 정확하다고 가정할 수 있다는 뜻입니다. 생산 라인이 매우 유의미한 것으로 나타났는데, 이는 생산 라인 1과 2의 수준 간에 차이가 있다는 것을 의미합니다. 왜 그럴까요? 우리는 알 수 없습니다. 분명 이유가 있겠지만, 어쨌든 이 결과는 생산 라인 1을 모델에 포함하는 것이 좋다는 것을 보여줍니다.
그다음 아래쪽에서 분산 구성 요소를 살펴봅니다. 분산의 몇 퍼센트를 차지하는지, 즉 배치 간 변동이 공정에 얼마나 영향을 미치는지, 그리고 배치 내 변동이 얼마나 영향을 미치는지 확인합니다. 일반적으로 각 분산 구성 요소의 표준 편차 추정치를 확인하기 위해 제곱근을 더합니다. 배치 간 변동과 배치 내 변동이 상당히 유사하다는 것을 알 수 있습니다.
JMP를 설치한 후 신뢰 구간을 구하는 가장 쉬운 방법은 프로파일러를 사용하는 것입니다. JMP는 파란색 선을 통해 "생산 라인 1의 경우 평균은 10.29로 추정되지만, 95% 신뢰 수준에서는 10.27에서 10.30 사이입니다. 생산 라인 2의 경우 추정치는 10.19이지만, 95% 신뢰 수준에서는 10.18에서 10.20 사이입니다."와 같은 정보를 제공합니다.
예측 구간이 필요하시면 여기서 요청하실 수 있습니다. 말씀드렸다시피 복잡한 공식이 적용됩니다. 각 생산 라인별로, 생산 라인 1에서 생산된 개별 주사기에 대한 정보를 제공해 드립니다. 예를 들어 새 주사기를 선택했을 때, 95% 신뢰 수준에서 가장 유력한 예측치는 10.21에서 10.36 사이입니다. 생산 라인 2에 대한 다른 값들도 제공됩니다. 이러한 값들은 저장해 두실 수 있습니다. 예를 들어 개별 신뢰 구간과 같은 열을 저장해 두면, 해당 값들이 데이터 테이블에 저장되어 바로 사용할 수 있게 됩니다.
지금은 이 파일들을 삭제하고 저희가 만든 스크립트를 사용해서 어떻게 접근하는지 보여드리겠습니다. 또 다른 스크립트인데, 열어보시죠. 이건 워크플로우입니다. 모델이 마음에 들면, 가장 먼저 해야 할 일은 모델이 만족스러운지 확인하고 '재생' 버튼을 누르는 것입니다. 그러면 스크립트 또는 워크플로우가 적절한 결과를 도출해 줄 것입니다. 실행되는 동안 잠시 기다려 주시면 됩니다. 마지막에는 제어 테이블 출력 결과를 보실 수 있습니다.
보시다시피 파일에 있던 정보를 복사한 다음 여러 새 열을 계산합니다. 원하는 정보만 가장 쉽게 확인하려면 '제어 그래프 한계'라고 표시된 스크립트를 클릭하면 됩니다. 그러면 원하는 결과가 표시됩니다. 이 기능을 통해 허용 오차 구간과 모델에서 계산된 신뢰 구간을 모두 확인할 수 있습니다. 모델에 따라 생산 라인이 고정 효과로 설정되어 있으므로 두 가지 다른 한계값이 나옵니다. 하나는 생산 라인 1에 대한 것이고, 다른 하나는 생산 라인 2에 대한 것입니다.
개별 사례를 살펴보면, 해석은 신뢰도에 따라 달라집니다. 신뢰도를 확인해 보니 0.05인데, 이는 단측 검정입니다. 양측 검정으로 만들려면 이렇게 하면 됩니다. 어쨌든, 이제 95% 신뢰도로 말씀드릴 수 있는데, 1번 생산 라인에서 생산되는 미래 인구의 최소 99.73%가 이 두 라인 안에 포함될 것이며, 이는 우리가 설정한 보장 범위입니다. 2번 생산 라인도 마찬가지입니다.
우리는 규격 범위 내에 있으므로, 적절한 품질 수준을 유지하고 있음을 최대한 입증한 셈입니다. 규격 범위를 벗어난 경우에는 품질 관리가 제대로 이루어지지 않고 있다는 의미일 수도 있지만, 더 많은 데이터를 수집해야 한다는 의미일 수도 있습니다. 데이터가 많을수록 규격 범위가 좁아지기 때문입니다. 이상으로 제 발표를 마치겠습니다. 유익한 시간이 되셨기를 바랍니다. 들어주셔서 감사합니다.
