자, 그럼 합격/불합격 응답을 다루는 실험 설계 및 분석에 대해 이야기해 보겠습니다. 이번 시간에는 합격/불합격 응답에 대해 주로 다룰 예정이지만, 이 내용은 두 가지 범주로 나눌 수 있는 이진 응답, 즉 상호 배타적이고 완전한 응답이라면 어떤 경우든 적용할 수 있습니다. 합격/불합격, 진행/중단, 예/아니오 등 상호 배타적이고 완전한 두 가지 범주를 가진 응답이라면 모두 해당됩니다. 이번 시간은 네 부분으로 나누어 진행하겠습니다. 먼저 예시를 하나 들어보겠습니다. 아마 익숙하게 느껴지실 수도 있을 겁니다.
이 발표는 과거 실패 사례를 다루는 실험에서 여러분이 접해봤을 법한 내용일 것입니다. 어떤 문제가 발생할 수 있는지 몇 가지 예를 들어보겠습니다. 그 후에는 모델에 대해 이야기할 텐데, 모든 것은 제가 모델에 대해 세운 기본 가정에 달려 있기 때문입니다. 이 가정은 제가 선택하는 분석 방법과 실험 규모를 결정하는 데 중요한 역할을 합니다. 파워포인트 슬라이드 발표가 끝나면, 제가 제시할 예시 데이터, 즉 실험 데이터를 실제로 어떻게 분석하는지 보여드리겠습니다.
JMP와 JMP Pro에서 사용할 수 있는 몇 가지 옵션에 대해 이야기해 보겠습니다. 마지막으로 실험 규모를 어떻게 정하는지 살펴보겠습니다. 합격/불합격 실험의 경우, 실험 실행 횟수가 중요한 것이 아니라 실험 조건당 시행 횟수, 즉 실험 조건별 시행 횟수가 중요합니다. JMP Pro에서 시뮬레이션을 설정하여 적절한 시행 횟수를 결정하는 방법에 대해 알아보겠습니다. 예를 들어 위젯을 만드는 경우를 생각해 보겠습니다. 현재 불량률이 만족스럽지 못한 공정이 있습니다.
저희는 이 위젯의 불량률을 개선하는 데 도움이 될 것으로 예상되는 네 가지 요인을 파악했습니다. 첨가제, 압축 공정(이 중 세 가지 요인을 변경할 예정입니다), 온도, 압력, 유지 시간입니다. 핵심은 위젯에 결함이 있는지 여부입니다. 위젯을 가공하여 결함이 있는지 없는지 확인합니다. 결함이 있는 경우 불량으로 간주합니다. 현재 불량률은 15%이며, 이 수치를 기준으로 실험 규모를 결정할 것입니다.
저희 목표는 불량률을 5%까지 낮추는 것입니다. 하지만 3~5% 정도의 차이만이라도 확인할 수 있다면 만족할 것입니다. 예를 들어 불량률이 10%까지 낮아진다면 더할 나위 없이 좋겠죠. 그런 변화를 감지할 수 있다면 더욱 좋을 겁니다. 그리고 한 가지 더 궁금한 점은, 한 번 실행하는 데 약 10분이 걸린다는 것입니다. 실행 횟수에는 제한이 없고, 시간당 약 6회 정도 실행할 수 있습니다.
좋습니다. 그럼 이 요인을 JMP에 입력한다고 가정해 보겠습니다. 사용자 지정 설계 도구를 열고 반응 표면 설계를 선택합니다. 중심점을 세 개 추가하면 다음과 같은 설계가 나옵니다. 여기까지는 좋습니다. 이 설계를 실험을 진행할 담당자에게 보내고, 담당자는 결과를 반환합니다. 실험은 총 24회, 약 4시간 동안 진행됩니다. 1과 0은 각각 결함이 있는 관측값과 결함이 없는 관측값을 나타낸다고 합니다. 이제 데이터를 분석하기 위해 JMP에 입력합니다.
자, 저는 저 1과 0으로 이루어진 데이터들이 연속형 데이터가 아니라 범주형 데이터, 즉 이진 데이터라는 것을 알고 있습니다. 그래서 그렇게 처리할 겁니다. 제가 다루는 것이 로지스틱 회귀 분석이라는 것도 알고 있습니다. JMP에서 이 실험을 설계했기 때문에, 모델 구성 대화 상자에 반응 표면 모델이 나타납니다. 분석을 실행하려고 하는데, 바로 문제가 발생합니다. 모수 추정치에 대해 "모수 추정치가 불안정합니다"라는 메시지가 나타납니다.
제가 이런 종류의 실험에 대해 좀 더 잘 아는 사람과 상의했다고 가정해 보겠습니다. 그 사람이 "문제는 특정 조건 세트에 대해 한 번밖에 실험을 하지 않았다는 겁니다. 정확한 결과를 얻으려면 여러 번 실험을 해야 합니다."라고 말할 겁니다. 제가 다시 담당자에게 돌아가서 실험 규모를 한 번에서 다섯 번으로 늘리는 것에 대해 이야기해 보겠습니다. 담당자는 반대하지만, 실험 횟수를 늘리는 데 동의합니다. 그러면 실험 시간이 약 20시간 정도 걸리게 됩니다. 하지만 저는 담당자를 설득해서 각 실험 조건 세트에 대해 다섯 번씩 실험을 다시 진행하기로 결정합니다.
실험 결과를 받았습니다. 실험에 따라 두 개의 새로운 열이 추가되었네요. Y5 열은 실패 횟수를 나타내고, N으로 시작하는 열은 특정 실험 조건에 대한 시행 횟수를 나타냅니다. 이번에는 횟수 데이터 대신 실패 횟수를 전체 시행 횟수로 나누어 연속형 데이터로 처리해 보겠습니다. 이렇게 하면 특정 실험 조건에서의 실패 비율을 얻을 수 있습니다.
저는 이 데이터를 연속형 데이터로 처리할 겁니다. 이렇게 하는 게 더 익숙하고 편하거든요. 지난번에 봤던 모델과 같은 모델이지만, 로지스틱 회귀 대신 표준 오차 제곱을 사용하겠습니다. 좋습니다. 지금까지는 순조롭네요. 제가 선호하는 모델링 기법과 모델 축소 기법을 사용해서 최종 모델을 도출했습니다. 다시 한번 말씀드리지만, 지금까지는 좋습니다. 다음으로 최적화를 진행하겠습니다.
오류율을 최대한 낮추는 조건을 알고 싶습니다. 프로파일러 내의 최적화 도구를 사용하면 전체 실행 시간을 45초로, 온도를 45도C로 설정하면 예상 오류율이 0 미만이 될 거라고 합니다. 이 값이 0에 매우 가깝기 때문에 '아마 0에 아주 가까워서 그런 거겠지'라고 생각하고 무시할 수도 있겠지만, 기술적으로는 오류율이 0 미만일 수는 없다는 것을 알고 있습니다. 따라서 이 값을 그대로 사용하더라도 '이 예측치가 얼마나 정확할까?'라는 의문이 들 수밖에 없습니다.
내가 0에 얼마나 가까운 걸까? 내가 잘못된 모델을 만든 걸까? 모든 건 내가 만든 모델, 즉 데이터를 연속형으로 취급할 때 세운 가정과, 합격/불합격 데이터를 다룰 때 세워야 할 가정으로 귀결된다. 이게 우리가 흔히 사용하는 모델이다. 왼쪽에는 응답, 즉 관측값이 있다. 우리 경우에는 불합격 확률이다. 아, 맞다. 왼쪽에는 불합격 확률이 있다.
오른쪽에는 선형 모델이 있습니다. 우리가 하려는 것은 입력값과 출력값 사이의 관계를 설정하는 것입니다. 일반적으로 우리가 고려하는 부분이죠. 이 경우 흔히 하는 가정은 관계가 선형이고, 반응 범위가 무한대이며, 잔차가 정규분포를 따른다는 것입니다. 잔차는 모델을 데이터에 맞춘 후 남은 부분인데, 일반적으로 정규분포를 따른다고 가정합니다. 즉, 0을 중심으로 대칭이고, 여러 가지 좋은 특성을 가진다는 뜻입니다. 하지만 바로 이 부분이 문제의 일부입니다.
확률을 다룰 때, 우리의 반응은 선형 관계보다는 S자형 곡선에 더 가까운 형태를 보입니다. 선형 관계는 성립하지 않습니다. 또한, 확률을 다룰 때는 0보다 작은 값도, 1보다 큰 값도 있을 수 없기 때문에 무한한 반응 범위 가정도 성립하지 않습니다. 마지막으로, 정규 오차 가정도 성립하지 않습니다. 생각해 보면, 예측값이 0에 가까워질수록 잔차는 점점 줄어들게 됩니다. 즉, 적합값과 0 사이의 범위가 좁아지는 것입니다.
0에 가까울수록 대칭적인 오차가 발생할 수 없습니다. 마찬가지로 1에 가까워질수록 대칭적인 오차가 발생할 수도 없습니다. 이 경우에는 어떤 식으로든 해결해야 합니다. 이 문제를 간단하게 해결할 수 있는 방법이 있기를 바랍니다. 아마도 간단한 변환이나 다른 분포를 사용하는 방법이 있을 것입니다. JMP에서 이것이 가능할까요? 세 가지 옵션이 있습니다. 첫 번째 옵션은 예제에서 이미 살펴본 로지스틱 회귀 분석입니다. 즉, 데이터에 로짓 변환을 적용하는 것입니다.
이 경우, 우리는 반응으로서의 확률을 보는 것이 아니라, 두 가지 반응 수준의 비율을 보고 있습니다. 즉, 실패 확률을 성공 확률로 나눈 값에 로그를 취하는 것입니다. 이렇게 로그를 취하는 이유는 관계를 선형 관계로 만들기 위해서입니다. 다른 관점에서 보면, 두 가지 수준만 있으므로 실패 확률을 1에서 실패 확률을 뺀 값으로 나눈 비율이 될 수도 있습니다. 만약 여러분이 이전에 이러한 종류의 모델을 사용해 본 적이 있고, 오즈(odds)와 로그 오즈(log odds)라는 용어를 들어본 적이 있다면, 이것이 바로 그 정의입니다.
방정식의 맨 처음 부분이 바로 확률의 정의입니다. 한 레벨과 다른 레벨의 비율이죠. 이게 제가 구하려는 확률이고, 그 값에 로그를 취하면 됩니다. 이게 한 가지 방법입니다. 또 다른 방법은 유언 검인 분석(probate analysis)을 사용하는 것입니다. 유언 검인 분석에서는 다른 변환을 사용합니다. 이 경우에는 정규 분포의 역함수를 사용합니다. 수식 편집기나 JSL을 사용해 본 적이 있다면, 이는 정규 분위수 함수(normal quantile function)와 같은 것입니다.
자, JMP에서 가능한 세 번째 옵션이 있습니다. 약간의 작업이 필요하고 사용법에 대해 자세히 설명하지는 않겠지만, 문헌에서 자주 볼 수 있는 보완 로그 함수(complementary Log function)를 소개하고자 합니다. 이 함수는 JMP에서 직접 사용할 수는 없습니다. 비선형 플랫폼과 같은 도구를 사용하여 직접 구현해야 합니다. 최소 극값 분포(Smallest Extreme Value Distribution)라는 분포를 사용하여 근사할 수는 있지만, 이는 나중에 다루도록 하겠습니다. 오늘은 JMP에서 기본적으로 제공되는 기능에 집중하겠습니다.
자, 여기서 두 번째로 중요한 가정이 있습니다. 바로 로짓 변환이든 프로빗 변환이든 어떤 변환을 선택하더라도 오차항은 이항 분포를 따른다고 가정해야 한다는 것입니다. 왜냐하면 두 가지 요소가 있기 때문입니다. 변환을 수행하는 것뿐만 아니라 다른 분포를 가정하는 것도 포함됩니다. 앞서 언급했듯이 첫 번째와 두 번째 방법은 JMP 플랫폼에서 바로 사용할 수 있으므로 간단합니다. 이 두 가지에 집중하겠습니다. 마지막 방법은 비선형 플랫폼을 사용하여 모델링할 수 있습니다. 좋은 점은 모든 기능이 모델 적합 플랫폼에서 제공된다는 것입니다. JMP에는 세 가지 옵션이 있습니다.
예시에서 보셨듯이 로지스틱 회귀 분석을 사용할 수 있습니다. 일반화 선형 모델이라는 옵션이 있는데, 명목 로지스틱 회귀 분석과 일반화 선형 모델 사이에는 밀접한 관련이 있습니다. JMP Pro 사용자의 경우 일반화 회귀 분석을 통해 훨씬 더 다양한 옵션을 사용할 수 있습니다. Y를 X에 종속시키는 단순 로지스틱 회귀 분석을 수행할 수 있는 다른 플랫폼도 있지만, 실험 조건과 같이 여러 요인이 있는 경우가 많으므로 이 부분은 다루지 않겠습니다. 하지만 단순 로지스틱 회귀 분석의 경우 Y를 X에 종속시키는 방식도 효과적입니다.
JMP에서 이 기능을 어떻게 구현하는지 알아보기 전에 데이터 구성에 대해 먼저 이야기해야 합니다. 데이터를 어떻게 구성해야 하는지, 어떤 데이터를 어떻게 구성해야 하는지 알아야 합니다. 적합 모델 대화 상자에서 쉽게 설정할 수 있습니다. 간단한 예를 들어 보겠습니다. 시간과 온도라는 두 가지 요인을 가진 실험이 있다고 가정해 봅시다. 완전 요인 설계를 했기 때문에 시간과 온도의 모든 가능한 조합이 있습니다. 각 실험 조건당 5번의 시행을 계획한다고 가정해 보겠습니다.
여기서 '처리'란, 각 처리 조합의 고유한 집합, 즉 데이터 테이블의 각 행을 의미합니다. 데이터를 설정하는 방법은 세 가지가 있습니다. 첫 번째는 원시 데이터 그대로 사용하는 것입니다. 데이터 테이블의 각 행은 하나의 실험에 해당합니다. 원시 데이터의 첫 번째 행을 보면, 주어진 시간과 온도에 대한 첫 번째 처리 조합이 있습니다. 이 경우, 이진 반응은 반응이 초록색인지 빨간색인지 여부입니다. 첫 번째 반응은 초록색입니다. 두 번째 행도 첫 번째 처리 조합이고, 반응은 빨간색입니다. 이런 식으로 계속됩니다.
이것이 바로 원시 데이터 형식입니다. 세 가지 접근 방식 모두 원시 데이터를 사용할 수 있습니다. 이제 요약을 해보겠습니다. 때로는 데이터를 요약하는 것이 더 유용할 수 있습니다. 데이터를 요약할 때는 처리 조건과 반응 수준 모두를 기준으로 요약합니다. 요약된 스택의 첫 번째 행을 보면, 처리 조건 1에 해당하는 모든 녹색 데이터와 녹색으로 나타난 두 개의 사례가 있습니다. 두 번째 행은 두 번째 처리 조합에 해당하는 세 개의 녹색 관측치로 구성되어 있습니다. 이런 식으로 계속됩니다. 방금 처리 조합과 반응 수준별로 데이터를 집계한 것입니다.
좋습니다. 세 가지 접근 방식 모두 요약된 스택 형식을 사용할 수 있습니다. 세 번째 형식은 선형 모델에 사용하는 형식과 매우 유사하기 때문에 많은 사람들에게 가장 익숙할 것입니다. 바로 요약된 분할 형식입니다. 이 경우, 치료 조합에 따라 집계했지만, 하나의 치료 수준에 대해서만 집계했습니다. 각 시행에서 녹색 관측치가 나타난 횟수와 시행 횟수를 모두 계산했습니다. 예를 들어, 사용자 지정 설계 도구를 사용하여 실험 설계를 구축할 때 데이터를 입력하는 방식이 바로 이와 유사할 것입니다.
요약된 스택 형식을 사용하려면 실제로 이러한 실행 결과를 두 개로 복제해야 합니다. 녹색 데이터용 하나, 빨간색 데이터용 하나를 만들고 약간 다르게 재구성하면 됩니다. 그런데 로지스틱 회귀는 이 형식을 사용할 수 없습니다. 다른 두 가지 형식 중 하나를 사용해야 합니다. 일반화 선형 모델과 일반화 회귀는 이 형식을 사용할 수 있습니다. 로지스틱 회귀를 사용할 계획이라면 이 점을 유의해야 합니다. 자, 그럼 이제 시작해 보겠습니다. 파워포인트는 이쯤 하고, JMP에 들어가서 우리가 살펴본 실험 데이터를 사용하여 각 예제를 어떻게 분석했을지 이야기해 보겠습니다.
자, 로지스틱 회귀 분석을 해봅시다. 첫 번째 예제인 로지스틱 회귀 분석부터 시작할게요. 요약된 스택과 형식도 보이네요. 합격과 불합격 횟수가 담긴 열이 있고요. 이건 집계된 데이터입니다. 다른 열에도 횟수가 나와 있죠. 네, 아주 간단하죠. 앞으로 우리가 이야기할 모든 내용은 적합도 분석에 관한 것입니다. 제가 JMP로 이 모델을 설계했기 때문에, 적합도 분석 결과가 함께 제공됩니다.
이것은 제가 실험을 설계한 반응 표면 모델입니다. 이미 대화 상자가 채워져 있지만, 제가 강조하고 싶은 것은 이 경우 반응 변수가 명목형이라는 점입니다. 즉, 합격/불합격입니다. 데이터를 집계했기 때문에 카운트 값도 필요합니다. 이제 목표 수준을 선택할 건데, 이는 출력 결과를 어떤 방향으로 보고 싶은지에 따라 달라집니다. 합격 기준으로 작업을 수행할지, 불합격 기준으로 작업을 수행할지 결정해야 합니다. 다시 합격으로 설정해 보겠습니다. 이제 몇 가지 선택지가 나타납니다.
둘 다 로지스틱 회귀 분석입니다. 저는 명목 로지스틱 회귀 분석을 사용하고 있습니다. 단계적 회귀 분석에 대해 조금 안다면, 제 로짓 모델이나 로지스틱 회귀 모델에 단계적 회귀 분석을 적용할 수도 있습니다. 그것도 하나의 방법입니다. 좋습니다. 그럼 원래의 명목 로지스틱 회귀 분석만 사용하겠습니다. 모델을 실행하고 나서 데이터 축소 기법이나 모델 축소 기법을 사용할 겁니다. 모델에서 항목을 수동으로 제거하는 등의 작업을 할 수도 있겠죠. 아니면 단계적 회귀 분석을 사용할 수도 있습니다.
사실, 처음부터 올바른 모델을 만들었기 때문에 중요하지 않습니다. 모델에서 항 하나를 더 제거해 보겠습니다. 좋습니다. 이게 최종 모델이라고 가정하고, 이 모델에 만족합니다. 프로파일러로 들어가 보겠습니다. 프로파일러 부분을 아래로 스크롤해서 좀 더 크게 만들어서 잘 보이도록 하겠습니다. 이 모델을 사용하는 장점 중 하나는 프로파일, 즉 합격과 불합격 확률이 0에서 1 사이여야 한다는 것입니다. 이제 선호도 함수를 켜 보겠습니다. 이것은 두 그룹으로 나뉘어 있어서 조금 다르게 보일 것입니다.
제가 목표로 하는 합격률과 불합격률이 있습니다. 불합격률을 최적화할 필요가 없으므로 불합격률을 0으로 낮추겠습니다. 합격률에 대한 선호도를 높여 보겠습니다. 그러면 온도는 여전히 동일하게 표시되지만, 예상 불합격률, 즉 이 경우에는 예상 합격률을 더 정확하게 예측할 수 있습니다. 이 설정으로 약 96%의 합격률, 즉 약 4%의 불합격률을 얻을 수 있을 것으로 예상됩니다.
확실히 0보다 낮지는 않고, 예상했던 것보다 0에서 조금 더 멀리 떨어져 있네요. 좋습니다. 그럼 일반화 선형 모델로 넘어가서 요약 분할 형식을 사용해 보겠습니다. 이전에 선형 모델을 사용해 보셨다면 이 형식이 익숙하실 겁니다. 여기에는 제 실험 설계에서 얻은 관측값들이 있습니다. 각 수준에 속하는 관측값의 수를 세었는데, 이 경우에는 실패 항목의 수를 세었고, 그 다음에는 총 시행 횟수가 있습니다.
자, 다시 한번 '모델 적합' 대화 상자로 들어가 보겠습니다. 이 대화 상자는 조금 다르게 설정되어 있습니다. 이 특정 조직의 경우, 연속형 변수가 두 개 있습니다. 첫 번째는 개별 수준의 개수이고, 두 번째는 총 개수입니다. 기본적으로 일반화 선형 모델(Generalized Linear Model)이 선택되어 있습니다. 분포를 선택했는데, 이 경우에는 이항 분포(Binomial)가 기본값으로 설정되어 있습니다. 여기서는 로짓(Logit) 또는 프로빗(Probit)을 선택할 수 있습니다. 확률 계산 방식에 약간의 차이가 있지만, 로짓을 선택하겠습니다. 기본적으로 로짓 회귀와 로지스틱 회귀는 동일한 결과를 보여줍니다.
일반화 선형 모델의 장점 중 하나는 앞서 살펴본 몇 가지 가정을 완화할 수 있다는 점입니다. 그 가정 중 하나는 오차항이 이항분포를 따른다는 것입니다. 이항분포를 따르는 오차는 확률과 관계없이 고정되어 있습니다. 하지만 과분산 기능을 활성화하면 변동성이 예상보다 크거나 오차가 예상보다 클 수 있음을 나타낼 수 있습니다. 즉, 이항분포를 따른다는 가정을 다소 완화할 수 있습니다.
잠재적 편향을 고려하여 추정치를 조정할 수도 있습니다. 과분산 기능을 활성화하겠습니다. 다시 모델을 실행해 보겠습니다. 이 접근 방식의 단점 중 하나는 단계적 회귀 분석 기능이 없다는 것입니다. 직접 들어가서 수동으로 선택하거나, 최종 모델을 결정하기 전에 미리 가정된 모델을 선택해야 합니다. 다시 한번 말씀드리지만, 수동으로 진행하겠습니다. 세 가지 주요 요인을 도출해 보겠습니다. 로지스틱 회귀 분석과 비교해 보면, 과분산 기능을 활성화했기 때문에 변동성이 추정치보다 약간 더 큰 것을 알 수 있습니다.
제 P값이 조금 더 큽니다. 여기서 저는 스스로에게 물어봐야 합니다. 이러한 값들이 유의미하지 않더라도 모델에 포함시킬 가치가 없다고 정말로 믿어야 할까요? 하지만 좋은 점은 모델에서 특정 가정을 완화할 수 있는 옵션이 있다는 것입니다. 다시 말하지만, 프로파일러를 켜고 최적화를 수행하고 싶다면 그것도 가능합니다. 똑같이 유용한 기능들을 사용할 수 있습니다. 이 경우에는 과거의 실패가 아니라 확률을 모델링하기 때문에 구성 방식이 약간 다릅니다. 우리가 더 익숙한 프로파일러를 사용하는 것입니다. 당연히 이 경우에는 최적화를 하면 실패 횟수가 최대화되므로 최적화를 원하지 않습니다. 실패 횟수를 최소화해야 합니다. 그럼 최적화를 진행해 보겠습니다.
다시 말씀드리지만, 모든 시간, 45초, 온도, 45초라고 표시됩니다. 아주 근사치이긴 하지만 약간 다른 추정치를 제공할 것입니다. 좋은 점은 여기서 값이 제한된다는 것입니다. 슬라이더가 어디로 가든 확률은 0에서 1 사이로 제한됩니다. 자, 마지막 예제로 일반화 회귀에 대해 이야기해 보겠습니다. 이것은 JMP Pro에서만 사용할 수 있는 기능입니다. 몇 가지 추가 옵션을 제공합니다. 요약된 분할 데이터가 있으므로 시작 위치, 모델 적합, 설정은 동일하게 유지됩니다.
하지만 저는 일반화 회귀를 선택하겠습니다. 이제 다른 분포를 선택해 보겠습니다. 이 경우, 반응 변수가 두 개의 서로 다른 변수로 설정되어 있으므로 이항 분포를 사용할 수 있습니다. 베타-이항 분포를 선택할 수도 있습니다. 베타-이항 분포는 일반화 선형 모델에서 과분산 옵션을 사용하는 것과 유사한 기법입니다. 이를 통해 확률의 위치에 따라 변하는 분산을 고려할 수 있습니다. 이 경우에는 기본 설정을 그대로 사용하겠습니다. 이제 모델을 실행해 보겠습니다.
일반화 회귀 분석을 사용해 보신 적이 있다면, 이 플랫폼에서 모든 모델 축소 기법을 사용할 수 있다는 것을 아실 겁니다. 이 경우라면 아마 이러한 기법 중 하나를 사용할 것 같습니다. 설정이 제대로 되었는지 확인해 보겠습니다. 유전성을 적용하겠습니다. 전진 단계적 회귀 분석을 사용해 보겠습니다. 여기에는 다양한 옵션이 있습니다. 일반화 회귀 분석을 처음 접하시는 분들을 위해 설명드리자면, 모델 축소 기법에 있어 여러 가지 유용한 옵션이 있습니다. 저는 단계적 회귀 분석의 기본값인 전진 단계적 회귀 분석을 사용하겠습니다. '실행'을 클릭하면 최종 모델이 나타납니다.
다시 한번 말씀드리지만, 결과가 매우 일관적입니다. 세 가지 모델 모두 매우 일관된 결과를 보여주고 있습니다. 매개변수 추정치와 확률은 약간씩 다를 수 있습니다. 자, 이제 문제는 이 실험을 의미 있게 만들기 위해 충분한 시행착오를 거쳤는지 여부입니다. 바로 이 부분에서 실험 규모를 적절하게 조정하는 방법이 중요해집니다. 실험 설정에 대한 몇 가지 간단한 슬라이드를 보여드리기 위해 파워포인트 슬라이드로 돌아가겠습니다.
이 실험을 어떻게 진행할지, 실험 규모를 어떻게 설정할지 설명드리겠습니다. 참고로, 이 기능은 JMP Pro에서만 기본적으로 제공되는 기능입니다. JMP Pro를 사용하지 않는 분들은 JSL 스크립트를 작성하여 구현할 수도 있지만, 매우 번거로울 것입니다. JMP Pro는 이 설정을 매우 간편하게 만들어 줍니다. 먼저 사용자 정의 디자이너를 사용해 보겠습니다. 사용자 정의 디자이너를 이용하여 원하는 설계를 구성합니다. 최종 표를 생성하기 전에 응답 시뮬레이션 기능을 활성화하겠습니다.
왼쪽 상단 모서리에 있는 핫스팟을 클릭하세요. 데이터 테이블을 생성하면 계수를 변경할 수 있는 대화 상자가 나타납니다. 다음 슬라이드에서 이러한 계수를 설정하는 방법에 대해 자세히 설명하겠습니다. 계수를 원하는 크기로 변경할 것입니다. 다음 슬라이드에서 좀 더 자세히 설명하겠습니다. 계수를 변경한 후에는 오차를 이항 분포로 설정하고, 표본 크기(시행 횟수)를 선택한 다음, 적용을 클릭하면 됩니다.
시뮬레이션 응답 옵션을 선택하면, 제가 이항 오차를 선택했기 때문에 두 개의 열이 생성됩니다. 하나는 시뮬레이션된 시행 횟수와 시행 성공 횟수를 나타내고, 다른 하나는 총 시행 횟수를 나타냅니다. 이 데이터를 사용하여 전체 시뮬레이션을 진행할 것입니다. 이제 실험 규모를 결정하는 데 매우 중요한 단계인 계수 설정에 대해 이야기해 보겠습니다. 계수 설정 방법은 기본 모델에 따라 달라집니다. 즉, 로짓 모델을 선택할지 프로빗 모델을 선택할지에 따라 결정됩니다.
제 예시에서는 방금 살펴본 데이터, 즉 로짓 모델을 사용한 예시를 활용하겠습니다. 이를 통해 기준 확률을 설정하는 방법을 결정할 수 있습니다. 예시에서 말씀드렸듯이, 기준 시점의 실패율은 약 15%입니다. 이것이 바로 우리의 기준선이 됩니다. 그다음에는 어떤 확률에서 변화를 확인할 수 있기를 원하는지 질문해야 합니다. 다시 한번 말씀드리지만, 실패율이 10%로 감소하는 것을 확인할 수 있다면 만족스러운 결과라고 했습니다. 따라서 15%에서 10%로 개선되는 것을 확인할 수 있는 정도가 우리가 원하는 실험 규모입니다.
이제 우리가 살펴볼 변환을 사용하여 기준값, 10% 실패율, 그리고 우리가 감지하고자 하는 확률에서의 값을 계산할 것입니다. 이 두 값의 차이를 구하고, 이를 계수로 사용할 것입니다. 로짓 모델을 사용한다면 기준값은 15%를 1에서 15%를 뺀 값으로 나눈 것입니다. 따라서 기준값은 -1.73입니다. 10% 실패율로의 변화를 확인하고 싶다면, 다시 말해 이 값을 공식에 대입하면 됩니다. 0.1을 1에서 0.1을 뺀 값으로 나누면 -2.2가 됩니다. 따라서 계수는 이 두 값의 차이가 됩니다. 저는 계수로 약 0.5를 사용하겠습니다.
파워포인트는 이쯤 하고, 실제 어떻게 하는지 살펴보죠. 실험 변수와 실험 요인들을 준비했습니다. 이제 사용자 지정 디자이너를 사용해 보겠습니다. 요인들을 불러오고, 원하는 설계를 만들어 볼게요. 기억하시겠지만, 저는 반응 표면 설계를 사용하고 있습니다. 중심점을 세 개 추가해 보겠습니다. 24회 실행으로 설정할게요. '설계 생성'을 클릭하면 알고리즘이 최적의 설계를 결정할 겁니다. 마지막 표를 생성하기 전에, 핫스팟에서 '반응 시뮬레이션'을 클릭하겠습니다. 이제 표를 만들 건데, 이 표에 제가 계산한 계수 값으로 변경하면 최적의 설계를 확인할 수 있습니다.
제가 이 값들을 초기화해 볼게요. 절편값이 -1.73이라고 말씀드렸죠. 각 계수를 0.5로 설정하겠습니다. 이 값을 복사해서 붙여넣을게요. 마지막으로 오차 분포를 이항분포로 설정하겠습니다. 이제 적용 버튼을 클릭할게요. 이 표를 잘 살펴보세요. 그러면 분석에 사용할 두 개의 열이 생성됩니다. 잠깐만요. 표본 크기를 설정해야 했죠. 잊으면 안 되잖아요. 원래 실험에서 다섯 번 실행했었죠. 두 번째 실행 때 표본 크기를 다시 설정했습니다. 이제 모든 방정식이 제대로 입력되었네요.
이 열들은 초기 분석과 시뮬레이션에 사용할 열들입니다. 원한다면 이러한 효과들에 부호를 부여할 수도 있습니다. 여기서 부호를 부여한다는 것은 예상되는 관계에 따라 음수 또는 양수로 나타내는 것을 의미합니다. 시간 관계상 이 부분은 다루지 않았습니다. 제가 준비한 슬라이드에서 이러한 다양한 효과들을 살펴보고, 어떤 효과가 양수여야 할지 음수여야 할지 결정하는 방법을 설명하고 있습니다. 물론, 부호를 부여하는 것도 가능합니다. 효과 크기의 실제 크기만큼 결과에 큰 영향을 미치지는 않겠지만, 대부분의 설계에서, 완전히 직교하는 경우가 아니라면, 이러한 효과들 사이에는 상관관계가 존재하며, 효과가 양수인지 음수인지에 따라 검정력 값에 어느 정도 영향을 줄 수 있습니다.
이제 초기 설계를 완료했으니, 적합 모델로 이동하여 설계를 분석해 보겠습니다. 시뮬레이션과 시행 결과를 입력해야 합니다. 일반적으로 이 경우에는 일반화 회귀 분석을 사용하고, 모델 축소 옵션 때문에 이항 분포를 사용합니다. 시뮬레이션의 장점은 이러한 모든 설정이 그대로 적용된다는 것입니다. 별도의 스크립트를 작성할 필요가 없습니다. 이제 실행해 보겠습니다. 다시 한번, 전진 선택법을 사용하겠습니다. 실행 버튼을 클릭하겠습니다. 아래로 스크롤하여 전진 선택 모델을 찾아보겠습니다. 여기 있습니다.
이제 단일 관측값을 얻었으니 마우스 오른쪽 버튼을 클릭할 수 있습니다. 일반적으로 확률 값 중 하나에 마우스 커서를 올린 다음 마우스 오른쪽 버튼을 클릭하면 맨 아래에 '시뮬레이션' 옵션이 있습니다. 시뮬레이션된 성공 횟수를 표시하는 수식 열이 두 항목 모두에서 선택되어 있는지 확인해야 하며, 기본적으로 선택되어 있을 것입니다. 원하는 시뮬레이션 횟수를 지정합니다. '실행'을 클릭하면 시뮬레이션이 반복될 때마다 해당 수식 열이 다시 계산되어 기본 모델에 따라 새로운 시뮬레이션 횟수 값을 제공합니다.
2,500번 실행한 다음, 그 데이터를 보기 좋은 보고서로 정리해 줄 겁니다. 이제 시간을 들여서 계산이 완료될 때까지 기다릴 필요 없이, 아주 빠르게 완료됩니다. 보통 30초에서 1분 정도밖에 걸리지 않아요. 실제로 실행해 봤는데, 결과는 다음과 같습니다. 첫 번째 실행을 제외한 2,500번의 결과가 나와 있죠. 여기에 몇 가지 추가 함수와 수식을 넣었는데, 필요하시면 공유해 드리겠습니다. 이 보고서가 생성될 때 추가되는 스크립트는 이 두 가지입니다. 검정력 분석은 전체 분포의 일부만을 보여줍니다. 검정력 분석 결과를 한번 살펴볼까요?
이 기능을 사용하면 모든 실행에 대한 P값 분포를 비롯한 방대한 데이터를 얻을 수 있습니다. 이 경우 기본 모델을 떠올려보면 모든 결과가 유의미했습니다. 이 데이터는 시뮬레이션을 통해 확인한 P값 분포를 보여주며, 예측값이 약 10,000분의 1 정도라는 것을 나타냅니다. 이는 좋은 결과입니다. 또한 예측된 P값 주변의 신뢰구간도 계산됩니다. 사실 베이지안 접근 방식을 사용하고 있으므로 신뢰구간이라고 하기는 어려울 것 같습니다.
이것은 신뢰구간에 더 가깝습니다. 어쩌면 신뢰 구간이라고 할 수도 있겠네요. 어쨌든 이 구간은 해당 확률값이 존재할 수 있는 범위를 나타냅니다. 하지만 흥미롭고 중요한 정보는 제가 귀무가설을 기각한 횟수입니다. 이를 통해 알파 수준을 0.01로 설정하면, 실제로는 효과가 있다고 모델링했음에도 불구하고 약 절반의 확률로 귀무가설을 기각했을 것이라는 것을 알 수 있습니다. 알파 수준을 0.05로 설정하면 약 4분의 3의 확률로 기각하게 되고, 이런 식으로 계속됩니다.
이 정보는 제가 실험 규모를 제대로 설정했는지, 주요 효과, 주요 효과와 이원 상호작용, 그리고 모델에 대한 다른 효과들을 충분한 횟수, 충분한 비율로 감지하여 제가 선택한 실험 횟수에 만족할 수 있을지를 판단하는 데 사용하는 정보입니다. 이러한 경우 저는 내장된 보고서뿐만 아니라, 예를 들어 유의미한 효과가 몇 개 나왔는지 직접 세어보는 방법을 자주 사용합니다.
임계값을 입력하고 정답 수를 계산하겠습니다. 이 모든 과정은 간단한 설명과 모델 구축 공식과 함께 자료에 포함될 것입니다. 다시 한번 말씀드리지만, 저는 실험을 5회, 10회, 20회 등 반복 진행할 가치가 있을 만큼 충분한 유의미한 효과를 포착했는지 판단하기 위해 저만의 위험 기준을 적용해야 합니다. 자, JMP에서 보여드리고 싶었던 내용은 여기까지입니다. 이제 요약으로 돌아가 보겠습니다.
요약하자면, 이 데이터를 모델링할 때 어떤 기법을 사용하든 Fit Model 플랫폼을 사용할 것입니다. 로지스틱 회귀 분석을 사용할 경우, 로지스틱 회귀 분석 또는 로지스틱 회귀 분석을 백그라운드에서 사용하는 단계적 회귀 분석을 사용할 수 있습니다. 일반화 선형 모델은 기본적으로 로지스틱 회귀 분석과 동일한 결과를 제공하지만, 오차 가정을 완화하고 편향을 수정할 수 있는 추가 기능을 제공합니다. 또한 JMP Pro를 사용하는 경우, 로지스틱 회귀 분석이나 일반화 선형 모델에서 볼 수 있는 모든 기능을 사용할 수 있을 뿐만 아니라 모델 생성 기능까지 추가로 활용할 수 있습니다.
실험 규모를 정할 때, 사용자 정의 설계 도구를 사용하여 실험을 설계하고, JMP의 내장 시뮬레이션 기능을 활용하여 부트스트랩 시뮬레이션 실험과 부트스트랩 시뮬레이션 분석을 실행할 것입니다. 제가 말씀드리고 싶었던 내용은 여기까지입니다. 추가 정보는 보충 슬라이드에 있지만, 아쉽게도 시간이 부족하여 자세히 설명해드릴 수는 없습니다. 하지만 지금까지 보신 내용이 유익했기를 바라며, 앞으로 유용하게 활용하실 수 있기를 바랍니다. 감사합니다.
