실험을 설계할 때 흔히 사용되는 진단 기준은 효과의 통계적 검정력입니다. 브래들리 존스는 이 주제에 대해 여러 블로그 게시물을 작성했습니다. 본질적으로, 특정 모형에서 무시할 수 없는 효과를 검출할 확률은 얼마일까요? 물론 이를 위해서는 효과 크기, 오차, 검정 유의수준과 같은 일련의 가정/사양이 필요합니다. 이 주제에 익숙하지 않다면 이전 블로그 게시물들을 읽어보시기 바랍니다.
만약 반응이 연속적이고 선형 회귀 모형을 가정한다면, 설계 평가 아래의 검정력 분석 개요 에서 얻은 결과를 사용할 수 있습니다. 하지만 만약 반응이 합격/불합격 데이터를 기반으로 하고, 각 실험 실행마다 10번의 시행을 계획한다면 어떨까요? 이 반응에 대해서는 로지스틱 회귀 모형을 적용할 수 있지만, 설계 평가 개요의 결과를 사용할 수는 없습니다. 그럼에도 불구하고, 우리는 여전히 검정력에 관심이 있습니다...
어떻게 해야 하나요?
우리는 검정력을 추정하는 방법에 대한 문헌 검토를 수행하고 적용할 수 있는 것을 찾을 수 있기를 바랄 수 있습니다(그리고 나중에 발생하는 각 특정 사례에 대해 그렇게 합니다).그러나 몬테카를로 시뮬레이션을 실행하는 것이 더 간단합니다.이를 위해서는 지정된 로지스틱 회귀 모델에 따라 응답을 생성할 수 있어야 합니다.생성된 각 응답에 대해 모델을 적합시키고 각 효과에 대해 p-값이 특정 임계값(예: 0.05) 아래로 떨어지는지 확인합니다.이것은 JSL을 사용하는 이전 버전의 제이엠피 에서 가능했지만 스크립팅, 특히 스크립팅 수식 및 JMP 보고서에서 정보 추출에 대한 일정 수준의 익숙함이 필요합니다.또한 스크립트를 작성할 시간을 찾아야 합니다.JMP Pro 13 에서는 이제 몇 번의 마우스 클릭만으로 몬테카를로 시뮬레이션을 수행할 수 있습니다.
그거 정말 멋진 것 같아요
새로운 원클릭 시뮬레이션 기능을 처음 봤을 때, 저는 설계된 실험과 함께 사용할 수 있는 가능성에 대해 생각하며 황홀경에 빠졌습니다. 원클릭 시뮬레이션 기능을 사용하는 데 필요한 핵심 요소는 난수 구성 요소를 포함하는 수식이 포함된 열입니다. 개선된 DOE의 응답 시뮬레이션 에 대한 이전 블로그 게시물을 읽으셨다면, 직접 작성하지 않고도 이러한 수식을 생성할 수 있는 방법이 이미 있다는 것을 알고 계실 것입니다.
1. 디자인을 만든 다음 시뮬레이션 응답이 선택된 테이블 만들기
이 예시에서는 네 가지 요인(AD)을 사용하여 8회 실험을 계획합니다. 커스텀 디자이너 사용에 익숙하다고 가정하겠습니다. 익숙하지 않으시다면 여기에서 커스텀 디자인 플랫폼에 대한 정보를 확인하실 수 있습니다. 이 예시는 기본적으로 저희 설명서의 예시 와 동일한 방식으로 설정할 수 있습니다.
표 만들기 버튼을 클릭하기 전에 사용자 정의 디자인 플랫폼 상단의 핫스팟에서 응답 시뮬레이션이 선택되어 있는지 확인해야 합니다. 
2. 시뮬레이션 설정
데이터 테이블이 생성되면 이전에 설명한 "반응 시뮬레이션" 대화 상자를 통해 시뮬레이션을 설정해야 합니다. "분포"에서 "이항"을 선택하고 N을 10(즉, 실험 설계의 각 행에 대해 10번의 시행 횟수)으로 설정합니다. 여기서는 AD에 대해 다양한 계수를 선택했는데, 요인 D는 계수가 0(즉, 해당 요인이 비활성화됨)입니다. 사용할 "반응 시뮬레이션" 대화 상자는 다음과 같습니다. 
적용 버튼을 클릭하면 10회 시행 중 성공 횟수를 시뮬레이션하는 Y 시뮬레이션 열과 Fit Model에서 사용되는 시행 횟수를 나타내는 열이 표시됩니다. 모델링을 위해 Y 시뮬레이션 열을 Y에 복사했습니다. 
Y 시뮬레이션의 공식을 살펴보면 시뮬레이션 응답 대화 상자에서 제공된 모델을 기반으로 응답 벡터를 생성할 수 있다는 것을 알 수 있습니다. 
3. 모델에 맞추기
이제 반응 시뮬레이션 공식을 만들었으니, 시뮬레이션된 반응에 대한 모델링을 설정해야 합니다. 이 경우, 시뮬레이션된 반응에 대한 반복 로지스틱 회귀 분석의 효과에 대한 p-값을 수집하려고 합니다. 먼저 단일 반응에 대한 분석을 수행해야 합니다. Fit Model 플랫폼을 실행하면 반응 역할(Y)에 시행 횟수를 추가하고, 성격 모델을 이항 분포를 갖는 일반화 선형 모델로 변경할 수 있습니다. 제 Fit Model 실행 화면은 다음과 같습니다. 
모델을 적합하려면 '실행' 버튼을 클릭하세요. 보고서에서 우리가 관심 있는 부분은 매개변수 추정 개요입니다. 
초기 시뮬레이션 반응에서 A, B, C는 활성 상태인 반면 D는 활성 상태가 아닌 것으로 나타났습니다(이는 맞습니다). 물론 이는 단일 시뮬레이션에 대한 결과입니다. 새로운 반응 벡터를 계속 시뮬레이션하면서 각 효과에 대한 p-값을 추적할 수도 있고, 원클릭 시뮬레이션을 사용하여 자동으로 추적하도록 할 수도 있습니다.
4. 시뮬레이션을 실행하세요
이 블로그 게시물에서 관심 있는 열은 Prob>ChiSq입니다. 해당 열을 마우스 오른쪽 버튼으로 클릭하여 메뉴를 불러오면 ( JMP Pro를 사용하는 경우) 하단 부트스트랩 위에 시뮬레이션 옵션이 표시됩니다. 
팝업되는 대화 상자에는 '열 전환 제외'와 '열 전환 포함' 옵션이 있습니다. 시뮬레이션에서는 응답 Y 대신, 임의 이항식 공식이 포함된 Y 시뮬레이션을 사용하고자 합니다. 처음 적합 모델을 사용할 때 Y 대신 Y 시뮬레이션을 사용하고 그 자체로 전환할 수도 있습니다. 표본 수는 응답을 시뮬레이션할 횟수를 나타냅니다. 여기서는 2500으로 두었습니다. 
이제 "확인"을 클릭하고 실행해 보겠습니다. 잠시 후, "모델 적합" 대화 상자의 각 효과에 대한 열(시뮬레이션 ID인 SimID 포함)과 2501개의 행이 포함된 데이터 테이블이 나타납니다. 첫 번째 행은 원래 적합 결과이며 제외됨으로 표시되어 있고, 나머지 행은 2500개의 시뮬레이션 결과 중 하나의 결과에 해당합니다. 이 값들은 "모델 적합" 대화 상자의 각 효과에 대한 p-값입니다. 
원클릭 시뮬레이트는 데이터 테이블에 분포 스크립트를 미리 채워 넣었으며, 결과가 p값임을 인식하기 위해 검정력 분석(Power Analysis)이라는 또 다른 스크립트를 제공합니다. 검정력 분석 스크립트를 실행하면 각 효과에 대한 p값 분포와 다양한 알파 수준에서의 기각률을 포함한 "시뮬레이션된 검정력"이라는 제목의 요약 정보가 제공됩니다. 예를 들어, 요인 B의 효과를 살펴보면 알파 = 0.05에서 2,500회 중 2,103회에서 효과가 없다는 귀무가설이 기각되어 기각률(경험적 검정력)이 약 84%에 달했습니다.
저는 보통 시뮬레이션된 검정력 표 중 하나를 마우스 오른쪽 버튼으로 클릭하고 '결합된 데이터 표 만들기'를 선택합니다. 이렇게 하면 네 가지 알파 수준에서 각 용어의 기각률을 보여주는 데이터 표가 생성됩니다. 이렇게 하면 그래프 빌더에서 알파 = 0.05일 때의 결과와 같은 결과를 더 쉽게 확인할 수 있습니다. 
이제 A와 B에 대한 효과를 검출할 수 있는 높은 검정력을 가지고 있음을 알 수 있습니다(이 두 변수의 계수가 가장 컸음을 기억하세요). 반면 C와 절편은 약 50%입니다. D는 시뮬레이션에서 비활성 상태였기 때문에 예상대로 기각률은 약 0.05입니다. C의 효과가 정확하다고 가정하면 검정력이 50%라는 점에 문제가 있을 수 있습니다. 이러한 시뮬레이션을 쉽게 수행할 수 있으므로, '반응 시뮬레이션'으로 돌아가서 설계의 각 행에 대한 시행 횟수를 변경한 후 다시 한 번 원클릭 시뮬레이션을 실행하는 것이 간단합니다. 마찬가지로, 더 큰 설계를 생성하여 검정력에 어떤 영향을 미치는지 확인할 수 있습니다. 이항 분포를 갖는 일반화 회귀를 사용하여 모델링해 볼 수도 있습니다.
마지막 생각
저에게 이 새로운 기능의 핵심 측면은 다양한 "가정" 시나리오를 쉽게 살펴볼 수 있다는 것입니다. 특히 데이터 분석 시 모델 선택 기법을 사용하는 것이 흔한 스크리닝 상황에서 더욱 그렇습니다. 이제 사용하려는 분석에 맞는 경험적 검정력 계산을 수행하고 분석 중 발생할 수 있는 함정을 경고할 수 있습니다. JMP 13 이전에도 가능했지만, 저는 설계를 고려할 때마다 사용자 지정 공식을 만들 시간을 찾지 못했습니다. 원클릭 시뮬레이션을 사용한 지 얼마 되지 않아 공식을 쉽게 만들고 시뮬레이션을 실행할 수 있게 되어 다른 방법으로는 얻을 수 없었을 통찰력을 얻었고, 제 도구 상자에서 중요한 도구가 되었습니다.
