선형 모델로 첫 코스를 밟았을 때 실험 설계 교수는 통계학 컨설팅에서 가장 흔히 접하게되는 질문은 "내 결과가 통계적으로 의미가 있기 위해서는 몇 개의 샘플이 필요합니까?"라고 대답했습니다.이 질문은 유용한 결과를 얻으려는 의도에서 비롯된 것입니다 시간이나 자원 낭비없이 연구.
위의 질문은 간단하지만 대답은 아닙니다. 이는 컨설턴트가 아직 모르는 여러 수량의 값에 따라 답이 달라지기 때문입니다. 더욱이 종종 클라이언트는 이러한 값을 알지 못합니다.
이 문제의 양은 무엇입니까?
가장 쉽고 중요하지 않은 양은 고객이 사용할 가설 테스트의 유의 수준입니다. 역사적으로 0.05가 표준 유의 수준이었습니다. 이 하나의 선택에 대한 블로그 글을 혼자서 상상할 수도 있지만 계속 진행하십시오.
신호가 가장 중요한 양입니다. 이는 실제적으로 중요 할만큼 큰 최소 효과입니다. 그런 효과를 높은 확률로 감지하고 싶습니다. 그 가능성은 힘 시험의. 내 경험에 비추어 볼 때, 과학자 또는 엔지니어가 실제적으로 가장 작은 가장 작은 효과에 대한 가치를 저지르는 것은 놀랍게 어렵습니다.
소음은 또 다른 필수 정보입니다. 이 경우의 잡음은 실험 오차의 표준 편차이다. 엔지니어링 팀은 실험을 실행하기 전에이 값을 예측하는 방법을 합리적으로 묻습니다.
통계력 계산은 위의 세 가지 양과 응답 분포에 대한 가정에 따라 달라집니다. 표준 가정은 응답이 정규 분포에 따라 독립적으로 분포되고 가능한 모든 요인 조합에 대해 분산이 일정하다는 것입니다.
유의 수준, 신호 및 잡음뿐만 아니라 위의 가정을 감안할 때, 통계 학자 (또는 통계 소프트웨어 ) 실험 계획의 힘을 알려줄 수 있습니다.
수사관은 실험의 힘을 높이기 위해 무엇을 할 수 있습니까?
다음은 실험의 힘을 높이기 위해 할 수있는 일입니다.
1) 신호 크기 늘리기
2) 소음 감소
3) 더 많은 달리기
4) 더 큰 유의 수준을 사용하십시오. 예를 들어 0.05 대신 0.1
신호의 크기는 어떻게 증가합니까?
분명히 한 요인의 영향은 자연에 달려 있습니다. 그러나, 최소한의 효과를 최소화하기로 결정할 수 있습니다. 부정 행위로 들릴지 모르지만, 반성에서 처음에 지정한 것보다 2 ~ 3 배 큰 효과를 감지 할 수 있다면 실제로 만족할 수 있다고 판단 할 수 있습니다.
어떻게 소음을 줄입니까?
실험 오차는 실험 조건을 무작위로 변화시킨 결과입니다. 이 변동을 줄이는 가장 좋은 방법은 무작위 변동성의 출처를 파악하여 실험에서 차단 요인으로 포함시키는 것입니다. 예를 들어 일상적인 변형이 있고 실험에 5 일이 걸릴 것으로 예상되는 경우 일을 차단 요인으로 만들어 이러한 차이를 오류 분산에서 제거 할 수 있습니다.
더 많은 실험 실행은 비쌉니다. 약간의 차이가 얼마나 다를 것인가?
선별 실험에서 종종 실험 실행만큼 많은 요소가 있습니다. 포화 된 디자인의 극단적 인 경우에는 정확히 실행과 같은 많은 미지가 있습니다. 이 경우 전체 모델의 오차 분산을 추정 할 수 없으므로 유의미 테스트를 수행 할 수도 없습니다.
포화 된 설계의 예는 8 회의 주 효과 모델에 대한 7 요소 실험입니다. 당신은 8 개의 실행을 가지고 있으며 전체 평균 (또는 인터셉트 항)과 7 요인 효과를 추정하고 있으므로 오차 분산을 추정하기위한 정보는 남지 않습니다.
하나의 런을 추가하고 주 효과 중 하나에 대해 t- 테스트를 수행하면 귀무 가설을 기각하기 위해 신호가 잡음의 12 배 이상이어야합니다. 아래 표는 귀무 가설을 기각하기 위해 t-test의 신호 대 잡음 비율이 얼마나 클지를 보여줍니다. 분명히, 당신은 할 수 없습니다. 탐지하다 효과가 없다는 가설을 거부하지 않는 한 효과. 따라서 한 번의 추가 작업으로 탐지의 장벽이 상당히 높습니다. 엄지 손가락의 좋은 규칙은 알려지지 않은 매개 변수보다 4 ~ 5 번의 실험 실행을 갖는 것입니다.
추가 검사 횟수가 늘어남에 따라 t- 테스트에 필요한 신호 대 잡음 비율이 떨어지는 방법.
유의 수준을 0.05에서 0.1로 높이는 데 필요한 비용은 얼마입니까?
유의 수준이 0.05 일 때 평균 20 회에 한 번씩 실제로 가짜 인 효과를 감지합니다. 레벨을 0.1로 올리면 스퓨리어스 감지가 10 개의 테스트 중 1 개로 증가합니다.
무엇 향후 계획?
다음 글에서는 전력 계산을위한 새로운 인터페이스를 JMP 10. 따라서이 게시물은 기본적으로 다음 주에 대한 동기입니다.
실험을 실행하기 전까지는 오류 표준 편차를 알 수 없다는 것을 상기 시켜서 마무리하고 싶습니다. 따라서 전력 계산은 그 숫자가 무엇인지에 대한 추측을 기반으로합니다. 통계 소프트웨어가 세 자리 소수점에 대한 전력을보고 하긴하지만, 큰 숫자의 소금으로이 수치를 취해야합니다.
브래들리 존스 쓴 :
로지스틱 회귀 분석을위한 성능을 시뮬레이션하는 스크립트를 작성하는 것은 쉽지 않지만 JMP는 분명히이를 수행 할 수 있습니다. 실제로, 나는 종종 분석 결과를 그러한 시뮬레이션 결과와 비교합니다.
앤드류 엑스트롬 쓴 :
나는이 문제에 어려움을 겪고있다. 나는 응답률이 5 %로 높고 아마도 0.10 %에 가까울 수있는 시스템에서 여러 가지 로지스틱 회귀에 대해 'n'을 결정해야합니다. 나는 주변에 물어 보았고 내가 시뮬레이션을해야한다고 들었다. JMP는 이러한 유형의 시뮬레이션을 수행 할 수 있습니까?
감사.
제이 리 쓴 :
유의 수준을 변경하는 것 외에도 조사에서는 알파가 양측 테스트가 아니므로 특정 (방향성있는) 가설을 테스트 할 수 있습니다.
JMP 10에서 설계된 실험을위한 맞춤 설계의 전력 분석 쓴 :
[...] 내 이전 게시물, 나는 설계된 실험의 능력에 영향을 미치는 근본적인 수량에 대해 이야기 [...]
브래들리 존스 쓴 :
데이터가 없다면 이미 보유하고있는 데이터를 보거나 작은 파일럿 연구를 실행하는 것이 좋습니다. 그러나 이미 보유하고있는 데이터에는 실험 조건을 차단하거나보다 신중하게 제어하여 실험에서 피할 수있는 가변성이있을 수 있습니다. 따라서 현재 데이터를 사용하여 얻은 오류 표준 편차가 불필요하게 커져서 실험에 충분한 전력이 없다고 생각하게 할 수 있습니다. 이는 차례로 필요한 것보다 더 많은 실행을하여 비용을 증가시킬 수 있습니다.
스티브 피거 쓴 :
이 중요한 주제에 대한 매우 명쾌하고 간결한 토론에 감사드립니다! 더 많은 부금을 기대합니다.
마이클 앤더슨 쓴 :
실험을 실행하기 전까지는 오류 표준 편차를 알 수 없다는 것을 상기 시켜서 마무리하고 싶습니다. 따라서 전력 계산은 그 숫자가 무엇인지에 대한 추측을 기반으로합니다.
오늘 아침에 발견 된 (또는 제조 된) 현상을 연구하지 않는 한, 어딘가에 숨어있는 설명적인 통계가 될 것입니다. 그래서 발굴해라. 실제로 존재하지 않는다면 시험적인 빅 이벤트 전에 파일럿 연구를 계획에 짜 넣어야합니다. 그래서 성가신 표준 편차에 대한 예측을 (신뢰 구간으로) 얻을 수 있습니다.
기본 통계의 모든 교사가 학생들에게 "파일럿, 실험"이라는 아이디어를 쏟아 부었다면, 우리는 불분명하고 힘이 부족한 실험 및 설문 조사에서 무수한 대학원 학생들을 구출했습니다. 그 점을 이해하기 위해 10 년의 가르침이 필요했습니다 ...
