순전히 무작위 데이터가 중요 할 확률은 5 %입니다. 수많은 무작위 데이터 테스트에서 가장 중요한 p- 값을 선택하십시오. 우연히 만 중요한 테스트는 걸러 낼 것입니다.
우리가 알고있는 과정이 안정적이고 일관성이 있다고 가정 해 봅시다. 우리는 많은 응답을 측정하고, 또한 롯트 ID를 가지고 있습니다. 문제는 다음과 같습니다. 모든 응답이 많은 부분에서 크게 차이가 있습니까? 그래서 우리는 ANOVA를 실행하고, p 값을 추출하고, 정렬하고, 가장 작은 것에서 가장 큰 것까지 이것을 봅니다. 우리는 중요한 13 가지 테스트를 실시합니다. 즉, .05의 라인 아래에 있습니다. 무작위 데이터를 사용하면 약 5 %가 중요 할 것으로 예상되며 .05 * 118 = 5.9이므로 기대했던 것보다 약간 더 많습니다.
p 값의 분포를 알 수 있습니다 - 데이터의 일부에 걸쳐 0에서 1까지의 직선을 따릅니다. 이것은 균일 한 값의 분포 특성입니다. 순전히 무작위 독립적 인 테스트의 경우 p- 값은 균일 한 분포를 따릅니다. 우리는 여기서 실질적인 차이점이 없다는 것을 거의 알고 있지만, 13 가지 테스트가 중요합니다. 우리의 주요 목표는 큰 차이를 찾는 것입니다. 그래서 우리는 항상 p- 값으로 정렬하고 필터링하려고합니다. 그러나 우리는 많은 테스트를 보면서 조정할 것이 필요합니다. 그렇지 않으면 선택 바이어스 - 다중 테스트 바이어스 - 일치 필터가 있습니다.
이제 차이점이없는 데이터의 패턴을 살펴 보았으므로 많은 테스트가 실제로 중요 할 때 어떤 모습이되는지 봅시다. 여기에서 데이터의 60 % 이상이 중요 해 보입니다.
그래프의 오른쪽을 보면, .05 위의 모든 값이 1을 향한 직선을 따르지만 .10 또는 .05 주위에서는 직선의 기울기가 많이 바뀌고 매우 조밀 해집니다. 바닥 근처에. 사면의 변화를 찾는 이와 같은 p- 값을 살펴보면, Schweder와 Spjotvoll (Biometrika 1982, p493-502)의 논문의 주제가되는 것으로 밝혀 졌는데, 연구자들은 p 값 . 추론은 Cuthbert Daniel이 계승 실험에서 추정치를 플로팅 할 때 20 년 이상 전에 나타 났던 유사한 상황과 유사합니다. 중앙 근처의 작은 값은 정상 분위 선을 따르는 것처럼 보였지만 그 중요한 효과는 그 경사에서 벗어났습니다.
글쎄, 여러 테스트 바이어스와 테스트를 조정하는 방법에 대한 방대한 문헌이 있습니다. 이러한 기술은 비교할만한 방법이 없거나 테스트 할 때 유용했습니다. 하나의 아주 간단한 절차는 p- 값이 알파 / m보다 작을 것을 요구하는 것이 었습니다. 여기서 m은 테스트의 수이고 알파는 유의 수준입니다. 1961 년 OJ Dunn은 ( 본 페로 니 불평등)이 기준은 모든 테스트에 대한 전반적인 보호를 제공합니다.
첫 번째 p- 값 집합을 살펴보면 가장 낮은 p- 값은 0.00055이며 118 개의 테스트가 있습니다. 따라서 우리의 기준은 .05 / 118 = 0.0004이며 중요한 것은 없다고 결론을 내립니다.
그러나 Bonferroni는 매우 보수적 인 기준으로, 많은 테스트가 포함 된 대부분의 실험에서 결과를 얻기가 어려워서 다른 많은 방법이 개발되었습니다.
1995 년 Benjamini와 Hochberg (BH)는 게임을 완전히 바꾸었다. 어떤 차이가 중요하게 잘못 선언되었는지 여부를 통제하는 대신 중요성 선언이 틀린 비율에 대한 통제 기준을 변경했습니다. 허위 발견에 대한 귀하의 관용이 5 %라면, 예상되는 거짓 발견 건수가 귀하가 중요하다고 선언 한 건수의 5 %에 불과하다는 것을 확인해야합니다. 그들은 잘못된 발견 률을 제어하는 아주 간단한 방법을 만들 수있었습니다. p 값을 높은 값에서 낮은 값으로 정렬합니다. 가장 높은 p- 값의 경우 FDR (false discovery rate) 비율 α (예 : 0.05)를 기준으로 사용할 수 있습니다. 다음으로 높은 p- 값의 경우, 기준은 알파 / m을 뺀 값을 약간 줄이면 램프가 형성됩니다. 진입로의 바닥에는 Bonferroni 기준 인 알파 / m 인 가장 작은 p 값에 대한 기준이 있습니다. 그 경사로에 해당하는 모든 p 값은 유의 한 것으로 선언되며, BH는 독립적 인 테스트의 경우이 방법으로 잘못된 검색 속도를 제어한다는 것을 증명했습니다.
왼쪽에는 lot-to-lot 데이터가 표시되고 Benjamini-Hochberg 램프는 빨간색 라인으로 표시되며, 오른쪽은 .05부터 0.05 / 118까지, 빨간색 p 값은 관리되지 않습니다. 진입로 아래로 가라. 오른쪽에는 엔지니어링 변경 데이터가 있습니다. 적색 포인트는 램프 아래에서 다이빙하여 응답의 60 % 이상이 크게 달라집니다.
false-discovery rate (예 : 0.05)와 비교할 때 새로운 FDR 조정 p- 값이 false discovery 속성을 갖도록 p 값을 변형 할 수도 있습니다. FDR 보정 된 p- 값은 파란색 마커로 표시되며 빨간색 마커가 빨간색 선 아래에서 다이빙하는 것과 동일한 테스트를 위해 파란색 선 아래에 0.55로 다이빙됩니다. P 값이 왼쪽에 균일하게 분포되어있을 때 FDR 보정 된 P 값은 많이 조정됩니다. 그러나 p 값이 오른쪽에서 왼쪽으로 빠르게 내려갈 때, FDR 조정은 훨씬 적습니다.
테스트가 독립적이지 않은 경우 어떻게해야합니까? 대부분의 경우, 특히 검사간에 양의 상관 관계가있는 경우, BH FDR 조정은 보수적 인 것으로 밝혀져 원하는 보호를 제공합니다. 거짓 발견율 아이디어는 이후에 가치가있는 세분화를 포함하여 풍부한 문학을 성장 시켰습니다.
빅 통계 시대에 수백, 수천 또는 수백만 개의 테스트를 수행 할 때 FDR 조정 p- 값은 새로운 표준 모범 사례가되어야합니다. 우연의 일치를 필터링하는 것이 아닙니다. 당신은 당신이 붙잡는 것의 대부분이 진정한 효과가된다는 것을 알게 될 것입니다.
당신은 거짓 발견 률 PValue add-in JMP 파일 교환에서. (다운로드하려면 무료 SAS 프로파일이 필요합니다.) 또한 FDR 조정은 응답 스크리닝 플랫폼 ~에 개성을 JMP 11 .
노트 : 이것은 큰 통계 John Sall의 블로그 게시물 시리즈. 그의 모든 것을 읽으십시오. 큰 통계 게시물 .
