Rein zufällige Daten haben eine Chance von 5%, signifikant zu sein. Wählen Sie aus vielen Tests von Zufallsdaten die wichtigsten p-Werte aus, und Sie filtern die zufällig signifikanten Tests heraus.
Angenommen, wir haben einen Prozess, von dem wir wissen, dass er stabil und konsistent ist. Wir messen viele Antworten und haben auch eine Los-ID. Die Frage ist: Unterscheiden sich die Antworten zwischen den Losen erheblich? Wir führen also ANOVAs auf ihnen aus, extrahieren die p-Werte, sortieren sie und sehen dies vom kleinsten zum größten. Wir haben 13 Tests, die signifikant sind, dh unterhalb der Linie bei 0,05. Bei den Zufallsdaten erwarten wir, dass rund 5% signifikant sind, also 0,05 * 118 = 5,9. Wir haben also ein paar mehr als erwartet.
Beachten Sie die Verteilung der p-Werte - über den Bruchteil der Daten hinweg folgen sie einer geraden Linie von nahe 0 nach 1. Dies ist das Merkmal einer einheitlichen Werteverteilung. Für rein zufällige unabhängige Tests folgen die p-Werte einer gleichmäßigen Verteilung. Wir wissen ziemlich genau, dass es hier keine echten Unterschiede gibt, aber 13 Tests sind von Bedeutung. Unser Hauptziel ist es, nach großen Unterschieden zu suchen. Daher möchten wir immer nach p-Werten sortieren und filtern. Aber wir müssen etwas anpassen, um viele Tests betrachten zu können. Andernfalls haben wir einen Auswahlfehler (Multiple-Test-Fehler) - einen Koinzidenzfilter.
Nachdem wir nun das Muster aus Daten gesehen haben, bei denen keine Unterschiede bestehen, wollen wir sehen, wie es aussehen kann, wenn viele der Tests wirklich von Bedeutung sind. Hier sehen über 60% der Daten signifikant aus.
Wenn Sie auf die rechte Seite des Diagramms schauen, sieht es so aus, als würden alle Werte oberhalb von 0,05 etwas einer geraden Linie in Richtung 1 folgen, aber um 0,1 oder 0,05 scheint sich die Steigung der Linie stark zu ändern, und sie wird sehr dicht nahe dem Boden. Wenn Sie solche p-Werte betrachten - auf eine Änderung der Steigung achten -, stellt sich heraus, dass dies Gegenstand einer Arbeit von Schweder und Spjotvoll (Biometrika 1982, S. 493-502) ist, in der die Forscher überlegten, sich die gesamte p-Werte-Population anzusehen . Die Argumentation ähnelte einer analogen Situation, die Cuthbert Daniel vor mehr als 20 Jahren bemerkte, als Sie Schätzungen eines faktoriellen Experiments aufstellten - die kleinen Werte in der Nähe der Mitte schienen einer normalen Quantil-Linie zu folgen, aber die signifikanten Auswirkungen schwanken von dieser Steigung.
Nun, es kommt vor, dass es eine umfangreiche Literatur zu mehreren Test-Vorurteilen und Methoden zum Anpassen der Tests gibt, um sie zu berücksichtigen. Diese Techniken funktionierten gut, wenn es nur wenige Mittel gab, die miteinander verglichen oder Tests durchgeführt werden mussten. Ein sehr einfaches Verfahren bestand darin, einfach nach den p-Werten von alpha / m zu fragen, wobei m die Anzahl der Tests und alpha das Signifikanzniveau ist. Im Jahr 1961 bewies OJ Dunn (mit der Bonferroni Ungleichheit), dass dieses Kriterium Ihnen einen umfassenden Schutz für alle Tests bietet.
Betrachten wir den ersten Satz von p-Werten, ist der niedrigste p-Wert 0,00055, und es gibt 118 Tests. Unser Kriterium ist also 0,05 / 118 = 0,0004, und wir schließen daraus, dass nichts von Bedeutung ist.
Das Bonferroni ist jedoch ein sehr konservatives Kriterium, das es den meisten Experimenten mit vielen Tests erschwert, Ergebnisse zu erzielen. Daher wurden viele andere Methoden entwickelt.
1995 änderten Benjamini und Hochberg (BH) das Spiel komplett. Anstatt zu kontrollieren, ob Unterschiede fälschlicherweise für signifikant erklärt wurden, änderten sie die Kriterien für das Kontrollieren der Rate, bei der Signifikanzerklärungen falsch waren. Wenn Ihre Toleranz für falsche Entdeckung 5% betrug, mussten Sie lediglich sicherstellen, dass die erwartete Anzahl falscher Entdeckungen nur 5% der von Ihnen als signifikant eingestuften Entdeckungen betrug. Sie waren in der Lage, eine sehr einfache Methode zur Steuerung der falschen Erkennungsrate zu konstruieren. Sie sortieren Ihre p-Werte von hoch nach niedrig. Für den höchsten p-Wert können Sie die FDR-Rate alpha (Falsche Erkennungsrate) verwenden, z. B. 0,05 als Kriterium. Für jeden nächsthöheren p-Wert schrumpft Ihr Kriterium ein wenig, zieht Alpha / m ab und bildet eine Rampe. Am unteren Ende der Rampe befindet sich das Kriterium für den kleinsten p-Wert, der Alpha / m ist, das Bonferroni-Kriterium. Alle p-Werte, die unter diese Rampe fallen, werden für signifikant erklärt, und BH hat bewiesen, dass Sie für unabhängige Tests die falsche Erkennungsrate mit dieser Methode steuern.
Auf der linken Seite befinden sich die Los-zu-Los-Daten. Die Benjamini-Hochberg-Rampe wird durch die rote Linie angezeigt, beginnend bei 0,05 rechts bis 0,05 / 118 unter die Rampe gehen Auf der rechten Seite befinden sich die Änderungsdaten für die Konstruktionsänderung. Die roten Punkte tauchen so unter die Rampe, dass sich mehr als 60% der Antworten deutlich unterscheiden.
Sie können den p-Wert auch so umwandeln, dass der neue FDR-angepasste p-Wert die falsche Erkennungseigenschaft aufweist, wenn er mit der falschen Erkennungsrate verglichen wird, z. B. 0,05. Die FDR-angepassten p-Werte werden durch die blauen Markierungen angezeigt, die unter der blauen Linie bei 0,05 für denselben Test tauchen wie die rote Markierung unter der roten Linie. Wenn die p-Werte auf der linken Seite gleichmäßig verteilt erscheinen, werden die FDR-angepassten p-Werte stark nach oben angepasst. Wenn jedoch die p-Werte schnell von rechts nach links abfallen, ist die FDR-Einstellung viel geringer.
Was ist, wenn die Tests nicht unabhängig sind? In den meisten Fällen, insbesondere wenn eine positive Korrelation zwischen den Tests besteht, stellt sich heraus, dass die BH-FDR-Anpassung konservativ ist und Ihnen den gewünschten Schutz bietet. Die Idee der falschen Entdeckungsrate hat sich seitdem zu einer reichen Literatur entwickelt, die in einigen Fällen wertvolle Verfeinerungen erfordert.
In der Ära der großen Statistik, wenn Sie Hunderte, Tausende oder sogar Millionen von Tests durchführen, sollten die FDR-angepassten p-Werte die neue bewährte Standardmethode sein. Sie werden nicht nur Zufälle herausfiltern; Sie werden wissen, dass das meiste, was Sie fangen, echte Effekte sein wird.
Sie können das bekommen Falsche Entdeckungsrate PValue Add-In aus dem JMP File Exchange. (Zum Herunterladen wird ein kostenloses SAS-Profil benötigt.) Auch FDR-Anpassungen gehören zum Standard Response Screening-Plattform und passende Persönlichkeit in JMP 11 .
Hinweis: Dies ist Teil eines Große Statistiken Serie von Blogbeiträgen von John Sall. Lesen Sie alle seine Große Statistikbeiträge .
