Les données purement aléatoires ont 5% de chances d’être significatives. Choisissez les valeurs p les plus significatives parmi de nombreux tests de données aléatoires, et vous filtrerez les tests significatifs par hasard uniquement.
Supposons que nous ayons un processus que nous savons stable et cohérent. Nous mesurons beaucoup de réponses et nous avons également un identifiant de lot. La question qui se pose est la suivante: les réponses diffèrent-elles de manière significative d’un lot à l’autre? Nous avons donc exécuté des analyses de variance, extrait les valeurs p, les trions et voyons les résultats, du plus petit au plus grand. Nous avons 13 tests significatifs, c'est-à-dire sous la ligne à 0,05. Avec des données aléatoires, nous nous attendons à ce que 5% environ soient significatifs, ce qui correspond à 0,05 * 118 = 5,9. Nous en avons donc un peu plus que ce à quoi nous nous attendions.
Remarquez la distribution des valeurs p - sur toute la fraction des données, elles suivent une ligne droite allant de 0 à 1. C'est la caractéristique d'une distribution uniforme des valeurs. Pour les tests indépendants purement aléatoires, les valeurs de p suivent une distribution uniforme. Nous savons à peu près qu'il n'y a pas de réelle différence, mais 13 tests sont significatifs. Notre objectif principal étant de rechercher de grandes différences, nous voulons donc toujours trier et filtrer par valeurs p. Mais nous avons besoin de quelque chose à ajuster pour regarder beaucoup de tests. Sinon, nous avons un biais de sélection - un biais de test multiple - un filtre de coïncidence.
Maintenant que nous avons vu le modèle issu de données ne présentant aucune différence, voyons à quoi cela peut ressembler lorsque de nombreux tests sont vraiment significatifs. Ici, plus de 60% des données semblent significatives.
Si vous regardez le graphique à droite, il semble que toutes les valeurs supérieures à 0,05 suivent une ligne droite droite vers 1, mais autour de 0,10 ou 0,05, la pente de la ligne semble beaucoup changer et elle devient très dense. près du bas. Examiner des valeurs p comme celle-ci - rechercher un changement de pente - s'avère être le sujet d'un article de Schweder et Spjotvoll (Biometrika 1982, p493-502) qui a incité les chercheurs à réfléchir à l'ensemble de la population de valeurs p . Le raisonnement était similaire à une situation analogue que Cuthbert Daniel avait remarquée plus de 20 ans plus tôt lorsque vous aviez tracé des estimations à partir d’une expérience factorielle: les petites valeurs proches du milieu semblaient suivre une ligne de quantile normale, mais les effets importants s’écartaient de cette pente.
Eh bien, il se trouve qu'il existe une vaste littérature sur les biais de test multiples et les méthodes d'ajustement des tests pour en tenir compte. Ces techniques ont bien fonctionné lorsqu'il n'y avait que peu de moyens de comparaison ou de tests à effectuer. Une procédure très simple consistait simplement à demander que les valeurs p soient inférieures à alpha / m, m étant le nombre de tests et alpha le niveau de signification. En 1961, OJ Dunn a prouvé (en utilisant le Bonferroni inégalité) que ce critère vous a procuré une protection globale pour tous les tests.
Si nous examinons le premier ensemble de valeurs p, la valeur p la plus basse est 0,00055 et il y a 118 tests. Notre critère est donc 0,05 / 118 = 0,0004 et nous concluons qu’il n’ya rien d’important.
Mais le critère de Bonferroni est très conservateur, il est difficile pour la plupart des expériences impliquant de nombreux tests d'obtenir des résultats, de nombreuses autres méthodes ont donc été développées.
En 1995, Benjamini et Hochberg (BH) ont complètement changé le jeu. Au lieu de contrôler si les différences étaient faussement déclarées significatives, elles ont changé les critères pour contrôler le taux de fausses déclarations de signifiance. Si votre tolérance à la fausse découverte était de 5%, vous devez simplement vous assurer que le nombre attendu de fausses découvertes ne représente que 5% de celles que vous avez déclarées significatives. Ils ont pu construire une méthode très simple pour contrôler le taux de fausse découverte. Vous triez vos valeurs p de haut en bas. Pour la valeur p la plus élevée, vous pouvez utiliser le taux alpha du taux de découverte fictive (FDR), par exemple 0,05 comme critère. Pour chaque prochaine valeur p la plus élevée, votre critère diminue légèrement, soustrayant alpha / m, formant une rampe. Au bas de la rampe se trouve le critère de la plus petite valeur p, alpha / m, le critère de Bonferroni. Toutes les valeurs p qui tombent sous cette rampe sont déclarées significatives et BH a prouvé que, pour les tests indépendants, vous contrôliez le taux de détection erroné avec cette méthode.
À gauche se trouvent les données lot à lot, et la rampe Benjamini-Hochberg est représentée par la ligne rouge, commençant à 0,05 à droite, jusqu'à 0,05 / 118, et aucune des valeurs p rouges passer sous la rampe. Sur la droite, les données de modification technique. les points rouges plongent sous la rampe, de sorte que plus de 60% des réponses sont significativement différentes.
Vous pouvez également transformer la valeur p de telle sorte que la nouvelle valeur p ajustée par le FDR ait la propriété de découverte fausse par rapport au taux de fausse découverte, par exemple 0,05. Les valeurs p ajustées par le FDR sont indiquées par les marqueurs bleus, qui plongent sous la ligne bleue à 0,05 pour le même test que le marqueur rouge plongent sous la ligne rouge. Notez que lorsque les valeurs p semblent uniformément réparties dans le côté gauche, les valeurs p ajustées par le FDR sont fortement ajustées vers le haut. Mais lorsque les valeurs p descendent rapidement de droite à gauche, l’ajustement FDR est bien moindre.
Et si les tests ne sont pas indépendants? Dans la plupart des cas, en particulier lorsqu'il existe une corrélation positive entre les tests, il s’avère que le réglage BH FDR est conservateur, vous offrant la protection que vous souhaitez. L'idée des taux de fausse découverte a depuis suscité une littérature riche, comprenant des perfectionnements qui en valent la peine dans certains cas.
À l'ère des grandes statistiques, lorsque vous effectuez des centaines, des milliers, voire des millions de tests, les p-values ajustées par le FDR doivent constituer la nouvelle meilleure pratique standard. Vous ne ferez pas que filtrer les coïncidences; vous saurez que la plupart de ce que vous attraperez sera de vrais effets.
Vous pouvez obtenir le Complément PValue False Discovery Rate de l'échange de fichiers JMP. (Le téléchargement nécessite un profil SAS gratuit.) Les ajustements FDR sont également standard dans le logiciel. Plateforme de dépistage et personnalité appropriée JMP 11 .
Remarque: Cela fait partie d'un Big Statistics série d'articles de blog de John Sall. Lire tout son Big statistiques posts .
