La première ligne du roman classique de Leo Tolstoy, Anna Karenina, commence:
«Les familles heureuses sont toutes pareilles; chaque famille malheureuse est malheureuse à sa manière. "
C'est une ligne très mémorable. Mais en regardant le Entrée de Wikipedia pour le principe Anna Karenina , J'ai vu cette version pour les tests de signification statistique:
«… Il existe un certain nombre de façons dont un jeu de données peut violer l'hypothèse nulle et un seul dans lequel toutes les hypothèses sont satisfaites.»
Lorsque nous effectuons un test d’hypothèse selon lequel deux moyennes sont identiques, le cas ennuyeux correspond à leur cas identique, c’est-à-dire lorsque nous ne rejetons pas l’hypothèse nulle. Le cas intéressant est celui où les moyens sont différents, bien que peut-être pas suffisamment intéressants pour valoir un roman de Tolstoï. La différence peut être suffisante pour être significative. La différence peut être plusieurs fois la différence qui serait significative. Ils peuvent être différents dans un sens ou dans l'autre. Lorsque nous avons plus de deux moyennes, de nombreuses combinaisons de différences présentent un intérêt. Nous recherchons quelque chose d'intéressant - quelque chose de différent - dans les statistiques.
Envisagez un processus de fabrication dans lequel vous souhaitez rechercher des différences. Supposons que vous changiez de fournisseur pour un ingrédient et que vous souhaitiez vous assurer que le processus ou le produit ne change pas, ou qu'il évolue dans la bonne direction. Supposons que vous apportiez un changement technique à la manière dont le produit est fabriqué et que vous voulez vous assurer qu'il ne s'aggrave pas. Vous avez des centaines de variables à examiner et vous souhaitez tester des centaines d'hypothèses. Vous voulez voir où sont les plus grandes différences.
Regardons quelques données sur les semi-conducteurs. Nous voulons garder un œil sur 387 variables de processus et nous craignons un changement d’ingénierie, décrit dans la colonne «Processus» comme étant Ancien ou Nouveau. Je peux facilement faire un ajustement Y par X pour toutes les réponses par rapport à Process. Ensuite, je fais un contrôle-clic sur ANOVA pour obtenir tous les tests. Le contrôle-clic diffuse la commande à toutes les 387 analyses. Voici une photo de l’un des 387 rapports:
Maintenant, j'ai le même problème que décrit dans mon précédent billet de blog: Il y a 387 rapports à parcourir. Je veux juste regarder la valeur p de l'ANOVA, «Prob> F», la probabilité d'obtenir une statistique F encore plus grande que celle que j'ai, étant donné que les moyennes sont égales. Eh bien, JMP peut rassembler ces p-valeurs. Je clique avec le bouton droit sur la valeur et choisis l'élément de menu «Créer une table de données combinée», ce qui entraîne:
La table contient trois lignes par réponse, mais les lignes que je veux supprimer ont toutes des valeurs manquantes pour la valeur p. Je peux donc utiliser Sélectionner les cellules correspondantes pour les sélectionner, les supprimer, puis les trier par ordre croissant au moyen d'une autre commande par clic droit dans la colonne Valeur p.
Hey! Il semble que beaucoup de mes valeurs p sont significatives. Quelque chose a vraiment changé quand j'ai changé le processus. Voici la distribution des valeurs p:
En regardant le graphique CDF, je constate que près de 60% des valeurs p sont très petites. Les autres 40% des valeurs p semblent assez uniformément répartis de 0 à 1. Regardez toutes les valeurs p dans l’ordre, petit à grand:
Rappelez-vous le principe Anna Karenina maintenant. Lorsque les moyens sont les mêmes, c'est-à-dire que l'hypothèse nulle n'est pas rejetée, c'est une ennuyeuse similitude. Mais lorsque les moyens sont différents, l'hypothèse nulle est rejetée et les moyens peuvent être différents de nombreuses manières et de nombreuses magnitudes. Visuellement, je veux que la ressemblance ressemble à une similitude et que les différences significatives soient différentes et intéressantes.
Dans un graphique de valeurs p, nous avons l'inverse: pour tous les tests non intéressants où les moyennes sont les mêmes, les valeurs p sont facilement distinguables. Pour tous les tests intéressants où les moyennes sont toutes différentes de manière intéressante, elles ont toutes des valeurs proches de zéro où je ne peux pas les distinguer les unes des autres. Les valeurs P violent le principe visuel d'Anna Karenina - vous ne pouvez pas voir l'intérêt, mais vous pouvez voir l'ennui. C'est comme si Tolstoï avait écrit de nombreux chapitres sur les personnages périphériques émoussés et seulement quelques lignes sur les personnages principaux du roman. Nous devons résoudre ce problème.
Le moyen évident d'obtenir des détails pour de très petites valeurs positives consiste à passer à l'échelle logarithmique. Il s'avère que je dois choisir une très petite origine pour obtenir la plupart de ces valeurs p.
Plutôt que d'utiliser simplement une échelle logarithmique, pourquoi ne pas simplement calculer log10 (pvalue) et tracer cela? En fait, nous aimerions avoir les valeurs les plus significatives en haut, pas en bas, donc nous retournons les signes et le graphique –log10 (pvalue). Et parce que nous voulons beaucoup faire cela, nous devons inventer un nom court pour cela, alors appelons-le LogWorth.
Le nom LogWorth a été utilisé à partir de 1995 par Padraic Neville dans le contexte spécifique des critères de l’arbre de décision. Il est beaucoup plus facile de dire «LogWorth» que de dire «log négatif à la base 10 de la valeur p».
Nous sommes donc maintenant en conformité avec le principe Anna Karenina. Les ensembles de moyennes significativement différentes diffèrent dans le graphique de signification. Les moyens qui sont ennuyeusement les mêmes sont les mêmes dans l'intrigue.
Mais avons-nous abandonné une certaine perspective? Comprendrons-nous LogWorth ainsi que les probabilités? Je suis optimiste que nous pouvons. Voici les nouveaux buts importants à apprendre:
PValue = .01 -> LogWorth = 2PValue = .05 -> LogWorth = 1.3
PValue = .10 -> LogWorth = 1
Dans l'intrigue ci-dessus, j'ai même une ligne de référence rouge à 2. Nous sommes également à l'aise de parler d'informations sur l'échelle de probabilité de log, comme vous pouvez l'imaginer avec des phrases comme «aussi rare que trois 10 de suite sur des lancers de dés à 10 faces», ce qui est (1/10) 3 ou.001.
La théorie de l'information est très à l'aise avec l'échelle logarithmique, où vous pouvez ajouter au lieu de multiplier. La terminologie des unités a été déterminée. Le log négatif à la base 2 de probabilité en théorie de l'information s'appelle des bits; si vous utilisez la base 10, cela s'appelle des décits. On voit donc que l’axe LogWorth est mesuré en décits de la rareté, ou combien de dés cadaèdres jettent des dés. (Pour plusieurs termes alternatifs, voir le Unités d'information entrée dans Wikipedia.)
L'échelle du journal est particulièrement importante lors de la manipulation de tests extrêmement importants, ce qui se produit tout le temps avec de grands ensembles de données. Vous voulez toujours tracer et classer la signification. Mais le système à virgule flottante de nos ordinateurs ne peut représenter que des valeurs allant jusqu'à environ 10 ^ -323. Dans nos données, sur les 387 tests que nous avons effectués, 38 d'entre eux ont des valeurs de p inférieures à 10 ^ -323, représentables uniquement par zéro, et donc non distinguables. Nous utilisons donc des routines log-probabilistes chaque fois que nous calculons des significations, afin de pouvoir continuer à représenter des significations. Le test le plus significatif dans ces données a un LogWorth de 4638.1808456. C'est une valeur très distinguée, à tel point qu'elle déforme le graphique de LogWorth - dans certains cas, il peut être nécessaire d'utiliser une autre transformation de journal. En fait, nous limiterons LogWorth - afin de voir plus de détails dans le reste des données et de nous excuser pour avoir enfreint le principe visuel Anna Karenina pour quelques valeurs.
A propos, LogWorths a commencé à apparaître sur la plate-forme Partition lors de son introduction, et à présent, la plate-forme Response Screening et la personnalité de l'ajustement associée l'utilisent partout.
Remarque: Cela fait partie d'un Big Statistics série d'articles de blog de John Sall. Lire tout son Big statistiques posts .
