Lorsque vous avez des millions d'observations de données réelles et que vous faites un ajustement simple entre deux variables, si vous ne faites pas un test significatif, alors c'est une preuve solide de fraude. Les données simulées sont le type de données non significativement fiable non négligeable pour les tables de données très hautes. Nous vivons dans un monde où de nombreuses forces subtiles agissent de manière complexe - les choses sont donc généralement différentes, même si elles ne le sont pas beaucoup.
À l'ère du Big Data, lorsque nous avons des millions d'observations, nous pouvons nous attendre à ce que presque tous les tests soient significatifs. Mais dans la plupart des cas, nous ne nous soucions pas des petites différences. Ce que nous voulons savoir, c'est si la différence est plus grande que ce qui nous importe.
Dans l'industrie, nous avons généralement une assez bonne idée du changement qui nous tient à cœur - nous avons des limites de spécification, la limite de spécification inférieure (LSL) et la limite de spécification supérieure (USL). Si la différence est supérieure à une fraction de cette plage de spécifications, disons 10%, alors nous savons que nous tenons à l'examiner. Les données d'ingénierie ont généralement des limites de spécification pour nous guider sur la sensibilité aux changements.
Si nous n'avons pas de limites de spécification, nous utilisons quelque chose de similaire. En supposant que la différence moyenne soit faible comparée à la variation naturelle et que le processus se comporte raisonnablement avec une capacité de 1, nous utilisons alors 6 * sigma comme plage de spécifications. Nous utilisons IQR / (Q (0,75) -Q (0,25)) pour estimer sigma, où Q est le quantile normal, puis nous tenons compte d'environ 10% de cet intervalle.
Si nous avons une différence pratique en tête, alors nous pouvons facilement construire un test d'hypothèse selon lequel la valeur absolue de la différence réelle est inférieure à la différence pratique. Ce test ne sera pas toujours significatif si vous avez des millions d'observations - il aura plutôt tendance à être très significatif ou l'inverse.
Voici une photo de la façon dont le test fonctionne. Supposons que la différence pratique qui vous tient à coeur soit 2 et que la différence réelle soit 4. Vous construisez une distribution t de Student échelonnée par l'erreur standard de la différence autour de la différence pratique. Ensuite, vous calculez la probabilité de queue au-delà de la différence réelle, qui dans ce cas est d'environ 0,3 Mais ce n'est qu'une direction. Vous devez également regarder le négatif de la différence réelle et mesurer la probabilité dans cette queue de la même distribution. Vous avez maintenant une valeur p pour le test de différence pratique. C’est le test que vous devriez faire pour vous informer des changements qui vous intéressent.
Cependant, ce test peut être l'inverse du test que vous souhaitez réellement. Si vous voulez vous assurer que les différences sont minimes, il n’a aucun sens de faire valoir le manque de preuves que la différence n’est pas grande. Vous voulez vraiment tester à l'inverse, pour être à peu près sûr que la différence est inférieure à la différence pratique.
Les tests dans cette direction sont appelés tests d'équivalence . Ils sont utilisés le plus souvent dans les industries de la médecine réglementée et des appareils médicaux pour prouver qu'un changement n'affecte pas les résultats. Les tests d'équivalence doivent être enseignés aux étudiants d'initiation aux statistiques afin qu'ils comprennent bien que l'acceptation d'une hypothèse nulle ne prouve pas l'invalidité - cela signifie simplement que vous n'avez pas suffisamment de preuves pour la rejeter.
L’approche standard des tests d’équivalence est le TOST - deux tests t unilatéraux. Vous testez que la différence est inférieure à la différence pratique et également que la différence est supérieure au négatif de la différence pratique. Ainsi, vous prouvez que la différence est inférieure en valeur absolue à la différence.
Supposons que la différence qui vous tient à coeur, la différence pratique, est de 4 et que la différence réelle est de 2. Pour vérifier que la différence est inférieure à la différence pratique, vous devez placer la distribution t de Student avec les degrés de liberté appropriés et la réduire à l’erreur standard de la différence, 4. Notez que la zone dans la queue basse à la différence réelle est d’environ 0,01. Maintenant, vous mettez la distribution t de Student sur le négatif de la différence pratique, -4. Vous mesurez la surface dans la queue droite, qui est très très petite. Ensuite, vous prenez le maximum des deux valeurs p, qui se révèle être .01. Ainsi, vous avez démontré l’équivalence pratique au niveau de signification 0,01.
Nous avons maintenant les deux outils. Ainsi, lorsque nous comparons des moyennes, en référence à une différence pratique, nous avons deux valeurs p et trois conclusions possibles: pratiquement équivalent, pratiquement différent et pratiquement non concluant, si les deux valeurs p ne sont pas significatives.
Dans les comparaisons de moyennes ci-dessus, tous les tests sont extrêmement significatifs pour vérifier que la moyenne est égale à zéro; ce sont les valeurs p ombrées en bleu. Mais seules trois des réponses sont pratiquement différentes, c'est-à-dire significativement plus que la différence pratique. Ce sont les valeurs p ombrées en rouge. Sept réponses sont pratiquement équivalentes - autrement dit, la différence est nettement inférieure à la différence pratique en valeur absolue. Ceux-ci sont ombrés en vert. Deux des tests ne sont pas concluants - la différence est significativement différente de zéro, mais pas significativement différente de la différence pratique, et pas significativement inférieure à la différence pratique (équivalente) non plus.
Vous pouvez maintenant passer en revue les comparaisons et identifier rapidement comment chacune des nombreuses réponses a changé sa moyenne pour le facteur, même si vous avez des millions d'observations.
Des tests de différence pratiques sont disponibles dans JMP 11 dans la plate-forme de filtrage des réponses et les tests d’équivalence sont disponibles sur ce site ainsi que dans Oneway et le nouveau programme non linéaire.
Remarque: Cela fait partie d'un Big Statistics série d'articles de blog de John Sall. Lire tout son Big statistiques posts .
Mike Clayton a écrit:
Ces idées devraient être élaborées sous forme de webinaires pour les classes de STEM au lycée.
Ce sont des concepts importants qui doivent être illustrés (comme vous l'avez fait) et qui ne sont pas bien illustrés dans de nombreux manuels. Les anciens tests d'hypothèses sont beaucoup moins utiles à première vue, mais vous avez récupéré la valeur p du big data en utilisant des limites pratiques et une nouvelle visualisation (pour moi) et un tableau (lorsque attaquent maintenant les valeurs p comme dangereuses ou inutiles à bien des égards.)
Avertissement: je ne suis pas un statisticien.
