<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />
Salut,
J'attends actuellement avec impatience un moyen d'identifier automatiquement les valeurs aberrantes d'une distribution.
Je me demandais si quelqu'un aurait un script exécutant le test Q de Dixon sur une table de données JMP.
Merci d'avance,
Jérôme
Merci d'avoir utilisé notre script. Je suis content que ce soit utile. L'une des nombreuses raisons d'être de File Exchange est de fournir des outils utiles qui complètent JMP. Si vous souhaitez que ce test de valeurs aberrantes soit intégré à JMP, visitez la liste de souhaits JMP ici dans la communauté JMP et demandez-le. Vous pouvez d'abord le rechercher (je ne l'ai pas fait) et si vous trouvez une telle demande déjà soumise, votez pour elle afin d'augmenter ses chances.
Je n'étais pas au courant de l'article que vous avez cité (Rorabacher 1991), ce n'était donc pas la base de mon scénario. J'ai cependant utilisé l'une des sources qu'il a citées. J'ai utilisé Bartlett et Lewis (1994), bien qu'il s'agisse d'une édition plus récente que celle utilisée par Rorabacher. Je suis d'accord avec lui sur le fait que de tels tests sont importants et peuvent être utiles. J’aimerais que davantage de scientifiques sachent ce qu’ils signifient et comment les utiliser correctement. Je vois généralement un comportement que certains ont appelé « pêche à la valeur p » où des tests sont appliqués jusqu'à ce que l'un d'entre eux soit « statistiquement significatif ». Ce comportement est particulièrement répandu dans les tests de valeurs aberrantes.
Les tests ont été développés et revisités pendant de nombreuses décennies. Les améliorations des techniques informatiques et de la théorie statistique profitent aux méthodes plus anciennes et nous en bénéficions tous.Les tests sont objectifs mais reposent sur des choix subjectifs :
- Quelle est la taille minimale d’un échantillon pour tester raisonnablement les valeurs aberrantes ?
- Quel risque d’erreur de type I et d’erreur de type II suis-je prêt à prendre ?
- Dans quelle mesure les hypothèses du test sont-elles satisfaites ?
- Dans quelle mesure puis-je déterminer dans quelle mesure les hypothèses sont satisfaites ?
- Quel test dois-je utiliser ? Autrement dit, quelle est ma conviction sur le processus de contamination spécifique à l’œuvre sur ces données ?
Concernant vos problèmes spécifiques, vous avez dit : " Le premier problème est que les valeurs critiques dans le script semblent faire référence au test unilatéral, ou en fait au CL de 90 % lors du choix de l'option 0,05. Prière de se référer à Rorabacher pour la liste des valeurs critiques, notamment pour le cas de 95 % CL. "
J'ai soigneusement examiné le script et confirmé qu'il utilise le bon ensemble de valeurs critiques pour un niveau de confiance de 95 % et 99 %. J'ai ensuite testé des exemples publiés qui concordaient avec le résultat du script.
Notez également que seul le premier test fourni par le script (« Upper ou Lower Outlier ») est correctement appliqué en tant que test bilatéral. Tous les autres tests sont unilatéraux, donc doubler l'alpha pour ces tests ou utiliser un intervalle de confiance bilatéral n'a aucun sens. Rorabacher semble faire cette erreur à la page 141. Il est important d’être clair sur les hypothèses nulles et alternatives dans tout test ou construction d’un intervalle de confiance.
Vous avez dit, " Dans l’exemple ci-joint, la valeur 11,66 est clairement une valeur aberrante. "
J'aurais aimé que ce soit aussi simple et clair. Au cours de mes années en tant que chimiste analytique, j'ai vu de nombreux cas dans lesquels je voulais qualifier une observation de valeur aberrante, mais sur la base de seulement 3 observations, un tel appel était injustifié. Comment puis-je savoir que les deux valeurs négatives ne sont pas des valeurs aberrantes ? Une variation aléatoire telle que celle observée dans un échantillon d'une population peut fournir des observations surprenantes mais toujours valables. Des connaissances préalables sur la population pourraient être utilisées pour compléter le test, mais ces tests n'utilisent pas d'informations externes à l'échantillon.
L’utilisation d’une valeur critique crée également l’illusion qu’une observation est une valeur aberrante ou qu’elle ne l’est pas. Le fait est que plus la distance utilisée dans l’un de ces tests est grande, plus les preuves sont solides. Il s’agit d’un changement de croyance continu et non linéaire.
Vous avez dit, " La valeur critique affichée par le script est Q0=1 alors qu'en fait elle devrait être 0,971 et, comparée au résultat du test, Q=0,98 devrait indiquer une valeur aberrante. "
Rorabacher souligne à quel point différentes valeurs critiques sont apparues au fil des décennies, donc je ne dirais pas qu'« en fait, elle devrait être de 0,971 ». Chaque auteur a présenté un effort honnête pour développer des valeurs critiques basées sur des choix subjectifs tels que ceux mentionnés ci-dessus. Cette valeur de 0,971 représente un autre choix subjectif concernant ces tests. Je maintiens mon choix de la source du q0 valeurs que j'utilise dans le script. Mais vous pouvez modifier le script si vous préférez les valeurs de Rorabacher. L'un des avantages d'un script est que vous n'avez pas besoin d'attendre que les développeurs JMP ajoutent ou améliorent la fonctionnalité.
Bonjour Mark,
Merci pour le script du test de Dixon, qui est très utile (j'aimerais que la possibilité d'exécuter le test de Dixon devienne une fonctionnalité standard de JMP). Je regardais ce script et à moins que quelque chose ne me manque, je pense qu'il pourrait y avoir deux problèmes.
Pour les démontrer, j'ai utilisé le test bilatéral (première option de la liste) avec trois nombres comme dans l'exemple ci-joint.
Le premier problème est que les valeurs critiques dans le script semblent faire référence au test unilatéral, ou en fait au CL de 90 % lors du choix de l'option 0,05. Prière de se référer à Rorabacher pour la liste des valeurs critiques, notamment pour le cas de 95 % CL.
Dans l'exemple ci-joint, la valeur 11,66 est clairement une valeur aberrante, qui doit être détectée si vous utilisez le test unilatéral ou bilatéral. La valeur critique affichée par le script est Q0=1 alors qu'en fait elle devrait être 0,971 et, comparée au résultat du test, Q=0,98 devrait indiquer une valeur aberrante.
Encore une fois merci beaucoup. J'apprécierai vos commentaires.
Merci Mark pour le script et pour le guide d'utilisation détaillé !
J'ai un script presque terminé. Je vérifie son fonctionnement et ses calculs, et j'ajoute d'autres tables de recherche. Je le soumettrai au File Exchange de la communauté des utilisateurs JMP dès que possible. Je soumettrai également un script que j'ai terminé pour le test de Grubb.
