Dans les données sur les semi-conducteurs, il est courant que les mesures de sonde qui rencontrent un court-circuit présentent des mesures très éloignées de la distribution, c.-à-d. valeurs aberrantes . Lorsque nous testons que les moyennes sont les mêmes, ces valeurs aberrantes gonflent notre estimation de l'écart type [sigma]. N'oubliez pas que l'écart-type est estimé à l'aide des distances au carré de chaque point par rapport à sa valeur prédite, et que les valeurs éloignées ont donc un effet disproportionné sur l'estimation de l'écart-type. Du fait de l’estimation de la variance gonflée, ils rendent également les tests de moyennes moins sensibles, ce qui donne des valeurs p moins importantes plus grandes.
Heureusement, il existe des méthodes pour compenser ces valeurs aberrantes: méthodes robustes . La méthode robuste que nous aimons est la Huber M Estimateur . Fondamentalement, cette estimation est une moyenne et un sigma tels que, lorsque les points sont éloignés de la moyenne de deux sigma, ils sont sous-pondérés, de sorte que les calculs sont sensibles en tant que valeur absolue et non au carré de l'écart.
Les méthodes robustes sont plus chères à calculer. L'estimateur Huber-M est une méthode itérative qui parcourt les données plusieurs fois pour obtenir des estimations et des tests. Mais nous avons maintenant des ordinateurs rapides, il n’ya donc aucune excuse dans la plupart des cas pour ne pas tenir compte d’estimations robustes.
J'ai bien ajusté la variation d'un lot à l'autre des données de production, toutes les 118 variables. À gauche se trouve la relation entre le LogWorth robuste et le LogWorth non robuste. La ligne à 45 degrés est où ils sont égaux. Ils sont assez égaux, avec tous les points près de la ligne. Les données semblent bien comportées, non infectées par des valeurs aberrantes.
Mais dans les données de modification technique, toutes les 384 réponses, dans le graphique correspondant de droite, les LogWorth sont très significatifs, et la plupart d'entre eux sont très différents lorsqu'ils sont estimés de manière robuste. La plupart des tests sont beaucoup plus significatifs lorsqu'ils sont effectués de manière robuste.
Prenons l'un des tests où le test robuste est significatif, mais le test non robuste ne l'est pas.
La valeur p de l'ANOVA non robuste est .1007 et la valeur p de l'ANOVA robuste est de 5,98E-16, ce qui est très différent. Non seulement cela, mais quand ajusté de manière non robuste, la moyenne pour "nouveau" est plus grande. Mais pour la version robuste, qui abaisse toutes les valeurs aberrantes du groupe Old, la moyenne de «old» est plus grande, l’ordre inverse. (Les moyens non robustes sont les lignes vertes, les robustes lavande). Il s'avère que les tests ne deviennent pas toujours plus significatifs lorsqu'ils sont estimés de manière robuste; dans les 387 tests de cet exemple, 138 d’entre eux ont des tests robustes moins significatifs que non robustes.
La leçon à tirer est que si nous ne savons pas que les données sont saines, nous devrions essayer d’utiliser des estimations robustes. Sinon, nous risquons d’être aveuglés par de réelles différences que les méthodes standard (non robustes) ne détectent pas.
JMP 11 dispose de méthodes Huber M robustes dans de nombreux nouveaux lieux: distribution, one-way, bivarié, filtrage de réponse et modèle d'ajustement - personnalité du filtrage de réponse.
Remarque: Cela fait partie d'un Big Statistics série d'articles de blog de John Sall. Lire tout son Big statistiques posts .
