Chère communauté,
nous traitons de grands tableaux et souhaitons exclure les valeurs aberrantes.
Nous avons constaté que la valeur aberrante de l'ajustement robuste de la plate-forme selon huber exclut toutes les lignes, sauf si dans le résumé il n'y a pas de valeurs aberrantes, voir l'image et l'exemple de script de table à reproduire (JMP15 ou JMP16 sous Windows).
Est-ce que cela a vraiment du sens ou y a-t-il un bug, je m'attendrais à un comportement différent.
New Table( "Huber-outlier-0-sigma",
Add Rows( 100 ),
New Script(
"Explore Outliers of value",
Explore Outliers( Y( :value ), Robust Fit Outliers )
),
New Column( "value",
Numeric,
"Continuous",
Format( "Best", 12 ),
Set Values(
[0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4,
0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4,
0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4,
0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4,
0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4,
0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4,
0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4,
0.4, 0.4]
),
Set Display Width( 83 )
),
)
S'il vous plaît contactez support@jmp.com pour signaler le problème.
Je ne peux pas évaluer l'impact de cette bizarrerie sur l'environnement de production de l'utilisateur. Et je ne peux pas parler pour l'esprit du développeur, s'il y a une solution.
Voici mon point de vue sous un angle numérique. Dans ce cas, toutes les données sont en effet des valeurs aberrantes, en fonction de la façon dont les valeurs aberrantes sont définies et de la façon dont notre ordinateur calcule. La racine réside dans le arithmétique à virgule flottante . Il y a deux problèmes avec ce cas:
- Le premier 0.4 ne peut pas être exactement représenté dans l'ordinateur. Imaginez que 0.4 dans l'ordinateur est 0.4000000000000xx, avec un petit appendice à la fin.
- Deuxièmement, l'estimation du Huber Center n'est pas exactement de 0,4 non plus. Même la moyenne d'un tas de 0,4 n'est pas de 0,4 en informatique, en raison également de l'arithmétique à virgule flottante. Imaginez ici que l'estimation du Huber Center est de 0,4000000000000yy, avec un autre petit appendice yy à la fin, mais différent de xx.
Voici la capture d'écran après avoir changé le format en Fixe avec une longueur suffisante pour les chiffres après la virgule. Vous pouvez voir l'appendice dans le Huber Center.
Étant donné que l'estimation de Huber Spread est nulle et que toutes les observations sont numériquement différentes du Huber Center, elles sont en effet à des années-lumière du Huber Center, ce sont donc des valeurs aberrantes selon la définition et la façon dont elles sont calculées dans notre ordinateur imparfait.
cher @peng_liu ,
tout d'abord merci pour votre réponse, je vais transmettre à support@jmp.com .
À mon avis, ce comportement n'est pas correct, pour autant que je sache, la boîte de dialogue signale zéro valeur aberrante (Huber N Outliers = 0), et contrairement à cela, le bouton d'exclusion exclut toutes les lignes.
De plus, ma solution de contournement est que je teste la plage de la colonne, et si la limite supérieure et inférieure est exactement la même, je saute le test des valeurs aberrantes (pour ne pas exclure toutes les lignes). Comme cela fonctionne parfaitement maintenant, j'en conclus que JMP pense que les chiffres sont tous exactement les mêmes.
Cordialement
