Liebe Community,
Wir verarbeiten große Tabellen und möchten Ausreißer ausschließen.
Wir haben festgestellt, dass der Plattform-Robust-Fit-Ausreißer laut Huber alle Zeilen ausschließt, es sei denn, in der Zusammenfassung werden keine Ausreißer gefunden, siehe Bild und Beispieltabellenskript zur Reproduktion (JMP15 oder JMP16 unter Windows).
Ist das wirklich sinnvoll oder liegt ein Fehler vor? Ich würde ein anderes Verhalten erwarten.
New Table( "Huber-outlier-0-sigma",
Add Rows( 100 ),
New Script(
"Explore Outliers of value",
Explore Outliers( Y( :value ), Robust Fit Outliers )
),
New Column( "value",
Numeric,
"Continuous",
Format( "Best", 12 ),
Set Values(
[0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4,
0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4,
0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4,
0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4,
0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4,
0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4,
0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4,
0.4, 0.4]
),
Set Display Width( 83 )
),
)
Vielen Dank, dass Sie dieses Problem dem JMP-Support gemeldet haben. Ich kann bestätigen, dass dies in der nächsten Hauptversion behoben wird. Als Hinweis für alle anderen, die auf dieses Problem stoßen: Das Problem wird in JMP 17 (Veröffentlichung im Herbst 2022) behoben.
Liebling @peng_liu ,
zunächst einmal vielen Dank für Ihre Antwort, ich werde sie gerne weiterleiten support@jmp.com .
Meiner Meinung nach ist dieses Verhalten nicht korrekt, soweit ich weiß, meldet der Dialog null Ausreißer (Huber N Outliers = 0), und im Gegensatz dazu schließt die Schaltfläche „Ausschließen“ alle Zeilen aus.
Außerdem besteht meine Problemumgehung darin, dass ich den Bereich der Spalte teste und wenn die Ober- und Untergrenze genau gleich sind, überspringe ich den Ausreißertest (um nicht alle Zeilen auszuschließen). Da dies jetzt perfekt funktioniert, komme ich zu dem Schluss, dass JMP der Meinung ist, dass die Zahlen alle genau gleich sind.
Beste grüße
Kontaktieren Sie bitte support@jmp.com um das Problem zu melden.
Ich kann die Auswirkungen dieser Kuriosität auf die Produktionsumgebung des Benutzers nicht einschätzen. Und ich kann nicht für die Meinung des Entwicklers sprechen, ob es eine Lösung gibt.
Hier ist meine Sicht aus numerischer Sicht. In diesem Fall handelt es sich bei allen Daten tatsächlich um Ausreißer, je nachdem, wie die Ausreißer definiert sind und wie unser Computer sie berechnet. Die Wurzel liegt in der Gleitkomma-Arithmetik . In diesem Fall gibt es zwei Probleme:
- Die ersten 0,4 können im Computer nicht genau dargestellt werden. Stellen Sie sich vor, 0,4 im Computer ist 0,40000000000000xx, mit einem kleinen Anhängsel am Ende.
- Zweitens liegt die Schätzung des Huber-Zentrums ebenfalls nicht genau bei 0,4. Selbst der Mittelwert einer Gruppe von 0,4 ist im Computer nicht 0,4, auch aufgrund der Gleitkomma-Arithmetik. Stellen Sie sich vor, die Schätzung des Huber-Zentrums beträgt 0,40000000000000yy, mit einem weiteren winzigen Anhang yy am Ende, der sich jedoch von xx unterscheidet.
Hier ist der Screenshot, nachdem ich das Format auf „Fest“ geändert habe, mit ausreichender Länge für Ziffern nach der Dezimalstelle. Den Anhang können Sie im Huber Center besichtigen.
Da die Schätzung der Huber-Spreizung gleich Null ist und alle Beobachtungen numerisch vom Huber-Zentrum abweichen, sind sie tatsächlich Lichtjahre vom Huber-Zentrum entfernt, es handelt sich also um Ausreißer gemäß der Definition und der Art und Weise, wie sie in unserem unvollkommenen Computer berechnet werden.
