Querida comunidad,
estamos procesando tablas grandes y queremos excluir valores atípicos.
Descubrimos que el valor atípico de ajuste robusto de la plataforma según huber excluye todas las filas, a menos que en el resumen no se encuentren valores atípicos, consulte la imagen y el script de la tabla de muestra para reproducir (JMP15 o JMP16 en Windows).
¿Esto realmente tiene sentido o hay un error? Yo esperaría un comportamiento diferente.
New Table( "Huber-outlier-0-sigma",
Add Rows( 100 ),
New Script(
"Explore Outliers of value",
Explore Outliers( Y( :value ), Robust Fit Outliers )
),
New Column( "value",
Numeric,
"Continuous",
Format( "Best", 12 ),
Set Values(
[0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4,
0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4,
0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4,
0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4,
0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4,
0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4,
0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4,
0.4, 0.4]
),
Set Display Width( 83 )
),
)
Por favor contactar support@jmp.com para informar del problema.
No puedo evaluar el impacto de esta rareza en el entorno de producción del usuario. Y no puedo hablar por la mente del desarrollador, si hay una solución.
Aquí está mi punto de vista desde un ángulo numérico. En este caso, todos los datos son valores atípicos, en función de cómo se definen los valores atípicos y cómo calcula nuestra computadora. La raíz está en el aritmética de coma flotante . Hay dos problemas con este caso:
- El primer 0,4 no se puede representar exactamente en una computadora. Imagine que 0.4 en la computadora es 0.40000000000000xx, con un pequeño apéndice al final.
- En segundo lugar, la estimación del Centro Huber tampoco es de 0,4 exactamente. Incluso la media de un grupo de 0.4 no es 0.4 en computadora, debido también a la aritmética de coma flotante. Imagínese aquí que la estimación del Centro Huber es 0.40000000000000yy, con algún otro pequeño apéndice yy al final, pero diferente de xx.
Aquí está la captura de pantalla después de cambiar el formato a Fijo con suficiente longitud para los dígitos después del lugar decimal. Puede ver el apéndice en el Centro Huber.
Dado que la estimación de la propagación de Huber es cero y todas las observaciones son numéricamente diferentes del Centro Huber, de hecho están a años luz de distancia del Centro Huber, por lo que son valores atípicos según la definición y cómo se calculan en nuestra computadora imperfecta.
Estimado @peng_liu ,
primero gracias por su respuesta, se la reenviaré a support@jmp.com .
En mi opinión, este comportamiento no es correcto, según tengo entendido, el diálogo informa cero valores atípicos (Huber N valores atípicos = 0) y, en contraste con esto, el botón de exclusión excluye todas las filas.
Además, mi solución alternativa es que pruebo el rango de la columna, y si el límite superior e inferior es exactamente el mismo, omito la prueba de valores atípicos (para no tener todas las filas excluidas). Como esto funciona perfectamente ahora, concluyo que JMP piensa que los números son todos exactamente iguales.
Atentamente
