Estimada comunidad,
estamos procesando tablas grandes y queremos excluir valores atípicos.
Descubrimos que el valor atípico de ajuste robusto de la plataforma según huber excluye todas las filas, a menos que en el resumen no se encuentren valores atípicos, vea la imagen y el script de tabla de muestra para reproducir (JMP15 o JMP16 en Windows).
¿Esto realmente tiene sentido o hay un error? Esperaría un comportamiento diferente.
New Table( "Huber-outlier-0-sigma",
Add Rows( 100 ),
New Script(
"Explore Outliers of value",
Explore Outliers( Y( :value ), Robust Fit Outliers )
),
New Column( "value",
Numeric,
"Continuous",
Format( "Best", 12 ),
Set Values(
[0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4,
0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4,
0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4,
0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4,
0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4,
0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4,
0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4, 0.4,
0.4, 0.4]
),
Set Display Width( 83 )
),
)
Gracias por informar este problema al soporte de JMP. Puedo confirmar que esto se está abordando en la próxima versión principal. Para referencia a cualquier otra persona que tropiece con este problema, el problema se aborda en JMP 17 (que se publicará en el otoño de 2022).
Estimado @peng_liu ,
primero gracias por su respuesta, se la reenviaré a support@jmp.com .
En mi opinión, este comportamiento no es correcto, según tengo entendido, el diálogo informa cero valores atípicos (Huber N valores atípicos = 0) y, en contraste con esto, el botón de exclusión excluye todas las filas.
Además, mi solución alternativa es que pruebo el rango de la columna, y si el límite superior e inferior es exactamente el mismo, omito la prueba de valores atípicos (para no tener todas las filas excluidas). Como esto funciona perfectamente ahora, concluyo que JMP piensa que los números son todos exactamente iguales.
Atentamente
Por favor contactar support@jmp.com para reportar el problema.
No puedo evaluar el impacto de esta rareza en el entorno de producción del usuario. Y no puedo hablar por la mente del desarrollador, si hay una solución.
Aquí está mi punto de vista desde un ángulo numérico. En este caso, todos los datos son valores atípicos de hecho, según cómo se definen los valores atípicos y cómo calcula nuestra computadora. La raíz está en el aritmética de coma flotante . Hay dos problemas con este caso:
- Primero 0.4 no se puede representar exactamente en la computadora. Imagine que 0.4 en la computadora es 0.40000000000000xx, con un pequeño apéndice al final.
- En segundo lugar, la estimación del Centro Huber tampoco es exactamente 0,4. Incluso la media de un grupo de 0,4 no es 0,4 en la computadora, debido también a la aritmética de punto flotante. Imagine aquí que la estimación del Centro Huber es 0.40000000000000yy, con algún otro pequeño apéndice yy al final, pero diferente de xx.
Aquí está la captura de pantalla después de cambiar el formato a Fijo con suficiente longitud para los dígitos después del lugar decimal. Puedes ver el apéndice en el Huber Center.
Dado que la estimación de Huber Spread es cero y todas las observaciones son numéricamente diferentes del Centro Huber, de hecho están a años luz del Centro Huber, por lo que son valores atípicos según la definición y cómo se calculan en nuestra computadora imperfecta.
