Eliminación de valores atípicosHola equipo de Jmp,
Tengo un conjunto de datos de producción que tengo que analizar cinco columnas que contienen casi 5000 filas.
Casi el 80% de ellos eran valores atípicos y estaban dentro del límite de especificación.
Ahora quería hacer una comparación de diagrama de caja entre estas 5 columnas para ver una tendencia a lo largo de los días.
En este caso, ¿debo eliminar todos los valores atípicos que haya o debo conservarlos para comparar?
Análisis y modelado de datos básicosCombinación y limpieza de datosExploración y visualización de datosRe: Eliminación de valores atípicos¿Por qué no hacer ambas cosas para probar las opciones? Puedes crear una nueva columna en la que marques las filas como valores atípicos y usarlas en la visualización. En algunos casos, es posible que quieras apilar los datos, de modo que puedas excluir los valores atípicos de una sola medición en lugar de todos ellos (datos anchos frente a altos).
Re: Eliminación de valores atípicosHola @Statexplorer : Debo admitir que mi primer pensamiento al leer tu pregunta fue "¿Cómo es posible que el 80 % de tus datos sean valores atípicos?"
¿Puedes aclararme esto un poco? Si estás usando algún tipo de prueba de "valores atípicos" basada en la normalidad y el 80 % se encuentra en las colas, entonces tus datos no se distribuyen normalmente y tu prueba de valores atípicos no es adecuada.
Lo siento, pero no puedo comprender el concepto de que "el 80% de mis datos son valores atípicos", es decir, los valores atípicos son observaciones "inusuales"; ¿cómo puede el 80% de ellos ser "inusuales"?
Re: Eliminación de valores atípicosGracias por las sugerencias, utilicé el método IQR para la prueba de valores atípicos y, cuando vi el cuadro, la mayoría de los puntos eran valores atípicos.Re: Eliminación de valores atípicosHola @Statexplorer : El método IQR se basa en la normalidad de los datos. Si el 80 % de los datos se encuentran en los extremos, entonces los datos no se distribuyen normalmente y ese 80 % no son "valores atípicos". Conceptualmente, la mayoría de los datos no pueden ser "inusuales" (según la definición de inusual).
¿Cómo se identifican entonces los valores atípicos de distribuciones no normales, de cola pesada o asimétricas? Esta es una pregunta muy compleja que no tiene una respuesta fácil.
Si comparte algunos detalles sobre sus datos, etc., tal vez se pueda encontrar una solución adecuada.
Re: Eliminación de valores atípicosHola @Statexplorer : Volviendo a tu pregunta, yo no eliminaría ningún dato... pero no utilices el diagrama de caja para identificar "valores atípicos". Dicho esto, los diagramas de caja pueden ser una buena herramienta visual para tus datos: se muestra la mediana, el RIQ y también el mínimo y el máximo. Por lo tanto, en términos de tendencias, aún puedes visualizar cómo cambian la mediana y el diferencial a lo largo del tiempo.
Re: Eliminación de valores atípicosHola @MRB3855 , ¿Qué método debo usar para eliminar valores atípicos cuando los datos no siguen una distribución normal? y es una distribución muy sesgada. (En este caso, la mayoría de los valores atípicos están dentro del rango USL y LSL)
Re: Eliminación de valores atípicosHola @Statexplorer : Puede ser útil para nosotros comprender el contexto de tu pregunta; ¿por qué estás intentando identificar valores atípicos?
