Bienvenidos a la segunda entrega de mi blog sobre valores atípicos. En este episodio, analizaré el uso de rangos de cuantiles para detectar valores atípicos.
En el episodio 1 , buscamos describir e identificar visualmente los valores atípicos. Puede recordar que hay casos simples unidimensionales (o univariados) en los que necesitamos identificar valores atípicos. Estos son los más fáciles de identificar y los rangos de cuantiles son una excelente manera de buscarlos.
Para la detección de valores atípicos multidimensionales, ¡tendrá que esperar mis próximas publicaciones!
¿Qué son los cuantiles?
Los cuantiles son muy fáciles de entender. Digamos que tenemos una serie de 20 números. Podemos ordenar los números de menor a mayor. Luego, podemos agrupar estos puntos en cuantiles, que se identifican mediante puntos de corte en los datos ordenados que describen el punto por debajo del cual cae el X% de los datos.
Tenga en cuenta que los cuantiles generalmente se expresan como una fracción (de 0 a 1). Corresponden exactamente a los percentiles, que van de 0 a 100. Los usaré indistintamente a lo largo de esta publicación.
La figura 1 muestra los 20 números antes y después de la ordenación, y los cuantiles 0,20 y 0,50 (o 20 el y 50 el percentiles).
Figure 1: Data from 20 point sample, random order and sortedFigura 1: Datos de una muestra de 20 puntos, ordenados aleatoriamente y ordenados
El punto de corte para los 50 el percentil es la mediana de la muestra. (En este caso, la mediana es numéricamente 32,5, el punto medio entre 40 y 25).
Algunas otras definiciones interesantes incluyen:
- Cuartiles, que dividen los datos en grupos del 25%. El primer cuartil representa los puntos de datos que se encuentran en el 25 % más bajo, los puntos del segundo cuartil se encuentran entre el 25 % y el 50 %, y así sucesivamente.
- Rango intercuartílico, o IQR, que define el rango cubierto por 2 Dakota del Norte y 3 rd cuartiles.
Tenga en cuenta que no se hacen suposiciones sobre la forma de la distribución cuando se habla de cuantiles.
¿Dónde se encuentran los cálculos de cuantiles en JMP?
Puede encontrar los cuantiles enumerados en tres lugares en JMP . La plataforma de distribución y Graph Builder utilizan los mismos cálculos. Explore Outliers/Quantile Range Outliers ofrece más flexibilidad al usuario en términos de sensibilidad de los valores atípicos. Veamos cada uno.
Plataforma de distribución
En Distribución, todos los histogramas de datos continuos/numéricos incluyen un resumen de cuantiles tabulares. De forma predeterminada, JMP muestra varios cuantiles de interés. El uso de la plataforma de distribución en la columna denominada Datos originales en la Figura 1 da el siguiente resultado:
Varios cuantiles comunes se muestran en la tabla central de la Figura 2. Puede cambiar los cuantiles que se muestran en esta tabla seleccionando el punto rojo y eligiendo Opciones de visualización, y luego Establecer incremento de cuantiles o Cuantiles personalizados.
En la Figura 2 también se muestra el diagrama de caja y bigotes. Los símbolos que se muestran en el gráfico están anotados en la Figura 2.
Los extremos de los bigotes son los más interesantes para detectar valores atípicos. Tenga en cuenta que la longitud de los bigotes se mide desde el mínimo y el máximo del rango intercuartílico y que los bigotes terminan en el último punto de datos que está dentro de 1,5 veces ese rango. Esta es una regla general común para la detección de valores atípicos. Los puntos que quedan fuera de estos bigotes pueden merecer una mayor investigación.
Pero en el conjunto de datos que se muestra en las Figuras 1 y 2, esta técnica no detecta valores atípicos. Esto no es poco común, particularmente con tamaños de muestra pequeños.
La figura 3 muestra el resultado de la plataforma de distribución para los 1000 datos de muestra de mi publicación de blog anterior. Estas muestras se extraen de una distribución normal aleatoria, con una media de 0,0 y una desviación estándar de 1,0. También incluyo el punto en X1=4 que se identificó visualmente como un valor atípico en mi publicación anterior:
Figure 3: Distribution platform output for 1,000 point sample from normal distributionFigura 3: Salida de la plataforma de distribución para una muestra de 1000 puntos de una distribución normal
Con el tamaño de muestra más grande, algunos de los puntos ahora parecen ser valores atípicos (al menos según lo definido por los extremos de los bigotes). En este caso particular, dado que sabemos que los datos provienen de una población distribuida normalmente con 1000 puntos, probablemente no sea raro ver al menos un punto con un valor de 4. En un caso del mundo real, los puntos más allá de los bigotes podrían justificar una investigación adicional.
Hacer diagramas de caja y bigotes en Graph Builder
También puede generar diagramas de caja y bigotes en Graph Builder. La configuración completa de Graph Builder se muestra en la Figura 4:
Figure 4: Graph Builder setup for Box & Whisker plot (1,000 point sample from normal distribution)Figura 4: Configuración de Graph Builder para diagrama de caja y bigotes (muestra de 1000 puntos de distribución normal)
Tenga en cuenta el icono para el tipo de gráfico encima del gráfico (encerrado en un círculo rojo), que activa el tipo de gráfico Box & Whisker.
Al igual que con la plataforma de distribución, las longitudes de los bigotes tienen un rango intercuartílico de 1,5* y se extienden hacia abajo desde el 25 el percentil y arriba del 75 el percentil.
Explorar valores atípicos
¿Qué pasa si queremos elegir otros límites de bigotes?
Como se indicó anteriormente, una longitud de bigote de 1.5*IQR es una práctica común para identificar valores atípicos. Creo que esto probablemente proviene de observar distribuciones normales de muestras grandes. Se puede demostrar que 1,5*IQR más allá del rango intercuartílico abarca el 99,30 % de la distribución normal (dejando el 0,3488 % de los datos en cada cola). Esto identificaría un evento relativamente raro, si tiene una distribución normal.
Pero, ¿y si no tienes una distribución normal? ¿Qué pasa si la distribución se parece a esto?
Figure 5: Skewed distributionFigura 5: Distribución sesgada
La Figura 5 muestra una distribución sesgada de N=100 puntos, con cinco valores atípicos más allá del bigote superior, según el método 1.5*IQR. Pero, ¿el punto en X1=3 es realmente un valor atípico? O tal vez haya otros puntos ocultos por el bigote que justifiquen una investigación atípica. ¿Cómo ajustamos esta regla de 1.5*IQR?
JMP le permite hacer esto en Analizar/Proyectar/Explorar valores atípicos y luego elegir la opción Valores atípicos de rango de cuantiles. Al abrir esta opción, se presenta la pantalla de entrada que se muestra a continuación para la muestra de 100 puntos resumida en la Figura 5.
Figure 6: Quantile Range Outliers user interface and sample outputFigura 6: Interfaz de usuario de valores atípicos de rango de cuantiles y resultado de muestra
Hay dos entradas principales para el panel Valores atípicos de rango de cuantiles:
- Cuantil de cola (TQ). Esta fracción describe el punto de corte más pequeño en la distribución que se usará en los cálculos de bigotes. (Cuantil de 1 cola) describe el punto de corte superior en la distribución. La diferencia entre estos puntos de corte describe el rango utilizado en los cálculos posteriores.
- Para los cálculos de IQR descritos anteriormente, el cuantil de la cola sería 0,25, lo que indica que los bigotes comenzarían en el 25 el y 75 el percentiles, y el rango sería el rango intercuartílico (o 75 el -25 el percentiles).
- El valor predeterminado para el cuantil de la cola en los valores atípicos del rango de cuantiles es 0,1, lo que indica que los bigotes comenzarían en el 10 el y 90 el percentiles, y la longitud depende del (90 el -10 el percentil) rango.
- q Este es el multiplicador utilizado para determinar la longitud de los bigotes.
- En los cálculos anteriores de IQR, esto era 1,5, por lo que el rango intercuartílico se multiplicó por 1,5 para obtener la longitud del bigote.
- El valor predeterminado para Q en los valores atípicos de rango de cuantiles es 3, lo que indica que la longitud del bigote estará definida por el (90 el -10 el percentil) rango multiplicado por 3.
La salida de los valores atípicos de rango de cuantiles se muestra en la parte inferior del panel en la Figura 6. Aquí vemos que la Columna X1 tenía un 10 el percentil en -1.283, y un 90 el percentil en 1.65556. Los extremos de los bigotes (señalados como los umbrales alto y bajo [LT y HT, respectivamente] en la salida) se basan en los siguientes cálculos:
LT = 10 el cuantil – (90 el cuantil – 10 el cuantil) * Q
= -1,283 – (1,65556 – -1,283) * 3
= -10.099
HT = 90 el cuantil + (90 el cuantil – 10 el cuantil) * Q
= 1,65556 + (1,65556 – -1,283) * 3
= 10.4713
En este caso, solo hay un valor en la columna que existe más allá del umbral alto, en un valor de 12,0, que se muestra en la parte inferior del informe que se muestra en la Figura 6.
Sensibilidad al cuantil de cola y Q
La sensibilidad de detección de valores atípicos se rige claramente por los valores del cuantil de cola y Q. El tradicional 1.5*IQR y el 3*(90 el -10 el cuantiles) son aceptables, siendo el primero mucho más sensible para detectar valores atípicos. Puede usar la plataforma Quantile Range Outliers para ajustar estos valores según sea necesario para su caso particular.
Si bien la efectividad de la elección del cuantil de cola y Q dependerá de su distribución particular, podemos obtener una idea de su comportamiento observando las distribuciones normales. A continuación se muestra una tabla que muestra varias combinaciones de cuantil de cola y Q, junto con el porcentaje de valores en las colas de una distribución normal que quedaría fuera de los bigotes:
Table 1: Percent of outliers detected in large sample normal distribution for various values of tail quantile and QTabla 1: Porcentaje de valores atípicos detectados en una distribución normal de muestra grande para varios valores del cuantil de cola y Q
Ampliando esta idea, podemos crear un mapa de contorno que muestre una imagen más completa de las cantidades en la Tabla 1:
Figure 7: Percent of outliers detected in large sample normal distribution for various values of Tail Quantile and QFigura 7: Porcentaje de valores atípicos detectados en una distribución normal de muestra grande para varios valores de Tail Quantile y Q
La Figura 7 muestra claramente que la combinación de valores altos del cuantil de cola y valores bajos de Q hace que los cálculos sean más sensibles a los valores atípicos, mientras que los valores bajos de TQ y Q alto nos hacen menos sensibles.
Siguiente episodio
La próxima vez hablaremos distancia de Mahalanobis , que se utiliza para detectar valores atípicos en múltiples dimensiones.
Ver todas las publicaciones de esta serie en comprender los valores atípicos .
