A principios de este año, mi gerente me envió un post muy interesante de Data Colada, una publicación de blog escrita por tres científicos del comportamiento que examina la investigación publicada. Los autores de Data Colada trabajaron con un equipo de investigadores anónimos y encontraron algunas anomalías curiosas en un conjunto de datos de kilometraje de un automóvil que se utilizó en un artículo de 2012. Soy responsable de probar el Explorar patrones plataforma en JMP , que se puede utilizar para identificar patrones inusuales o inesperados en los datos. En esta publicación, utilizo Explore Patterns, junto con otras herramientas útiles en JMP, para buscar patrones inesperados o inusuales en los datos de kilometraje del automóvil.
Fondo
Las primeras filas y columnas del conjunto de datos de kilometraje del automóvil se muestran a continuación. Estos datos se obtuvieron de un estudio en el que se pidió a 13,488 clientes de una agencia de seguros de automóviles en particular que informaran sus lecturas actuales del odómetro. Las lecturas informadas por los clientes se incluyen en los datos como las columnas update_car1 a update_car4, ya que cada cliente reportó información de hasta cuatro autos. Los datos también contienen las lecturas del odómetro para cada vehículo cuando se emitieron las pólizas de seguro por primera vez. Estas columnas se denominan baseline_car1 a baseline_car4. Dado que no todas las pólizas se emitieron al mismo tiempo, el tiempo transcurrido desde la línea de base hasta la actualización varía según las observaciones de este estudio.
En la publicación de Data Colada, los investigadores presentaron cuatro anomalías que se encontraron en este conjunto de datos. Profundicemos en cada uno de estos hallazgos usando JMP.
Anomalía n. ° 1: la distribución de las millas recorridas es uniforme
Los autores de Data Colada encontraron que la distribución de las millas recorridas era consistente con una distribución uniforme que iba de 0 a 50,000 millas.
Dado que los datos incluyen una línea de base y una columna de actualización para las lecturas del odómetro de cada automóvil, creamos columnas de fórmula para almacenar las millas recorridas restando los valores de la línea de base de los valores actualizados. En JMP, usamos la plataforma de Distribución para ver la distribución de la línea base y los valores de actualización, así como el total de millas recorridas por cada automóvil. Considere el informe de distribución del primer automóvil para cada cliente.
La forma de la distribución del kilometraje de referencia es similar a la distribución del kilometraje actualizado, con la lectura mediana del odómetro aproximadamente 26,000 millas más alta en el momento de la actualización. Este hallazgo no es sorprendente en sí mismo. Lo que encuentro más interesante acerca de las lecturas de la línea de base y la actualización es que dos participantes eran propietarios de vehículos que se habían conducido casi 1 millón de millas. Deben tener muy buena mecánica.
La parte más alarmante del informe es la tercera Distribución anterior, que muestra la diferencia entre las dos primeras. La distribución de millas recorridas entre la línea de base y los tiempos de actualización parece estar distribuida uniformemente entre 0 y 50,000 millas. No hay valores por encima de 50.000 millas y cada intervalo del histograma contiene aproximadamente el mismo número de participantes. La inspección visual proporciona pruebas sólidas en este caso de que los datos están distribuidos uniformemente. Sin embargo, para datos que no son tan obvios, podría realizar una prueba de bondad de ajuste utilizando la opción Fit Beta en la plataforma de distribución .
La siguiente captura de pantalla muestra la distribución de las millas recorridas (actualización - línea de base) para cada uno de los autos de los participantes. Encontramos que cada distribución aparece uniformemente distribuida entre 0 y 50,000 para el segundo, tercer y cuarto automóvil también. Con base en este patrón de distribución, podemos concluir que los valores de kilometraje actualizados podrían haberse generado agregando valores aleatorios distribuidos uniformemente a los valores de kilometraje de referencia.
Anomalía n. ° 2: el millaje de referencia utilizó redondeo y los millajes actualizados no
Los autores de Data Colada encontraron que el kilometraje de referencia tenía muchos valores redondeados al millar más cercano, mientras que el kilometraje actualizado no contenía este redondeo.
Los investigadores de Data Colada investigaron el redondeo observando los últimos tres dígitos de los kilómetros. Podríamos usar JSL para adoptar un enfoque similar, ¡pero en su lugar usemos Explorar patrones! Si nunca antes ha usado Explorar patrones, puede encontrarlo seleccionando Analizar> Tramado.
Después de lanzar Explore Patterns para explorar cada línea de base y columna de actualización, obtenemos el resultado que se ve en la siguiente captura de pantalla. En el informe Patrones univariados, seleccione la línea de base y actualice los valores del primer automóvil para comparar los patrones.
De forma predeterminada, Explore Patterns incluye los informes de los valores más duplicados en cada columna, las ejecuciones más largas en cada columna y las secuencias duplicadas más largas en cada columna. Para el primer automóvil propiedad de los participantes, no hay mucho que ganar con los informes de Carreras más largas o Secuencias duplicadas más largas. Sin embargo, el informe Valores más duplicados muestra un contraste interesante. En los kilómetros de referencia para el primer automóvil de propiedad, hay muchos valores que parecen estar redondeados a los 10,000 más cercanos. Este no es necesariamente un patrón inesperado de encontrar; cuando me preguntan el kilometraje de mi vehículo, siempre doy la vuelta al contestar.
El informe de valores más duplicados para los kilómetros actualizados es bastante diferente. En este informe, hay muchos menos duplicados y los duplicados que aparecen no están redondeados como los valores de referencia. Esto es lo que sucedería si las columnas de actualización se generaran agregando valores aleatorios distribuidos uniformemente a los valores de referencia. Por lo tanto, este hallazgo es consistente con la Anomalía # 1.
Anomalía n. ° 3: los datos se ingresaron en dos fuentes y cada observación tiene un 'gemelo' en la otra fuente
Los investigadores notaron que en el archivo de datos original, las observaciones se registraron utilizando dos fuentes diferentes. A través de una clasificación inteligente, los investigadores encontraron que cada observación de línea de base en una fuente correspondía a una fila muy similar en la otra fuente.
Aplaudo a los investigadores por notar las diferentes fuentes y adoptar este enfoque. Sin embargo, supongamos que todos los datos están en la misma fuente y esta bandera roja no se levantó. ¿Podemos usar JMP para identificar relaciones curiosas entre filas y columnas? Por supuesto que podemos, después de todo, este es el Blog de JMP.
Podemos usar Explorar patrones para investigar si existe alguna relación lineal entre columnas para filas contiguas. Considere el siguiente ejemplo sencillo. En las primeras cuatro filas, las columnas tienen una relación lineal exacta donde Y = 2 * X. En las siguientes tres filas, las dos columnas nuevamente tienen una relación lineal exacta donde Y = 0.5 * X.
Podemos usar Explorar patrones para buscar relaciones lineales como esta entre las columnas de la línea base. Si aún no hubiéramos notado la anomalía n. ° 1, también tendría sentido buscar relaciones lineales en las columnas actualizadas.
Si hubiera muchas relaciones lineales exactas, o quizás grandes series de relaciones lineales, puede ser una señal de que los valores de una columna se generaron utilizando un múltiplo de otra columna. Aquí, solo hay unas pocas filas para las que las columnas de la línea de base tienen una relación lineal exacta. Podríamos usar la opción Colorear para ver estas celdas e inspeccionar cualquier irregularidad, pero para un conjunto de datos de este tamaño con muchos valores redondeados, no es sorprendente encontrar algunas relaciones lineales.
Usando Explore Patterns, hemos investigado si hay relaciones lineales sospechosas entre filas para dos columnas para los valores de referencia. Sin embargo, los resultados no fueron muy útiles. Ahora, busquemos también relaciones lineales entre columnas entre dos filas, nuevamente para los valores de línea base. Para hacer esto, necesitaremos usar Explore Patterns en la transposición de nuestros datos.
Usé la opción Transponer en JMP para transponer los datos por las columnas de la línea de base, para los participantes que informaron el kilometraje de al menos tres vehículos. Excluí las filas en las que los participantes tenían dos o menos automóviles, ya que no ayudarían a identificar relaciones lineales.
En el informe Explore Patterns para estos datos transpuestos, hay muchas relaciones lineales exactas donde la pendiente es aproximadamente uno. Por lo tanto, hay muchas filas en la tabla de datos original que tienen una fila casi gemela de valores de referencia en los automóviles. (Sugerencia: puede hacer clic con el botón derecho en la columna Pendiente y usar la función Seleccionar dónde para resaltar todas las filas donde la pendiente está cerca de uno. Hay 69 pares donde la pendiente está entre 0,99 y 1,01).
Puede seleccionar Colorear encima de la tabla de relaciones lineales para colorear todos los valores en una relación lineal exacta, o puede hacer clic con el botón derecho en la columna Y para colorear valores específicos. La siguiente tabla contiene los valores coloreados para las primeras tres filas del informe Relaciones lineales.
Explore Patterns ha identificado varios pares de "gemelos conductores" en los que los valores de kilometraje de referencia eran muy similares en todos los coches, y tenían una relación lineal exacta. Podríamos hacer un seguimiento de esto buscando más pares que no tengan una relación lineal exacta pero que sigan estando muy estrechamente relacionados. Como se ilustra en la publicación de Data Colada, una vez que clasifica por el valor de línea de base para el cuarto automóvil, es fácil identificar a muchos gemelos conductores.
Anomalía n. ° 4: una fuente tiene muchos valores de referencia redondeados y la otra no
Los investigadores encontraron que los valores de referencia en la fuente Calibri estaban redondeados y los valores en la fuente Cambria no estaban redondeados.
Ahora, suponga que supiéramos que algunas filas se escribieron en una fuente y las otras filas se escribieron en una segunda fuente, y que tenemos una columna en nuestros datos con la fuente de cada fila. Podemos usar Explorar patrones con el nombre de la fuente como una columna Por.
Como se ve en los informes de Explore Patterns, los valores de millaje de línea de base para las filas en la fuente Calibri tienen muchos valores redondeados, mientras que los valores de línea de base para las filas de Cambria no están redondeados. Dado que esperaríamos que los kilómetros informados por el cliente se redondearan, esto sugiere que los valores informados originales eran las filas con la fuente Calibri y los datos del "gemelo de conducción" se crearon y luego se ingresaron en la fuente Cambria.
Conclusión
Siempre que adquiera un nuevo conjunto de datos, es probable que realice un análisis exploratorio y una limpieza de datos. Quizás tú buscar valores atípicos , comprobar los datos en busca de valores perdidos , o ver la distribución de cada variable. Espero que esta publicación te haya animado a considerar el uso de Explorar patrones para verificar patrones inusuales en tus datos. No todos los patrones que encuentra utilizando Explore Patterns son evidencia de que algo está mal o es preocupante, pero la utilidad le proporciona una herramienta para encontrar patrones que justifiquen una mayor investigación.
