solía JMP para explorar un reciente FAA zumbido conjunto de datos , inspirado en un desafío semanal de visualización de datos llamado 52vis . El conjunto de datos contiene "informes de aeronaves no tripuladas ( UAS ) avistamientos de pilotos, ciudadanos y agentes de la ley ". Decidí concentrarme en explorar los datos de tiempos. Describiré cómo preparé los datos de tiempos, noté algunos problemas de calidad y los categoricé en consecuencia. Afortunadamente, JMP facilita la limpieza de datos visuales.
Preparando los datos
Los datos se proporcionan en dos archivos de Excel separados, y la interfaz de usuario de importación de Excel de JMP no tuvo problemas para importarlos con la configuración predeterminada. Sin embargo, los nombres de las columnas son un poco desordenados y ni siquiera coinciden entre sí.
Limpié los nombres de las columnas para hacer coincidir y luego usé Concatenar bajo la Mesas Menú para añadir una tabla de datos a la otra. Concatenar Incluso manejamos las columnas estando en diferentes órdenes.
Encontrar problemas de calidad.
Comencé a jugar con los datos y noté algunos problemas de calidad con el campo de tiempo. Creé una nueva columna que extrae la hora del día de la Fecha y hora Columna e hizo un histograma para ello. lo llamé Tabla de la hora del día porque estaré calculando una hora diferente del día después.
La característica más notable es el pico en la medianoche. Resulta que hay muchas veces reportadas como exactamente a las 12:00 AM, aparentemente como un código de valor faltante. Una segunda característica es la caída más pequeña pero significativa al mediodía. Probablemente, algunas de las horas del mediodía tienen la parte AM / PM mal codificada, y algunas de las horas del mediodía se informan en la ranura de la medianoche (además de los tiempos de valor faltantes).
Si bien la distribución se ve bien, de lo contrario, parece estar más desplazada hacia la noche que lo esperado. Si solo hubiera alguna forma de verificar la calidad de los valores de tiempo ...
Extracción de GMT
De hecho, ¡hay una manera de verificar la calidad de los valores de tiempo! los Informe la columna contiene texto libre que describe el incidente y con frecuencia incluye un tiempo de informe en GMT de 24 horas (observe el sufijo Z).
Así que vamos a extraer el tiempo GMT y comparar con el tiempo en la tabla. Crearé una nueva columna de fórmula basada en una expresión regular para extraer los dígitos entre "Tiempo:" y "Z" en el texto del informe.
Y otro para convertirlo en un valor de tiempo JMP (número de segundos).
La nueva columna de tiempo se llama Hora del día extraída Z , y podemos compararlo con el tiempo de la tabla en un diagrama de dispersión para revelar algunos patrones interesantes.
He añadido dos líneas de referencia diagonales. La naranja corresponde a EST, y los grupos diagonales cerca de ella son otras zonas horarias de EE. UU. La diagonal gris es donde el tiempo en la tabla es el mismo que GMT. Muchos de esos! Extrañamente, pocos de ellos ocurren antes de la 1 PM (1300Z) horas, lo que parece razonable para los horarios de avistamiento GMT en los EE. UU. Pero no para los horarios locales.
Categorizando el tiempo
En este punto, podemos pensar que los tiempos se dividen en tres categorías:
Desaparecido - no hubo tiempo GMT dentro del texto libre Idéntico - la hora GMT era la misma que la hora "local" Compensar - la hora GMT fue una diferencia con la hora local, generalmente algo razonable para los EE. UU.Agregué un par de columnas para calcular esa clasificación y luego dibujé un histograma para cada categoría.
Ahora podemos ver cómo la categoría Idéntica estaba sesgando los horarios locales en la noche. La categoría de compensación tiene un pico más esperado durante las horas del día y coincide con los tiempos en que faltaban los tiempos GMT. Ambos de estos últimos sufren la caída de las 12:00 AM y la caída de las 12:00 PM debido a problemas de codificación. No está claro por qué la categoría Idéntica tiene una distribución mayoritariamente uniforme. Podría ser una combinación de dos distribuciones normales compensadas, una para la costa este y otra para la costa oeste.
Conclusión
Al considerar el tiempo GMT extraído, podemos filtrar los valores de tiempo sospechosos para un análisis adicional basado en el tiempo. Es decir, tenemos más confianza en los horarios locales que se compensan con GMT. Y como los que faltan a un horario GMT tienen una distribución similar, podemos usarlos con una confianza similar.
El desafío de 52Vis está orientado a soluciones de scripting, y afortunadamente JMP ofrece ambos estilos de interfaces: interactiva y de scripting. Aunque mis exploraciones iniciales usaron la interfaz interactiva, hice un script en el lenguaje de secuencias de comandos JMP (JMP) para el desafío que reproduce todos mis pasos. Si estás interesado, puedes ver el JSL en un versión anterior de esta publicación en GitHub.
Un par de cosas mas ...
Incluso con solo unas pocas columnas de datos, todavía hay más por explorar. Puedes usar el complemento de geocodificador para convertir la ciudad / estado a longitud y latitud para el mapeo.
¿Y notaste los datos de altitud en el texto del informe que mostré? Un buen número de informes tiene datos de altitud y, a veces, información sobre la apariencia o el tamaño de la aeronave no tripulada.
