Gerhard Svolba es colega de SAS que no solo es un analista experimentado y un padre cariñoso, sino también un autor de SAS Press y un marinero entusiasta. Él ha hecho una valiosa investigación sobre Detectar problemas de calidad de datos. y ellos Consecuencias para el análisis de datos. .
El inicio de la regata (Foto cortesía de Gerhard Svolba).
Como estadístico, soy muy consciente de la importancia y la carga de una evaluación de calidad de datos sólida. Y como me gusta el windsurf y el buceo, Gerhard y yo siempre tenemos mucho de qué hablar cuando nos reunimos. Recientemente, me dijo que grabó su última regata de navegación y se ofreció a proporcionarme el archivo de registro. Acepté, y unos días después recibí un JMP tabla de datos (¡muy amigable!) con los datos de su registrador GPX, junto con algunas recomendaciones sobre qué buscar en los datos.
La tabla de datos con datos de registro.
Para mí, no hay un archivo de datos tan aburrido como un registro de GPX. Es solo una marca de tiempo, coordenadas, velocidad y rumbo de brújula.
¿Qué puedes esperar de un archivo como ese? Peor aún, mi análisis inicial estándar, al llevar los datos a Graph Builder, solo mostró algunas líneas extrañas.
Austria y el lago Neusiedl
Bueno, alejarse de la imagen reveló que la regata tuvo lugar en un lago, en la zona más oriental de Austria. Y sí, Gerhard es un austriaco, y no solo debes escuchar lo que tiene que decir, sino también escuchar su maravilloso acento.
De vuelta a la propia regata. Con la navegación, es interesante ver cómo fue la carrera, ya que solo hay algunas boyas para pasar pero no hay una pista prescrita entre las boyas. Con la ayuda del Filtro de datos locales, podría usar la marca de tiempo para seguir los movimientos del barco de vela.
Los puntos en Graph Builder, el filtro de datos locales y las opciones de gráfico
En la gráfica que muestra todos los puntos de ruta, primero puse "escalas de bloqueo" desde el punto caliente porque no quería hacer zoom en el área seleccionada sino seguir la ruta a lo largo de todo el curso.
Partes del curso que se muestran en diferentes posiciones del control deslizante
Con el control deslizante, seleccioné una pequeña porción de tiempo y la moví sobre la escala. Pude ver cómo mantuvieron su bote en la parte occidental del área, luego hicieron una larga pierna hacia el sureste y luego algunas virando maniobras antes de una curva pronunciada hacia el norte (probablemente alrededor de una boya). Fueron directamente al norte, al noroeste, y luego comenzaron una segunda ronda con una estrategia de virada diferente.
Rango de tiempo sin grabaciones
Para mi gran sorpresa, todos los puntos desaparecieron después de la segunda ronda, y encontré un período de tiempo razonable sin ninguna actividad. ¡Nada es más divertido que mostrar a sus colegas sus errores! Así que llamé a Gerhard y le conté sobre mis hallazgos.
"Bueno", dijo; "Olvidé decirles: los datos son de tres carreras, una después de la otra". Es bueno saberlo.
Ahora quería identificar las diferentes razas por una variable en el conjunto de datos. No hay nada más fácil que eso con las capacidades interactivas de JMP. Acabo de mover el control deslizante izquierdo al origen de la escala. Ahora se mostraron las dos rondas de la primera carrera. En el menú contextual, elegí "Selección de nombre en la columna", nombré la columna y asigné el valor 1. Luego hice lo mismo para las siguientes dos carreras con los números 2 y 3, respectivamente, y calculé la suma de todos en una cuarta columna. Ahora pude superponer las carreras en una gráfica.
Subconjunto gráfico y etiquetado de puntos de datos.
Superposición de gráficos con tres razas identificadas.
Hasta ahora, después de jugar con el control deslizante y hacer una llamada telefónica, supe que tenía datos de tres carreras. Una vez que agregué algunos conocimientos sobre el tema, también pude aprender cosas sobre las que no tengo datos. Sé dónde se colocaron las boyas y tengo muy buena información sobre en qué dirección soplaba el viento.
Un barco de vela debe obtener la velocidad más alta sobre el suelo cuando navega con viento por detrás. Los datos tienen rumbo y velocidad de la brújula, así que los miré
Cursos Norte-Noroeste seleccionados en Distribución.
El viento soplaba en dirección norte a noroeste. Teniendo en cuenta que un barco de vela no proporciona un terreno sólido, seleccioné una gama de partidas de brújula alrededor del curso norte, incluidos los grados altos de 300 a 360 grados y los de menos de 20 grados, para encontrar las partes más rápidas del curso. Para volver a verificar mi selección, miré el gráfico de posición y corrigí mi selección un poco para que realmente cubriera la distancia completa que se recorrió sin virar.
Lecturas de la brújula norte en tachuelas hacia el sur?
Imagine mi sorpresa cuando descubrí que algunos de los puntos de datos seleccionados aparecían en piernas hacia el sur del curso, ya que pensé que había seleccionado sólo cursos del norte. Ahora tenía otra razón para llamar a Gerhard, y esta vez la respuesta no fue tan fácil. El registrador GPX exporta sus datos como un flujo sin formato. Generalmente los encabezados se reportan con dos dígitos decimales. Pero si la dirección registrada era exactamente un número entero, entonces el registrador simplemente omitió los decimales. La importación de datos primero ignoró ese comportamiento y siempre interpretó los últimos dos dígitos como decimales. Por ejemplo, 34815 se importó correctamente como 348.15 grados, pero 348 se importó falsamente como 3.48 grados.
Lo interesante de este hallazgo es que solo fue revelado por la combinación de alguna lógica (selección de cursos del norte) y una gráfica (que muestra las posiciones del velero). La lógica sola no habría encontrado este error. Sin los gráficos interactivos en JMP, no podríamos haber descubierto este problema. Y para la parte lógica, no había necesidad de escribir código; todo lo que tomó fue deslizar algunas barras en el histograma.
No concluiré que con JMP es divertido evaluar la calidad de un conjunto de datos determinado. Pero al menos, JMP lo hace bastante fácil. Ofrece información que no puede obtener con otras estrategias o herramientas, y es rápido. Y como se me recordó con estos datos, a menudo es más fácil encontrar el problema que identificar la causa.
