Virtual, sparse, missing or pretend data -- it's ghost data. Don't be spooked by it, says John Sall. Learn how to deal with it.Virtual, sparse, missing or pretend data -- it's ghost data. Don't be spooked by it, says John Sall. Learn how to deal with it.Virtual, sparse, missing or pretend data -- it's ghost data. Don't be spooked by it, says John Sall. Learn how to deal with it.Datos virtuales, escasos, faltantes o falsos: son datos fantasma. No te asustes, dice John Sall. Aprende a lidiar con eso.
Los datos están en todas partes y la velocidad, el volumen y la variedad presentan desafíos crecientes para el científico o ingeniero que intenta hacer descubrimientos estadísticos.
Pero hay otro tipo de datos que John Sall , vicepresidente ejecutivo y cofundador de SAS, cree que los exploradores de datos deben conocer: datos fantasma - Datos que no están ahí.
Los datos de fantasmas fueron el tema de la nota clave de John en Cumbre Descubrimiento 2017 en St. Louis, MO. John lidera el equipo de desarrollo de JMP y sigue siendo el principal arquitecto de la software de descubrimiento estadístico de escritorio .
Él dice que los científicos e ingenieros a menudo tratan con cuatro tipos de datos de fantasmas. Esto es lo que son y qué hacer con ellos.
1. Datos virtuales
Los datos virtuales son datos que no están allí hasta que los busca o los necesita. Este tipo de datos fantasma es útil porque no desordena la tabla de datos. Dos ejemplos son columnas de transformación y uniones virtuales en JMP . Las columnas de transformación le permiten materializar una versión transformada de una columna (por ejemplo, tomar una transformación de registro o una proporción de dos columnas) justo a tiempo para producir un gráfico sin tener que producir la nueva columna. Esto mantiene la tabla de datos limpia y también guarda la memoria.
Las combinaciones virtuales le permiten vincular tablas mediante claves, lo que le permite acceder a columnas desde una tabla auxiliar desde una tabla principal sin tener que realizar la unión. Esto ayuda con el mantenimiento de la tabla y el uso de la memoria, especialmente cuando la unión física implica un caso de tabla de datos de ancho por alto o de alto por ancho.
2. Datos escasos
Los datos dispersos son una situación en la que la falta de existencia de un punto de datos implica un cero. También es un tipo de datos fantasma que, cuando se aprovechan, pueden omitirse mediante algoritmos para acelerar los cálculos. Un ejemplo de datos dispersos es la matriz de términos del documento (DTM) en el análisis de texto. El DTM es escaso ya que las palabras individuales se usan con muy poca frecuencia en un corpus de documentos. (Siento que aquí hay una broma sobre un corpus de datos de fantasmas).
Los métodos multivariados, como el Análisis de componentes principales (PCA), pueden aprovecharse de esta dispersión, y cuando se elige el método disperso dentro de la plataforma de PCA en JMP, ejecutar el análisis en un DTM de 2,000 palabras va de 10 minutos a aproximadamente 1 segundo. Los métodos dispersos se encuentran en todo JMP, incluidos PCA, análisis discriminante, Text Explorer y modelos mixtos.
3. Datos perdidos
Muchos científicos e ingenieros informan que tratan con datos faltantes de manera regular. Este tipo de datos fantasma son datos que no conocemos o no existen. Hay muchas razones por las que pueden faltar datos: los sensores fallan, las redes se caen o los sujetos se niegan a responder las preguntas de la encuesta. Pero solo porque falten datos no significa que no pueda ser útil. Muchas de las plataformas de modelado en JMP pueden aprovechar esta "falta" para construir mejores modelos en lugar de simplemente desechar la observación. La plataforma de partición, Fit Model y Neural, por ejemplo, pueden usar la falta de información como predictor aprovechando algo conocido como falta informativa. Además de usar información faltante en su modelado, también puede aprovechar dos utilidades de modelado: Explorar valores atípicos y valores perdidos. Con estos, puede cambiar los valores que se encuentran en los datos, pero deben considerarse como faltantes (como los códigos de error de la máquina) para que falten, de modo que no afecten las predicciones del modelo. O incluso puede imputar valores perdidos para hacer estimaciones de lo que podrían ser los valores. Al realizar el triaje y tratar los valores perdidos de manera adecuada, no terminará perdiendo información clave.
4. Pretender datos
El último tipo de datos fantasma son los datos que inventamos. Se pueden usar datos simulados o simulados para probar hipótesis, determinar si un diseño de experimento tiene suficiente poder para detectar una respuesta, o ayudar a hacer que un proceso sea robusto a la variación de factores. Las herramientas de simulación para crear datos para responder preguntas clave se encuentran en una variedad de lugares en JMP. El Profiler tiene una simulación de Monte Carlo incorporada. Puede usar la opción de simular respuestas en las plataformas DOE de JMP junto con el tamaño del efecto esperado y la estimación del error para ver si tiene suficientes ejecuciones en su experimento para detectar un efecto. Puede utilizar las funciones de simulación de clic derecho en JMP Pro para profundizar en este análisis de poder o MCMC en Jerárquico Bayes para ver cada tema individual y cómo se diferencian de otros individuos en función de su estructura de preferencias.
Para científicos e ingenieros que exploran datos, John tiene esta guía: “Somos detectives en el mundo de los datos. Necesitamos aprender a trabajar bien con eso que no está ahí, datos fantasma. "Si no lo hacemos, podemos ser ineficientes, podemos llegar a conclusiones erróneas, o podemos perdernos los descubrimientos".
Puedes ver un grabación del discurso de John aquí en la comunidad de usuarios JMP.
