John Sall explains why we need not be afraid of ghost data.John Sall explains why we need not be afraid of ghost data.John Sall explains why we need not be afraid of ghost data.John Sall explica por qué no debemos tener miedo de los datos de fantasmas.
Datos cuantitativos y cualitativos. Datos numéricos y de caracteres. Expresión y datos de texto no estructurados. Estos son todos los tipos de datos que ya conoce y cómo tratar.
Pero hay otra categoría de datos que quizás aún no hayas escuchado: datos fantasma . Y no, no es algo que hice para Halloween.
John Sall, cofundador y vicepresidente ejecutivo de SAS, ha estado pensando en datos de fantasmas, que son datos que en realidad no están allí. Él dice que debemos entender y apreciar los datos de fantasmas.
En su papel como jefe de la división JMP de SAS, habla con los clientes y ayuda a desarrollar el software. También lee y piensa mucho sobre datos, estadísticas y tecnología. Usted puede haber leído su entradas de blog acerca de por qué las estadísticas son esenciales y ¿Por qué la computadora de escritorio no está muerta? . Es miembro de la Asociación Americana de Estadística y de la Asociación Americana para el Avance de la Ciencia. Y él es un orador principal en Discovery Summit 2017 en St. Louis , donde hablará de datos de fantasmas. Siga leyendo para conocer sus respuestas a mis preguntas sobre datos de fantasmas (incluida una pregunta tonta).
Cuéntame sobre los datos de fantasmas.
Los datos fantasma son todos los datos que no están allí, y hay muchos tipos. Por ejemplo, hay datos virtuales, que no están ahí hasta que los miras. Parece bastante real en la superficie, pero solo se materializa según sea necesario. Hay datos escasos, cuya ausencia implica un cero. Sparsity es un habilitador computacional clave en varios tipos de análisis. También faltan datos. Estos datos tienen una ranura para mantener un valor, pero ese valor es desconocido, por lo que la ranura está vacía. Otro tipo de datos fantasma son los datos ficticios, que son los datos que se componen. Este tipo de datos es importante para la simulación, para responder "¿Qué pasa si?". Hay más tipos de datos fantasma, pero estos cuatro son importantes para el análisis de datos en JMP .
¿Deberíamos tener miedo de los datos de fantasmas?
No hay necesidad de tener miedo de los datos de fantasmas. Solo son datos que no están ahí. Es tan natural como los datos reales. Al igual que apreciamos los datos que tenemos, también necesitamos una apreciación de los datos que no están allí. Necesitamos saber cómo manejarlo, saber cómo modelar con él y ponerlo en funcionamiento. El manejo adecuado de los datos fantasma es muy importante.
¿Cuál es una forma de manejar los datos de fantasmas?
Echemos un vistazo a los datos que faltan. En el pasado, solíamos omitir las filas donde faltaba una de las variables de análisis. El problema es que este método introduce sesgos en los resultados si los valores faltantes no fueron completamente aleatorios. Ahora, incorporamos valores perdidos directamente en el modelo, asumiendo que la falta es predictiva. Esto se denomina “información faltante informativa”. Los datos hipotecarios de los años anteriores a la crisis financiera de 2008 son un buen ejemplo de información faltante informativa. Al modelar la probabilidad de un incumplimiento hipotecario, los resultados están sesgados si se han eliminado todas las filas que tienen valores faltantes para variables como "ingreso" y "relación deuda / ingreso". A menudo, el solicitante del préstamo sabía que proporcionar esos valores resultaría en una falla para calificar para el préstamo, por lo que se omitieron los valores. En la tabla de datos que suministramos con nuestros datos de muestra, la falta de relación deuda / ingresos es el factor predictivo más importante del incumplimiento hipotecario.
Si quisieras ir como datos fantasma para Halloween, ¿cómo sería tu disfraz?
O el Hombre invisible, o Harry Potter usando la capa de invisibilidad, o una versión de metamateriales de la misma.
@jon_stallings Si bien hay muchas estrategias en el DOE para lidiar con los datos de fantasmas ... Pienso en el bloqueo como un medio para lidiar con una fuente de un factor oculto en la realización de un experimento ... la falta también se observa DESPUÉS de la ejecución de experimentos diseñados ... ¿cuántas veces vemos valores de respuesta faltantes debido a todo tipo de causas en el DOE?
Gracias por tu comentario, Jon!
Es por eso que cada analista de datos necesita capacitación en diseño de experimentos. El objetivo principal de la aleatorización es mitigar el impacto de los datos fantasma.
