210389_es-ES

liliconcom

Aplicar el suavizado del kernel a grandes conjuntos de datos

Frecuentemente trabajo con datos de series de tiempo adquiridos simultáneamente de múltiples sensores. Por ejemplo, 100 sensores pueden realizar mediciones una vez por hora durante varios meses. Los sensores a veces informan valores erróneos ya veces no informan. Quiero eliminar los valores atípicos del conjunto de datos e imputar los valores faltantes para extraer valores de puntos específicos en el tiempo para su posterior procesamiento y análisis. El kernel más suave en la plataforma bivariada, con uno o más pases de robustez, hace un excelente trabajo con el ajuste. Sin embargo, no he podido aplicar de manera efectiva a un gran conjunto de datos (cientos de sensores).

 

Como ejemplo, una tabla de datos representativa tiene 3 columnas: ID del sensor, Hora y Medida. ¿Existe una manera efectiva de reemplazar los valores en la columna de Medición con los valores suavizados de kernel basados en un ajuste de Medición vs. Tiempo por ID de sensor?

 

La solución descrita aquí es una forma elegante de imputar valores faltantes, pero un ajuste spline está demasiado influenciado por los valores atípicos (lambda pequeña) o es demasiado rígido para responder a la curvatura real de los datos (lambda grande) y no veo cómo acceder a la Objetos más suaves del kernel en el índice de secuencias de comandos.Los gráficos de datos anónimos (datos sin procesar a la izquierda, suavizado aplicado a la derecha) se pegan a continuación y se adjunta la tabla de datos a partir de la cual se generaron.

 

-Voluntad

Re: Aplicar el suavizado del kernel a grandes conjuntos de datos

¡Buen ejemplo!

Red triangle->Flexible->Kernel Smoother. The slider tightens the fit.Red triangle->Flexible->Kernel Smoother. The slider tightens the fit.Triángulo rojo->Flexible->Kernel Smoother. El deslizador aprieta el ajuste.

Re: Aplicar el suavizado del kernel a grandes conjuntos de datos

Pude descubrir cómo acceder al kernel de manera más fluida en la plataforma bivariada.Una secuencia de comandos que crea algunos datos ruidosos falsos, ajusta un núcleo más suave a los datos (con una variable por) y guarda el ajuste en una nueva columna en la tabla de datos a continuación.

dt = New Table( "smoother example",
 Add Rows( 90 ),
 New Column( "X",
  Numeric,
  "Continuous",
  Format( "Best", 12 ),
  Set Values(
   [1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20,
   21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10,
   11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28,
   29, 30, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18,
   19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30]
  )
 ),
 New Column( "Y",
  Numeric,
  "Continuous",
  Format( "Best", 12 ),
  Formula(
   Sine( :X / (Pi() * 2) ) + Random Normal( 0, 0.01 ) + (
   Floor( Random Uniform( 0, 10 ) ) == 1) * Random Uniform( -1, 1 )
  ),
  Set Display Width( 100 )
 ),
 New Column( "ByVar",
  Character,
  "Nominal",
  Set Values(
   {"A", "A", "A", "A", "A", "A", "A", "A", "A", "A", "A", "A", "A", "A",
   "A", "A", "A", "A", "A", "A", "A", "A", "A", "A", "A", "A", "A", "A",
   "A", "A", "B", "B", "B", "B", "B", "B", "B", "B", "B", "B", "B", "B",
   "B", "B", "B", "B", "B", "B", "B", "B", "B", "B", "B", "B", "B", "B",
   "B", "B", "B", "B", "C", "C", "C", "C", "C", "C", "C", "C", "C", "C",
   "C", "C", "C", "C", "C", "C", "C", "C", "C", "C", "C", "C", "C", "C",
   "C", "C", "C", "C", "C", "C"}
  )
 )
);

obj = dt << Bivariate( 
 Ignore Platform Preferences( 1 ),
 Y( :Y ), 
 X( :X ), 
 By( :ByVar ) 
 );

obj << Kernel Smoother( 2, 1, 0.5, 1  );

obj << (curve[1] << save predicteds);

Re: Aplicar el suavizado del kernel a grandes conjuntos de datos

Gracias por el guión y por indicarme la fórmula de predicción condicional.

 

-Voluntad

Re: Aplicar el suavizado del kernel a grandes conjuntos de datos

Adjunté un script (antiguo) que implementa la mayoría de las opciones del estimador LOESS de Cleveland. No soporta Por grupos pero podrías adaptarlo.

 

Además, ¿trató de guardar los resúmenes del ajuste en el FDE? Una opción es guardar las fórmulas. La fórmula de predicción condicional proporcionará una función de predicción para cualquier valor de tiempo, sin espacios.

Re: Aplicar el suavizado del kernel a grandes conjuntos de datos

Marca,

 

Gracias por responder rápidamente.

 

Tengo JMP Pro 14 y he trabajado un poco con el explorador de datos funcionales, incluida la limpieza de datos y el ajuste de splines b. Utilicé las herramientas que ayudan en la limpieza manual de datos y descubrí que funcionan bien en algunos casos. Sin embargo, en el caso de uso que describí, hay 3 elementos que busco solucionar.

 

1. Se necesita un tiempo considerable para limpiar un gran conjunto de datos en FDE (cientos de series temporales individuales): hacer zoom manualmente en cada serie temporal, seleccionar puntos, hacer clic en "eliminar"...

 

2. Las series temporales pronosticadas que se generan a partir de las splines ajustadas en FDE no imputan datos faltantes. Por ejemplo, si los datos para el tiempo = 1000 faltaban en el conjunto de datos original, faltan en el ajuste. Si hay una forma efectiva de imputar los valores directamente en FDE, no la he encontrado. Puedo encontrar una solución para esto insertando los valores de tiempo que faltan, ajustando una spline y usando los valores de spline calculados. Me gustaría eliminar los pasos adicionales.

 

3. En última instancia, me gustaría hacer el suavizado "en el lugar", con un script que reemplace los datos sin procesar con datos suavizados en una tabla de datos que podría contener varios cientos de sensores, cada uno con varios cientos de puntos de datos.

 

Distinguir entre señal real y anomalía o sesgo es relativamente sencillo en el conjunto de datos, con conocimiento de cómo se genera. Los cambios de tipo de paso son reales, pero los puntos únicos falsos son valores mal calculados. Los puntos de datos espurios en los conjuntos de datos típicos de este análisis (que ejecuto varias veces por semana) se detectan fácilmente a simple vista. Además, un alisador LOESS los identifica de forma fiable.

 

-Voluntad

Re: Aplicar el suavizado del kernel a grandes conjuntos de datos

¿Tienes JMP Pro 14? Si es así, puede investigar Analizar > Modelado especializado > Explorador de datos funcionales.

 

Además, supongo que en su ejemplo, cada función sería una curva suave excepto por el ruido aleatorio. Sin embargo, también exhibe resultados espurios (valores atípicos) y un cambio repentino para un nuevo período de tiempo. ¿Puedes distinguir entre señal real y anomalía o sesgo?