228205_es-ES

liliconcom

El resumen de la tabla en JMP14 lleva mucho tiempo en comparación con JMP12.

Tengo una tabla con 2 columnas, DATETIME y MESSAGE. La columna del mensaje tiene ~ 60 caracteres.

La tabla tiene ~ 3 millones de filas, con muchas filas duplicadas porque es una concatenación de muchos archivos con algunos de los mismos datos. Estoy intentando deshacerme de las filas duplicadas lo más rápido posible, lo que funcionó bien en JMP 12.2.0.


En JMP 12.2.0, el resumen tarda ~ 8 segundos.
En JMP 14.3.0, el Resumen lleva una cantidad de tiempo desconocida porque eliminé el proceso> 30 minutos.

 

 

dt2 = dt << Summary( Group( :DATETIME, :MESSAGE ), Invisible, Link to original Data Table( 0 ), Table Name( "MessageTable" ) );

Re: El resumen de tabla en JMP14 lleva mucho tiempo en comparación con JMP12.

He encontrado una solución alternativa, tarda unos 16 segundos, que es mucho mejor.

Parece que Resumen funciona bien con un solo grupo. Cuando se usa más de un grupo es donde el rendimiento se degrada severamente.

Así que hice la tabla en 1 columna, luego analicé las columnas nuevamente después del resumen.

Bastante feo pero funciona.

 

dt << New Column( "KEY", Character, Formula( Char( :DATETIME ) || "@" || :MESSAGE ) );
dt2 = dt << Summary( Group( :KEY ), Invisible, Link to original Data Table( 0 ), TableName( "MessageTable" ) );
dt2 << New Column( "DateTime", Numeric, Format( "y/m/d h:m:s" ), Formula( Num( Words( :KEY, "@" )[1] ) ) );
dt2 << New Column( "Message", Character, Formula( Words( :KEY, "@" )[2] ) );
dt2:DateTime << Delete Formula;
dt2:Message << Delete Formula;
dt2 << Delete Columns( {"KEY", "N Rows"} );