Hacer más eficiente el funcionamiento del FMI.Tengo miles de archivos como el ejemplo adjunto (.CSV). La información de tiempo está en formato RAW 102 y mis datos de medición empiezan en RAW 242.
Actualmente estoy importando archivos dos veces: una para la información de tiempo y otra para los datos de prueba. Después, utilizo la función de actualización para importar la información de tiempo a la tabla de datos de prueba.
Esta lógica funcionaba con un conjunto pequeño de archivos, pero no es eficiente con una gran cantidad de archivos, ya que el FMI, para obtener información temporal, extrae todos los datos después de los 102 datos sin procesar.
¿Hay alguna manera de configurar la última línea de datos en la función IMF para importar información de tiempo? Así no se importan 141 filas adicionales por archivo.
Análisis y modelado de datos básicosRe: Hacer más eficiente el funcionamiento del FMI.Que yo sepa, no se puede controlar esto con la Importación de Múltiples Archivos. ¿Has probado a importar todos los datos y luego limpiar la tabla resultante en JMP? Si solo quieres exportar algunas líneas del archivo .csv, puedes usar JSL y cargar archivo de texto.
Re: Hacer más eficiente el funcionamiento del FMI.Hola Jarmo,
Usé JSL y a continuación se muestra el script que creé. Funciona correctamente, pero ahora mi conjunto de datos crece con más pruebas y esta lógica no es eficiente (sobre todo al importar la tabla de tiempos , ya que no sé cómo importar solo una fila).
Names Default To Here( 1 );
dir=Pick Directory( "Select Data Directory");
// Import multiple files
Time=Multiple File Import(
<
<SET folder="">
= 1, i--, If( (Col N Missing( Column( i ) ) / N Row()) == 1, Data Table( dt1 ) << delete columns( i ) ) ); For( i = N Col( dt2 ), i >= 1, i--, If( (Col N Missing( Column( i ) ) / N Row()) == 1, Data Table( dt2 ) << delete columns( i ) ) ); Data Table( dt1 ) :File Name<< Set Display Width( 300 ); Data Table( "Time" ):Column 3 << Set Name( "Test Time" ); // Update data table Data Table( "Test Data" ) << Update( With( Data Table( "Time" ) ), Match Columns( :File Name = :File Name ), Add Columns from Update Table( :Test Time ) ); // Close Data Table: Time Close( Data Table( "Time" ), NoSave );
</SET>
Re: Hacer más eficiente el funcionamiento del FMI.¿Cuántos archivos tienes? Una sola importación debería ser suficiente y luego puedes limpiar los datos según corresponda en JMP.
Re: Hacer más eficiente el funcionamiento del FMI.Actualmente, tengo unos 20 000 archivos y cada día se añaden entre 1000 y 1500 nuevos. El script tarda unos 7 minutos y 30 segundos en ejecutarse. Como la tabla de tiempo tiene filas innecesarias, termina importando 2,8 millones de filas antes de limpiarlas.
Re: Hacer más eficiente el funcionamiento del FMI.¿Solo está importando los archivos nuevos o la carpeta completa con una cantidad creciente de archivos?
