Rendere più efficiente il funzionamento del FMI.Ho migliaia di file come quello allegato (.CSV). Le informazioni temporali sono in formato raw 102 e i miei dati di misurazione partono dal formato raw 242.
Attualmente sto importando il file due volte, una per le informazioni temporali e una per i dati di test. Successivamente, utilizzo la funzione di aggiornamento per importare le informazioni temporali nella tabella dei dati di test.
Questa logica funzionava con un piccolo set di file, ma non è efficiente con un gran numero di file, poiché l'IMF per le informazioni temporali estrae tutti i dati dopo il raw 102.
C'è un modo per impostare l'ultima riga dati nella funzione FMI per l'importazione delle informazioni temporali? In questo modo evito di importare 141 righe/file extra.
Analisi e modellazione dei dati di baseOggetto: Rendere più efficiente il funzionamento del FMI.Per quanto ne so, non è possibile controllare questo aspetto con l'importazione di più file. Hai provato a importare tutti i dati e poi a pulire la tabella risultante in JMP? Oppure, facoltativamente, se stai solo cercando di esportare alcune righe dal file .csv, potresti usare JSL e caricare un file di testo.
Oggetto: Rendere più efficiente il funzionamento del FMI.Ciao Jarmo,
Ho usato JSL e di seguito è riportato lo script che ho creato. Funziona bene, ma ora il mio set di dati si sta ampliando con più test e questa logica non è efficiente (in particolare per quanto riguarda l'importazione della tabella oraria , perché non so come importare una sola riga).
Names Default To Here( 1 );
dir=Pick Directory( "Select Data Directory");
// Import multiple files
Time=Multiple File Import(
<
<SET folder="">
= 1, i--, If( (Col N Missing( Column( i ) ) / N Row()) == 1, Data Table( dt1 ) << delete columns( i ) ) ); For( i = N Col( dt2 ), i >= 1, i--, If( (Col N Missing( Column( i ) ) / N Row()) == 1, Data Table( dt2 ) << delete columns( i ) ) ); Data Table( dt1 ) :File Name<< Set Display Width( 300 ); Data Table( "Time" ):Column 3 << Set Name( "Test Time" ); // Update data table Data Table( "Test Data" ) << Update( With( Data Table( "Time" ) ), Match Columns( :File Name = :File Name ), Add Columns from Update Table( :Test Time ) ); // Close Data Table: Time Close( Data Table( "Time" ), NoSave );
</SET>
Oggetto: Rendere più efficiente il funzionamento del FMI.Quanti file hai? Un'importazione dovrebbe essere sufficiente e poi puoi semplicemente pulire i dati di conseguenza in JMP.
Oggetto: Rendere più efficiente il funzionamento del FMI.Attualmente ho circa 20.000 file e ogni giorno ne vengono aggiunti dai 1.000 ai 1.500 nuovi. L'esecuzione dello script richiede circa 7 minuti e 30 secondi. Poiché la tabella oraria contiene righe non necessarie, finisce per importare 2,8 milioni di righe prima di ripulirle.
Oggetto: Rendere più efficiente il funzionamento del FMI.Stai importando solo i nuovi file o l'intera cartella con un numero crescente di file?
