Sorgen Sie für eine effizientere Funktion des IWF.Ich habe Tausende von Dateien wie das angehängte Beispiel (.CSV). Die Zeitinformationen liegen in Rohdaten 102 vor und meine Messdaten beginnen bei Rohdaten 242.
Derzeit importiere ich die Datei zweimal, einmal für Zeitinformationen und einmal für Testdaten. Anschließend importiere ich die Zeitinformationen mithilfe der Aktualisierungsfunktion in die Testdatentabelle.
Diese Logik funktionierte mit einer kleinen Anzahl von Dateien, ist jedoch bei einer großen Anzahl von Dateien nicht effizient, da IMF für Zeitinformationen alle Daten nach Raw 102 abruft.
Gibt es eine Möglichkeit, die letzte Datenzeile in der IMF-Funktion für den Import von Zeitinformationen festzulegen? So importiere ich nicht zusätzlich 141 Zeilen/Datei.
Grundlegende Datenanalyse und -modellierungBetreff: Die Funktion des IWF effizienter gestalten.Meines Wissens lässt sich das mit dem Import mehrerer Dateien nicht steuern. Haben Sie versucht, alle Daten zu importieren und die resultierende Tabelle anschließend in JMP zu bereinigen? Oder optional, wenn Sie nur einige Zeilen aus der CSV-Datei exportieren möchten, könnten Sie JSL und „Textdatei laden“ verwenden.
Betreff: Die Funktion des IWF effizienter gestalten.Hallo Jarmo,
Ich habe JSL verwendet und unten ist das Skript, das ich erstellt habe. Es funktioniert einwandfrei, aber mein Datensatz wird durch weitere Tests immer größer, und diese Logik ist nicht effizient (insbesondere beim Importieren der Zeittabelle , da ich nicht weiß, wie ich nur eine Zeile importieren kann).
Names Default To Here( 1 );
dir=Pick Directory( "Select Data Directory");
// Import multiple files
Time=Multiple File Import(
<
<SET folder="">
= 1, i--, If( (Col N Missing( Column( i ) ) / N Row()) == 1, Data Table( dt1 ) << delete columns( i ) ) ); For( i = N Col( dt2 ), i >= 1, i--, If( (Col N Missing( Column( i ) ) / N Row()) == 1, Data Table( dt2 ) << delete columns( i ) ) ); Data Table( dt1 ) :File Name<< Set Display Width( 300 ); Data Table( "Time" ):Column 3 << Set Name( "Test Time" ); // Update data table Data Table( "Test Data" ) << Update( With( Data Table( "Time" ) ), Match Columns( :File Name = :File Name ), Add Columns from Update Table( :Test Time ) ); // Close Data Table: Time Close( Data Table( "Time" ), NoSave );
</SET>
Betreff: Die Funktion des IWF effizienter gestalten.Wie viele Dateien hast du? Ein Import sollte ausreichen und anschließend kannst du deine Daten in JMP entsprechend bereinigen.
Betreff: Die Funktion des IWF effizienter gestalten.Derzeit verfüge ich über rund 20.000 Dateien, und täglich kommen 1.000 bis 1.500 neue hinzu. Die Ausführung des Skripts dauert etwa 7 Minuten und 30 Sekunden. Da die Zeittabelle unnötige Zeilen enthält, werden letztendlich 2,8 Millionen Zeilen importiert, bevor sie bereinigt werden.
Betreff: Die Funktion des IWF effizienter gestalten.Importieren Sie nur die neuen Dateien oder den gesamten Ordner mit zunehmender Dateianzahl?
