Rendre le fonctionnement du FMI plus efficace.J'ai des milliers de fichiers comme l'exemple ci-joint (.CSV). Les informations temporelles sont au format brut 102 et mes données de mesure commencent au format brut 242.
Actuellement, j'importe deux fichiers : une fois pour les informations temporelles et une fois pour les données de test. J'utilise ensuite la fonction de mise à jour pour importer les informations temporelles dans la table de données de test.
Cette logique fonctionnait avec un petit ensemble de fichiers, mais elle n'est pas efficace sur un grand nombre de fichiers, car le FMI, pour les informations temporelles, extrait toutes les données après le brut 102.
Existe-t-il un moyen de définir la dernière ligne de données dans la fonction IMF pour l'importation des informations temporelles ? Ainsi, je n'importe pas 141 lignes supplémentaires par fichier.
Analyse et modélisation des données de baseObjet : Rendre le fonctionnement du FMI plus efficace.À ma connaissance, l'importation de fichiers multiples ne permet pas de contrôler cela. Avez-vous essayé d'importer toutes les données, puis de nettoyer le tableau obtenu dans JMP ? Ou, si vous souhaitez simplement exporter quelques lignes du fichier .csv, vous pourriez utiliser JSL et charger un fichier texte.
Objet : Rendre le fonctionnement du FMI plus efficace.Salut Jarmo,
J'ai utilisé JSL et voici le script que j'ai créé. Il fonctionne bien, mais mon ensemble de données s'agrandit avec les tests et cette logique n'est pas efficace (en particulier pour l'importation de la table de temps , car je ne sais pas comment importer une seule ligne).
Names Default To Here( 1 );
dir=Pick Directory( "Select Data Directory");
// Import multiple files
Time=Multiple File Import(
<
<SET folder="">
= 1, i--, If( (Col N Missing( Column( i ) ) / N Row()) == 1, Data Table( dt1 ) << delete columns( i ) ) ); For( i = N Col( dt2 ), i >= 1, i--, If( (Col N Missing( Column( i ) ) / N Row()) == 1, Data Table( dt2 ) << delete columns( i ) ) ); Data Table( dt1 ) :File Name<< Set Display Width( 300 ); Data Table( "Time" ):Column 3 << Set Name( "Test Time" ); // Update data table Data Table( "Test Data" ) << Update( With( Data Table( "Time" ) ), Match Columns( :File Name = :File Name ), Add Columns from Update Table( :Test Time ) ); // Close Data Table: Time Close( Data Table( "Time" ), NoSave );
</SET>
Objet : Rendre le fonctionnement du FMI plus efficace.Combien de fichiers avez-vous ? Une seule importation devrait suffire, puis vous pourrez nettoyer vos données dans JMP.
Objet : Rendre le fonctionnement du FMI plus efficace.Actuellement, j'ai environ 20 000 fichiers, et chaque jour, 1 000 à 1 500 nouveaux fichiers sont ajoutés. L'exécution du script prend environ 7 minutes et 30 secondes. Comme le tableau chronologique contient des lignes inutiles, il importe 2,8 millions de lignes avant de les nettoyer.
Objet : Rendre le fonctionnement du FMI plus efficace.Importez-vous simplement les nouveaux fichiers ou l'ensemble du dossier avec une quantité croissante de fichiers ?
