Importation multi-fichiers : la découverte de fichiers prend trop de tempsMFI est génial – je l’aime vraiment.
Mais parfois, la faible vitesse de recherche de fichiers fait mal.
Si les données proviennent d'un lecteur réseau et que je souhaite accéder au dossier depuis mon bureau à domicile, cela peut prendre > 10 minutes. Découverte de fichiers pour trouver mes 4 fichiers correspondants parmi des milliers de dossiers/sous-dossiers/fichiers...
Ensuite, il est plus rapide d'ouvrir Python en parallèle, d'écrire un court GLOBAL rechercher et charger les fichiers un par un via pour boucle et ouvrir (nom du fichier).Beaucoup plus rapide que d'attendre que MFI remplisse la liste des fichiers avec tous les fichiers dont la correspondance de nom de fichier a échoué.
L'exemple avec Python/glob montre que la recherche de fichiers peut être plusieurs fois plus rapide. Existe-t-il une astuce dans Jmp/MFI pour accélérer cela ?
Accès aux donnéesRe : Importation multi-fichiers : la découverte de fichiers prend trop de tempsLa recherche globale est probablement plus rapide car elle ne récupère pas la date et la taille.
https://stackoverflow.com/questions/23430395/glob-search-files-in-date-order
Il n'y a aucun moyen de dire à MFI de sauter la récupération de la date et de la taille (mais cela pourrait être un souhait.)
edit : ceci est beaucoup moins visible sur le système de fichiers local de la machine ; la communication sur le disque réseau est probablement 3 fois supérieure pour obtenir le nom+date+taille plutôt que simplement le nom. En outre, vous pourrez peut-être utiliser le filesInDirectory récursif, qui devrait être similaire au temps de recherche global, et sélectionner les fichiers souhaités dans cette liste complète avec une correspondance de modèle. Et faites attention à votre analyse comparative ; la deuxième fois peut être beaucoup plus rapide si la mise en cache est impliquée - facilement 100X si le temps de communication atteint zéro.
(Et changez date+heure en date+taille.)
Re : Importation multi-fichiers : la découverte de fichiers prend trop de tempsJ'ai posté un souhait pour optimiser la rapidité de l'IMF :
Import multi-fichiers : ajout d'un mode rapide
Re : Importation multi-fichiers : la découverte de fichiers prend trop de tempsÉtonnamment utile : le nouveau mode rapide de MFI dans JMP18:)
Re : Importation multi-fichiers : la découverte de fichiers prend trop de temps@hogi Est-ce un bouton quelque part ?
Re: Importation de plusieurs fichiers : La recherche des fichiers est trop longueJ'utilisais souvent le filtre de nom dans MFI. L'idée :
L'utilisateur sélectionne des fichiers à l'aide de la fonction « Sélectionner des fichiers », puis le flux de travail utilise MFI pour importer ces fichiers.
Ceci est désormais possible via la sélection manuelle des fichiers :
