Utilisation du générateur de requêtes avec des fichiers CSV volumineuxJe discutais aujourd'hui avec un client au sujet du générateur de requêtes. Il possède des fichiers CSV volumineux (plus de 3 Go). Il a essayé de les charger directement dans JMP, mais il constate une baisse significative des performances. Il souhaitait importer les données pour en extraire une partie plus raisonnable à des fins d'analyse. Il souhaitait savoir si le générateur de requêtes pouvait fonctionner directement avec les fichiers CSV.
J'ai suggéré qu'il serait très facile d'utiliser DB Browser for SQLite pour transformer le fichier CSV en une base de données SQLite interrogeable par le générateur de requêtes. Je ne pensais pas qu'il serait possible d'y accéder directement. Je voulais savoir si quelqu'un avait des stratégies ou des idées à ce sujet.
Pensées?
M
Re : Utilisation du générateur de requêtes avec des fichiers CSV volumineuxMise à jour : ActualTech a détecté le bug et met à jour le pilote, ainsi que certains problèmes liés à la prise en charge de Mojave. Ils ne m'ont pas encore donné d'estimation de la date de sortie des mises à jour.
MRe : Utilisation du générateur de requêtes avec des fichiers CSV volumineuxEh bien, il existe un moyen d'accéder directement aux fichiers CSV depuis le Générateur de requêtes. Microsoft (Windows) et ActualTech (MacOS) proposent tous deux des pilotes permettant de traiter les fichiers CSV, TSV et XSLX comme sources de données… Ce qui signifie qu'ils peuvent être interrogés par ODBC depuis le Générateur de requêtes. Les possibilités offertes sont vraiment intéressantes…
Sous Windows, vous devez installer le pilote d'accès. J'en ai trouvé quelques-uns qui fonctionnent ici ( https://www.microsoft.com/en-us/download/details.aspx?displaylang=en&id=13255 ). Il suffit ensuite de configurer la nouvelle source de données. J'ai vérifié que cela fonctionne correctement avec les fichiers CSV sur ma machine virtuelle Windows 7.
(Modifier - le jeu de pilotes le plus récent est ici : https://www.microsoft.com/en-us/download/details.aspx?id=54920 )
Sur Mac, utilisez le pilote Access d'ActualTech. La configuration est également simple, mais le comportement de la requête pose quelques problèmes. Je suis quasiment certain qu'il s'agit d'un problème de pilote ; j'ai donc posé une question à ActualTech à ce sujet. Je mettrai cela à jour dès que j'aurai reçu leur réponse. La connexion et la requête fonctionnent, mais les résultats semblent se répéter sans cesse (par exemple, pour un fichier CSV de 300 lignes, le résultat peut atteindre 1 million de lignes avant que je ne termine la requête, les résultats étant les 300 lignes répétées à l'enchaînement).
Alors, Windows, tu peux probablement montrer ça à un client. Mac, attends un instant.
M
Re : Utilisation du générateur de requêtes avec des fichiers CSV volumineuxProbablement pas ; j'avais complètement oublié ce point aussi… C'est une bonne remarque, même si je pense qu'ils souhaitent vraiment pouvoir utiliser QB directement sur le fichier CSV. L'associer à la table de données QB serait peut-être une bonne solution.
MRe : Utilisation du générateur de requêtes avec des fichiers CSV volumineuxJe fais référence à l'importation directe de texte, d'ailleurs, pas au générateur de requêtes.Re : Utilisation du générateur de requêtes avec des fichiers CSV volumineuxIls ont défini la préférence pour analyser uniquement les types de colonnes pendant 5 secondes, plutôt que d'analyser l'intégralité du fichier, n'est-ce pas ?
Brian
Re : Utilisation du générateur de requêtes avec des fichiers CSV volumineuxIl finira par le lire, mais le problème est que JMP essaiera de lire l'intégralité du fichier avant de décider quoi en faire. Il ne s'agit donc pas d'un problème matériel, mais d'un problème de traitement des fichiers plats par JMP.
MRe : Utilisation du générateur de requêtes avec des fichiers CSV volumineuxSavez-vous si c'est réservé aux PC ? Je ne trouve aucune information pour Mac.Re : Utilisation du générateur de requêtes avec des fichiers CSV volumineuxC'était ma première réaction, mais l'option « Données avec aperçu » nécessite que JMP analyse l'intégralité du fichier avant d'obtenir l'aperçu… ce qui est une étape lente. Ça ne plante pas, la lecture initiale du fichier prend juste une éternité avant d'obtenir les options.
MRe : Utilisation du générateur de requêtes avec des fichiers CSV volumineuxMicro,
Savez-vous combien de RAM est installée ?
Quelles autres applications ont-ils ouvertes ?
Généralement, la RAM minimale = 2 fois la taille du fichier, ou dans ce cas la RAM minimale pour ouvrir un seul fichier de 3 Go, ils auront besoin d'un minimum de 6 Go de RAM.
Et ils tentent d'ouvrir >1 des fichiers de 3 Go ?
Combien de temps faut-il pour ouvrir chaque fichier CSV directement avec Excel ? Je m'attends à ce que le temps d'ouverture du fichier CSV dans JMP soit comparable.
Stan
Re : Utilisation du générateur de requêtes avec des fichiers CSV volumineuxMicrosoft fournit un pilote ODBC pour le texte si vous avez installé Office. Cependant, je ne suis pas convaincu qu'il résoudra les problèmes de performances. Il permettrait d'exécuter des clauses Where simples via le générateur de requêtes de la base de données sans que les fichiers texte soient entièrement hébergés dans JMP.
Brian
Re : Utilisation du générateur de requêtes avec des fichiers CSV volumineuxVous pouvez créer un sous-ensemble d'un fichier CSV en ouvrant un fichier sous « Données avec aperçu ». Y parviennent-ils ou leur ordinateur se bloque-t-il pendant cette opération ?
