Utilisation de Query Builder avec des fichiers CSV volumineuxJe parlais aujourd'hui à un client du constructeur de requêtes. Le client dispose de gros fichiers CSV (3 Go +). Ils ont essayé de les charger directement dans JMP, mais leurs performances ont considérablement diminué. La raison pour laquelle ils voulaient importer les données était de sous-traiter une partie de celles-ci de taille plus raisonnable pour analyse. Ils voulaient savoir s’il existait une possibilité pour Query Builder de travailler directement avec les fichiers CSV.
J'ai proposé qu'il serait très facile d'utiliser DB Browser for SQLite pour transformer le fichier CSV en une base de données SQLite pouvant être interrogée par Query Builder. Je ne pensais pas qu'il serait possible d'accéder directement. Je voulais voir si quelqu'un avait des stratégies ou des idées à ce sujet.
Pensées?
M
Objet: Générateur de requêtes avec des fichiers CSV volumineuxMettre à jour cela - ActualTech a trouvé le bogue et met à jour le pilote ainsi que certains problèmes liés au support Mojave. Ils ne m'ont pas donné d'eta pour savoir quand les mises à jour arriveront.
MObjet: Générateur de requêtes avec des fichiers CSV volumineuxWelp - Il s’avère qu’il ya un moyen d’utiliser les fichiers CSV directement à partir de Query Builder. Microsoft (Windows) et ActualTech (MacOS) font tous les deux des pilotes qui vous permettront de traiter les fichiers CSV, TSV et XSLX comme des sources de données ... Cela signifie qu'ils peuvent être interrogés par ODBC à partir de Query Builder. Les options que cela ouvre sont vraiment excitantes ...
Pour Windows, vous devez installer le jeu de pilotes d'accès. J'en ai trouvé qui fonctionnent ici ( https://www.microsoft.com/en-us/download/details.aspx?displaylang=fr&id=13255 ). Ensuite, il suffit de configurer la nouvelle source de données. J'ai vérifié que cela fonctionnait comme prévu avec les fichiers CSV utilisant Windows 7 vm.
(Edit - le jeu de pilotes le plus récent est ici: https://www.microsoft.com/en-us/download/details.aspx?id=54920 )
Pour Mac, vous utilisez le pilote Access de ActualTech. Cela s’installe aussi facilement, mais la façon dont la requête se comporte pose quelques problèmes. Je suis à peu près sûr que c'est un problème de pilote, alors j'ai une question à ce sujet dans ActualTech. Je mettrai à jour cela après avoir reçu leur réponse. La connexion et la requête fonctionnent, mais il semble répéter les résultats sans arrêt. (Par exemple, pour un fichier csv de 300 lignes, le résultat peut atteindre 1 million de lignes avant que je termine la requête, les résultats étant les 300 lignes répétées dans l'ordre).
Donc, Windows, vous avez probablement intérêt à le montrer à un client. Mac - accrochons un instant.
M
Objet: Générateur de requêtes avec des fichiers CSV volumineuxProbablement pas - j'ai complètement oublié ce bit aussi ... C'est un bon point, même si je pense qu'ils veulent vraiment pouvoir utiliser QB directement sur le fichier CSV. Peut-être que cela couplé avec la table de données QB serait une bonne solution.
MObjet: Générateur de requêtes avec des fichiers CSV volumineuxJe fais référence à l'importation de texte directe, BTW, pas à Query Builder.Objet: Générateur de requêtes avec des fichiers CSV volumineuxIls ont défini la préférence pour analyser uniquement les types de colonne pendant 5 secondes, plutôt que pour analyser le fichier entier, non?
Brian
Objet: Générateur de requêtes avec des fichiers CSV volumineuxIl finira par le lire, mais le problème est que JMP essaiera de lire l’ensemble du fichier avant de décider quoi en faire. Ce n'est donc pas un problème matériel, mais un problème lié à la façon dont JMP traite les fichiers plats.
MObjet: Générateur de requêtes avec des fichiers CSV volumineuxSavez-vous s'il s'agit d'une PC seulement? Je ne trouve aucune information pour mac.Objet: Générateur de requêtes avec des fichiers CSV volumineuxC'était ma première pensée - mais l'option "données avec aperçu" nécessite que JMP analyse l'ensemble du fichier avant d'obtenir l'aperçu ... qui est le pas lent. Cela ne se bloque pas, il faut une éternité pour faire la lecture initiale du fichier avant d’obtenir des options.
MObjet: Générateur de requêtes avec des fichiers CSV volumineuxMike,
Savez-vous combien de RAM est installé?
Quelles autres applications ont-ils ouvertes?
En règle générale, Minimum RAM = 2 fois la taille du fichier ou, dans ce cas, la RAM minimale pour ouvrir un fichier de 3 Go unique nécessite un minimum de 6 Go de RAM.
Et ils essaient d'ouvrir> 1 des fichiers 3GB?
Quel est le temps d'ouvrir chacun des fichiers CSV directement avec Excel? Je m'attendrais à ce que le temps d'ouverture du fichier CSV dans JMP soit comparable.
Stan
Objet: Générateur de requêtes avec des fichiers CSV volumineuxIl existe un pilote ODBC pour Text fourni par Microsoft si Office est installé. Cependant, je ne suis pas convaincu que cela aidera à résoudre les problèmes de performances. Cela leur permettrait de faire de simples clauses Where via le constructeur de requêtes de base de données sans laisser les fichiers texte résider entièrement dans JMP.
Brian
Objet: Générateur de requêtes avec des fichiers CSV volumineuxVous pouvez créer un sous-ensemble d'un fichier CSV lorsque vous ouvrez un fichier sous "Données avec aperçu". Sont-ils capables d'aller aussi loin ou est-ce que leur machine se bloque pendant cette opération?
