Importer uniquement une partie d'un fichier CSV volumineux dans JMPJ'ai un gros fichier csv contenant> 50 millions de lignes de données pour les 50 États des États-Unis. Comment puis-je importer uniquement une partie des données dans JMP (par exemple, des données pour la Californie uniquement) ?
Une façon de procéder consiste à ouvrir le fichier cvs dans JMP, puis à filtrer les données pour la Californie, mais cela prend une éternité. Je me demandais donc s'il y avait un moyen de filtrer les données * avant de* l'importer dans JMP ? Je suppose que cela peut être fait avec le générateur de requêtes (n'est-ce pas ?) Mais cela peut-il être fait sur un fichier csv ? S'il vous plaît donnez votre avis.
Tableau de donnéesRe : Importer uniquement une partie d'un fichier CSV volumineux dans JMPEssayez l'importation de plusieurs fichiers si vous constatez que l'importation csv est lente. Cela ne résoudra pas le problème de filtrage, mais cela pourrait être un peu plus rapide, même avec un seul fichier. Le filtrage devrait être assez rapide une fois les données chargées.
Ou conservez le script source de l'importation CSV et utilisez le script la prochaine fois. L'importation CSV (contrairement à l'importation de plusieurs fichiers) effectue un passage supplémentaire sur les données pour découvrir quelles colonnes sont des caractères et des chiffres. Avec le script source, il n'est pas nécessaire de faire la passe supplémentaire.
De plus, si la table de données est trop grande pour tenir dans la mémoire (8 Go ? 16 Go ?), alors cela va être lent et augmenter la mémoire pourrait être le meilleur choix. Si vous avez une lumière de disque, gardez un œil dessus ou utilisez le gestionnaire de tâches, etc. pour voir si le disque est occupé à 100 %.
