J'ai un gros fichier csv contenant plus de 50 millions de lignes de données pour les 50 états des États-Unis. Comment puis-je importer uniquement une partie des données vers JMP (par exemple, des données pour la Californie uniquement)?
Une façon de le faire est d'ouvrir le fichier cvs dans JMP, puis de filtrer les données pour la Californie, mais cela prend une éternité. Je me demandais donc s'il y avait un moyen de filtrer les données * avant* l'importer dans JMP? Je suppose que cela peut être fait avec le générateur de requêtes (non?) Mais cela peut-il être fait sur un fichier csv? S'il vous plaît donnez votre avis.
Essayez l'importation de plusieurs fichiers si vous constatez que l'importation csv est lente. Cela ne résoudra pas le problème de filtrage, mais cela pourrait être un peu plus rapide, même avec un seul fichier. Le filtrage devrait être assez rapide une fois les données chargées.
Ou, gardez le script source de l'importation CSV et utilisez le script la prochaine fois. L'importation CSV (contrairement à l'importation de fichiers multiples) effectue un passage supplémentaire sur les données pour découvrir quelles colonnes sont en caractères et numériques. Avec le script source, il n'a pas besoin de faire la passe supplémentaire.
De plus, si la table de données est trop grande pour tenir dans la mémoire (8 Go? 16 Go?), Elle sera lente et l'augmentation de la mémoire pourrait être le meilleur choix. Si vous avez une lumière de disque, gardez un œil dessus, ou utilisez le gestionnaire de tâches, etc. pour voir si le disque est occupé à 100%.
