Est-ce que JMP peut concaténer 3500 fichiers csv ~ 20 Mo chacun, pour un total de 5 millions de lignes une fois combinésBonjour,
J'ai des données hebdomadaires pour créer de 3500 fichiers csv ~ 20mb chaque fichiers (colonnes identiques)
Après avoir combiné cela, il aura environ 5 millions de lignes et environ 100 colonnes.
J'utilise Windows JMP 11 64 bits, ma RAM est de 8 Go, processeur Core i5?
Question: Si je construis un générateur de requêtes et que je me connecte à une base de données ODBC pour accéder à ces fichiers 3500 csv, JMP peut-il gérer pour les concaténer dans une seule table de données contenant 5 millions de lignes?
BR,
Jerry
Re: Est-ce que JMP peut concaténer 3 500 fichiers CSV d'environ 20 Mo chacun et totaliser 5 millions de lignesprobablement, essayez-le.
La surcharge de la colonne de texte est d'environ 32 octets. Ou bien, chaque colonne de texte utilise au moins autant de mémoire que quatre colonnes numériques; Les longues chaînes dans les cellules auront besoin de plus de mémoire.
Conserver 1/3 des données semble un bon début.
Vous pouvez également trouver utile le Cols-> Utilitaires-> CompressSelectedColumns; il convertira les colonnes en représentations utilisant moins de mémoire.
Re: Est-ce que JMP peut concaténer 3 500 fichiers CSV d'environ 20 Mo chacun et totaliser 5 millions de lignesSalut Craig,
Merci, si je réduis mes points de données 5M / 3, 1,67 M lignes * 100cols * 8 octets / cellule = 1,33 Go, cela a quelques colonnes de texte donc j'ai besoin d'un peu de temps système, afin que mon système puisse le traiter en 3 exécutions, analyse comme tabulate et pivots, je vais juste avoir besoin de compter les réussites / échecs de ces données 5M. Est-ce faisable?
Merci
Re: Est-ce que JMP peut concaténer 3 500 fichiers CSV d'environ 20 Mo chacun et totaliser 5 millions de lignesSi toutes les données sont numériques, peut-être. 5 000 000 de lignes * 100 colonnes * 8 octets / cellule -> 4 Go, uniquement pour le tableau. Cela va être serré sur une machine de 8 Go et sera probablement lent si vous faites beaucoup avec le tableau (tri, analyse ...) Les cellules de texte ont une surcharge supplémentaire.
(3500 fichiers de 20 Mo chacun est un peu plus volumineux ... 70 Go ... donc je suppose qu’il ya des colonnes de texte. Cela nécessitera un sous-ensemble, des lignes ou des colonnes ou les deux, car les fichiers sont chargés, pas à la fin.)
JMP 14 a une option d'importation de plusieurs fichiers (s'il y a assez de mémoire!) Qui est conçue pour charger des fichiers CSV en parallèle à partir d'un lecteur local. Je ne suis pas un expert ODBC et je ne connais pas bien l'utilisation d'ODBC pour lire des fichiers CSV.
