Can JMP può concatenare 3500 file csv ~ 20 MB per ogni file e totalizzare 5 milioni di file quando combinatoCiao,
Ho un dato settimanale per creare da 3500 file csv ~ 20mb ogni file (colonne identiche)
Dopo averlo combinato, avrà circa 5 milioni di righe e circa 100 colonne.
Io uso Windows JMP 11 a 64 bit, la mia RAM è di 8 gig, processore core i5?
Domanda: Se si crea un generatore di query e ci si connette a un database ODBC per accedere a questi file csv 3500, è possibile che JMP riesca a concatenarli in una tabella di dati contenente 5 milioni di righe?
BR,
Jerry
Ri: JMP può concatenare 3500 file csv ~ 20 MB per ogni file e totalizzare 5 milioni di righe se combinati insiemeprobabilmente, provalo.
L'overhead della colonna di testo è di circa 32 byte. Oppure, ogni colonna di testo utilizza almeno la stessa quantità di memoria di quattro colonne numeriche; le lunghe stringhe nelle celle avranno bisogno di ancora più memoria.
Mantenere 1/3 dei dati sembra un buon inizio.
Potresti anche trovare utile Cols-> Utilità-> CompressSelectedColumns; convertirà le colonne in rappresentazioni che utilizzano meno memoria.
Ri: JMP può concatenare 3500 file csv ~ 20 MB per ogni file e totalizzare 5 milioni di righe se combinati insiemeCiao Craig,
Grazie, se riduco i miei punti dati 5M / 3, 1.67M righe * 100cols * 8byte / cell = 1.33gb, questo ha alcune colonne di testo quindi ho bisogno di un po 'di overhead, quindi il mio sistema può elaborarlo di 3 esecuzioni come analisi tabulate e pivots, dovrò solo contare il passaggio / fallimento di questi dati 5M. È fattibile?
Grazie
Ri: JMP può concatenare 3500 file csv ~ 20 MB per ogni file e totalizzare 5 milioni di righe se combinati insiemeSe tutti i dati sono numerici, forse. 5.000.000 di righe * 100 colonne * 8 byte / cella -> 4 GB, solo per la tabella. Sarà stretto su una macchina da 8 GB e probabilmente funzionerà lentamente se si fa molto con la tabella (ordinamento, analisi ...) Le celle di testo hanno un sovraccarico aggiuntivo.
(3500 file da 20 MB ciascuno sono un po 'più grandi ... 70 GB ... quindi sospetto che ci siano alcune colonne di testo. Ciò richiederà settaggi, righe o colonne o entrambi, poiché i file sono caricati, non alla fine.)
JMP 14 ha un'opzione di importazione di file multipli (se c'è abbastanza memoria!) Progettata per caricare file CSV in parallelo da un'unità locale. Non sono un esperto ODBC e non ho familiarità con l'utilizzo di ODBC per leggere i file CSV.
