¿Puede JMP concatenar 3500 archivos csv ~ 20 MB cada uno y un total de 5 millones de filas cuando se combinan?Hola,
Tengo datos semanales para crear desde 3500 archivos csv ~ 20 mb cada archivo (columnas idénticas)
Después de combinar esto, tendrá alrededor de 5 millones de filas y alrededor de 100 columnas.
Utilizo Windows JMP 11 de 64 bits, mi RAM es de 8 gigas, procesador i5?
Pregunta: Si construyo un generador de consultas y me conecto a una base de datos ODBC para acceder a estos archivos 3500 csv, ¿JMP puede administrar para concatenarlos en una tabla de datos que contiene 5 millones de filas?
BR
alemán
Re: Can JMP concatena 3500 archivos csv ~ 20MB cada archivo y un total de 5 millones de filas cuando se combinanprobablemente, intentarlo.
La sobrecarga de la columna de texto es de aproximadamente 32 bytes. O bien, cada columna de texto utiliza al menos tanta memoria como cuatro columnas numéricas; cadenas largas en las células necesitarán aún más memoria.
Mantener 1/3 de los datos parece ser un buen comienzo.
También puede encontrar la utilidad Cols-> Utilities-> CompressSelectedColumns; convertirá columnas a representaciones que usan menos memoria.
Re: Can JMP concatena 3500 archivos csv ~ 20MB cada archivo y un total de 5 millones de filas cuando se combinanHola craig
Gracias, si reduzco mis puntos de datos 5M / 3, 1.67M filas * 100cols * 8byte / cell = 1.33gb, esto tiene algunas columnas de texto, así que necesito un poco de sobrecarga, por lo que mi sistema puede procesarlo por 3 ejecuciones, incluido el análisis como tabular y pivotes, solo necesitaré contar los pases / fallos de estos datos de 5M. ¿Es factible?
Gracias
Re: Can JMP concatena 3500 archivos csv ~ 20MB cada archivo y un total de 5 millones de filas cuando se combinanSi todos los datos son numéricos, tal vez. 5,000,000 filas * 100 cols * 8 bytes / celda -> 4GB, solo para la tabla. Eso será difícil en una máquina de 8GB y probablemente se ejecutará lentamente si haces mucho con la tabla (clasificación, análisis ...) Las celdas de texto tienen una sobrecarga adicional.
(3500 archivos de 20 MB cada uno son bastante más grandes ... 70 GB ... así que sospecho que hay algunas columnas de texto. Eso necesitará subconjuntos, filas o cols o ambos, ya que los archivos se cargan, no al final.)
JMP 14 tiene una opción de importación de archivos múltiples (si hay suficiente memoria) que está diseñada para cargar archivos CSV en paralelo desde una unidad local. No soy un experto en ODBC y no estoy familiarizado con el uso de ODBC para leer archivos CSV.
