Uso del generador de consultas con archivos CSV grandesHoy estuve hablando con un cliente sobre el generador de consultas. El cliente tiene archivos CSV grandes (más de 3 GB). Intentó cargarlos directamente en JMP, pero el rendimiento se vio significativamente afectado. Quería importar los datos para subdividir una porción de tamaño más razonable para su análisis. Quería saber si existía una forma de que el generador de consultas funcionara directamente con archivos CSV.
Propuse que sería muy fácil usar DB Browser para SQLite para convertir el CSV en una base de datos SQLite consultable con Query Builder. No pensé que fuera posible acceder directamente. Quería saber si alguien tenía alguna estrategia o idea al respecto.
¿Pensamientos?
M
Re: Uso del generador de consultas con archivos CSV grandesActualización: ActualTech encontró el error y está actualizando el controlador, así como algunos problemas relacionados con la compatibilidad con Mojave. No me han dado una fecha estimada de disponibilidad de las actualizaciones.
METRORe: Uso del generador de consultas con archivos CSV grandesBueno, resulta que sí hay una manera de acceder a archivos CSV directamente desde el Generador de consultas. Microsoft (Windows) y ActualTech (MacOS) crean controladores que permiten tratar archivos CSV, TSV y XSLX como fuentes de datos, lo que significa que se pueden consultar mediante ODBC desde el Generador de consultas. Las opciones que esto ofrece son realmente interesantes.
Para Windows, necesita instalar el conjunto de controladores de acceso. Encontré algunos que funcionan aquí ( https://www.microsoft.com/en-us/download/details.aspx?displaylang=en&id=13255 ). Luego, solo es cuestión de configurar la nueva fuente de datos. Verifiqué que esto funciona correctamente con archivos CSV usando mi máquina virtual con Windows 7.
(Editar: el conjunto de controladores más actual está aquí: https://www.microsoft.com/es-es/download/details.aspx?id=54920 )
Para Mac, se usa el controlador de acceso de ActualTech. Este también se configura fácilmente, pero hay algunos problemas con el comportamiento de la consulta. Estoy bastante seguro de que se trata de un problema del controlador, así que le he enviado una pregunta a ActualTech al respecto. Actualizaré la información cuando me respondan. La conexión y la consulta funcionan, pero parece repetir los resultados una y otra vez sin parar. (Por ejemplo, para un archivo CSV de 300 filas, el resultado puede ser de hasta 1 millón de filas antes de que finalice la consulta, con resultados que son las 300 filas repetidas en secuencia una y otra vez).
Bueno, Windows, probablemente puedas mostrarle esto a un cliente. Mac, esperemos un momento.
METRO
Re: Uso del generador de consultas con archivos CSV grandesProbablemente no; también me olvidé por completo de esa parte... Es un buen punto, aunque creo que realmente quieren poder usar QB directamente en el archivo CSV. Quizás eso, junto con la tabla de datos QB, sería una buena solución.
METRORe: Uso del generador de consultas con archivos CSV grandesPor cierto, me refiero a la importación directa de texto, no al generador de consultas.Re: Uso del generador de consultas con archivos CSV grandesEstablecieron la preferencia de escanear solo los tipos de columnas durante 5 segundos, en lugar de escanear el archivo completo, ¿verdad?
Brian
Re: Uso del generador de consultas con archivos CSV grandesEventualmente lo leerá, pero el problema es que JMP intentará leer el archivo completo antes de decidir qué hacer con él. Por lo tanto, no se trata de un problema de hardware, sino de cómo JMP trata los archivos planos.
METRORe: Uso del generador de consultas con archivos CSV grandes¿Sabes si esto es solo para PC? No encuentro información para Mac.Re: Uso del generador de consultas con archivos CSV grandesEsto fue lo primero que pensé, pero la opción "datos con vista previa" requiere que JMP analice todo el archivo antes de obtener la vista previa, lo cual es un paso lento. No se bloquea, simplemente tarda una eternidad en realizar la lectura inicial del archivo antes de obtener las opciones.
METRORe: Uso del generador de consultas con archivos CSV grandesMicro,
¿Sabes cuánta RAM está instalada?
¿Qué otras aplicaciones tienen abiertas?
Generalmente, la RAM mínima = 2X el tamaño del archivo, o en este caso, la RAM mínima para abrir un solo archivo de 3 GB, necesitarán un mínimo de 6 GB de RAM.
¿Y están intentando abrir más de 1 de los archivos de 3 GB?
¿Cuánto tiempo se tarda en abrir cada archivo CSV directamente con Excel? Supongo que el tiempo para abrir el archivo CSV en JMP será similar.
Stan
Re: Uso del generador de consultas con archivos CSV grandesMicrosoft proporciona un controlador ODBC para texto si tiene instalado Office. Sin embargo, no estoy convencido de que solucione los problemas de rendimiento. Permitiría ejecutar cláusulas WHERE sencillas a través del generador de consultas de la base de datos sin que los archivos de texto residan completamente en JMP.
Brian
Re: Uso del generador de consultas con archivos CSV grandesPuedes crear un subconjunto de un archivo CSV al abrir un archivo en "Datos con vista previa". ¿Pueden hacerlo o su equipo se bloquea durante esta operación?
