72875_es-ES

liliconcom

Usando Query Builder con archivos CSV grandes

Hoy hablé con un cliente sobre el generador de consultas.  El cliente tiene archivos CSV grandes (3GB +).  Han intentado cargarlos directamente en JMP, pero están viendo un impacto significativo en el rendimiento.  La razón por la que querían importar los datos fue para subcontratar una porción de un tamaño más razonable para su análisis.  Querían saber si había una para que Query Builder trabajara con archivos CSV directamente.  

 

Propuse que sería muy fácil usar el DB Browser para SQLite para convertir el CSV en una base de datos SQLite que pudiera ser consultada por Query Builder.  No pensé que sería posible acceder directamente.  Quería ver si alguien tenía alguna estrategia o pensamiento sobre esto.

 

¿Pensamientos?

 

METRO

Re: Usando el generador de consultas con archivos CSV grandesActualización a esto: ActualTech encontró el error y está actualizando el controlador, así como algunos problemas relacionados con el soporte de Mojave. No me han dado un eta para cuando las actualizaciones llegarán.

METRORe: Usando el generador de consultas con archivos CSV grandes

Welp: Resulta que hay una manera de ir directamente a CSV desde Query Builder. Microsoft (Windows) y ActualTech (MacOS) hacen controladores que le permitirán tratar los archivos CSV, TSV y XSLX como fuentes de datos ... Lo que significa que ODBC puede consultarlos desde el Generador de consultas. Las opciones que esto abre son realmente emocionantes ...

Para Windows, necesita instalar el conjunto de controladores de acceso. Encontré algunos que funcionan aquí ( https://www.microsoft.com/en-us/download/details.aspx?displaylang=en&id=13255 ). Entonces solo es cuestión de configurar la nueva fuente de datos. Verifiqué que esto funciona como se esperaba con CSV usando mi Windows 7 vm.

(Editar - el conjunto de controladores más actual está aquí: https://www.microsoft.com/en-us/download/details.aspx?id=54920 )

Para Mac, utiliza el controlador de acceso de ActualTech. Esto también se configura fácilmente, pero hay algunos problemas con el comportamiento de la consulta. Estoy bastante seguro de que es un problema de controladores, así que tengo una pregunta en ActualTech al respecto. Voy a actualizar esto después de recibir una respuesta de ellos. La conexión y la consulta funcionan, pero parece repetir los resultados una y otra vez sin detenerse. (es decir, para un csv de 300 filas, el resultado puede ser tanto como 1M de filas antes de que finalice la consulta y los resultados son las 300 filas repetidas en secuencia una y otra vez).

Entonces, Windows, probablemente eres bueno para mostrarle esto a un cliente. Mac: colguémonos un momento.

METRO

Re: Usando el generador de consultas con archivos CSV grandesProbablemente no, también me olvidé por completo de eso ... Es un buen punto, aunque creo que realmente quieren poder usar QB directamente en el archivo CSV. Tal vez eso, junto con la tabla de datos QB, sería una buena solución.

METRORe: Usando el generador de consultas con archivos CSV grandesMe refiero a la importación directa de texto, por cierto, no a Query Builder.Re: Usando el generador de consultas con archivos CSV grandes

Ellos establecieron la preferencia de solo escanear tipos de columnas durante 5 segundos, en lugar de escanear todo el archivo, ¿verdad?

 

Brian

Re: Usando el generador de consultas con archivos CSV grandesEventualmente lo leerá, pero el problema es que JMP intentará leer todo el archivo antes de decidir qué hacer con él. Entonces, no es un problema de hardware, sino un problema con la forma en que JMP trata los archivos sin formato.

METRORe: Usando el generador de consultas con archivos CSV grandes¿Sabes si esto es solo una PC? No puedo encontrar ninguna información para mac.Re: Usando el generador de consultas con archivos CSV grandesEste fue mi primer pensamiento, pero la opción "datos con vista previa" requiere que JMP analice todo el archivo antes de obtener la vista previa ... cual es el paso lento No se cuelga, solo se tarda una eternidad en hacer la lectura inicial del archivo antes de que tenga opciones.

METRORe: Usando el generador de consultas con archivos CSV grandes

Micro, 

¿Sabes cuánta memoria RAM está instalada?

¿Qué otras aplicaciones tienen abiertas?

En general, la RAM mínima = 2X es el tamaño del archivo, o en este caso la memoria RAM mínima para abrir un solo archivo de 3GB, necesitarán un mínimo de 6GB de RAM.

 

¿Y están intentando abrir> 1 de los archivos de 3GB?

¿Cuál es el momento de abrir cada uno de los archivos CSV directamente con Excel? Espero que el tiempo para abrir el archivo CSV en JMP sea comparable.

 

Stan

Re: Usando el generador de consultas con archivos CSV grandes

Hay un controlador ODBC para Texto que Microsoft proporciona si tiene Office instalado.  Sin embargo, no estoy convencido de que ayude con los problemas de rendimiento.  Les permitiría hacer simples cláusulas Where a través de la base de datos Query Builder sin que los archivos de texto residan completamente dentro de JMP.

 

Brian

Re: Usando el generador de consultas con archivos CSV grandesPuede crear un subconjunto de un CSV cuando abre un archivo en "Datos con vista previa". ¿Pueden llegar tan lejos o su máquina se cuelga durante esta operación?