40017_es-ES

liliconcom

JMP tardó 2 horas en obtener un archivo CSV de 2 GB

Mi usuario tiene problemas para consultar sobre el archivo csv de 2 gb tomó 2 horas, ¿hay alguna forma recomendada o tiene algún dato para mostrar qué tan grande tomó el archivo cuántos minutos, por ejemplo: 1 GB CSV - 30 minutos?

Re: JMP tardó 2 horas en obtener un archivo CSV de 2 GB

Hola,

 

Sé que es bastante tiempo, pero acabo de encontrar una solución a este problema y quiero compartirla.

 

Para JMP 15, cuando pegue datos del archivo de Excel a la hoja de la tabla JMP. Si selecciona la fila secundaria de esta manera, tardará una eternidad (sin responder).

 

 

Pero si selecciona el encabezado de la columna (columna 1 en la hoja) así, todo irá bien:

 

 

Sencillo, ¿verdad?

 

Espero que esto ayude.

 

 

Re: JMP tardó 2 horas en obtener un archivo CSV de 2 GB

Dado que sus datos confidenciales pueden no poder compartir el archivo.

¿Hay alguna velocidad de reloj recomendada o aumentar el rendimiento de la velocidad del reloj desde la aplicación JMP?

Re: JMP tardó 2 horas en obtener un archivo CSV de 2 GB

La lista de hardware se ve bien; el script anterior debe ejecutarse en JMP en Windows o Mac. Debe ponerse en contacto con nuestro personal de soporte tecnico si el problema continúa. Necesitarán:

• una pequeña muestra de los datos del archivo CSV para comprender mejor el problema
• el script de origen de una importación exitosa
• la versión de JMP que está utilizando (12.1, 13.1, etc. y para MS-Windows o Apple-Mac)

Si el CSV contiene caracteres que no son Unicode, campos que se citan incorrectamente u otras cosas extrañas, inclúyalos en la muestra de CSV.

Re: JMP tardó 2 horas en obtener un archivo CSV de 2 GB

Como somos nuevos en JMP, no puedo identificarme, le pedí a mi usuario que verifique, gracias.

Actualizaré el resultado.

Re: JMP tardó 2 horas en obtener un archivo CSV de 2 GB

Aquí debajo de las especificaciones de la PC, ¿la información que ha proporcionado es aplicable solo para MAC?

Si es para Windows también requiere qué plataforma usar para este script.

Por favor, avísenos, ya que somos nuevos en JMP y ayudamos a los usuarios a informar el problema. gracias.

 

 

 

 

Re: JMP tardó 2 horas en obtener un archivo CSV de 2 GB

Puedes usar el fuente script de una importación anterior para importar el archivo (o un archivo similar) nuevamente y será más rápido que tener JMP redescubriendo todo. El script de origen sabe cuántas columnas esperar y cuáles son los tipos de datos.

Es probable que un archivo de texto de 2 GB sea aún más grande en la memoria; es posible que una máquina de 8 GB utilice mucho el disco para la memoria de paginación.

Hay un significativo mejora del rendimiento en JMP 13.1 para MAC . Si está utilizando JMP en MAC, esto puede ser lo que necesita.

Esto debería ejecutarse en menos de 15 minutos en una máquina con suficiente memoria.

start=tickseconds();
data = repeat("1,2,3,4,5\!n",2e8); 
stop=tickseconds();
show(stop-start,length(data));

start=tickseconds();
file = savetextfile("$temp\deleteme.csv",data);
stop=tickseconds();
show(stop-start,filesize(file));
<BR />data = 0; // release 2GB before opening file<BR />
start=tickseconds();
dt = Open(
 file,
 columns(
  New Column( "a", Numeric, "Continuous", Format( "Best", 12 ) ),
  New Column( "b", Numeric, "Continuous", Format( "Best", 12 ) ),
  New Column( "c", Numeric, "Continuous", Format( "Best", 12 ) ),
  New Column( "d", Numeric, "Continuous", Format( "Best", 12 ) ),
  New Column( "e", Numeric, "Continuous", Format( "Best", 12 ) )
 ),
 Import Settings(
  End Of Line( CRLF, CR, LF ),
  End Of Field( Comma, CSV( 1 ) ),
  Strip Quotes( 0 ),
  Use Apostrophe as Quotation Mark( 0 ),
  Use Regional Settings( 0 ),
  Scan Whole File( 0 ),
  Treat empty columns as numeric( 0 ),
  CompressNumericColumns( 0 ),
  CompressCharacterColumns( 0 ),
  CompressAllowListCheck( 0 ),
  Labels( 0 ),
  Column Names Start( 0 ),
  Data Starts( 1 ),
  Lines To Read( "All" ),
  Year Rule( "20xx" )
 )
);
stop=tickseconds();
show(stop-start,nrows(dt));

Re: JMP tardó 2 horas en obtener un archivo CSV de 2 GBMe refería a Archivo->Preferencias->Archivos de datos de texto->Configuración de importación para la preferencia de 5 segundos. Para la operación de apertura, en Archivo->Abrir en Windows, puede seleccionar entre "Datos, usando las preferencias de importación de texto", "Datos, usando la mejor suposición" y otros.



Brian


Re: JMP tardó 2 horas en obtener un archivo CSV de 2 GB

Sí, revisamos las opciones de 5 segundos, no solo el escaneo fue rápido sino que la importación siguió siendo lenta.

Pero no puedo ver la opción "Preferencias de importación de texto" en este JMP Pro 13.

 

 

 

 

Re: JMP tardó 2 horas en obtener un archivo CSV de 2 GB

No tengo datos de rendimiento, dejaré que otros los compartan.

 

Sin embargo, tenga en cuenta que a menudo puede acelerar el proceso de importación de texto si está bastante seguro del diseño de los datos con anticipación.Si abre el archivo usando las "Preferencias de importación de texto" en lugar de "Mejor estimación", acelerará la importación.Además, en el panel Preferencias para archivos de datos de texto, si selecciona "Escanear durante 5 segundos" en "Al determinar los tipos de columna", puede ser útil si no tiene miles de columnas.

 

Brian Corcorán

Desarrollo JMP