40017_it-IT

liliconcom

JMP ha impiegato 2 ore per un file CSV da 2 GB

Il mio utente che ha avuto problemi a interrogare il file csv da 2 GB ha impiegato 2 ore, c'è un modo consigliato o ha dati per mostrare quanto è grande il file ha impiegato quanti minuti, ad esempio: CSV da 1 GB - 30 minuti

Ri: JMP ha impiegato 2 ore per un file CSV da 2 GB

Ciao,

 

So che è passato molto tempo, ma ho appena trovato una soluzione a questo problema e voglio condividerla.

 

Per JMP 15, quando si incollano i dati dal file Excel al foglio tabella JMP. Se selezioni la riga figlia in questo modo, ci vorrà un'eternità (non risponde).

 

 

Ma se selezioni l'intestazione della colonna (colonna 1 nel foglio) in questo modo, andrà liscio:

 

 

Semplice, vero?

 

Spero che questo aiuto.

 

 

Ri: JMP ha impiegato 2 ore per un file CSV da 2 GB

Poiché i suoi dati riservati potrebbero non essere in grado di condividere il file.

Esiste una velocità di clock consigliata o aumenta le prestazioni della velocità di clock dall'applicazione JMP.

Ri: JMP ha impiegato 2 ore per un file CSV da 2 GB

L'elenco hardware sembra a posto; lo script sopra dovrebbe essere eseguito su JMP su Windows o Mac. Dovresti contattare il ns personale di supporto tecnico se il problema persiste. Avranno bisogno di:

• un piccolo campione dei dati dal file CSV per comprendere meglio il problema
• lo script di origine da un'importazione riuscita
• la versione di JMP in uso (12.1, 13.1, ecc. e per MS-Windows o Apple-Mac)

Se il CSV contiene caratteri che non sono Unicode, campi citati in modo errato o altre cose strane, includili nell'esempio CSV.

Ri: JMP ha impiegato 2 ore per un file CSV da 2 GB

Dato che siamo nuovi in JMP non posso identificarmi, ho chiesto al mio utente di controllare, grazie.

Aggiornerò l'esito.

Ri: JMP ha impiegato 2 ore per un file CSV da 2 GB

Di seguito le specifiche del pc, le informazioni che hai fornito sono valide solo per MAC?

Se è anche per Windows, è richiesta la piattaforma da utilizzare per questo script.

Si prega di avvisare poiché siamo nuovi in JMP e assistiamo il problema di segnalazione degli utenti. Grazie.

 

 

 

 

Ri: JMP ha impiegato 2 ore per un file CSV da 2 GB

Puoi usare il fonte script da un'importazione precedente per importare nuovamente il file (o un file simile) e sarà più veloce che far riscoprire tutto a JMP. Lo script di origine sa quante colonne aspettarsi e quali sono i tipi di dati.

È probabile che un file di testo da 2 GB sia ancora più grande nella memoria; è possibile che una macchina da 8 GB utilizzi molto il disco per il paging della memoria.

C'è un significativo miglioramento delle prestazioni in JMP 13.1 per MAC . Se stai utilizzando JMP su MAC, questo potrebbe essere ciò di cui hai bisogno.

Questo dovrebbe funzionare in meno di 15 minuti su una macchina con memoria sufficiente.

start=tickseconds();
data = repeat("1,2,3,4,5\!n",2e8); 
stop=tickseconds();
show(stop-start,length(data));

start=tickseconds();
file = savetextfile("$temp\deleteme.csv",data);
stop=tickseconds();
show(stop-start,filesize(file));
<BR />data = 0; // release 2GB before opening file<BR />
start=tickseconds();
dt = Open(
 file,
 columns(
  New Column( "a", Numeric, "Continuous", Format( "Best", 12 ) ),
  New Column( "b", Numeric, "Continuous", Format( "Best", 12 ) ),
  New Column( "c", Numeric, "Continuous", Format( "Best", 12 ) ),
  New Column( "d", Numeric, "Continuous", Format( "Best", 12 ) ),
  New Column( "e", Numeric, "Continuous", Format( "Best", 12 ) )
 ),
 Import Settings(
  End Of Line( CRLF, CR, LF ),
  End Of Field( Comma, CSV( 1 ) ),
  Strip Quotes( 0 ),
  Use Apostrophe as Quotation Mark( 0 ),
  Use Regional Settings( 0 ),
  Scan Whole File( 0 ),
  Treat empty columns as numeric( 0 ),
  CompressNumericColumns( 0 ),
  CompressCharacterColumns( 0 ),
  CompressAllowListCheck( 0 ),
  Labels( 0 ),
  Column Names Start( 0 ),
  Data Starts( 1 ),
  Lines To Read( "All" ),
  Year Rule( "20xx" )
 )
);
stop=tickseconds();
show(stop-start,nrows(dt));

Ri: JMP ha impiegato 2 ore per un file CSV da 2 GBMi riferivo a File-> Preferenze-> File di dati di testo-> Impostazioni di importazione per la preferenza di 5 secondi. Per l'operazione di apertura, in File->Apri su Windows, è possibile selezionare tra "Dati, utilizzando le preferenze di importazione del testo", "Dati, utilizzando la migliore ipotesi" e altri.



Brian


Ri: JMP ha impiegato 2 ore per un file CSV da 2 GB

Sì, abbiamo esaminato le opzioni di 5 secondi, non solo la scansione è andata veloce, ma l'importazione è rimasta lenta.

Ma non riesco a vedere l'opzione "Preferenze di importazione del testo" in questo JMP Pro 13.

 

 

 

 

Ri: JMP ha impiegato 2 ore per un file CSV da 2 GB

Non ho dati sulle prestazioni, lascerò che altri li condividano.

 

Tieni presente, tuttavia, che spesso puoi accelerare il processo di importazione del testo se sei abbastanza sicuro del layout dei dati in anticipo.Se apri il file utilizzando le "Preferenze di importazione del testo" anziché "Migliore ipotesi", accelererai l'importazione.Inoltre, nel pannello delle preferenze per i file di dati di testo, se selezioni "Scansione per 5 secondi" in "Quando si determinano i tipi di colonna" può essere utile se non si dispone di migliaia di colonne.

 

Brian Corcoran

Sviluppo JMP