72875_it-IT

liliconcom

Utilizzo di Query Builder con file CSV di grandi dimensioni

Oggi stavo parlando con un cliente del generatore di query.  Il cliente ha file CSV di grandi dimensioni (3 GB +).  Hanno provato a caricarli direttamente in JMP, ma stanno riscontrando un notevole calo di prestazioni.  Il motivo per cui volevano importare i dati era di suddividerne una parte di dimensioni più ragionevoli per l'analisi.  Volevano sapere se c'era un problema nel quale Query Builder lavorava direttamente con i file CSV.  

 

Ho proposto che sarebbe davvero facile usare DB Browser per SQLite per trasformare il CSV in un database SQLite che potrebbe essere interrogato da Query Builder.  Non pensavo che sarebbe stato possibile accedere direttamente.  Volevo vedere se qualcuno avesse delle strategie o dei pensieri su questo.

 

Pensieri?

 

M

Ri: utilizzo di Query Builder con file CSV di grandi dimensioniAggiornamento a questo - ActualTech ha trovato il bug e sta aggiornando il driver e alcuni problemi relativi al supporto Mojave. Non mi hanno dato un eta per quando gli aggiornamenti saranno passati.

MRi: utilizzo di Query Builder con file CSV di grandi dimensioni

Welp - Si scopre che c'è un modo per andare direttamente dietro ai CSV direttamente da Query Builder. Microsoft (Windows) e ActualTech (MacOS) rendono entrambi i driver che ti consentono di trattare file CSV, TSV e XSLX come origini dati ... Il che significa che possono essere interrogati da ODBC da Query Builder. Le opzioni che si aprono sono davvero eccitanti ...

Per Windows, è necessario installare il set di driver di accesso. Ho trovato alcuni che funzionano qui ( https://www.microsoft.com/en-us/download/details.aspx?displaylang=en&id=13255 ). Quindi si tratta solo di impostare la nuova fonte di dati. Ho verificato che questo funziona come previsto con CSV usando il mio Windows 7 VM.

(Modifica: il set di driver più aggiornato è qui: https://www.microsoft.com/en-us/download/details.aspx?id=54920 )

Per Mac, si utilizza Access Driver di ActualTech. Anche questo si imposta facilmente, ma ci sono alcuni problemi con il comportamento della query. Sono abbastanza sicuro che sia un problema di driver, quindi ho una domanda su ActualTech a riguardo. Lo aggiornerò dopo che avrò saputo da loro. La connessione e la query funzionano, ma sembra ripetere i risultati più e più volte senza fermarsi. (cioè per un file CSV a 300 righe il risultato può essere pari a 1M righe prima di terminare la query con i risultati che sono le 300 righe ripetute in sequenza più e più volte).

Quindi, Windows, probabilmente sei bravo a mostrarlo a un cliente. Mac: appendiamoci un attimo.

M

Ri: utilizzo di Query Builder con file CSV di grandi dimensioniProbabilmente no, anch'io mi sono completamente dimenticato di questo ... È un buon punto, anche se penso che vogliano davvero essere in grado di usare il QB direttamente sul file CSV. Forse quello accoppiato con la tabella dati QB sarebbe una buona soluzione.

MRi: utilizzo di Query Builder con file CSV di grandi dimensioniMi riferisco all'importazione diretta di testo, BTW, non a Query Builder.Ri: utilizzo di Query Builder con file CSV di grandi dimensioni

Hanno impostato la preferenza per scansionare solo i tipi di colonna per 5 secondi, invece di scansionare l'intero file, giusto?

 

Brian

Ri: utilizzo di Query Builder con file CSV di grandi dimensioniAlla fine lo leggerà, ma il problema è che JMP proverà a leggere l'intero file prima che decida cosa fare con esso. Quindi, non è un problema hardware, ma un problema con il modo in cui JMP tratta file flat.

MRi: utilizzo di Query Builder con file CSV di grandi dimensioniSai se questa è una cosa solo per PC? Non riesco a trovare nessuna informazione per mac.Ri: utilizzo di Query Builder con file CSV di grandi dimensioniQuesto è stato il mio primo pensiero, ma l'opzione "dati con anteprima" richiede a JMP di analizzare l'intero file prima di ottenere l'anteprima ... che è il passo lento. Non si bloccherà, ci vorrà solo un'eternità per fare la lettura iniziale del file prima di ottenere qualsiasi opzione.

MRi: utilizzo di Query Builder con file CSV di grandi dimensioni

Mike, 

Sai quanta RAM è installata?

Quali altre applicazioni hanno aperto?

Generalmente, RAM minima = 2 volte la dimensione del file, o in questo caso la minium RAM per aprire un singolo file da 3 GB, avranno bisogno di un minimo di 6 GB di RAM.

 

E stanno tentando di aprire> 1 dei file da 3 GB?

Qual è il momento di aprire ciascuno dei file CSV direttamente con Excel? Mi aspetto che il tempo di aprire il file CSV in JMP sia comparabile.

 

Stan

Ri: utilizzo di Query Builder con file CSV di grandi dimensioni

Esiste un driver ODBC per il testo che Microsoft fornisce se è installato Office.  Tuttavia, non sono convinto che aiuterà con i problemi di prestazioni.  Permetterebbe loro di fare semplici clausole Where attraverso il database Query Builder senza che i file di testo siano completamente residenti in JMP.

 

Brian

Ri: utilizzo di Query Builder con file CSV di grandi dimensioniPuoi creare un sottoinsieme di un CSV quando apri un file in "Dati con anteprima". Sono in grado di arrivare così lontano o la loro macchina si blocca durante questa operazione?