72875_it-IT

liliconcom

Utilizzo di Query Builder con file CSV di grandi dimensioni

Oggi parlavo con un cliente di Query Builder. Il cliente ha file CSV di grandi dimensioni (oltre 3 GB). Ha provato a caricarli direttamente in JMP, ma sta riscontrando un calo significativo delle prestazioni. Il motivo per cui voleva importare i dati era quello di ricavarne una porzione di dimensioni più ragionevoli per l'analisi. Voleva sapere se esisteva un modo per Query Builder di lavorare direttamente con i file CSV.

Ho proposto che sarebbe stato molto semplice usare DB Browser per SQLite per trasformare il file CSV in un database SQLite interrogabile tramite Query Builder. Non pensavo fosse possibile accedervi direttamente. Volevo sapere se qualcuno avesse strategie o idee in merito.

Pensieri?

M

Re: Utilizzo di Query Builder con file CSV di grandi dimensioniAggiornamento: ActualTech ha trovato il bug e sta aggiornando il driver, oltre ad alcuni problemi relativi al supporto di Mojave. Non mi hanno ancora dato una stima di quando saranno disponibili gli aggiornamenti.

MRe: Utilizzo di Query Builder con file CSV di grandi dimensioni

Ebbene, a quanto pare esiste un modo per accedere ai file CSV direttamente da Query Builder. Microsoft (Windows) e ActualTech (MacOS) producono entrambi driver che consentono di trattare i file CSV, TSV e XSLX come origini dati... Il che significa che possono essere interrogati tramite ODBC da Query Builder. Le possibilità che questo apre sono davvero interessanti...

Per Windows, è necessario installare il set di driver di Access. Ne ho trovati alcuni funzionanti qui ( https://www.microsoft.com/en-us/download/details.aspx?displaylang=en&id=13255 ). Dopodiché, non resta che configurare la nuova origine dati. Ho verificato che funziona come previsto con i file CSV utilizzando la mia macchina virtuale Windows 7.

(Modifica: il set di driver più aggiornato è disponibile qui: https://www.microsoft.com/en-us/download/details.aspx?id=54920 )

Per Mac, si utilizza l'Access Driver di ActualTech. Anche questo si configura facilmente, ma ci sono alcuni problemi con il comportamento della query. Sono abbastanza sicuro che sia un problema di driver, quindi ho chiesto ad ActualTech in merito. Aggiornerò la domanda non appena avrò ricevuto risposta. La connessione e la query funzionano, ma sembra che i risultati vengano ripetuti più e più volte senza interruzioni. (Ad esempio, per un file CSV di 300 righe, il risultato può arrivare fino a 1 milione di righe prima che io termini la query, con i risultati che rappresentano le 300 righe ripetute in sequenza più e più volte).

Quindi, Windows, probabilmente puoi mostrarlo a un cliente. Mac, aspettiamo un attimo.

M

Re: Utilizzo di Query Builder con file CSV di grandi dimensioniProbabilmente no, mi ero completamente dimenticato anche di quella parte... È un'ottima osservazione, anche se credo che vogliano davvero poter usare QB direttamente nel file CSV. Forse questo, abbinato alla tabella dati QB, potrebbe essere una buona soluzione.

MRe: Utilizzo di Query Builder con file CSV di grandi dimensioniA proposito, mi riferisco all'importazione diretta del testo, non a Query Builder.Re: Utilizzo di Query Builder con file CSV di grandi dimensioni

Hanno impostato la preferenza per analizzare solo i tipi di colonna per 5 secondi, anziché analizzare l'intero file, giusto?

Brian

Re: Utilizzo di Query Builder con file CSV di grandi dimensioniAlla fine lo leggerà, ma il problema è che JMP proverà a leggere l'intero file prima di decidere cosa farne. Quindi, non è un problema hardware, ma un problema di come JMP gestisce i file piatti.

MRe: Utilizzo di Query Builder con file CSV di grandi dimensioniSai se è una cosa che funziona solo su PC? Non riesco a trovare informazioni per Mac.Re: Utilizzo di Query Builder con file CSV di grandi dimensioniQuesto è stato il mio primo pensiero, ma l'opzione "dati con anteprima" richiede che JMP analizzi l'intero file prima di ottenere l'anteprima... il che è un passaggio lento. Non si blocca, ci vuole solo un'eternità per eseguire la lettura iniziale del file prima di ottenere qualsiasi opzione.

MRe: Utilizzo di Query Builder con file CSV di grandi dimensioni

Microfono,

Sai quanta RAM è installata?

Quali altre applicazioni sono aperte?

In genere, RAM minima = 2 volte la dimensione del file, o in questo caso la RAM minima per aprire un singolo file da 3 GB sarà necessaria una RAM minima di 6 GB.

E stanno tentando di aprire >1 dei file da 3 GB?

Quanto tempo ci vuole per aprire ciascun file CSV direttamente con Excel? Mi aspetto che il tempo necessario per aprire il file CSV in JMP sia paragonabile.

Stan

Re: Utilizzo di Query Builder con file CSV di grandi dimensioni

Microsoft fornisce un driver ODBC per il testo se si ha Office installato. Tuttavia, non sono convinto che possa risolvere i problemi di prestazioni. Permetterebbe di creare semplici clausole Where tramite il Generatore di query del database senza dover risiedere completamente i file di testo in JMP.

Brian

Re: Utilizzo di Query Builder con file CSV di grandi dimensioniÈ possibile creare un sottoinsieme di un file CSV quando si apre un file in "Dati con anteprima". Riescono ad arrivare fin lì o il loro computer si blocca durante questa operazione?