Formato dati preferito per tabelle con molte righe?Mi scuso, a quanto pare è una domanda da principiante (di nuovo...).
Stiamo finalmente lavorando per eseguire alcune analisi sui dati dei sensori online ("tag") che raccogliamo da anni nel nostro stabilimento di produzione. La risoluzione temporale standard per questi tag è di 1'' e ci sono circa 1400 tag da esaminare per trovare informazioni interessanti. Ma per arrivare a questo punto, credo di dover suggerire un formato dati al nostro team di digitalizzazione. Credo che si aspettino che tutti coloro che non fanno parte del loro team (e io non lo sono) lavorino con file CSV, ma mi rendo conto che questo formato non sarebbe in grado di gestire circa 30 milioni di righe, che corrispondono approssimativamente al numero di secondi in un anno. Ora, anche se questa risoluzione temporale potrebbe non essere necessaria, penso che valga comunque la pena affrontare la questione come se lo fosse. Inoltre, utilizzare una granularità di 1 minuto significherebbe circa 0,5 milioni di righe all'anno, il che appare comunque scomodo da gestire con CSV.
Per la gestione di tabelle di grandi dimensioni, ovvero per importarle in JMP, JSON è l'approccio migliore? O forse sarebbe meglio collegarsi a un database, caricando i dati direttamente in JMP da lì? Qualsiasi feedback, qualsiasi commento che possa inviare al nostro team di Digitalizzazione in merito a questo problema sarà molto apprezzato. Grazie mille in anticipo a tutti gli utenti JMP!
Accesso ai datiRi: Formato dati preferito per tabelle con molte righe?Se possibile, salva i dati in un database appropriato. È molto probabilmente facile trasferirlo dal database a JMP.
Re: Formato dati preferito per tabelle con molte righe?Importo spesso dati con milioni di righe da file CSV. Il limite è dato solo dall'esportazione dei dati dell'applicazione sorgente, che è di 2 GB.
Se devo gestire dati più grandi, li divido in parti e carico diversi file csv.
quindi, le righe da 0,5 milioni (che hai menzionato per la granularità di 1 minuto) non rappresentano sicuramente un problema tramite csv.
Sono curioso di sapere se anche tu riesci a trasferire 30 milioni di dollari in Jmp.
Se non come un unico pezzo, forse in pezzi da 5 milioni?
Re: Formato dati preferito per tabelle con molte righe?@hogi , scusami, mi sono sbagliato. Pensavo che CSV avesse le stesse limitazioni di Excel, ma non è così. Grazie per averlo fatto notare. Continuo a pensare che un limite di 0,5 milioni di righe per un set di dati di 30 milioni di righe sia una potenziale fonte di inconvenienti. Tuttavia, suppongo che anche questo sia un problema gestibile.
