Formato di file di testo veloce per l'importazione in JMPProduco grandi file di dati delimitati (tipicamente csv o tsv) che alla fine saranno importati in JMP dagli utenti. Di solito hanno una dimensione di 1-3 GB. Posso specificare il formato dei file e vorrei avere un parere su quale sia il miglior formato non JMP da usare e se ci sono dei trucchi per velocizzare l'importazione di grandi file di dati basati su testo.
Saluti, Troy
Automazione e scriptingRe: Formato di file di testo veloce per l'importazione in JMPA seconda delle impostazioni nelle preferenze, è possibile importare file txt import - con punto e virgola .
"non possibile" significa: i dati possono essere importati ma i numeri saranno interpretati come caratteri, con penalità di tempo e memoria:
JMP può gestire i numeri in modo molto più efficiente del testo. Il collo di bottiglia per importarli come stringhe e poi convertirli in numeri potrebbe essere troppo estremo per far entrare i tuoi 1-3 GB nella memoria del computer.
Con JMP 17(?), sono state introdotte le colonne compatte. Ciò consente di memorizzare colonne di caratteri (con voci ripetute) in modo molto più efficiente nella memoria del computer. Ma potrebbe esserci un collo di bottiglia per ottenere i dati da un file csv nella colonna compatta.
Se si desidera caricare dati numerici in una "griglia", si consiglia di consultare il formato dati hdf5 .
JMP può importare tali file, ma la funzionalità è limitata. Meglio caricare i dati tramite Python.
Re: Formato di file di testo veloce per l'importazione in JMPSe nel file di input sono presenti dati di data/ora, ci sono alcune restrizioni:
Importazione CSV forzata formato data MDY o DMY
Re: Formato di file di testo veloce per l'importazione in JMPHai già provato qualcosa dato che hai i file disponibili?
- Con quali opzioni hai provato ad aprire i file?
- "Modi" JMP per aprire un file: Apri / Importazione di più file
- Integrazione Python in JMP18 (DuckDB / pandas / polars e così via)
- Hai riscontrato problemi di prestazioni?
- Quali formati di file hai provato e quali riesci a creare?
- Di solito .csv è un tipo di file abbastanza buono perché è facile da creare e generalmente facile da aprire
- Esistono altri tipi di file, ma possono essere più difficili da creare e hanno i loro pro/contro, come Parquet, Pickle o Feather (per caricarli in JMP sarà necessario utilizzare l'integrazione Python di JMP).
- Il database potrebbe essere un'opzione? sqlite sarebbe molto probabilmente l'opzione più semplice e JMP può aprirlo facilmente
- Quanti file l'utente dovrebbe aprire contemporaneamente?
- Quanti utenti ci sono?
- Tutti gli utenti apriranno gli stessi file? Potresti aprirli con un processo automatizzato e creare una tabella jmp che gli utenti userebbero o memorizzerebbero i risultati nel database invece che nei file di testo?
Re: Formato di file di testo veloce per l'importazione in JMPGrazie a tutti per le risposte.
I file sono semplicemente set di dati pre-preparati con solitamente 10K+ colonne... e i nomi e i tipi di colonna differiscono da file a file, quindi è difficile identificare i tipi di colonna in anticipo e specificarli nelle preferenze. Sono disponibili a centinaia di persone, ma di solito qualcuno lavora su un solo file alla volta. JMP può gestire le dimensioni dei dati (3 GB sono rari, la maggior parte dei file sono circa 1,2 GB - 1,5 GB)... ci vuole solo del tempo per aprirli. Inoltre, sono su un'unità condivisa... ma di solito le persone li copiano localmente prima di aprirli.
Penso che la strada da seguire sia convertirli in formato JMP quando creo i set di dati e salvarli come file JMP compressi oltre che in CSV. Ho visto una compressione di circa 4x quando ho testato questo ieri. Alcuni utenti consumano questi file usando Jupyter Notebooks o direttamente in altre piattaforme di analisi, quindi terrò le versioni CSV disponibili anche per quelle persone... avrò solo bisogno di un po' di spazio extra sul net-app filer.
Grazie ancora a tutti per il contributo.
Re: Formato di file di testo veloce per l'importazione in JMPLa compressione di JMP può sicuramente aiutare gli utenti JMP, specialmente se sono archiviati in rete. È qualcosa che abbiamo fatto per i nostri utenti JMP a un certo punto, convertendo i file .csv trovati da una posizione specifica dell'unità di rete in tabelle JMP. Oggigiorno proviamo (sicuramente non sempre possibile o facile) a archiviare tali file nel database, anche se di solito non abbiamo così tante colonne, solo un sacco di righe.
Esiste anche un'opzione per creare un componente aggiuntivo separato per gli utenti JMP per utilizzare quei file. Tuttavia, non risolverà il problema delle dimensioni dei file, MA lo strumento potrebbe prima copiarli come file locali e poi caricarli localmente.
