Format de fichier texte rapide pour l'importation dans JMPJe produis des fichiers de données délimités volumineux (généralement csv ou tsv) qui seront finalement importés dans JMP par les utilisateurs. Généralement d'une taille de 1 à 3 Go. Je peux spécifier le format des fichiers et j'aimerais avoir un avis sur le meilleur format non JMP à utiliser et sur les astuces permettant d'accélérer l'importation de fichiers de données volumineux basés sur du texte.
Salut, Troy
Automatisation et scriptsRé: Format de fichier texte rapide pour l'importation dans JMPSelon les paramètres dans les préférences, il est possible d'importer du txt - avec point et virgule .
« impossible » signifie : les données peuvent être importées, mais les nombres seront interprétés comme des caractères, avec une pénalité de temps et de mémoire :
JMP peut gérer les nombres beaucoup plus efficacement que le texte. Le goulot d'étranglement pour les importer sous forme de chaînes - puis les convertir en nombres - peut être trop extrême pour intégrer vos 1 à 3 Go dans la mémoire de l'ordinateur.
Avec JMP 17(?), les colonnes compactes ont été introduites. Cela permet de stocker des colonnes de caractères (avec des entrées répétitives) de manière beaucoup plus efficace dans la mémoire de l'ordinateur. Mais il peut y avoir un goulot d'étranglement pour obtenir les données d'un fichier csv dans la colonne compacte.
Si vous souhaitez charger des données numériques dans une « grille », veuillez consulter le format de données hdf5 .
JMP peut importer de tels fichiers, mais la fonctionnalité est limitée. Il est préférable de charger les données via Python.
Ré: Format de fichier texte rapide pour l'importation dans JMPS'il y a des données d'heure/date dans le fichier d'entrée, il existe certaines restrictions :
L'importation CSV force le format de date MDY ou DMY
Ré: Format de fichier texte rapide pour l'importation dans JMPAvez-vous déjà essayé quelque chose puisque vous avez les fichiers disponibles ?
- Quelles options avez-vous essayées pour ouvrir les fichiers ?
- « Façons » JMP d'ouvrir un fichier : Ouvrir / Importer plusieurs fichiers
- Intégration Python dans JMP18 (DuckDB / pandas / polars et ainsi de suite)
- Avez-vous rencontré des problèmes de performances ?
- Quels formats de fichiers avez-vous essayés et lesquels pouvez-vous créer ?
- En général, le format .csv est un très bon type de fichier car il est facile à créer et généralement facile à ouvrir.
- Il existe d'autres types de fichiers, mais ils peuvent être plus difficiles à créer et avoir leurs avantages/inconvénients tels que Parquet, Pickle ou Feather (vous devrez utiliser l'intégration Python de JMP pour les charger dans JMP).
- La base de données pourrait-elle être une option ? SQLite serait probablement l'option la plus simple et JMP peut l'ouvrir facilement
- Combien de fichiers l'utilisateur doit-il ouvrir en même temps ?
- Combien d'utilisateurs y a-t-il ?
- Est-ce que tous les utilisateurs ouvriront les mêmes fichiers ? Pourriez-vous les ouvrir avec un processus automatisé et créer une table jmp que les utilisateurs utiliseraient ensuite ou stockeraient les résultats dans la base de données au lieu de fichiers texte ?
Ré: Format de fichier texte rapide pour l'importation dans JMPMerci à tous pour les réponses.
Les fichiers sont simplement des ensembles de données pré-préparés avec généralement plus de 10 000 colonnes... et les noms et types de colonnes diffèrent d'un fichier à l'autre, il est donc difficile d'identifier les types de colonnes à l'avance et de les spécifier dans les préférences. Ils sont disponibles pour des centaines de personnes, mais en général, quelqu'un travaille sur un seul fichier à la fois. JMP peut gérer la taille des données (3 Go est rare, la plupart des fichiers font environ 1,2 Go à 1,5 Go)... il faut juste du temps pour les ouvrir. De plus, ils sont sur un lecteur partagé... mais les gens les copient généralement localement avant de les ouvrir.
Je pense que la solution consiste à les convertir au format JMP lorsque je crée les ensembles de données et à les enregistrer sous forme de fichiers JMP compressés en plus du format CSV. J'ai constaté une compression d'environ 4x lorsque j'ai testé cela hier. Certains utilisateurs consomment ces fichiers à l'aide de Jupyter Notebooks ou directement dans d'autres plates-formes d'analyse, je garderai donc les versions CSV disponibles pour ces personnes également... J'aurai juste besoin d'un peu d'espace supplémentaire sur le fichier net-app.
Merci encore à tous pour vos contributions.
Ré: Format de fichier texte rapide pour l'importation dans JMPLa compression de JMP peut certainement aider les utilisateurs de JMP, en particulier s'ils sont stockés sur le réseau. C'est quelque chose que nous avons fait pour nos utilisateurs JMP à un moment donné, en convertissant les fichiers .csv trouvés à partir d'un emplacement de lecteur réseau spécifique en table(s) JMP. De nos jours, nous essayons (ce qui n'est certainement pas toujours possible ou facile) de stocker ces fichiers dans une base de données, même si nous n'avons généralement pas beaucoup de colonnes, juste beaucoup de lignes.
Il existe également une option permettant de créer un module complémentaire distinct pour que les utilisateurs de JMP puissent utiliser ces fichiers. Cela ne résoudra toujours pas le problème de la taille des fichiers, MAIS l'outil pourrait d'abord les copier en tant que fichiers locaux, puis les charger localement.
