215301_fr-FR

liliconcom

Vitesse d'ouverture/importation de fichiers

Salut,

Nous sommes en train de créer un système de livraison de données. La collecte finale de données sera transmise à JMP pour son analyse. Cependant, nous constatons que le temps nécessaire pour ouvrir les fichiers est radicalement différent selon leur type. Idéalement, nous aimerions importer des fichiers hdf5, mais d'après notre analyse, la vitesse d'importation est très prohibitive. Vous trouverez ci-joint un graphique qui montre la vitesse d'importation. Nous reconnaissons évidemment que les fichiers JMP sont les plus rapides, mais il n'existe aucun moyen de créer des fichiers JMP (sauf dans JMP), ce n'est donc pas une option pour notre infrastructure actuelle.

Re : Vitesse d'ouverture/importation de fichiers

Cela fait trois semaines... dois-je plutôt soumettre un ticket d'assistance à ce sujet ?

Re : Vitesse d'ouverture/importation de fichiers

J'ai réalisé que j'avais encore une idée que je pensais que tu ne ferais pas, mais je devrais mentionner...

Code Python pour exporter un Pandas DataFrame directement vers un fichier JMP compressé.

Re : Vitesse d'ouverture/importation de fichiers

Wow, nous tardons à répondre. Je travaille avec Kevin sur ce projet, mais je n'avais pas réalisé qu'il avait posté ici pour obtenir de l'aide.

Nous contrôlons le format de sortie. Nous voulons à la fois une taille de fichier efficace (pour l’efficacité du transfert de fichiers) et une vitesse d’ouverture dans JMP. Le seul format compressé open source que nous ayons vu est HDF5, mais l'importation JMP HDF5 semble très limitée. Nous n'avons trouvé qu'un seul moyen de créer un fichier HDF5 que JMP peut importer directement dans une table de données (la plupart des structures de fichiers HDF5 déclenchent l'"Assistant"), mais ce format est lent à importer. Et l'ouverture avec l'interface Python JMP ne nous rapporte rien car elle semble toujours être enregistrée au format CSV, puis importer ce fichier dans JMP.

Alors... j'aimerais aider à faire fonctionner l'un d'entre eux (ou plus !) :

• Exemple de code Python qui génère un fichier HDF5 pouvant être importé directement sous forme de table et avec des performances au moins aussi rapides qu'une importation CSV où les noms de colonnes et les types de données sont codés en dur (c'est-à-dire pas d'analyse de colonne/ligne). Divulgation complète : j'ai demandé cela dans un autre fil de discussion et @briancorcoran a dit qu'il ne l'avait pas : https://community.jmp.com/t5/Discussions/Automate-opening-an-hdf5-file/mp/266708#M51947
• Un moyen de définir un type de fichier personnalisé (extension de fichier) et le JSL qui s'exécute pour importer ce type de fichier. Ensuite, je peux créer un fichier ZIP, contenant à la fois les données dans un fichier CSV et un fichier de métadonnées distinct avec les noms et types de colonnes, ce qui permet un chargement efficace.
• Un type de fichier alternatif, dense pour le transfert réseau et performant lors de l'ouverture dans JMP. Parquet?

Merci,

-Bob

Re : Vitesse d'ouverture/importation de fichiers

Merci pour votre message.

• Demandez-vous des conseils sur le choix d'un format de fichier ou demandez-vous une amélioration des performances d'importation HDF ?
• Avez-vous un contrôle absolu sur les données écrites par votre système, ou les choix sont-ils limités ?
• Toutes les comparaisons ci-dessus lisent-elles des fichiers dans JMP ?
• J'ai du mal à lire/interpréter les légendes. Pouvez-vous expliquer les différents formats que vous avez comparés ?
• Vous avez indiqué une préférence pour HDF. Quels sont les avantages du format HDF ?
• Pouvez-vous fournir des exemples de fichiers HDF pour que nous puissions effectuer des tests de performances de comparaison ici ?