215301_fr-FR

liliconcom

Vitesse d'ouverture / importation de fichiers

Salut,

Nous sommes en train de créer un système de livraison de données. La collecte finale des données sera transmise à JMP pour son analyse. Cependant, nous constatons que le temps nécessaire pour ouvrir des fichiers est radicalement différent selon leur type. Idéalement, nous aimerions importer des fichiers hdf5, mais sur la base de notre analyse, la vitesse d'importation est très prohibitive. Ci-joint un graphique qui montre la vitesse d'importation. Évidemment, nous reconnaissons que les fichiers JMP sont les plus rapides, mais il n'y a aucun moyen de créer des fichiers JMP (sauf en JMP) donc ce n'est pas une option pour notre infrastructure actuelle.

Re: Vitesse d'ouverture / importation de fichiers

Merci pour votre message.

 

• Demandez-vous des conseils sur le choix d'un format de fichier, ou demandez-vous une amélioration des performances des performances d'importation HDF? 
• Avez-vous un contrôle absolu sur les données que votre système écrit ou y a-t-il des choix limités?
• Toutes les comparaisons ci-dessus lisent-elles des fichiers dans JMP?
• J'ai du mal à lire / interpréter les légendes. Pouvez-vous expliquer les différents formats que vous avez comparés?
• Vous avez indiqué une préférence pour HDF. Quels avantages le format HDF vous offre-t-il?
• Pouvez-vous nous fournir ici des exemples de fichiers HDF pour effectuer des tests de performances de comparaison?

 

Re: Vitesse d'ouverture / importation de fichiers

Wow, nous sommes lents à répondre.  Je travaille avec Kevin sur ce projet, mais je ne savais pas qu'il avait posté ici pour de l'aide ..

 

Nous contrôlons le format de sortie.  Nous voulons à la fois une taille de fichier efficace (pour l'efficacité du transfert de fichiers) et une vitesse lors de l'ouverture dans JMP.  Le seul format compressé open source que nous avons vu est le HDF5, mais l'importation JMP HDF5 semble très limitée.  Nous n'avons trouvé qu'une seule façon de créer un fichier HDF5 que JMP peut importer directement dans une table de données (la plupart des structures de fichiers HDF5 déclenchent l '"Assistant"), mais ce format est lent à importer.  Et l'ouverture avec l'interface Python JMP ne nous achète rien car il semble toujours enregistrer au format CSV, puis importer ce fichier dans JMP.

 

Alors ... j'adorerais aider à faire fonctionner l'une d'entre elles (ou plus!):

• Exemple de code Python qui génère un fichier HDF5 qui peut être importé directement sous forme de tableau et avec des performances au moins aussi rapides qu'une importation CSV où les noms de colonne et les types de données sont codés en dur (c'est-à-dire sans analyse de colonne / ligne).  Divulgation complète: je l'ai demandé dans un autre fil et @briancorcoran dit qu'il ne l'avait pas: https://community.jmp.com/t5/Discussions/Automate-opening-an-hdf5-file/mp/266708#M51947
• Un moyen de définir un type de fichier personnalisé (extension de fichier) et le JSL qui s'exécute pour importer ce type de fichier.  Ensuite, je peux créer un fichier ZIP, contenant à la fois les données dans un fichier CSV et un fichier de métadonnées distinct avec les noms et types de colonnes, ce qui permet au chargement d'être efficace.
• Un autre type de fichier qui est dense pour le transfert réseau et performant lors de l'ouverture dans JMP.  Parquet?

Merci,

- Bob

 

 

Re: Vitesse d'ouverture / importation de fichiers

J'ai réalisé que j'avais une idée de plus que je supposais que tu ne ferais pas, mais je devrais mentionner ...

 

Code Python pour exporter un Pandas DataFrame directement vers un fichier JMP compressé.

Re: Vitesse d'ouverture / importation de fichiers

Cela fait trois semaines ... dois-je plutôt soumettre un ticket de support à ce sujet?