ファイルを開く/インポートする速度こんにちは、
現在、データ配信システムを構築中です。データの最終的なコレクションは、分析のためにJMPにプッシュされます。ただし、ファイルを開くのにかかる時間は、ファイルの種類によって大きく異なります。理想的には、hdf5ファイルをインポートしたいのですが、私たちの分析によると、インポートの速度は非常に高くなっています。添付のグラフは、インポートの速度を示すグラフです。明らかに、JMPファイルが最速であることを認識していますが、JMPファイルを作成する方法がないため(JMPを除く)、これは現在のインフラストラクチャのオプションではありません。

Re:ファイルを開く/インポートする速度投稿ありがとうございます。
- ファイル形式の選択についてアドバイスを求めていますか、それともHDFインポートパフォーマンスの改善を要求していますか?
- システムが書き込むデータを完全に制御していますか、それとも選択肢が限られていますか?
- 上記のすべての比較はファイルをJMPに読み込んでいますか?
- 伝説を読んだり解釈したりできません。比較したさまざまな形式を説明できますか?
- HDFの設定を指定しました。HDF形式にはどのような利点がありますか?
- ここで比較パフォーマンステストを行うためのサンプルHDFファイルを提供できますか?
Re:ファイルを開く/インポートする速度うわー、私たちは応答が遅いです。 私はこのプロジェクトでケビンと一緒に働いていますが、彼が助けを求めてここに投稿したことに気づきませんでした。
出力形式を制御できます。 JMPで開くときの効率的なファイルサイズ(ファイル転送効率のため)と速度の両方が必要です。 私たちが目にした唯一のオープンソースの圧縮形式はHDF5ですが、JMP HDF5のインポートは非常に制限されているようです。 JMPがデータテーブルに直接インポートできるHDF5ファイルを作成する方法は1つしかありません(ほとんどのHDF5ファイル構造は「ウィザード」をトリガーします)が、そのフォーマットのインポートには時間がかかります。 また、Python JMPインターフェースで開いても、CSVとして保存されているように見えるため、何も購入しません。その後、そのファイルをJMPにインポートします。
だから...私はこれらのうちの1つが機能するのを手伝ってみたいです(またはもっと!):
おかげで、
- ボブ
Re:ファイルを開く/インポートする速度私はあなたがやらないと思っているというもう一つの考えがあることに気づきました、しかし私は言及しなければなりません...
Pandas DataFrameを圧縮されたJMPファイルに直接エクスポートするPythonコード。
Re:ファイルを開く/インポートする速度3週間が経過しました...代わりに、このチケットのサポートチケットを提出する必要がありますか?