ファイルを開く/インポートする速度こんにちは、
データ配信システムを構築中です。データの最終的な収集は、分析のために JMP にプッシュされます。ただし、ファイルを開くのにかかる時間は、ファイルの種類によって大幅に異なることがわかりました。理想的には、hdf5 ファイルをインポートしたいと考えていますが、分析によると、インポートの速度は非常に法外です。インポートの速度を示すグラフを添付します。 JMP ファイルが最速であることは明らかですが、JMP ファイルを作成する方法がない (JMP を除く) ため、これは現在のインフラストラクチャではオプションではありません。
Re: ファイルを開く/インポートする速度について3 週間経ちました...代わりに、これについてサポート チケットを提出したほうがよいでしょうか?
Re: ファイルを開く/インポートする速度についてあなたがやらないだろうと思っていたアイデアがもう 1 つあることに気づきましたが、言っておかなければなりません...
Pandas DataFrame を圧縮 JMP ファイルに直接エクスポートする Python コード。
Re: ファイルを開く/インポートする速度についてうーん、対応が遅いですね。私はこのプロジェクトで Kevin と協力していますが、彼が助けを求めてここに投稿しているとは知りませんでした。
出力形式は私たちが制御できます。 JMP で開くときは、効率的なファイル サイズ (ファイル転送効率のため) と速度の両方が必要です。私たちが確認した唯一のオープンソース圧縮形式は HDF5 ですが、JMP HDF5 のインポートは非常に限定されているようです。 JMP がデータテーブルに直接インポートできる HDF5 ファイルを作成する方法は 1 つだけ見つかりました (ほとんどの HDF5 ファイル構造は「ウィザード」をトリガーします)。しかし、その形式はインポートに時間がかかります。また、Python JMP インターフェイスで開いても何も得られません。CSV として保存され、そのファイルが JMP にインポートされるように見えるからです。
そこで...これらの 1 つ (またはそれ以上!) が機能するようサポートしていただければ幸いです。
ありがとう、
- ボブ
Re: ファイルを開く/インポートする速度について投稿ありがとうございます。
- ファイル形式の選択についてアドバイスを求めていますか? それとも HDF インポートのパフォーマンスの向上を求めていますか?
- システムが書き出すデータを完全に制御できますか? それとも選択肢は限られていますか?
- 上記の比較はすべて、ファイルを JMP に読み込むものですか?
- 凡例を読んだり解釈したりするのが困難です。比較したさまざまなフォーマットについて説明してもらえますか?
- HDF を優先することを示しました。 HDF 形式にはどのような利点がありますか?
- ここで比較パフォーマンス テストを行うためにサンプル HDF ファイルを提供してもらえますか?
