文件開啟/匯入速度你好,
我們正在創建一個資料傳輸系統。最終收集的數據將被推送到 JMP 進行分析。然而,我們發現開啟文件所需的時間根據文件類型的不同而有很大差異。理想情況下,我們希望導入 hdf5 文件,但根據我們的分析,導入速度非常令人望而卻步。隨附的圖表顯示了導入速度。顯然,我們承認 JMP 檔案是最快的,但無法建立 JMP 檔案(JMP 除外),因此這不是我們目前基礎架構的選項。

回覆:檔案開啟/匯入的速度已經三週了...我應該就此提交支援票嗎?
回覆:檔案開啟/匯入的速度我意識到我還有一個我認為你不會做的想法,但我應該提一下...
用於將 Pandas DataFrame 直接匯出到壓縮 JMP 檔案的 Python 程式碼。
回覆:檔案開啟/匯入的速度哇,我們反應太慢了。我和凱文一起參與這個項目,但我沒有意識到他在這裡發布尋求幫助。
我們確實可以控制輸出格式。我們希望在 JMP 中開啟時既能獲得有效的檔案大小(以提高檔案傳輸效率)又能提高速度。我們見過的唯一開源壓縮格式是 HDF5,但 JMP HDF5 導入似乎非常有限。我們只找到了一種建立 HDF5 檔案的方法,JMP 可以將其直接匯入到資料表中(大多數 HDF5 檔案結構都會觸發「精靈」),但該格式匯入速度很慢。使用 Python JMP 介面開啟不會為我們帶來任何好處,因為它仍然顯示為另存為 CSV,然後在 JMP 中匯入該檔案。
所以......我很樂意幫助其中一個(或更多!):
謝謝,
- 鮑伯
回覆:檔案開啟/匯入的速度謝謝你的貼文。
- 您是在尋求有關選擇文件格式的建議,還是在要求改進 HDF 導入效能?
- 您對系統寫出的資料有絕對的控制權,還是選擇有限?
- 上面的所有比較都是將檔案讀入 JMP 嗎?
- 我在閱讀/解釋傳說時遇到困難。您能解釋一下您比較過的各種格式嗎?
- 您表明了對 HDF 的偏好。 HDF 格式為您帶來什麼優勢?
- 您能提供一些範例 HDF 檔案供我們在這裡進行效能比較測試嗎?