用於匯入到 JMP 的快速文字檔案格式我產生大型分隔資料檔案(通常為 csv 或 tsv),這些檔案最終將由使用者匯入到 JMP 中。通常大小為 1-3GB。我可以指定文件的格式,並想了解哪種是最好使用的非 JMP 格式,以及是否有任何技巧可以加快基於大型文字的資料檔案的匯入。
乾杯,特洛伊
自動化和腳本編寫回覆:用於匯入到 JMP 的快速文字檔案格式根據首選項中的設置,可以匯入txt import - 使用點和逗號。
「不可能」意味著:可以導入數據,但數字將被解釋為字元 - 會帶來時間和記憶體損失:
JMP 處理數字的效率比處理文字的效率高得多。將它們作為字串導入 - 然後將它們轉換為數字的瓶頸可能過於極端,無法將 1-3GB 放入電腦記憶體中。
JMP 17(?) 引入了緊湊型色譜柱。這允許在電腦記憶體中更有效地儲存字元列(具有重複條目)。但將 csv 檔案中的資料取得到緊湊列中可能存在瓶頸。
如果您想在「網格」中載入數字數據,請查看hdf5數據格式。
JMP 可以匯入此類文件,但功能受到限制。最好透過 Python 載入資料。
回覆:用於匯入到 JMP 的快速文字檔案格式如果輸入檔中有時間/日期數據,則有一些限制:
CSV 匯入強制 MDY 或 DMY 日期格式
回覆:用於匯入到 JMP 的快速文字檔案格式當您擁有可用文件時,您是否已經嘗試過某些操作?
- 您嘗試過哪些選項來開啟檔案?
- JMP 開啟檔案的「方式」:開啟/多個檔案匯入
- JMP18 中的 Python 整合(DuckDB / pandas / Polars 等)
- 您遇到過一些效能問題嗎?
- 您嘗試過哪些文件格式以及可以建立哪些文件格式?
- 通常 .csv 是非常好的文件類型,因為它易於創建並且通常易於打開
- 還有其他文件類型,但它們可能更難創建,並且各有利弊,例如 Parquet、Pickle 或 Feather(您必須使用 JMP 的 Python 整合將它們加載到 JMP 中)。
- 資料庫可以作為一個選擇嗎? sqlite 很可能是最簡單的選項,JMP 可以輕鬆打開它
- 用戶應該同時開啟多少個檔案?
- 有多少用戶?
- 所有使用者都會開啟相同的檔案嗎?您能否使用一些自動化流程打開並建立一個 jmp 表,然後使用者將使用該表或將結果儲存到資料庫而不是文字檔案中?
回覆:用於匯入到 JMP 的快速文字檔案格式謝謝大家的回覆。
這些文件只是預先準備的資料集,通常包含 10K+ 列......並且列名稱和類型因文件而異,因此很難提前識別列類型並在首選項中指定它。它們可供數百人使用,但通常有人一次只處理一個文件。 JMP 可以處理資料大小(3GB 很少見,大多數檔案約為 1.2GB - 1.5GB)......只是需要時間來開啟它們。而且,它們位於共享驅動器上......但人們通常在打開之前將它們複製到本地。
我認為前進的方向是在製作資料集時將它們轉換為 JMP 格式,並將它們除了 CSV 之外還保存為壓縮的 JMP 檔案。昨天測試時,我看到了約 4 倍的壓縮。一些用戶使用 Jupyter Notebooks 或直接在其他分析平台中使用這些文件,因此我也會為這些人保留可用的 CSV 版本......我只需要網路應用程式文件管理器上的一些額外空間。
再次感謝大家的意見。
回覆:用於匯入到 JMP 的快速文字檔案格式JMP 的壓縮絕對可以幫助 JMP 用戶,特別是如果它們儲存在網路中。這是我們在某個時候為 JMP 用戶所做的事情,將從特定網路磁碟機位置找到的 .csv 檔案轉換為 JMP 表。如今,我們嘗試(絕對不總是可能或容易)將此類文件儲存到資料庫中,儘管我們通常沒有那麼多列,只有很多行。
也可以選擇建立單獨的插件供 JMP 使用者使用這些檔案。儘管它仍然無法解決文件大小的問題,但該工具可以首先將它們複製為本地文件,然後在本地加載它們。