開啟 Parquet 文件我希望 JMP 能夠打開 Apache Parquet 檔案並以處理 HDF5、JSON 等的相同方式處理它們。 太感謝了。
資料存取回覆:開啟 Parquet 文件不,在目前版本的軟體(V17)中這是不可能的。
回覆:開啟 Parquet 文件你好@馬西莫馬圖奇
是否可以使用「開啟」或其他功能開啟鑲木地板文件、資料夾開放功能
回覆:開啟 Parquet 文件@馬西莫馬圖奇效果很好,感謝您的快速回覆!
回覆:開啟 Parquet 文件嗨,這個問題現在應該已經解決了,我不再指向那個資料夾了。 我已經重新上傳了插件,您可以嘗試嗎? 馬西莫
回覆:開啟 Parquet 文件你好@馬西莫馬圖奇,
優秀的插件...這對我們的團隊非常有幫助。
單文件上傳器有效,但多文件按鈕將以下錯誤添加到日誌中...
JMP17
蟒蛇:3.9.7
/*:
// 新資料表
// → 資料表(“無標題”)
新表(「無標題」);
選擇檔案中的參數無效:在“選擇目錄”的存取或評估中找不到目錄“c:\tmp\parquet_multiple_files”,選擇目錄/*###*/(“選擇包含Apache Parquet 輸入檔的目錄” ,
“c:\tmp\parquet_multiple_files”,顯示檔案( 1 ))
在 ~\SAS\JMP\Addins\com.jmp.martucci.parquet\Apache Parquet 檔案匯入器中的第 10 行 - 多個檔案 - Interactive.jsl
謝謝你!
回覆:開啟 Parquet 文件這太妙了吧!謝謝馬西莫:thumbs_up:
回覆:開啟 Parquet 文件大家好,我最近開發了並將其放入“文件交換”->“加載項”部分“ Apache Parquet 文件導入器”加入: Apache Parquet 檔案導入器
它將互動式 .parquet 文件匯入到相應的 JMP 表中:它既適用於單一文件,也適用於多個文件(所有文件都儲存在同一資料夾中)
它需要 JMP V17 和受支援的 Python 安裝以及 PyArrow 套件(及其相依性)。
回覆:開啟 Parquet 文件我註冊了一個帳戶只是為了插話,並說由於缺乏此功能,目前我們組織中的 jmp 無法打開這些文件,導致用戶遠離 jmp。
回覆:開啟 Parquet 文件感謝您的補充意見。 我們將進一步調查。
回覆:開啟 Parquet 文件我還非常希望能夠直接從 parquet 檔案讀取到 JMP 表中。我經常使用 2GB CSV(130K 行,2.5K 列),並且有一台相當新的 i7 64GB RAM 筆記型電腦。開啟其中一個檔案大約需要 5 分鐘進行資料掃描,然後再花費 4 分半鐘來匯入資料。我等待 JMP 開啟檔案的時間差不多有 10 分鐘。
我們的資料系統可以產生鑲木地板而不是 csv,並且同一檔案小於 200MB,並且已對其中現有的正確資料類型進行編碼。當我在 pandas 中使用一行程式碼 (read_parquet) 打開其中一個 parquet 檔案時,它可以在不到 30 秒的時間內將其載入到記憶體中的資料幀中。最近,我非常猶豫是否要在 JMP 中開啟文件,即使這是我的偏好。我可以在 pandas 中開啟文件,進行摘要以獲取所需的信息,所需時間是在 JMP 中開啟文件的一半。
擁有此功能對於使用更大文件進行分析的人來說確實是有益的,希望它可以在不久的將來啟用。
回覆:開啟 Parquet 文件100%同意約翰的上述評論。應啟用 JMP 以將鑲木地板和羽毛直接讀取到 JMP 表中。
回覆:開啟 Parquet 文件如果 JMP 確實想要正確處理大數據,它應該能夠讀取 parquet/feather 檔案並使用適當的壓縮和列定義直接匯入。 沒有足夠的記憶體來打開檔案然後進行壓縮。 這個問題只會變得更糟。
回覆:開啟 Parquet 文件為好奇者提供的一些額外資訊:
https://www.databricks.com/glossary/what-is-parquet#:~:text=What%20is%20Parquet%3F,handle%20complex%20data%20in%20bulk 。
回覆:開啟 Parquet 文件噢,真是無賴。就其價值而言,我認為這很重要!
Parquet 檔案在儲存和讀取時間方面確實非常高效,當您必須將資料從另一個平台傳輸到 JMP 或從 JMP 傳輸到另一個平台時,它特別好。
回覆:開啟 Parquet 檔案 - 狀態變更為:已存檔我們正在歸檔此請求。 如果這仍然很重要,請評論並提供更多詳細信息,我們將重新開放。 謝謝你!回覆:開啟 Parquet 文件@Ryan_Gilmore請取消存檔此要求。與 csv 相比,這些文件類型的使用效率要高得多,並且應該是整合相容性而不是加載項。感謝您考慮此請求。
史蒂夫
回覆:開啟 Parquet 檔案 - 狀態變更為:已確認回覆:開啟 Parquet 文件@kevin_lennon ,使用 JMP 18,現在可以透過增強的 Python 整合開啟 Apache Parquet 檔案。請參閱:
https://community.jmp.com/t5/JMPer-Cable/JMP-is-Pythonic-Enhanced-Python-Integration-in-JMP-18/ba-p/723997
謝謝你!
(將此請求標記為已交付)。
回覆:開啟 Parquet 檔案 - 狀態變更為:已交付回覆:開啟 Parquet 文件請參閱我對https://community.jmp.com/t5/JMP-Add-Ins/Apache-Parquet-file-importer/ta-p/637823#U637823的補充,其中詳細介紹了利用JMP 18 功能的更新腳本。