將Query Builder與大型CSV文件一起使用我今天正在和一位客戶談論查詢構建器。 客戶擁有大量(3GB +)CSV文件。 他們試圖直接將它們加載到JMP中,但是他們看到了重大的性能損失。 他們想要導入數據的原因是將其中一個更合理大小的部分用於分析。 他們想知道Query Builder是否存在直接使用CSV文件的問題。
我建議使用DB Browser for SQLite將CSV轉換為可由Query Builder查詢的SQLite數據庫非常容易。 我認為沒有可能直接訪問。 我想知道是否有人對此有任何策略或想法。
思考?
中號
Re:將Query Builder與大型CSV文件一起使用更新到此 - ActualTech發現了該錯誤並正在更新驅動程序以及一些Mojave支持相關問題。他們沒有給我一個關於更新何時通過的eta。
中號Re:將Query Builder與大型CSV文件一起使用Welp - 事實證明,有一種方法可以直接在Query Builder中使用CSV。Microsoft(Windows)和ActualTech(MacOS)都製作了驅動程序,可以將CSV,TSV和XSLX文件作為數據源處理...... 這意味著可以通過ODBC從查詢生成器查詢它們。打開的選項非常令人興奮......
對於Windows,您需要安裝訪問驅動程序集。我找到了一些在這里工作( https://www.microsoft.com/en-us/download/details.aspx?displaylang=en&id=13255 )。然後,這只是設置新數據源的問題。我使用我的Windows 7虛擬機驗證了這與CSV的預期一致。
(編輯 - 更新的驅動程序集在這裡: https://www.microsoft.com/en-us/download/details.aspx?id=54920 )
對於Mac,您使用ActualTech的Access Driver。這也很容易設置,但查詢的行為方式存在一些問題。我很確定這是一個驅動程序問題,所以我對ActualTech有一個問題。我聽到他們的回復後我會更新。連接和查詢有效,但它似乎反復重复結果而不停止。(即對於300行csv,在終止查詢之前結果可以多達1M行,結果是反复按順序重複300行)。
所以 - Windows,你可能很高興向客戶展示這一點。Mac - 讓我們緊緊抓住一秒鐘。
中號
Re:將Query Builder與大型CSV文件一起使用可能不是 - 我完全忘了這一點...... 這是一個好點,雖然我認為他們真的希望能夠直接在CSV文件上使用QB。也許與數據表QB相結合將是一個很好的解決方案。
中號Re:將Query Builder與大型CSV文件一起使用我指的是直接文本導入,BTW,而不是查詢生成器。Re:將Query Builder與大型CSV文件一起使用他們確實將首選項設置為僅掃描列類型5秒,而不是掃描整個文件,對嗎?
布賴恩
Re:將Query Builder與大型CSV文件一起使用它最終會讀取它,但問題是JMP會在決定如何處理之前嘗試讀取整個文件。因此,這不是硬件問題,而是JMP如何處理平面文件的問題。
中號Re:將Query Builder與大型CSV文件一起使用你知道這只是PC嗎?我找不到mac的任何信息。Re:將Query Builder與大型CSV文件一起使用這是我的第一個想法 - 但“預覽數據”選項要求JMP在您獲得預覽之前解析整個文件... 這是緩慢的一步。它不會掛起,只需要永遠在獲得任何選項之前對文件進行初始讀取。
中號Re:將Query Builder與大型CSV文件一起使用麥克風,
你知道安裝了多少內存?
他們還有哪些其他應用程序?
通常,最小RAM =文件大小的2倍,或者在這種情況下,用於打開單個3GB文件的最小RAM,它們將需要至少6GB的RAM。
他們試圖打開3GB的3GB文件?
什麼時候用Excel直接打開每個CSV文件?我希望有時間在JMP中打開CSV文件進行比較。
斯坦
Re:將Query Builder與大型CSV文件一起使用如果安裝了Office,則Microsoft提供了一個用於Text的ODBC驅動程序。 但是,我不相信它會對性能問題有所幫助。 它允許他們通過數據庫查詢生成器執行簡單的Where子句,而不會將文本文件完全駐留在JMP中。
布賴恩
Re:將Query Builder與大型CSV文件一起使用在“帶預覽的數據”下打開文件時,可以創建CSV的子集。他們是否能夠做到這一點或者在此操作期間機器是否掛起?