使用查詢產生器處理大型 CSV 文件今天我和一位客戶聊了一下查詢產生器。客戶有一些很大的 CSV 檔案（3GB 以上）。他們嘗試直接將這些數據加載到 JMP 中，但效能受到了顯著的影響。他們之所以想匯入這些數據，是為了從中抽取更合理的部分進行分析。他們想知道查詢產生器是否可以直接處理 CSV 檔案。
我建議使用 SQLite 資料庫瀏覽器 (DB Browser for SQLite) 將 CSV 檔案轉換為 SQLite 資料庫，然後使用查詢產生器 (Query Builder) 進行查詢，這應該很容易。但我沒想到直接訪問是不可能的。我想看看有沒有人對此有什麼策略或想法。
有什麼想法嗎？
M
回覆：使用查詢產生器處理大型 CSV 文件更新：ActualTech 發現了這個 bug，正在更新驅動程式以及一些 Mojave 支援相關的問題。他們還沒有告訴我更新的預計發佈時間。
米回覆：使用查詢產生器處理大型 CSV 文件哎呀——原來有辦法直接在查詢產生器中處理 CSV 檔案。微軟（Windows）和 ActualTech（MacOS）都開發了驅動程序，允許你將 CSV、TSV 和 XSLX 檔案作為資料來源…這意味著它們可以透過查詢產生器的 ODBC 進行查詢。這帶來的選項真是令人興奮…
對於 Windows，您需要安裝存取驅動程式集。我在這裡找到了一些可用的驅動程式（ https://www.microsoft.com/en-us/download/details.aspx?displaylang=en&id=13255 ）。然後只需設定新的資料來源即可。我使用我的 Windows 7 虛擬機器驗證了 CSV 檔案可以正常運作。
（編輯 - 更新的驅動程式集在這裡： https://www.microsoft.com/en-us/download/details.aspx? id=54920）
對於 Mac，您可以使用 ActualTech 的 Access 驅動程式。它也很容易設置，但查詢行為存在一些問題。我很確定這是驅動程式的問題，所以我向 ActualTech 諮詢了這個問題。我會在收到他們的回覆後更新此資訊。連接和查詢都可以正常工作，但它似乎會不停地重複顯示結果。 （例如，對於一個包含 300 行的 csv 文件，在我終止查詢之前，結果可能會多達 100 萬行，結果仍然是按順序重複顯示這 300 行）。
那麼——Windows，你最好把這個展示給客戶。 Mac——我們稍等一下。
米
回覆：使用查詢產生器處理大型 CSV 文件可能不行——我完全忘了這一點……這話說得挺好，不過我覺得他們其實更想直接在 CSV 文件上使用 QB。或許加上資料表 QB 會是個不錯的解決方案。
米回覆：使用查詢產生器處理大型 CSV 文件順便說一句，我指的是直接文字導入，而不是查詢產生器。回覆：使用查詢產生器處理大型 CSV 文件他們確實將首選項設置為僅掃描列類型 5 秒，而不是掃描整個文件，對嗎？
布萊恩
回覆：使用查詢產生器處理大型 CSV 文件它最終會讀入文件，但問題是 JMP 會嘗試讀取整個文件，然後再決定如何處理。所以，這不是硬體問題，而是 JMP 處理平面檔案的方式出了問題。
米回覆：使用查詢產生器處理大型 CSV 文件你知道這是否只適用於PC嗎？我找不到任何關於Mac的資訊。回覆：使用查詢產生器處理大型 CSV 文件這是我最初的想法——但是“帶有預覽的數據”選項需要 JMP 解析整個文件才能獲得預覽……這很慢。它不會掛起，只是在獲得任何選項之前，需要花很長時間進行文件的初始讀取。
米回覆：使用查詢產生器處理大型 CSV 文件麥克風，
您知道安裝了多少 RAM 嗎？
他們還開放了哪些其他應用程式？
一般來說，最小 RAM = 檔案大小的 2 倍，或者在這種情況下，開啟單一 3GB 檔案的最小 RAM 至少需要 6GB RAM。
他們試圖打開 3GB 檔案中的 1 個以上檔案嗎？
直接用 Excel 開啟每個 CSV 檔案需要多長時間？我預計在 JMP 中開啟 CSV 檔案的時間應該差不多。
史丹
回覆：使用查詢產生器處理大型 CSV 文件如果您安裝了 Office，Microsoft 會提供用於文字的 ODBC 驅動程式。但是，我不確定它是否能解決效能問題。它允許開發人員透過資料庫查詢產生器執行簡單的 Where 子句，而無需將文字檔案完全駐留在 JMP 中。
布萊恩
回覆：使用查詢產生器處理大型 CSV 文件在「預覽資料」下開啟檔案時，您可以建立 CSV 檔案的子集。他們能做到嗎？還是他們的機器在操作過程中會卡死？
