對於包含多行的表格,首選的資料格式是什麼?抱歉,我又問了一個新手問題……。
我們終於開始著手分析多年來在工廠收集的線上感測器(「標籤」)數據。這些標籤的標準時間解析度為 1 秒,大約有 1400 個標籤需要篩選出有價值的資訊。但要達到這個階段,我認為需要向數位化團隊提出資料格式建議。他們可能希望所有非團隊成員(包括我)都使用 CSV 文件,但我意識到這種格式無法處理大約 3000 萬行的數據,這大致相當於一年的秒數。雖然這個時間解析度可能並非必要,但我認為仍然值得以此來處理。此外,即使只使用 1 分鐘的粒度,每年也大約需要 50 萬行數據,這對於 CSV 來說仍然不太方便。
對於處理大型表格(例如,將其匯入 JMP),JSON 是首選方案嗎?或者直接連接到資料庫,從資料庫載入資料到 JMP 是否更好?任何回饋意見或建議,我都可以將其提交給我們的數位化團隊,非常感謝!各位 JMP 用戶,提前致謝!
資料存取回复:多行表格的首選數據格式?如果可能,將數據保存到某個適當的數據庫中。 很可能很容易將其從數據庫中獲取到 JMP。
回覆:對於多行表,首選的資料格式是什麼?我經常從 CSV 檔案匯入數百萬行的資料。限制僅限於來源應用程式匯出的數據,最大為 2GB。
如果我必須處理更大的數據,我會將其分成幾部分,然後加載幾個 csv 檔案。
因此,0.5mio 行(您提到的 1 分鐘粒度)通過 csv 絕對沒有問題。
好奇想知道您是否也設法將 3000 萬投入 Jmp。
如果不是作為一個整體,那麼也許是以 500 萬為一個區塊?
回覆:對於多行表,首選的資料格式是什麼?@hogi ,抱歉,我的錯。我以為 CSV 的限制和 Excel 一樣,但事實並非如此。謝謝你指出這一點。不過,我仍然認為,對於 3000 萬行的資料集,0.50 萬行的限制可能會造成不便。不過,我認為這也可能是可以解決的。