FDE 可以處理的數據量是否有限制?大家好,
我有一個客戶問我 FDE 可以擴大到什麼程度。
從本質上講,他們有一組來自一些基因組學工作的曲線數據,其中有大約 8 個點的曲線數據(由大約 8 個點組成)。 20,000 個基因。 他們想做的是使用 FDE 對這些數據進行建模和篩選,但想知道 FDE 可以處理的數據范圍是否存在限制(潛在的計算時間除外)?
我從這次討論中得出的假設:已解決: FDE:我們有關於性能的數據嗎? - JMP 用戶社區是這應該是可以實現的,儘管這是一個漫長的過程,但我想我會與大家聯繫以幫助確認或否認這一點。
謝謝,
斯圖爾特
回复:FDE 可以處理的數據量有限制嗎?嘿,斯圖爾特!
特爾;博士:
在這種情況下,用陽極鍵合和關於 JMP 的標準“內存限制”聲明可能適用於它們。
肥皂盒版本:
您可以查看示例數據中的陽極鍵合數據集,以證明我們可以處理這種規模的問題。 它有 122000 條記錄,每個函數有 61 個數據點,有 2000 個函數。 這是一個半導體數據集,但它的樣本大小在同一個球場。 而且,它運行得非常快。
此外,您的情況與陽極鍵合情況相比具有一些優勢:您無法真正獲得每條跡線具有 8 個數據點的複雜形狀,因此您不會有很多 FPC。 結的數量也很少(類似於陽極鍵合數據)。 這也應該可以很容易地處理更大的數據集。
在 Martin 和我正在討論(您鏈接到它)的示例中,軌跡可能在採集過程中被過採樣。 (這種情況經常發生。)在這種情況下我們可以使用的另一種策略是對數據進行下採樣(即使用移動平均線或其他方法)。 但同樣 - 這種類型的數據不是問題。
最好的事物,
米