大數據時代已久你好,
我將 JMP 用於更大的資料集、1000 個變數和 500 個主題。 運行一個簡單的擬合模型需要很長時間,例如幾分鐘。 我有一台很好的筆記型電腦,有 64G RAM、4G GPU 等等。 運行 JMP 時,使用率沒有接近 30%,但 JMP 仍然需要很長時間才能完成任何操作。 我優先考慮 JMP Realtime。
有什麼建議麼?
最好的
卡米爾
進階統計建模數據探索和視覺化回覆:大數據已經存在很久了嗨卡米爾,
瓶頸是擬合模型>標準最小平方法的實現。 即使單獨擬合,它也試圖將 1000 個模型結果放入一個報告中。 而這只是一切的開始。 我的猜測是,它以線性時間(一次一個)完成此操作,因此使用一個處理器/線程來產生報告。 但我只是猜測。
我不確定您是否可以指定如何透過 JMP 使用電腦資源(除了在某些平台對話框中基於每個平台關閉多執行緒之外)。 許多平台已經是多線程的(我認為響應篩選可能是其中之一)。 我不確定擬合模型>標準最小平方法。 我還猜測報告生成是單線程的。 但我需要開發人員讓我知道這種情況在幕後是如何運作的。 某些函數不能是多執行緒的,因此可能無法實現最大 CPU 容量利用率。 內存也類似。 您只需透過對大型資料集進行集群(雙向分層集群中的 1000 個乘以 1000 個資料集)即可消耗所有記憶體。 那主要是儲存產生圖形輸出的資訊。
我希望這能讓您了解 JMP 在後台所做的事情。 如果可能的話,它會嘗試使用可用於該功能/能力/平台的任何資源。
順便說一句,我們正在繼續增強 JMP Pro 以適應廣泛的資料集,例如您的資料集。 「擬合模型」>「混合模型」是一個範例,其中我們有一個紅色三角形選項來處理報告並僅顯示表格。 這使得可以快速擬合數千個回應的混合模型,但不會提供基於圖形的報告。
回覆:大數據已經存在很久了嗨克里斯,
我有 JMP 17 Pro。 謝謝你的提示。 這使得事情變得更快。 不過,是否有一種方法/設定可以讓 JMP 使用更多電腦容量? 試著了解什麼是瓶頸。
最好的
卡米爾
回覆:大數據已經存在很久了你好@卡米爾,
您使用什麼版本的 JMP? 您嘗試過擬合模型中的反應篩選人格嗎? 如果您有 JMP Pro,那麼這種個性就存在。 如果只有JMP,可以在Analyze>Screening>Response Screening下找到Response Screening(此方法一次只能測試一個模型效果)。 響應篩選是專門為此而設計的,而且速度非常快。
回覆:大數據已經存在很久了嗨,P_Bartell 和大家,
感謝您的答覆。 這是代謝組數據。 1000 個連續變數作為在 500 個受試者(行)中測量的欄位。 我試圖運行的擬合模型只是基因型(僅 2 個分類組)與協變量效應的 t 檢定。 因此,我的所有 Y 代謝物和我的基因型、BMI、性別和年齡都是模型效應。 分開裝。
我試圖理解為什麼我的計算機在這些操作期間沒有充分利用其能力。 我的 CPU 使用率為 30%,RAM 使用率可能為 10%。 這裡的瓶頸是什麼? 我可以設定 JMP 以使用更多電腦資源嗎?
謝謝
卡米爾
回覆:大數據已經存在很久了另外,它是數字資料還是字串? 如果是字串,有多少個變數包含字串,字串的本質是什麼?
回覆:大數據已經存在很久了添加一點@peng_liu的想法,如果您告訴我們更多有關您的數據的信息,例如“變量”的性質……它們都是 x 和/或有多少 y,這可能會幫助我們提供指導? 請區分/解釋“變數”和“主題”。 在某些平台中,資料類型也會影響處理時間。 而「簡單合身模型」並不能告訴我們您實際上選擇了哪種性格。 有些可能比其他的需要更長的時間。 每個平台對話框都需要一個模型。 您能告訴我們您的模型結構是什麼嗎? 最後,更多關於您的建模目標? 對於“...1000 個變數...”,如果您的建模目標是變數識別,那麼如果適合模型及其中的任何個性,我可能會考慮的最後一個平台。
回覆:大數據已經存在很久了當你說30%使用率時,是CPU嗎? 我猜你不是在談論記憶體大小。 我認為您正在談論特定的建模類型,對於資料的大小(或複雜性),效能很慢。 例如,最小平方法不應該出現這樣的問題,但其他方法可能會出現這樣的問題。
回覆:大數據已經存在很久了如果您在腳本中執行此操作,請確保在私有模式下開啟資料表以節省記憶體定址時間。
關閉所有其他應用程序,以便有盡可能多的可用記憶體並消除交換。