大型資料集的降維我經常處理包含數千個術語以及數千個甚至數十萬個觀察值的資料。許多術語通常是相關的,所以我想降低維數。但如果我嘗試使用主成分來執行此操作,計算時間就會過長或完全不切實際。在這種情況下,是否有其他方法可以更好地減少資料的維度?
進階統計建模消費者與市場研究回复:大數據集的降維一些想法。
- 數據是否來自同一來源,例如,它們在不同數據集之間的結構相似? 如果是這樣,尋找更有效的方法是值得的。 否則,無論如何你每次都會得到一筆賣空交易,而且機器每次可能仍然更快。
- 降維之後下一步是什麼? 目標是什麼? 你可能根本不需要降維(或單獨的降維),如果一種方法可以在不進行降維預處理的情況下解決你的目標。 想想廣義回歸中的高級功能。
- PCA 在協方差矩陣上運行。 所以你有一個大矩陣和許多行來得出該矩陣。 啟發式降維方法是否有效,例如變量聚類?