大型数据集的降维我经常处理包含数千个项和数千个甚至数十万个观测值的数据。许多项通常是相关的,所以我想降低维数。但如果我尝试使用主成分来执行此操作,计算时间会过长或完全不切实际。在这种情况下,还有其他方法可以更好地降低数据的维度吗?
高级统计建模消费者和市场研究回复:大数据集的降维一些想法。
- 数据是否来自同一来源,例如,它们在不同数据集之间的结构相似? 如果是这样,寻找更有效的方法是值得的。 否则,无论如何你每次都会得到一笔卖空交易,而且机器每次可能仍然更快。
- 降维之后下一步是什么? 目标是什么? 你可能根本不需要降维(或单独的降维),如果一种方法可以在不进行降维预处理的情况下解决你的目标。 想想广义回归中的高级功能。
- PCA 在协方差矩阵上运行。 所以你有一个大矩阵和许多行来得出该矩阵。 启发式降维方法是否有效,例如变量聚类?