大規模データセットの次元削減私は、何千もの用語と、何千、時には何十万もの観測値を持つデータをよく扱います。用語の多くは通常相関関係にあるため、次元を減らしたいのですが、主成分分析を使用してこれを行おうとすると、計算時間が長すぎるか、まったく実用的ではありません。このような場合にデータの次元を減らすのに効果的な別の方法はありますか?
高度な統計モデリング消費者および市場調査Re: 大規模なデータセットでの次元削減いくつかの考え。
- データは同じソースからのものですか。たとえば、データ セットからデータ セットへと同様に構造化されていますか? もしそうなら、より効率的な方法を見つけることは価値があります。 そうしないと、とにかく毎回 1 つの短い取引が発生し、マシンは毎回より高速になる可能性があります。
- 次元削減の次のステップは何ですか? 目的は？ 次元を削減するための前処理を行わずに 1 つの方法論で目的に対処できる場合、次元削減 (または個別の次元削減) はまったく必要ありません。 一般化回帰の高度な機能について考えてみてください。
- PCA は共分散行列で動作します。 したがって、大きなマトリックスと、そのマトリックスを作成するための多くの行があります。 変数クラスタリングなどのヒューリスティックな次元削減法は機能しますか?
