대용량 데이터 세트의 차원 축소저는 종종 수천 개의 항과 수천 개, 때로는 수십만 개의 관찰치가 있는 데이터를 다룹니다. 많은 항이 일반적으로 상관관계가 있으므로 차원을 줄이고 싶습니다. 하지만 주성분을 사용하여 이를 시도하면 계산 시간이 과도하거나 완전히 비실용적입니다. 그런 경우 데이터의 차원을 줄이는 데 더 효과적인 다른 방법이 있습니까?
고급 통계 모델링소비자 및 시장 조사Re: 대용량 데이터 세트의 차원 축소몇 가지 생각.
- 동일한 소스의 데이터입니까? 예를 들어 데이터 세트에서 데이터 세트로 유사하게 구성되어 있습니까? 그렇다면 더 효율적인 방법을 찾는 것이 좋습니다. 그렇지 않으면 어쨌든 매번 한 번의 짧은 거래를 얻을 수 있으며 기계는 매번 더 빠를 수 있습니다.
- 차원 축소 후 다음 단계는 무엇입니까? 목표는 무엇입니까? 하나의 방법론이 차원을 줄이기 위한 전처리 없이 목표를 해결할 수 있다면 차원 축소(또는 별도의 차원 축소)가 전혀 필요하지 않습니다. 일반화 회귀의 고급 기능을 생각해 보십시오.
- PCA는 공분산 행렬에서 작동합니다. 따라서 큰 행렬과 그 행렬을 만들기 위한 많은 행이 있습니다. 휴리스틱 차원 축소 방법(예: 변수 클러스터링)이 작동합니까?
