Reducción de dimensión en grandes conjuntos de datosA menudo trabajo con datos que tienen miles de términos y muchos miles, a veces cientos de miles, de observaciones. Muchos de los términos suelen estar correlacionados, por lo que me gustaría reducir la dimensionalidad. Pero si intento utilizar componentes principales para hacerlo, el tiempo de cálculo es excesivo o directamente poco práctico. ¿Existe otro método que funcione mejor para reducir las dimensiones de los datos en un caso como este?
Modelado estadístico avanzadoInvestigación de mercado y consumoRe: Reducción de dimensiones en grandes conjuntos de datosAlgunos pensamientos.
- ¿Son los datos de la misma fuente, por ejemplo, están estructurados de manera similar de un conjunto de datos a otro? Si es así, vale la pena encontrar una forma más eficiente. De lo contrario, obtendrá un acuerdo corto cada vez de todos modos, y la máquina podría ser más rápida cada vez.
- ¿Cuál es el siguiente paso después de la reducción de dimensiones? ¿Cuál el objetivo? Es posible que no necesite una reducción de dimensión (o una reducción de dimensión separada) en absoluto, si una metodología puede abordar su objetivo sin preprocesamiento para reducir la dimensión. Piense en las capacidades avanzadas de la regresión generalizada.
- PCA opera en matriz de covarianza. Así que tienes una matriz grande y muchas filas para generar esa matriz. ¿Funcionaría un método heurístico de reducción de dimensiones, por ejemplo, agrupación de variables?
