Riduzione dimensionale su grandi set di datiSpesso ho a che fare con dati che hanno migliaia di termini e molte migliaia, a volte centinaia di migliaia, di osservazioni. Molti dei termini sono solitamente correlati, quindi vorrei ridurre la dimensionalità. Ma se provo a usare i componenti principali per farlo, il tempo di calcolo è eccessivo o decisamente poco pratico. Esiste un altro metodo che funzionerebbe meglio per ridurre le dimensioni dei dati in un caso del genere?
Modellazione statistica avanzataRicerca sui consumatori e sul mercatoRi: Riduzione dimensionale su set di dati di grandi dimensioniAlcuni pensieri.
- I dati provengono dalla stessa fonte, ad esempio sono strutturati in modo simile da set di dati a set di dati? In tal caso, vale la pena trovare un modo più efficiente. Altrimenti, ottieni comunque un affare breve ogni volta e la macchina potrebbe essere ancora più veloce ogni volta.
- Qual è il passo successivo dopo la riduzione delle dimensioni? Qual è l'obiettivo? Molti non hanno affatto bisogno della riduzione della dimensione (o di una riduzione della dimensione separata), se una metodologia può raggiungere il tuo obiettivo senza pre-elaborazione per ridurre la dimensione. Pensa alle funzionalità avanzate nella regressione generalizzata.
- PCA opera sulla matrice di covarianza. Quindi hai una matrice grande e molte righe per ottenere quella matrice. Un metodo euristico di riduzione delle dimensioni funzionerebbe, ad esempio il clustering delle variabili?
