Come gestire molti livelli per variabili indipendenti durante la modellazione?Ciao,
Ho una variabile chiamata 'Brand' nel mio set di dati che essenzialmente è il nome del marchio del prodotto. Ci sono circa 2300 livelli per questa variabile e sto cercando di usarla come una delle variabili indipendenti per la modellazione predittiva, dove il prezzo è la variabile target. Qualcuno può farmi sapere come affrontare così tanti livelli nella variabile indipendente?
Ri: Come gestire molti livelli per variabili indipendenti mentre si fa la modellazione?Un altro modo semplice per ridurre il numero di livelli sarebbe con un modello di partizione. Prezzo come Y e Marchio come X. Puoi provare diversi numeri di divisioni e salvare i numeri delle foglie e / o le etichette per creare nuove variabili.
Ri: Come gestire molti livelli per variabili indipendenti mentre si fa la modellazione?Vorrei suggerire due metodi molto diversi che ho usato in passato per trattare molte categorie. Nel mio caso sarebbero categorie geografiche cronologiche, ma dovrebbero funzionare nel tuo caso di marchi.
- Se hai qualche conoscenza esogena sui marchi, puoi raggrupparli in una classificazione molto più significativa. Ad esempio, per paese o per premium vs. main street vs. generico.
- Utilizzando un metodo (es Anova) classifica i marchi per prezzo e cerca eventuali cluster e punti di discontinuità. Forse si raggruppano per intervalli di prezzo.
Una volta ottenuti questi cluster con uno dei metodi menzionati, è possibile aggiungere questa nuova variabile al modello. questo potrebbe essere fatto invece di usare i nomi di marca dettagliati originali o in aggiunta in modo annidato.
Facci sapere cosa ha funzionato per te,
Ron
Ri: Come gestire molti livelli per variabili indipendenti mentre si fa la modellazione?Ancora un altro pensiero per te simile a @dale_lehman L'idea è provare anche l'analisi di corrispondenza multipla come metodo di riduzione della dimensionalità?
Ri: Come gestire molti livelli per variabili indipendenti mentre si fa la modellazione?Penso che il suggerimento di Phil sia buono - se hai molte osservazioni con cui lavorare. Ho visto dati come questo, in cui un'azienda ha registrato vendite di un gran numero di diverse linee di articoli - e i prodotti citati erano quasi tanti come le osservazioni (hanno scelto di nominare ogni articolo di arredamento in un modo un po 'diverso). In tal caso, penso che sia necessario ridurre le dimensioni per dare un senso ai dati. Potresti provare a utilizzare l'esploratore di testo per farlo. Se i nomi sono ben definiti, come tutte le sedie hanno la parola "sedia" nel titolo, allora potresti essere in grado di utilizzare una serie di nuove colonne che identificano prodotti contenenti parole chiave per raggruppare gli elementi 2300 in un set molto più piccolo .
Ri: Come gestire molti livelli per variabili indipendenti mentre si fa la modellazione?Ecco un'idea. Non sono sicuro che sia la soluzione più utile, ma proverei.
Puoi creare colonne di variabili di indicatori: 1 colonna per marca (2300 colonne di indicatori in totale) con 1 o 0 che indica se è quella marca (1) o meno (0). Cols> Utilità> Crea colonne di indicatori. È quindi possibile utilizzare una tecnica di selezione variabile come Bootstrap Forest per determinare i marchi che hanno più effetto sul prezzo. Quindi puoi semplificare la colonna del marchio per avere un livello per ciascuno dei marchi di predittori più importanti e quindi raggruppare il resto in un livello "altro". Ciò semplificherebbe la sfida della modellazione.
