Comment gérer plusieurs niveaux de variable indépendante lors de la modélisation?Salut,
J'ai une variable appelée "Marque" dans mon jeu de données qui est essentiellement le nom de marque du produit. Il y a environ 2300 niveaux pour cette variable et je souhaite l’utiliser comme l’une des variables indépendantes de la modélisation prédictive, où le prix est la variable cible. Quelqu'un peut-il me dire comment traiter avec autant de niveaux dans la variable indépendante?
Re: Comment gérer plusieurs niveaux de variable indépendante en modélisant?Un autre moyen simple de réduire le nombre de niveaux serait d'utiliser un modèle de partition. Prix en tant que Y et Marque en tant que X. Vous pouvez essayer différents nombres de divisions et enregistrer les numéros de feuille et / ou les étiquettes pour créer de nouvelles variables.
Re: Comment gérer plusieurs niveaux de variable indépendante en modélisant?Je voudrais suggérer deux méthodes très différentes que j'ai utilisées par le passé pour traiter de nombreuses catégories. Dans mon cas, il s'agirait de catégories géographiques chronologiques, mais elles devraient fonctionner dans votre cas de marques.
- Si vous avez des connaissances exogènes sur les marques, vous pouvez peut-être les regrouper dans une classification beaucoup plus significative. Par exemple, par pays ou par prime vs rue principale vs générique.
- En utilisant une méthode (c.-à-d. Anova) classent les marques par prix et recherchent les clusters et les points de discontinuité. Peut-être qu'ils regroupent par gamme de prix.
Une fois que vous avez ces grappes selon l’une des méthodes mentionnées, vous pouvez ajouter cette nouvelle variable au modèle. Cela pourrait être fait au lieu d'utiliser les noms de marque détaillés d'origine ou de manière imbriquée.
Dites-nous ce qui a fonctionné pour vous,
Ron
Re: Comment gérer plusieurs niveaux de variable indépendante en modélisant?Encore une autre pensée pour vous qui ressemble à @dale_lehman L'idée est d'essayer l'analyse des correspondances multiples comme méthode de réduction de dimensionnalité également?
Re: Comment gérer plusieurs niveaux de variable indépendante en modélisant?Je pense que la suggestion de Phil est bonne - si vous avez beaucoup d'observations à travailler. J'ai vu des données comme celle-ci, où une entreprise a enregistré des ventes d'un grand nombre de lignes différentes d'articles - et les produits nommés étaient presque aussi nombreux que les observations (ils ont choisi de nommer chaque meuble de manière légèrement différente). Dans ce cas, je pense qu'il faut réduire les dimensions pour donner un sens aux données. Vous pouvez essayer d'utiliser l'explorateur de texte pour le faire. Si les noms sont bien définis, par exemple si toutes les chaises ont le mot "chair" dans leur titre, vous pourrez alors utiliser une série de nouvelles colonnes identifiant les produits contenant des mots clés afin de regrouper les 2300 articles dans un ensemble beaucoup plus petit. .
Re: Comment gérer plusieurs niveaux de variable indépendante en modélisant?Voici une idée. Je ne suis pas sûr que ce soit la solution la plus utile, mais je voudrais l'essayer.
Vous pouvez créer des colonnes de variable d'indicateur: 1 colonne par marque (2 300 colonnes d'indicateur au total), 1 ou 0 indiquant s'il s'agit de cette marque (1) ou non (0). Cols> Utilitaires> Créer des colonnes d'indicateurs. Vous pouvez ensuite utiliser une technique de sélection variable telle que Bootstrap Forest pour déterminer les marques qui ont le plus d’effet sur Price. Ensuite, vous pouvez simplifier la colonne de marque afin d’avoir un niveau pour chacune des marques de prédicteurs les plus importantes, puis de grouper le reste dans un "autre" niveau. Cela simplifierait le défi de la modélisation.
