Données nominales manquantesSalut. Je fais un projet de classe dans lequel je dois prédire le prix en fonction d'un certain nombre de variables prédictives pour un ensemble de données sur le logement. J'ai nettoyé toutes mes lignes numériques, en me débarrassant des valeurs aberrantes, ma question implique maintenant deux colonnes : parking_options et Laundry_options. Dans ces deux colonnes, il manque environ 218 000 valeurs pour les lignes. Ma question est de savoir quoi faire avec les données nominales manquantes. Il s'agit d'une bonne partie de l'ensemble de données (sur 384 000) et je ne veux pas me débarrasser complètement de ces lignes. Je sais que parfois les données sont volontairement laissées vides mais je ne pense pas que ce soit mon cas. Certaines grandes maisons ont des valeurs nulles dans Laundry_options et Parking_options, donc je ne pense pas que je devrais simplement supposer que ces valeurs nulles signifient pas de parking ni de lessive.
Exploration et visualisation des donnéesles fenêtresObjet : Données nominales manquantesJe pense que vous avez deux options de base. La première consiste à adopter/invoquer la fonctionnalité « information manquante » dans JMP. Voici un lien vers l'explication des fonctionnalités dans la documentation JMP : Informations manquantes dans JMP . Mais cela signifie que vous pensez ou êtes du moins prêt à supposer qu'il y a une certaine « information » dans le fait que les observations manquent. Supposons que les gens ne soient pas disposés à répondre à quelque chose pour des raisons de confidentialité ou pour toute autre raison courante parmi les observations manquantes. Essentiellement, JMP traite le « caractère manquant » comme un niveau supplémentaire pour la variable prédictive nominale. La deuxième option consiste simplement à mordre la balle et à utiliser uniquement les observations qui ont toutes les valeurs des variables prédictives. Il vous reste encore environ 166 000 observations sur lesquelles travailler. Enfin, j'essaierais les deux voies et comparerais les conclusions pratiques auxquelles aboutiraient chacune. S'il existe peu de conclusions pratiques différentes, alors les « manques » n'ont pas eu d'impact sur les décisions finales.
Objet : Données nominales manquantesLors de l'utilisation information manquante , cela signifie-t-il que toutes les lignes avec manquant les données appartiennent au même "groupe" - du point de vue de information : que c'est toujours la même "raison" pour laquelle l'information manque ?
c'est-à-dire PAS :
-manquant car la moitié d'entre eux n'ont ni laverie ni parking et ne veulent pas le dire et la moitié d'entre eux sont ultra riches, ont 5 parkings et 3 lavoirs et ne veulent pas le dire.
Objet : Données nominales manquantesType de. Même dans votre deuxième scénario, il existe un fil conducteur : le refus de répondre pour une raison quelconque. C'est pourquoi l'utilisation de données manquantes informatives est une sorte d'acte de foi. Et pourquoi j'ai suggéré d'ajuster le modèle avec et sans informations manquantes pour voir si les conclusions pratiques sont différentes entre chaque analyse.
Objet : Données nominales manquantesEn tant que personne qui enseigne ce genre de choses, j'ai quelques commentaires, en plus des conseils avisés de P_Bartell.Vous devriez essayer à la fois avec et sans informations manquantes.Dans le même ordre d'idées, vous devriez étudier graphiquement comment les maisons pour lesquelles ces données sont manquantes se comparent aux maisons avec des données complètes concernant la variable dépendante que vous essayez de prédire (vraisemblablement un prix ?).En d'autres termes, si les prix des maisons sans options de blanchisserie se comportent de la même manière que les maisons avec ces options (le comportement signifie la relation avec des choses comme la superficie en pieds carrés), alors peut-être que ces options ne sont pas si importantes et vous pouvez « mordre la balle » comme P_Bartell le met.Cependant, prendre les devants peut signifier ignorer cette variable plutôt que d’ignorer les observations avec des données manquantes.Les options de blanchisserie ne sont peut-être tout simplement pas si importantes, et la raison pour laquelle cette variable est manquante peut être aléatoire (c'est ce sur quoi "informations manquantes" va enquêter, mais je la compléterais par une enquête graphique supplémentaire.
L'autre chose que j'ai remarquée est votre commentaire qui élimine "les valeurs aberrantes".Je me rends compte que certaines personnes enseignent aux gens à faire cela et que certains textes demandent même aux gens de le faire.Non.Je pense que c'est une mauvaise habitude de se débarrasser des données.À moins que les valeurs aberrantes ne semblent être des erreurs, elles font partie de vos données et je ne pense pas que vous devriez jamais vous en débarrasser sans autre justification.Il est de loin préférable d'utiliser une mesure invariante par rapport aux valeurs aberrantes (par exemple la médiane plutôt que la moyenne, que vous pouvez étudier à l'aide de la régression quantile) plutôt que d'éliminer les valeurs aberrantes.
Objet : Données nominales manquantesHistoriquement, toutes les grandes découvertes ont commencé par des valeurs aberrantes. Les résultats n'étaient pas attendus. Les jeter signifie que vous ne pouvez pas découvrir quelque chose de nouveau. Le modèle pourrait expliquer ces résultats aberrants.
Objet : Données nominales manquantesExcellents points ajoutés par @dale_lehman sur les valeurs aberrantes.
Et pour ajouter au commentaire de @Mark_Bailey , en présence de valeurs aberrantes vous pouvez choisir des modèles moins impactés par les valeurs aberrantes, comme les méthodes arborescentes (Boosted Tree, Decision Tree, Random Forest, ...) ou ajouter une régularisation à votre modèle linéaire (régression LASSO par exemple).
Vous pouvez également jouer avec différents paramètres ou solutions alternatives, comme la pesée, pour réduire l'influence des valeurs aberrantes sur votre modèle.
