Parfois, le vide est significatif. Si un demandeur de prêt laisse ses champs de dette et de salaire vides, ne pensez-vous pas que le vide est significatif? Si un demandeur d'emploi laisse ce champ d'emploi précédent vide, ne pensez-vous pas que le vide est significatif? Si un candidat politique remplit un formulaire qui contient un champ vide pour le dernier crime déclaré coupable, ce vide est, espérons-le, positivement informatif. Les valeurs manquantes sont aussi des valeurs - elles sont simplement plus difficiles à intégrer dans nos méthodes statistiques. Vous ne pouvez pas faire de calcul sur eux pour trouver des moyens. Mais vous pouvez toujours les utiliser de manière pratique.
Certains ensembles de données sont pleins de valeurs manquantes. Les méthodes standard doivent abandonner toute une observation s'il manque l'un des X. Si vous modélisez avec beaucoup de variables et que l'une ou l'autre de ces variables est manquante, vous risquez de ne disposer d'aucune donnée avec laquelle estimer. De plus, même si vous vous retrouvez avec suffisamment de données, cette partie des données peut constituer un échantillon biaisé des données chaque fois que le mécanisme permettant de créer les valeurs manquantes est lié à la réponse. Les résultats sont biaisés.
Une approche pour résoudre le problème est imputation - vous estimez les valeurs manquantes ou, dans certains cas, vous fournissez une distribution des valeurs manquantes, produisant une distribution de réponses. L'imputation est un domaine statistique riche en littérature. Certains types d'imputation sont faciles, comme l'estimation des valeurs manquantes en les prédisant à partir de toutes les variables X non manquantes. D'autres types sont difficiles et impliquent d'entrer dans le mécanisme de la raison pour laquelle les valeurs manquent.
Mais supposons que nous ne soyons que des mineurs de données - nous voulons simplement quelque chose de simple à intégrer dans de grands modèles prédictifs afin de récupérer toutes les observations que nous aurions autrement à jeter.
Aussi, supposons que les valeurs manquantes soient informatives. Lorsque vous étudiez les données pour prédire si un prêt est mauvais et que le demandeur de prêt laisse son revenu ou ses dettes actuelles manquantes, il est probablement préférable de supposer que le demandeur est évasif pour une raison. Le fait de laisser le champ manquant est un indice fort sur le risque d'un prêt au demandeur.
Au lieu d'essayer de prédire le champ manquant, nous allons le coder. Si le champ est catégorique, nous considérons simplement les manquants comme une autre catégorie. Si le champ est continu, nous devons faire autre chose. Pour cette variable, nous créons deux colonnes dans la matrice de conception pour chaque régresseur continu X:
X continu = if (IsMissing (x), x, xbar)X manquant = IsMissing (x)
La première colonne ne contient que X sauf lorsque X est manquant, auquel cas nous substituons la moyenne de ce X. La deuxième colonne est l'indicateur de manquant.
Chacune de ces colonnes de conception comporte un paramètre estimé. La première colonne sera l'estimation pour tous les X non manquants. La seconde sera la mesure dans laquelle le Y prédit doit changer si X est manquant, où le changement est mesuré à partir de ce qu'un X moyen prédirait pour Y.
Ce codage de valeur manquante est utilisé depuis longtemps comme méthode pratique. Dans JMP , il a été introduit avec la nouvelle plate-forme Neural dans JMP 10. Maintenant avec JMP 11 , nous l’introduisons pour la plupart des autres plates-formes Fit Model.
Dans le passé, nous soutenions l’exploration de données sur les plates-formes Neural et Partition, pour lesquelles la gestion des valeurs manquait. Les plates-formes de modélisation habituelles ont souffert de nombreuses valeurs manquantes dans les données. Nous avons maintenant une option «Informative manquante» qui spécifie l’utilisation du système de codage des valeurs manquantes chaque fois qu’une covariable continue a des valeurs manquantes et utilise également un niveau de valeur manquant pour les manquants catégoriques.
Le répertoire exemple contient un ensemble de données appelé Equity, qui est un exemple de modélisation prédictive standard avec de nombreuses valeurs manquantes. Par exemple, 22% de ses valeurs sont manquantes dans la colonne DEBTINC.
Sans information manquante, l'ajustement logistique utilise seulement 3 364 des 5 960 observations. Cependant, avec Informative Missing, toutes les données sont en bon état. Sans information manquante, le Rsquare était de 0,23, mais avec Informative manquant, le Rsquare est de 0,45. Nous effectuons beaucoup plus d'observations et beaucoup mieux.
Notez dans les rapports que de nombreux régresseurs continus ont deux paramètres: par exemple, MORTDUE ou moyenne si manquant et MORTDUE étant manquant. Si l'estimation du paramètre sur le terme «Manqueur» de l'indicateur n'est pas significative, l'utilisation de l'imputation par la moyenne aurait fonctionné. Mais si la valeur est significative, les valeurs manquantes disent quelque chose de différent par rapport à la valeur moyenne.
Vous pouviez faire cette technique auparavant avec beaucoup d'effort pour faire des colonnes de formules avec lesquelles régresser. Avec JMP 11, il vous suffit de cliquer sur un élément de menu appelé «Informations manquantes».
Les plates-formes Fit Model sont maintenant prêtes à rejoindre les plates-formes prédictives traditionnelles pour créer des modèles prédictifs. À propos, Informative Missing se trouve dans la plateforme Fit Model de JMP 11 pour les personnalités les plus convenables.
Remarque: Cela fait partie d'un Big Statistics série d'articles de blog de John Sall. Lire tout son Big statistiques posts .
Cher Martin,
J'ai consulté le fichier Bands Data.jmp à nouveau et ai utilisé les formules à deux colonnes pour transformer les variables continues manquantes en moyenne des données de colonne enregistrées, puis j'ai ajouté la colonne Indicateur de 0/1 pour spécifier les données manquantes / non-Igressées. a exécuté les régressions avec les 2 nouvelles colonnes et comparé à la régression des données d'origine avec des valeurs manquantes.
C'est toujours une façon de faire longue comparée à JMP Pro, mais au moins, cela fonctionne pour moi.
Meilleures salutations,
David
Salut David,
le fichier exemple que vous avez mentionné n'a pas été joint. Cependant, la formule devrait fonctionner et vous devez maintenant ajouter les deux nouvelles colonnes à votre régression au lieu de celles d'origine. Si le caractère manquant s'avère informatif, la colonne de l'indicateur devrait être significative. Dans l'option manquante informative des nouvelles versions de JMP, la sortie sera générée de manière à ce que la variable significative soit affichée sous la forme "Col 1 ou manquant" ou Col 1 manquant ", comme vous pouvez le voir dans la capture d'écran de John ou dans la version finale. rapport.
J'espère que cela pourra aider,
Martin
Salut Martin
Dans JMP7, je crée le X continu avec les valeurs moyennes de colonne (x) à l’aide de ColMean (x) dans:
IfMissing (x) => ColMean (x);
=> x
Et X manquant = IsMissing (x)
Laborieux, mais cela fonctionne pour révéler l'effet des valeurs de données manquantes sur les bandes? (Y)
David
Salut David,
comme John l'a décrit dans la partie centrale, vous pouvez créer de nouvelles colonnes de formule pour chacune des variables manquantes. Vous venez d’ajouter pour une variable continue deux nouvelles colonnes de formule (clic droit sur votre nouvelle colonne et sélectionnez la formule):
X continu = if (IsMissing (x), xbar, x)
et la deuxième colonne juste l'indicateur:
X manquant = IsMissing (x)
S'il vous plaît soyez conscient que je crois en la formule du blog de John est un bug comme il a x à la suite de manque et xbar. Je pense que cela devrait être changé comme dans la formule que j'ai ci-dessus, comme vous voulez ajouter la moyenne de colonne au cas où il y aurait une variable manquante. Btw. vous pouvez modifier la moyenne des colonnes selon la formule d'imputation que vous jugez appropriée, car la moyenne n'est pas toujours la meilleure imputation (mais il s'agit d'un sujet distinct pour elle-même).
Vous avez maintenant deux colonnes et vous pouvez les ajouter à la régression en tant que facteurs.
Comme cela peut représenter un effort considérable si vous avez beaucoup de prédicteurs à partir de JMP 11, cette option a été incluse.
Existe-t-il une raison spécifique pour laquelle vous ne pouvez pas mettre à jour votre licence vers une version plus récente de JMP (version actuelle de JMP 13.1)? De nombreux autres outils ont été ajoutés pour vous aider à modéliser des données en désordre que vous voudrez peut-être consulter.
Cordialement,
Martin
Très utile.
Je veux comprendre le fonctionnement de Informative Missing, mais je suis contraint par le logiciel sous licence JMP7 / 8.
J'essaie d'exécuter le modèle de partition Robert Anderson de Bands_Data.jmp en utilisant uniquement JMP7 pour répliquer l'approche.
Cela aurait été très utile pour traiter les données de régression d’assurance et les variables de fabrication avec de nombreuses valeurs de données manquantes gênant la régression pas à pas.
David Ashling
0783 400 6111
