par John Sall, cofondateur et vice-président exécutif, SAS
Et si je vous disais qu'en ajoutant une fonctionnalité très simple, vous pourrez adapter de nombreux modèles avec plus de précision qu'auparavant? En même temps, je pourrais vous montrer que vos réponses précédentes étaient très biaisées, mais les nouvelles réponses étaient beaucoup moins biaisées. En outre, plutôt que de simplement ajuster les données non manquantes, vous pouvez utiliser toutes les données et faire des prédictions même lorsque des régresseurs sont manquants.
Cette grande opportunité survient lorsque le manque de données est prédictif. Prenons l'exemple de la table de données JMP, Equity.jmp, qui contient des données sur les défauts de paiement des prêts hypothécaires résidentiels. La réponse est de savoir si le client a fait défaut sur le prêt. Un des régresseurs est DEBTINC , qui est le ratio dette / revenu. DEBTINC manque pour une grande partie des données. Les valeurs manquantes permettent-elles de savoir si le client a fait défaut sur le prêt?
Si j'adapte le modèle habituel avec les 12 autres variables en tant que régresseurs, le RSquare est de 0,23, mais cela ne concerne que 3 364 des 5 960 lignes. Je ne peux pas prédire la réponse lorsque l'un des régresseurs est manquant.
Supposons que je corresponde au modèle en utilisant le manque de DEBTINC comme variable indicatrice. Le RSquare dans ce modèle à un seul régresseur est meilleur (0,25) et j'utilise les 5 960 lignes pour prédire que les données soient manquantes ou non. Ainsi, le manque peut être prédictif, informatif et même surperformer les régresseurs réguliers.
L'idée nouvelle est de créer non seulement les variables d'indicateur de valeur manquante, mais également de rendre les régresseurs d'origine utiles sans supprimer les lignes de données manquantes.
Dans JMP Pro 11, la fenêtre de lancement du modèle inclut un nouvel élément de menu en triangle rouge intitulé "Informations manquantes". Bien que la fonctionnalité ne soit disponible que dans JMP Pro, vous pouvez, avec quelques efforts, atteindre le même objectif en ajoutant des colonnes de formule aux données. tableau, comme décrit dans cet article.
L'imputation est un moyen traditionnel de le faire. Vous estimez les valeurs manquantes. Une méthode d'imputation standard consiste à prédire les valeurs d'une variable manquante à l'aide de toutes les autres variables du modèle non manquantes. Lorsqu'il y a des valeurs manquantes dans les données, la plateforme multivariée prend en charge l'imputation avec l'option «Imputation des données manquantes». Et il existe d'autres approches d'imputation.
Informatif Le codage de régression manquant est beaucoup plus simple que l'imputation et plus puissant. Pour chaque variable continue de votre modèle pour laquelle des valeurs sont manquantes, vous substituez deux variables. La première variable substitue une valeur moyenne aux données manquantes dans la colonne. L'autre variable est un indicateur de valeur manquante - 1 si la colonne d'origine est manquante, 0 sinon.
Par exemple, dans Equity.jmp, je crée deux nouvelles variables avec des formules pour le régresseur continu appelé DEBTINC . Voici le script pour créer deux nouvelles variables avec des formules:
Nouvelle colonne ( “DEBTINC ou moyen si manquant” , Numérique, continu,
Formule( Si ( Est manquant (: DEBTINC), 33,78 , : DEBTINC))
)
Nouvelle colonne ( "DEBTINC est manquant" , Numérique, continu,
Formule( Si ( Est manquant (: DEBTINC), 1, 0))
)
“ 33,78 "Dans la formule est la moyenne de DEBTINC , bien que cela puisse être n'importe quelle valeur que vous aimez.
Maintenant au lieu d'utiliser DEBTINC dans le modèle, vous utilisez les deux nouvelles variables de formule DEBTINC ou moyen si manquant et DEBTINC est manquant . Le prédicteur supplémentaire - la variable indicatrice - peut être fortement prédictif de la réponse. Dans cet exemple, le fait de laisser le champ manquant est un indice important du risque d'un prêt pour le demandeur.
Avec ces deux nouveaux prédicteurs, vous avez deux variables qui ne manquent jamais, elles peuvent donc être utilisées dans toutes les données. La variable d'indicateur de valeur manquante peut être importante dans l'ajustement, vous donnant ainsi une chance d'améliorer l'ajustement.
Qu'en est-il de l'autre nouveau régresseur, DEBTINC ou moyen si manquant ? Cela semble être un moyen primitif d’imputer DEBTINC en utilisant juste la moyenne. Remplacer les valeurs manquantes par la moyenne n'affecte pas l'estimation de cette variable. Au lieu de cela, le paramètre de l'indicateur de valeur manquante estime la différence entre la prédiction et la valeur moyenne de ce régresseur.
Vous pouvez substituer zéro au lieu de la moyenne pour manquer DEBTINC . Le paramètre devrait alors estimer la différence entre la prédiction et avoir un zéro pour cette covariable. La valeur de plug-in pour manquant affecte uniquement l'interprétation de l'estimation du paramètre de l'indicateur.
Cette technique n'est pas l'imputation. Vous ne substituez aucune valeur prédite aux valeurs manquantes. Au lieu de cela, vous construisez un système de codage pour récupérer des informations lorsque les régresseurs sont manquants. De plus, vous utilisez des valeurs manquantes pour leur valeur prédictive. Cela suppose qu’une valeur manquante n’existe pas un événement aléatoire, mais qu’elle ait une valeur prédictive pour une raison quelconque. C'est pourquoi nous appelons cette technique de codage le codage de régression «informatif manquant».
Le tableau 1 montre les différences considérables entre l’utilisation de l’imputation et l’information manquante pour les données Equity.jmp.
Tableau 1. Comparaison de l'imputation à l'information manquante
Méthode | Nombre d'observations utilisées | R Carré |
Ancien modèle complet avec exclusion manquante par rangée | 3 364 | 23,2% |
| Le modèle à une variable avec DEBTINC est manquant | 5 960 | 25,6% |
| Nouveau modèle complet avec informatif manquant | 5 960 | 45,6% |
La figure 1 montre que les variables indicatrices des valeurs manquantes sont très importantes, avec DEBTINC est manquant étant plus important que tout autre régresseur dans le modèle.
[Image manquante]
Figure 1. Estimations de paramètres triées par importance
Comme démontré ici, vous pouvez créer des colonnes de formule (ou des transformations) avec lesquelles régresser. Avec JMP Pro 11, il vous suffit de sélectionner l'option de menu du triangle rouge «Informative manquante» dans Adapter le modèle. Une autre option est de télécharger le complément «Informative Missing Coding» à partir du Echange de fichiers JMP .
Le manque peut être votre ami si vous le traitez comme ayant de la valeur.
