Imputation automatisée des données : un outil polyvalent dans JMP® Pro 14 pour la gestion des valeurs manquantes ( US 2018 130 )Niveau : Intermédiaire
Milo Page, JMP Research Statistician Developer, SAS
JMP Pro 14 inclut un nouvel utilitaire d'imputation automatisée des données (ADI), une méthode d'imputation des données manquantes polyvalente et empiriquement optimisée. Nous le recommandons pour le traitement des données manquantes en tant qu'étape de prétraitement pour l'ajustement prédictif du modèle. Il s'adapte de manière empirique à votre ensemble de données pour extraire la structure sous-jacente, même en présence de données manquantes. Il respecte également les partitions de formation et de validation et s'interface de manière transparente avec les modèles prédictifs. Il est développé à l'aide de puissantes méthodes de complétion de matrices avec quelques extensions supplémentaires pour plus de robustesse et de flexibilité. Cette conférence se concentrera sur le moment où ADI est approprié et comment l'utiliser dans JMP Pro 14. Je décrirai également un flux de travail recommandé pour le traitement des données avec des valeurs manquantes et démontrerai les performances d'ADI sur quelques exemples.
ÉclaterModélisation prédictiveObjet : Imputation automatisée des données : un outil polyvalent dans JMP® Pro 14 pour la gestion des valeurs manquantes (US 2018 130)Bonjour Félice,
Je peux répondre à vos questions, j'étais le doctorat de Milo. conseiller pour la recherche qui a conduit à la création d'ADI dans JMP Pro.
Si j'ai bien compris, vous dites de diviser les données dans la formation et le jeu de test avant d'imputer les valeurs manquantes. Une fois que vous avez divisé les données, appliquez-vous la méthode ADI uniquement aux données d'entraînement.
Le flux de travail consiste à accéder à la plate-forme Make Validation Column pour configurer la colonne datatable qui partitionne les lignes en ensembles de formation/validation. Lorsque vous lancez Explorer les valeurs manquantes, définissez cette colonne dans le rôle de validation. L'algorithme ADI adapte les modèles de type PCA à l'ensemble d'apprentissage et utilise l'ensemble de validation pour ajuster le modèle pour des choses comme l'identification du meilleur rang de la réduction de dimension.
Alors que faites-vous sur la validation et l'ensemble de test ?
Je recommande d'utiliser le même partitionnement Formation/Validation ou Formation/Validation/Test des données lorsque je passe à l'ajustement d'algorithmes d'apprentissage supervisé comme les réseaux neuronaux ou les modèles Bootstrap Forest à l'étape suivante du processus de modélisation. L'imputation fait partie du processus de modélisation, tout comme la composante de modélisation prédictive. L'utilisation du même partitionnement des lignes en ensembles de formation/validation/test pour l'étape d'apprentissage supervisé est un moyen de garantir que nous avons le même degré d'évaluation indépendante de la qualité de l'ajustement pour l'ensemble de l'exercice de modélisation.
Qu'entendez-vous par ensemble de validation/test imputé en streaming ?
Peut-être que notre langage n'est pas clair ici. Ce qui se passe, c'est qu'ADI enregistre une colonne de formules qui crée des versions imputées des colonnes existantes. Cela signifie que vous pouvez utiliser Tables<
Ce processus se produit immédiatement dans les parties formation/validation/test de l'ADI de données. Ainsi, vous pouvez passer directement à la modélisation en utilisant les versions imputées des colonnes sans trop vous soucier des cellules manquantes. ADI est assez intelligent. Il utilise les lignes de validation pour déterminer le rang de la réduction de dimension utilisée. Si les colonnes sont indépendantes ou trop désordonnées pour une réduction de rang linéaire, il le calcule et impute simplement la moyenne d'apprentissage des colonnes.
Objet : Imputation automatisée des données : un outil polyvalent dans JMP® Pro 14 pour la gestion des valeurs manquantes (US 2018 130)@Milo a quitté SAS. Peut-être @chris_gotwalt1 peut répondre ici.
Objet : Imputation automatisée des données : un outil polyvalent dans JMP® Pro 14 pour la gestion des valeurs manquantes (US 2018 130)Ciao Milo
J'ai trouvé votre fichier pdf très intéressant.
Pourriez-vous me donner plus de détails sur le processus décrit dans cette diapositive ci-dessous ?
Si j'ai bien compris, vous dites de diviser les données dans l'ensemble de formation et de test avant d'imputer les valeurs manquantes. Une fois que vous avez divisé les données, appliquez-vous la méthode ADI uniquement aux données d'entraînement. Corriger?
Alors que faites-vous sur la validation et l'ensemble de test ?
Que voulez-vous dire par ensemble de validation/test imputé en streaming ?
Merci de votre aide.Félix
