Je souhaite imputer des valeurs manquantes, mais je reçois un message indiquant que les données sont insuffisantes pour imputer les valeurs manquantes. L'image ci-jointe fournit plus de détails.
Bonjour @Dessan300 ,
Il est difficile de vous aider sans plus de contexte ou un ensemble de données de jouets pour comprendre et reproduire votre problème.
Le message d'erreur est assez explicite, vous n'avez pas assez de valeurs pour réaliser une imputation automatique des données : Présentation de la plateforme Explore Missing Values . L'ADI est robuste et flexible, mais représente une méthode complexe d'imputation des données, car elle peut nécessiter suffisamment de données pour entraîner le modèle à remplir les valeurs manquantes. La dimensionnalité est assez importante pour cette technique, car elle est basée sur la méthode d'approximation de matrice de rang faible (méthode de réduction de la dimensionnalité). Vous pouvez lire la discussion sur ce sujet : Certaines valeurs manquantes ne sont pas imputées avec l'ADI (Automated Data Imputation)
Je recommanderais d'abord de rechercher la source/cause de ces valeurs manquantes et de consacrer un peu de temps aux modèles de valeurs manquantes : les données sont-elles manquantes complètement au hasard (MCAR), manquantes au hasard (MAR) ou manquantes non au hasard (MNAR) ? Plus d'informations ici : https://muratkoptur.com/MyDsProjects/MissingData/Analysis.html
L' instantané de la valeur manquante disponible sur cette plateforme est très utile pour visualiser et comprendre ces modèles.
Découvrir des modèles dans les valeurs manquantes
En fonction des modèles manquants, s'ils ne sont pas aléatoires, il peut être préférable de conserver la valeur manquante, car cela pourrait impliquer qu'une partie de la zone expérimentale peut ne pas être réalisable expérimentalement ou que les équipements ne sont pas en mesure de mesurer dans cette zone expérimentale (ou que le signal peut être trop faible ou trop élevé dans ces zones). L'imputation de valeurs dans cette situation peut être préjudiciable, car vous perdrez les informations de « non-faisabilité » de cette zone expérimentale.
Vous pouvez essayer des options « plus simples » et les comparer, comme les options d'imputation multivariée , ou utiliser d'autres techniques non présentes sur cette plateforme comme les K-Nearest Neighbors (et définir K de manière appropriée en fonction de la dimensionnalité de votre ensemble de données et de la précision/robustesse que vous souhaitez obtenir).
Il faut également prendre en compte que certaines options de modélisation sont capables de gérer les valeurs manquantes et ne nécessitent pas d’imputation de valeurs, comme les méthodes basées sur les arbres, les moindres carrés partiels, etc.
Quelle que soit la méthode et sa complexité (des techniques d'imputation moyenne/médiane/mode à l'imputation ADI ou SVD/RPCA multivariée), l'imputation de valeurs manquantes peut biaiser votre ensemble de données. Selon votre cas d'utilisation, il peut être intéressant de créer un modèle utilisant des valeurs manquantes et des valeurs imputées, et de comparer les résultats des deux modèles avec une expertise du domaine.
Vous pouvez également regarder Exploring Missing Values.
J'espère que cette première réponse pourra vous aider,
