Voglio imputare valori mancanti ma ricevo un messaggio che indica che non ci sono dati sufficienti per imputare valori mancanti. L'immagine allegata fornisce maggiori dettagli.
Ciao @Dessan300 ,
È difficile aiutarti senza un contesto più ampio o un set di dati di riferimento per comprendere e riprodurre il tuo problema.
Il messaggio di errore è abbastanza autoesplicativo, non hai abbastanza valori per realizzare un'Imputazione automatica dei dati: Panoramica della piattaforma Explore Missing Values . ADI è robusto e flessibile, ma rappresenta un metodo complesso per l'imputazione dei dati, poiché potrebbe richiedere dati sufficienti per addestrare il modello a riempire i valori mancanti. La dimensionalità è piuttosto importante per questa tecnica, poiché si basa sul metodo di approssimazione della matrice di basso rango (metodo per la riduzione della dimensionalità). Puoi leggere la discussione su questo argomento: Alcuni valori mancanti non vengono imputati con ADI (Imputazione automatica dei dati)
Consiglierei innanzitutto di indagare la fonte/causa di questi valori mancanti e di dedicare un po' di tempo ai modelli di valori mancanti: i dati sono Missing Completely at Random (MCAR), Missing at Random (MAR) o Missing not at Random (MNAR)? Maggiori informazioni qui: https://muratkoptur.com/MyDsProjects/MissingData/Analysis.html
L' istantanea Missing Value disponibile in questa piattaforma è molto utile per visualizzare e comprendere questi modelli.
Scoprire modelli nei valori mancanti
A seconda dei pattern mancanti, se non è casuale, potrebbe essere meglio mantenere il valore mancante, poiché potrebbe implicare che una parte dell'area sperimentale potrebbe non essere sperimentalmente fattibile o che le apparecchiature non sono in grado di misurare in quest'area sperimentale (o il segnale potrebbe essere troppo basso o troppo alto in queste aree). L'imputazione di valori in questa situazione potrebbe essere dannosa, poiché si perderanno le informazioni di "non fattibilità" di quest'area sperimentale.
È possibile provare opzioni "più semplici" e confrontarle, come le opzioni di imputazione multivariata , oppure utilizzare altre tecniche non presenti su questa piattaforma, come K-Nearest Neighbors (e definire K in modo appropriato a seconda della dimensionalità del set di dati e della precisione/robustezza che si desidera ottenere).
Bisogna anche considerare che alcune opzioni di modellazione sono in grado di gestire i valori mancanti e non richiedono l'imputazione di valori, come i metodi basati su albero, i minimi quadrati parziali, ecc.
Indipendentemente dal metodo e dalla sua complessità (dalle tecniche di imputazione media/mediana/moda all'imputazione ADI o Multivariate SVD/RPCA), l'imputazione di valori mancanti può distorcere il tuo set di dati. A seconda del tuo caso d'uso, può essere interessante creare un modello utilizzando valori mancanti e valori imputati e confrontare i risultati dei due modelli con competenza di dominio.
Puoi anche guardare Exploring Missing Values.
Spero che questa prima risposta possa aiutarti,
