Assegnazione automatizzata dei dati: uno strumento versatile in JMP® Pro 14 per la gestione dei valori mancanti (US 2018 130)Livello: Intermedio
Milo Page, sviluppatore statistico di JMP Research, SAS
JMP Pro 14 include una nuova utility ADI (Automated Data Imputation), un metodo di assegnazione dei dati mancanti versatile, regolato empiricamente, in streaming. Lo consigliamo per la gestione dei dati mancanti come fase di pre-elaborazione per l'adattamento predittivo del modello. Si sintonizza empiricamente sul tuo set di dati per estrarre la struttura sottostante, anche in presenza di dati mancanti. Rispetta inoltre le partizioni di addestramento e convalida e si interfaccia perfettamente con i modelli predittivi. È sviluppato utilizzando potenti metodi di completamento della matrice con alcune estensioni aggiunte per robustezza e flessibilità. Questo discorso si concentrerà su quando ADI è appropriato e su come utilizzarlo in JMP Pro 14. Descriverò anche un flusso di lavoro consigliato per l'elaborazione dei dati con valori mancanti e dimostrerò le prestazioni di ADI su alcuni esempi.
Modellazione predittivaScoppiareRe: Imputazione automatizzata dei dati: uno strumento versatile in JMP® Pro 14 per la gestione dei valori mancanti (US 2018 130)Ciao Felice,
Posso aiutarti con le tue domande, ero il dottorando di Milo. consulente per la ricerca che ha portato alla creazione di ADI in JMP Pro.
Se ho capito bene, stai dicendo di dividere i dati in training e test set prima di imputare i valori mancanti. Una volta divisi i dati, applichi il metodo ADI solo ai dati di allenamento.
Il flusso di lavoro consiste nell'andare alla piattaforma Make Validation Column per impostare la colonna datatable che suddivide le righe in set di training/convalida. Quando avvii Explore Missing Values, imposta quella colonna nel ruolo di convalida. L'algoritmo ADI adatta i modelli di tipo PCA al set di addestramento e utilizza il set di convalida per ottimizzare il modello per cose come l'identificazione del miglior rango della riduzione della dimensione.
Allora cosa fai sulla convalida e sul set di test?
Consiglio di utilizzare lo stesso partizionamento di addestramento/convalida o addestramento/convalida/test dei dati quando passo all'adattamento di algoritmi di apprendimento supervisionato come reti neurali o modelli Bootstrap Forest nella fase successiva del processo di modellazione. L'imputazione fa parte del processo di modellazione, proprio come lo è la componente di modellazione predittiva. L'utilizzo della stessa partizione delle righe in set di addestramento/convalida/test per la fase di apprendimento supervisionato è un modo per garantire lo stesso grado di valutazione indipendente della bontà dell'adattamento per l'intero esercizio di modellazione.
Cosa intendi con set di test/validazione imputato in streaming?
Forse la nostra lingua non è chiara qui. Quello che succede è che ADI salverà una colonna formula che crea versioni imputate delle colonne esistenti. Ciò significa che è possibile utilizzare Tables<
Questo processo avviene immediatamente nelle parti di addestramento/convalida/test dell'ADI dei dati. Quindi, puoi passare direttamente alla modellazione utilizzando le versioni imputate delle colonne senza preoccuparti troppo delle celle mancanti. ADI è piuttosto intelligente. Utilizza le righe di convalida per determinare il rango della riduzione della dimensione utilizzata. Se le colonne sono indipendenti o troppo disordinate per una riduzione lineare del rango, lo calcola e imputa semplicemente la media di addestramento delle colonne.
Re: Imputazione automatizzata dei dati: uno strumento versatile in JMP® Pro 14 per la gestione dei valori mancanti (US 2018 130)@Milo ha lasciato SAS. Forse @chris_gotwalt1 può rispondere qui.
Re: Imputazione automatizzata dei dati: uno strumento versatile in JMP® Pro 14 per la gestione dei valori mancanti (US 2018 130)Ciao Milù
Ho trovato molto interessante il tuo file pdf.
Potresti darmi maggiori dettagli sul processo riportato in questa slide qui sotto?
Se ho capito bene, stai dicendo di dividere i dati in training e test set prima di imputare i valori mancanti. Una volta divisi i dati, applichi il metodo ADI solo ai dati di allenamento. Corretto?
Allora cosa fai sulla convalida e sul set di test?
Cosa intendi con set di test/convalida imputata allo streaming?
Grazie per l'aiuto.Felice
