Imputazione automatizzata dei dati: uno strumento versatile in JMP® Pro 14 per la gestione dei valori mancanti (US 2018 130)Livello: Intermedio
Milo Page, sviluppatore statistico di ricerca JMP, SAS
JMP Pro 14 include una nuova utilità Automated Data Imputation (ADI), un metodo versatile, ottimizzato empiricamente, in streaming, di imputazione dei dati mancanti. Lo consigliamo per la gestione dei dati mancanti come fase di pre-elaborazione per l'adattamento predittivo del modello. Si sintonizza empiricamente sul tuo set di dati per estrarre la struttura sottostante, anche in presenza di dati mancanti. Rispetta inoltre le partizioni di formazione e convalida e si interfaccia perfettamente con i modelli predittivi. È sviluppato utilizzando potenti metodi di completamento della matrice con alcune estensioni aggiunte per robustezza e flessibilità. Questo discorso si concentrerà su quando ADI è appropriato e su come utilizzarlo in JMP Pro 14. Descriverò anche un flusso di lavoro consigliato per l'elaborazione dei dati con valori mancanti e dimostrerò le prestazioni di ADI su alcuni esempi.
ScoppiareModellazione predittivaRe: Imputazione automatizzata dei dati: uno strumento versatile in JMP® Pro 14 per la gestione dei valori mancanti (US 2018 130)Ciao Felice,
Posso aiutarti con le tue domande, ero il dottorato di ricerca di Milo. advisor per la ricerca che ha portato alla creazione di ADI in JMP Pro.
Se ho capito bene, stai dicendo di dividere i dati in training e test set prima di imputare i valori mancanti. Una volta che hai diviso i dati, applichi il metodo ADI solo ai dati di allenamento.
Il flusso di lavoro consiste nel passare alla piattaforma Crea colonna di convalida per impostare la colonna del datatable che partiziona le righe in set di addestramento/convalida. Quando avvii Esplora valori mancanti, imposta quella colonna nel ruolo di convalida. L'algoritmo ADI adatta i modelli di tipo PCA al set di addestramento e utilizza il set di convalida per ottimizzare il modello per cose come l'identificazione del miglior grado di riduzione della dimensione.
Allora cosa fai su Convalida e set di test?
Raccomando di utilizzare lo stesso partizionamento dei dati di addestramento/convalida o addestramento/convalida/test quando passo all'adattamento di algoritmi di apprendimento supervisionato come reti neurali o modelli Bootstrap Forest nel passaggio successivo del processo di modellazione. L'imputazione è una parte del processo di modellazione, proprio come lo è il componente di modellazione predittiva. L'utilizzo della stessa partizione delle righe nei set di addestramento/convalida/test per la fase di apprendimento supervisionato è un modo per garantire lo stesso grado di valutazione indipendente della bontà dell'adattamento per l'intero esercizio di modellazione.
Cosa intendi con set di test/convalida imputati in streaming?
Forse la nostra lingua non è chiara qui. Quello che succede è che ADI salverà una colonna formula che crea versioni imputate delle colonne esistenti. Ciò significa che puoi usare Tables<
Questo processo avviene immediatamente per le porzioni di addestramento/convalida/test dell'ADI dati. Quindi, puoi passare direttamente alla modellazione utilizzando le versioni imputate delle colonne senza preoccuparti troppo delle celle mancanti. ADI è piuttosto intelligente. Utilizza le righe di convalida per determinare il rango della riduzione della dimensione utilizzata. Se le colonne sono indipendenti o troppo disordinate per una riduzione lineare del rango, lo calcola e imputa semplicemente la media di addestramento delle colonne.
Re: Imputazione automatizzata dei dati: uno strumento versatile in JMP® Pro 14 per la gestione dei valori mancanti (US 2018 130)@Milo ha lasciato SAS. Forse @chris_gotwalt1 può rispondere qui.
Re: Imputazione automatizzata dei dati: uno strumento versatile in JMP® Pro 14 per la gestione dei valori mancanti (US 2018 130)Ciao Milò
Ho trovato molto interessante il tuo file pdf.
Potresti darmi maggiori dettagli sul processo riportato in questa diapositiva qui sotto?
Se ho capito bene, stai dicendo di dividere i dati in training e test set prima di imputare i valori mancanti. Una volta che hai diviso i dati, applichi il metodo ADI solo ai dati di allenamento. Corretta?
Allora cosa fai su Convalida e set di test?
Cosa intendi con set di test/convalida imputati in streaming?
Grazie per l'aiuto.Felice
