Cosa ha ispirato questa richiesta nella lista dei desideri?
Questa pagina di aiuto ( https://www.jmp.com/support/help/en/19.1/#page/jmp/example-of-confidence-intervals-using-bagging.shtml ) descrive un metodo per utilizzare il bagging al fine di generare intervalli di confidenza per un modello predittivo basato su reti neurali. Credo che questo metodo possa essere facilmente esteso agli intervalli di previsione utilizzando il RASE come stima di un termine di errore normale. Inoltre, la nuova visualizzazione del profiler per i punti dati e gli intervalli di previsione può essere utilizzata con questa implementazione degli intervalli di previsione. Ciò consentirebbe di verificare visivamente la copertura dei punti dati da parte del modello. Attualmente JMP esegue controlli solo sulla previsione puntuale del modello. Questo permetterebbe di assicurarsi che anche il termine di errore sia stimato correttamente.
Quale miglioramento vorresti vedere?
Ecco una rappresentazione visiva degli intervalli di confidenza ottenuti con il metodo bagging:
Ho calcolato gli intervalli di previsione utilizzando il RASE e l'errore normale, quindi ho manipolato le proprietà delle colonne per utilizzare la nuova visualizzazione degli intervalli di previsione di JMP 18 per produrre un grafico come questo. In pratica, vorrei che la generazione predefinita del profiler degli intervalli di confidenza dal bagging della rete neurale generasse un grafico come quello qui sotto, ma invece di quello sopra. Ho allegato una tabella jmp dell'esempio del battistrada dalla pagina di aiuto in modo che possiate vedere i miei calcoli e l'implementazione. Il primo script "Bagging Profiler" è identico a quello della pagina di aiuto. Il secondo profiler, "Profiler of Pred Formula ABRASION", è il mio profiler personalizzato con l'aggiunta di punti dati e intervalli di previsione.
Ora che gli intervalli di previsione sono stati calcolati, posso verificare la copertura dei punti dati sia visivamente nel profiler che numericamente nella tabella.
Perché questa idea è importante?
Trovo estremamente strano che le reti neurali e modelli predittivi simili, definiti "a scatola nera", siano progettati per essere efficaci nella previsione, ma ignorino più o meno l'incertezza. Ho sempre desiderato avere intervalli di previsione per verificare se il modello, incluso il termine di errore, riproducesse correttamente i dati esistenti e quelli nuovi. Il bagging per generare intervalli di confidenza è stato un passo nella giusta direzione, ma non è ancora possibile validare il modello confrontando i dati con gli intervalli di confidenza medi. È necessario confrontare i dati con gli intervalli di previsione. Questo approccio, in sostanza, fornisce un metodo per verificare la validità del termine di errore stesso e confrontare i dati effettivi con gli intervalli di previsione del modello per assicurarsi che la maggior parte dei punti rientri al loro interno. Tutto ciò consentirà un ulteriore metodo di verifica del modello e infonderà maggiore fiducia nel modello stesso se l'adattamento appare buono e la copertura dell'intervallo di previsione sembra adeguata. Il bello di questo approccio è che dovrebbe essere applicabile alla maggior parte dei tipi di modelli che in genere non dispongono di intervalli di confidenza o di previsione, come le reti neurali.
Grazie per aver inviato questo suggerimento. Lo stiamo valutando.
