Domanda concettuale sulle previsioni insaccateHo lottato a lungo per cercare misure di incertezza da modelli di apprendimento automatico paragonabili agli errori standard che si ottengono abitualmente dai modelli di regressione.Solo di recente sono venuto a conoscenza di alcune delle capacità del profiler, in particolare le previsioni insacchettate.Ma non capisco davvero come (o se dovrei) interpretare quelle previsioni insaccate.Quando eseguo un modello di apprendimento automatico (ad esempio, una rete neurale) e salvo le previsioni insacchettate dal profiler, ottengo una media insacchettata, l'errore standard della media insacchettata e la deviazione standard insaccata.Confrontandoli con un modello di regressione (regressione multipla, ad esempio), ho osservato le seguenti relazioni:
- La media insaccata prevista dal NN è molto simile alla formula di previsione dalla regressione multipla.
- Gli intervalli di previsione media dal modello di regressione multipla sono molto più ristretti degli intervalli di previsione individuali come previsto (nell'esempio che sto guardando, l'errore standard per la previsione media è circa 1/10 della dimensione dell'errore standard delle singole previsioni) .
- L'errore standard della media insaccata da NN è molto più piccolo della deviazione standard insaccata (circa 1/10 della dimensione nell'esempio che sto guardando).
Queste osservazioni mi spingono a pensare all'errore standard della media insaccata di NN come analogo all'errore standard delle previsioni medie del modello di regressione.Allo stesso modo, la deviazione standard del bagged può essere simile all'errore standard delle singole previsioni del modello di regressione.
Tuttavia, gli errori standard dei modelli NN e di regressione non si assomigliano affatto!Quindi, la mia domanda è se la mia interpretazione ha un senso o, esattamente come possono essere interpretati o utilizzati gli errori standard della media insaccata.
Grazie in anticipo per eventuali approfondimenti.Allego un esempio concreto nel caso in cui possa essere d'aiuto con la mia domanda (questo è il set di dati di convalida dal mio esempio di modellazione - con le previsioni del modello di regressione multipla e NN inclusi).
AnaliticaRe: Domanda concettuale sulle previsioni insaccateAddendum - nel file che ho allegato, ho (sovra)stimato gli errori standard dalla regressione multipla.Li ho stimati utilizzando gli intervalli di confidenza al 95% salvati.In allegato è una versione rivista in cui ho salvato direttamente gli errori standard.La mia domanda rimane, poiché gli errori standard di NN sembrano essere meno della metà rispetto alla regressione multipla (in media) con poca correlazione apparente all'interno del set di convalida.Entrambi i modelli si adattano abbastanza bene ai dati.Quindi, mi chiedo se l'interpretazione degli errori standard della media insaccata venga interpretata in modo appropriato come errori standard associati alle previsioni nello stesso modo in cui vengono interpretati gli errori standard delle previsioni della regressione multipla.
Re: Domanda concettuale sulle previsioni insaccateSì.
La piattaforma Neural utilizza un modello complesso, anche con solo una manciata di nodi nascosti. Immagina di aggiungere molti termini al modello di regressione. Cosa succede all'RMSE? Cosa succede, a sua volta, alle SE? La complessità del tuo modello di regressione è paragonabile a quella di NN?
Non sto suggerendo che stai abusando di NN o di altri metodi ML. Ricorda solo che sono TUTTI sulla previsione, NIENTE sull'inferenza. Quindi l'incertezza nelle stime non è importante, l'accuratezza/riproducibilità/generalizzazione sono tutto. Quindi i modelli di previsione (non modelli esplicativi) utilizzano misure dell'MSE totale (bias + varianza) per selezionare il modello e la "valutazione onesta", o convalida incrociata, per confermare il modello selezionato.
Ma il punto principale è che non c'è motivo per cui le SE di modelli diversi siano le stesse, anche se le loro previsioni di risposta media sono simili. Questa differenza potrebbe dare un vantaggio a un modello nella tua applicazione.
Re: Domanda concettuale sulle previsioni insaccateMarco, grazie.Questo aiuta un po'.Potrebbe spiegare perché NN fornisce errori standard più piccoli (anche se sono ancora sorpreso dall'entità della differenza quando entrambi i modelli si adattano così bene ai dati).Ma in realtà non sembra spiegare perché non c'è quasi alcuna correlazione negli errori standard associati a ciascuna previsione.I dati che ho pubblicato non mostrano praticamente alcuna relazione significativa tra l'errore standard di previsione di ciascuna osservazione tra i due modelli.Ora, per un modello di regressione multipla ho un'idea di ciò che determina gli errori standard associati a diverse osservazioni, ma per NN, davvero non lo so.Forse è per questo che non sono imparentati tra loro?È questa una dimensione legata alla mancanza di interpretabilità dei modelli NN?
Re: Domanda concettuale sulle previsioni insaccateIl NN è un modello d'insieme che è altamente non lineare. Confrontalo con il tuo modello di regressione che potrebbe avere termini di secondo ordine. Gli errori standard sono molto diversi per questi due tipi di modelli.
Personalmente non sono d'accordo con l'idea che NN non siano interpretabili o che i modelli di regressione lineare siano interpretabili. (Penso che sia sciocco.) L'effetto del predittore X è una combinazione lineare di tutti i termini che lo includono. Ad esempio, non ha senso parlare di "effetto quadratico". C'è solo un termine quadratico nel modello. Quindi, come interpretiamo l'effetto di X quando appare nel modello come X + X*X2 + X*X + X*X*X? Siamo solo abituati a pensare in questi termini: abbiamo avuto molti anni di esposizione e tempo per pensarci. Un NN è più o meno lo stesso (predittore lineare) sottoposto a una funzione di attivazione non lineare e aggiunto a più o meno lo stesso per ciascun nodo. Dobbiamo solo pensare di più.
No, non lo facciamo. Abbiamo un profiler che funziona con qualsiasi tipo di funzione (modello).
Re: Domanda concettuale sulle previsioni insaccateSto seguendo quello che dici, ma penso che la mia domanda sia diventata qualcosa di diverso.Lasciamo fuori NN.Poiché il profiler è disponibile anche dalla piattaforma di regressione multipla, ho fatto alcuni esperimenti per vedere come gli errori standard delle previsioni insacchettate si confrontano con quelli salvati dal modello di regressione.Sono correlati, anche se tutt'altro che perfettamente.La deviazione standard della previsione individuale è molto più grande della deviazione standard della previsione media, come dovrebbe essere, e questo vale anche per i due errori standard che si ottengono quando si salvano i mezzi imbustati.Tuttavia, ciò che mi sorprende e non capisco, è perché gli errori standard del salvataggio delle previsioni insacchettate (versione individuale o media) sono un ordine di grandezza inferiore agli errori standard del modello di regressione.La mia comprensione (che potrebbe essere sbagliata) è che gli errori standard delle previsioni sono teoricamente derivati nel modello di regressione e sono il risultato del bootstrap nelle previsioni insacchettate.In teoria, quelli dovrebbero essere simili (almeno con un numero sufficiente di campioni bootstrap - ho usato 100 e 1000 ed entrambi danno risultati simili) - ma non lo sono.
Quindi, sembra che gli errori standard del profiler siano qualitativamente diversi dagli errori standard del modello di regressione.Perché è così?
Re: Domanda concettuale sulle previsioni insaccateCercando di essere più completo, in allegato c'è un semplice file con un unico predittore.Ho costruito il modello di regressione e salvato le previsioni e gli errori standard (sia medi che individuali).Ho usato il profiler per salvare le previsioni insacchettate.Ci sono 3 grafici xy che mostrano l'equivalenza (perfetta in questo caso) dei valori previsti dal modello e dal profiler.I grafici degli errori standard mostrano forti correlazioni, ma mostrano anche che gli errori standard del profiler sono notevolmente inferiori rispetto al modello.Sospetto fortemente che gli errori standard della procedura di insacco significhino qualcosa di diverso.Spero che tu possa chiarirmi questo.
Re: Domanda concettuale sulle previsioni insaccate" La mia comprensione (che potrebbe essere sbagliata) è che gli errori standard delle previsioni sono teoricamente derivati nel modello di regressione e sono il risultato del bootstrap nelle previsioni insacchettate.In teoria, quelli dovrebbero essere simili (almeno con un numero sufficiente di campioni bootstrap - ho usato 100 e 1000 ed entrambi danno risultati simili) - ma non lo sono. "
A quale teoria ti riferisci?
Re: Domanda concettuale sulle previsioni insaccateCredo che gli intervalli di confidenza della previsione per una regressione multipla siano derivati tramite formule derivate da ipotesi sulla struttura dell'errore e sul campionamento casuale (in definitiva derivato dalla logica che sta alla base del teorema del limite centrale).D'altra parte, credo che le previsioni insacchettate derivino dal bootstrapping, un approccio empirico non parametrico alla derivazione degli intervalli di confidenza.Ritengo inoltre che questi due approcci siano generalmente vicini, a meno che i dati sottostanti non abbiano distribuzioni insolite e/o non vengano utilizzate dimensioni del campione insufficienti per il bootstrap.
Nei file che ho allegato, non credo che si presentino questi problemi.Le previsioni medie sono quasi identiche dai 2 approcci, ma gli errori standard del profiler sono molto molto più piccoli rispetto ai valori teoricamente derivati.Questo è ciò che mi fa pensare di fraintendere il significato degli errori standard del profiler.Altrimenti, perché qualcuno dovrebbe mai usare gli errori standard derivati teoreticamente?
Re: Domanda concettuale sulle previsioni insaccate" Credo che gli intervalli di confidenza della previsione per una regressione multipla siano derivati tramite formule derivate da ipotesi sulla struttura dell'errore e sul campionamento casuale (in definitiva derivato dalla logica che sta alla base del teorema del limite centrale).D'altra parte, credo che le previsioni insacchettate derivino dal bootstrapping, un approccio empirico non parametrico alla derivazione degli intervalli di confidenza.Ritengo inoltre che questi due approcci siano generalmente vicini, a meno che i dati sottostanti non abbiano distribuzioni insolite e/o non vengano utilizzate dimensioni del campione insufficienti per il bootstrap. "
Sì! Ovvero, se si utilizza l'espressione teorica per l'elemento della configurazione e l'elemento della configurazione di bootstrap per il modello di regressione lineare SAME, le stime CI dovrebbero essere d'accordo.
Re: Domanda concettuale sulle previsioni insaccatemarchio
Quindi ti chiederei di guardare l'ultimo set di dati di esempio che ho pubblicato.Gli intervalli di confidenza (errori standard) non sono nemmeno vicini a concordare.Ciò serve per una semplice regressione lineare e per confrontare gli errori standard di previsione con quelli derivanti dal salvataggio delle previsioni insacchettate dal profiler.Questi ultimi sono molto molto più piccoli dei primi.Ecco perché sono confuso.
