Domanda concettuale sulle previsioni insaccateHo lottato a lungo per cercare misure di incertezza dai modelli di machine learning che fossero paragonabili agli errori standard che si ottengono abitualmente dai modelli di regressione. Solo di recente sono venuto a conoscenza di alcune delle funzionalità del profiler, in particolare delle previsioni insaccate. Ma non capisco davvero come (o se dovrei) interpretare quelle previsioni insaccate. Quando eseguo un modello di machine learning (ad esempio, una rete neurale) e salvo le previsioni inserite nel profiler, ottengo una media inserita, l'errore standard della media inserita e la deviazione standard inserita. Confrontandoli con un modello di regressione (regressione multipla, ad esempio), ho osservato le seguenti relazioni:
- La media calcolata prevista dalla NN è molto simile alla formula di previsione della regressione multipla.
- Gli intervalli di previsione medi dal modello di regressione multipla sono molto più stretti degli intervalli di previsione individuali come previsto (nell'esempio che sto guardando, l'errore standard per la previsione media è circa 1/10 della dimensione dell'errore standard delle singole previsioni) .
- L'errore standard della media insaccata della NN è molto più piccolo della deviazione standard insaccata (circa 1/10 della dimensione nell'esempio che sto guardando).
Queste osservazioni mi inducono a pensare all’errore standard della media calcolata dal NN come analogo all’errore standard delle previsioni medie del modello di regressione. Allo stesso modo, la deviazione standard insaccata può essere simile all’errore standard delle singole previsioni del modello di regressione.
Tuttavia, gli errori standard del modello NN e quelli di regressione non si assomigliano affatto! Quindi, la mia domanda è se la mia interpretazione ha senso o, esattamente, come possono essere interpretati o utilizzati gli errori standard della media inserita.
Grazie in anticipo per eventuali approfondimenti. Allego un esempio concreto nel caso sia utile con la mia domanda (questo è il set di dati di convalida del mio esempio di modellazione, con le previsioni del modello di regressione multipla e NN incluse).
Ricerche sui consumatori e sul mercatoRi: Domanda concettuale sulle previsioni insaccateGrazie.Penso che questi intervalli di confidenza saranno estremamente utili, dopo che saranno corretti.Al momento, sono piuttosto fuorvianti (di un ordine di grandezza, se si utilizzano 100 campioni di bootstrap).
Ri: Domanda concettuale sulle previsioni insaccateSì, confermo che nella piattaforma Profiler (nel menu Graph), quando una formula Prediction Bagged Mean, accompagnata da una formula StdError of the Bagged Mean, entra nella finestra di dialogo di avvio, la piattaforma Profiler utilizza "StdError of the Bagged Mean" per produrre intervalli.
Sono d'accordo che ci sono cose che non sono abbastanza chiare e potrebbero essere migliorate. Le cose che non vedo chiare sono l'uso di "Intervalli di confidenza" nella documentazione nella pagina che hai indicato: Esempio di intervalli di confidenza utilizzando il bagging . Non è chiaro sugli intervalli di confidenza di cosa, e la formulazione è probabilmente fuorviante.
Nel frattempo, il tuo desiderio di utilizzare Bagged Std Dev per produrre intervalli è una buona richiesta. Ho provato a inserire quella colonna nella piattaforma Profiler e non la riconoscerà.
La prego di contattare il supporto tecnico di JMP all'indirizzo support@jmp.com e segnalare le vostre preoccupazioni e richieste?
Grazie mille per aver esaminato il software così da vicino!
Ri: Domanda concettuale sulle previsioni insaccateGrazie.Sono arrivato alla stessa conclusione.La questione rimanente, quindi, è quale dovrebbe essere utilizzato per produrre intervalli di confidenza per gli effetti del modello.Credo che sia il Bagged Standard Dev e non lo Standard Error of the Bagged Mean - e credo anche che JMP abbia utilizzato (almeno nelle istruzioni) quest'ultimo per produrre intervalli di confidenza piuttosto che il primo.
Per favore, confermalo o no.Per elaborare ulteriormente, penso che l'errore standard della media insaccata sia utile per valutare se hai abbastanza campioni insaccati (bootstrap) per essere soddisfatto.Ma per valutare l'incertezza nell'effetto dei tuoi fattori sulla tua variabile di risposta, l'errore standard della media insaccata non fornisce alcuna informazione utile.È Bagged Standard Dev che lo fa.Quindi, per produrre gli intervalli di confidenza, dopo aver salvato le medie insaccate, occorre aprire il Profiler, selezionare le medie insacchettate e le deviazioni standard insaccate, selezionare la casella per espandere le formule intermedie e il risultato saranno gli intervalli di confidenza desiderati.Si noti che questo differisce dalla guida di JMP:
https://www.jmp.com/support/help/en/16.1/?os=win&source=application&utm_source=helpmenu&utm_medium=application#page/jmp/example-of-confidence-intervals-using-bagging.shtml# .
Ri: Domanda concettuale sulle previsioni insaccateVorrei provare a spiegare cos'è l'errore standard di Bagged Mean, perché sembra essere più piccolo.
Per prima cosa provo a salvare le previsioni insaccate con solo 3 campioni di bootstrap.
Ecco il risultato. Ci sono 6 nuove colonne.
Diamo un'occhiata a cosa sono queste colonne.
Ogni colonna delle prime tre è una colonna di previsione da un campione bootstrap dei dati. Abbiamo tre campioni di bootstrap, quindi ne abbiamo tre. Ecco tre formule di previsione. E sono diversi.
(UN)
(B)
(C)
Ora guarda la quarta colonna: Pred Formula Sales Bagged Mean 2.
(D)
Quindi è la media di queste tre previsioni per riga.
Ora guarda la quinta colonna: StdError Sales Bagged Mean 2.
(E)
Che cos'è? Sembra un errore standard di per una sorta di media. Media di cosa? Media delle previsioni bootstrap. A parole, questo non è lo stesso di StdError della media prevista.La media prevista è solo uno dei tanti campioni avviati, se cambi la prospettiva di guardarla . Questo dovrebbe spiegare perché StdErr di Bagged Mean è più piccolo. E diventerà molto più piccolo se aumenti il numero di campioni bootstrap.
Ora se guardiamo l'ultima colonna, ed ecco la sua formula:
(F)
Questa è la deviazione standard delle previsioni bootstrap. Questo valore, infatti, dovrebbe essere vicino a "StdErr Pred Sales" e non diminuirà con l'aumentare del numero di campioni di bootstrap. Questa è la versione bootstrap delle tue "StdErr Pred Sales". Se sospetti che il modello non sia adatto ai tuoi dati, ad esempio le ipotesi potrebbero essere violate, in modo tale che "StdErr Pred Sales" non abbia più le distribuzioni asintotiche del libro, la versione avviata potrebbe darti qualcosa di più onesto, se devi usare il modello sbagliato per la previsione.
Allora perché dovresti preoccuparti di "StdError Sales Bagged Mean 2." (E) lassù? Questa è la quantità per valutare se hai abbastanza campioni di bootstrap. Idealmente, vuoi che i valori siano molto piccoli, quindi puoi fidarti dei tuoi valori insaccati.
Ri: Domanda concettuale sulle previsioni insaccateI miei dati di copertura provenivano dagli errori standard di previsione individuale: li salvo dal modello di regressione e ho utilizzato la deviazione standard insaccata dal profiler.Per guardare la media, avrei usato Std Err Predicted e Std Error per la media insaccata.Come ho detto (leggi cosa ho scritto), non so come calcolare la copertura per gli intervalli di previsione media poiché ho solo un'osservazione per ogni riga - se c'è un modo per farlo, per favore dimmelo.
Pertanto, ho utilizzato le singole previsioni e JMP fornisce errori standard per le singole previsioni nonché per le previsioni medie (ovviamente, le prime sono molto più grandi delle seconde).
L'altro tuo commento non affronta i miei problemi.Conosco diversi modi per confrontare e valutare i modelli.ciò che mi interessa sono i modi per esaminare l'incertezza associata ai modelli, non la loro accuratezza predittiva, ma la variabilità delle loro previsioni.L'unico metodo che conosco è la previsione conforme.Sembrava che il profiler fornisse tale capacità fornendo intervalli di confidenza per le funzionalità nel modello.In effetti, sembra che tu stesso lo abbia suggerito obiettando alle mie affermazioni di mancanza di interpretabilità dei modelli di apprendimento automatico, come NN.
Penso che il profiler faccia un grande passo verso l'interpretabilità.Mostra come la variazione delle caratteristiche influisce sulla variabile di risposta.Se può anche fornire errori standard (intervalli di confidenza) per questi effetti, allora essenzialmente fornisce altrettante interpretazioni dei modelli di regressione.Tuttavia, questo è ciò con cui sto lottando: non sono convinto di poter utilizzare quegli intervalli di confidenza in quel modo.
Ri: Domanda concettuale sulle previsioni insaccateQuindi utilizzare le misure delle prestazioni dal set di controllo della convalida per valutare diversi modelli.
Ri: Domanda concettuale sulle previsioni insaccate" Utilizzando intervalli di confidenza approssimativi al 95% (2 errori standard attorno alla corrispondente previsione media, utilizzando gli errori standard per le singole previsioni), la copertura del valore Y effettivo era di 866 righe su 900 (circa il 95%) per le previsioni del modello, ma solo 222 su 900 per le previsioni insaccate. "
Stai confondendo l'intervallo di confidenza per la media e l'intervallo di confidenza per le singole osservazioni? Il primo è un intervallo in cui ci aspettiamo che si trovi la risposta media supponendo che il modello sia imparziale. Perché ti aspetteresti che le singole osservazioni si verifichino in quell'intervallo?
" Dato quanto sono estremi i risultati, questo mi suggerisce che gli errori standard del modello (almeno per questo modello ben educato) sono misure accurate dell'incertezza nelle previsioni. "
No, non credo che la tua conclusione sia ragionevole. Stai confrontando la "copertura" in base alle risposte individuali, non alla media. Il modello riguarda la posizione: la risposta media. Il modello prevede la risposta media. L'intervallo di confidenza riguarda l'incertezza nella risposta media. L'IC per il modello dice che se dovessi campionare più e più volte, il 95% dei modelli avrebbe un intervallo di previsione che contiene la vera media di risposta. Non dice nulla sulle osservazioni individuali.
" Se eseguo un modello di classificazione utilizzando NN, foreste casuali, alberi potenziati, ecc., un difetto rispetto alla regressione logistica è che questi modelli di apprendimento automatico non forniscono una misura dell'incertezza nelle previsioni "
La previsione riguarda il futuro. La capacità di prevedere le osservazioni future è la base per una "valutazione onesta". La convalida incrociata è uno dei modi migliori per valutare onestamente il modello durante la selezione e il modello finale dopo la selezione.Esaminiamo il set di validazione di tenuta o il test di tenuta del test per valutare l'incertezza. Questi modelli riguardano la previsione, non l'inferenza. Questo non vuol dire che non siano utili come modelli esplicativi, ma potrebbero non soddisfarti completamente in questo modo. Quindi, ad esempio, qual è il quadrato R per la stessa convalida impostata su tutti i modelli. (Nota che non sto usando R quadrato per selezionare un modello. Sto usando R quadrato per valutare modelli selezionati di vari tipi.)
Ri: Domanda concettuale sulle previsioni insaccateNel mio esempio simulato, non ho motivo di mettere in dubbio la qualità dei dati o l'adeguatezza del modello.Non sono dati osservativi, né è un piccolo campione (vero, n=100 su una popolazione di 1000 non è grande, ma la copertura dell'intervallo di confidenza è così disparata che penso che l'esempio ci mostri qualcosa).Non dirò che insaccare è imbrogliare (un termine caricato).Ma non mi sento di potermi fidare degli errori standard che fornisce anche per il mio caso simulato.Sono molto riluttante a usarlo per un caso in cui i dati e il modello sono più sospetti.Potete fornire indicazioni su dove può essere utilizzato?Non intendo essere antagonista: amo JMP e amo il profiler, sto solo cercando di vedere se gli intervalli di confidenza che può fornire sono utili.
Ri: Domanda concettuale sulle previsioni insaccate" Quindi, perché dovrei scegliere un intervallo di confidenza molto più ampio? "
Perché metti in dubbio la qualità o la validità dei dati o del modello.
Probabilmente non userei il bagging e le sue previsioni con un esperimento di screening perché il modello è probabilmente distorto. Probabilmente non userei il bagging e le sue previsioni con un modello basato su un piccolo campione di dati osservativi.
Vorrei essere chiaro. L'insacco è valido. Non è barare. Ma non è sempre appropriato o vantaggioso.
Sfortunatamente, l'inserimento nel profiler è qualcosa sviluppato da JMP. Non ho riferimenti esterni.
Ri: Domanda concettuale sulle previsioni insaccateIn allegato un esempio simulato.Il set di dati senza titolo contiene dati simulati e un modello di regressione basato su un campione casuale di 100 delle 1000 righe.Ho salvato gli errori standard dal modello e dalle previsioni insaccate.Il sottoinsieme del set di dati senza titolo contiene quindi le 900 righe non nel campione casuale.Utilizzando intervalli di confidenza approssimativi al 95% (2 errori standard attorno alla corrispondente previsione media, utilizzando gli errori standard per le singole previsioni), la copertura del valore Y effettivo era di 866 righe su 900 (circa il 95%) per le previsioni del modello, ma solo 222 su 900 per le previsioni insaccate.Non sono riuscito a capire come generare un confronto della copertura degli intervalli di confidenza medi poiché ho solo una singola osservazione Y su ogni riga.
Dato quanto sono estremi i risultati, questo mi suggerisce che gli errori standard del modello (almeno per questo modello ben educato) sono misure accurate dell'incertezza nelle previsioni.Ma gli errori standard insaccati sono troppo piccoli.Data la semplicità di questo esempio, sembra proprio che non vorrei fare affidamento sugli errori standard delle previsioni insaccate.Pensi che sia una conclusione ragionevole qui?
Ora, ai reali usi potenziali.Se eseguo un modello di classificazione utilizzando NN, foreste casuali, alberi potenziati, ecc., un difetto rispetto alla regressione logistica è che questi modelli di apprendimento automatico non forniscono una misura dell'incertezza nelle previsioni (senza invocare un'altra procedura come la previsione conforme, con cui ho giocato).Il profiler potrebbe prontamente fornirmi previsioni insaccate delle probabilità medie delle classificazioni insieme ai loro errori standard.Per quanto utile sarebbe, sono propenso a dire che non posso davvero usare quegli errori standard per rappresentare l'incertezza in questi modelli di apprendimento automatico.È corretto?Forse una domanda più generale è: per cosa posso usare gli errori standard insaccati?
Ri: Domanda concettuale sulle previsioni insaccateStiamo convergendo.
"E, se è così, puoi dirmi a quale domanda risponde ciascuno?"
Io posso. In realtà l'ho fatto: ancora una volta, la prima coppia risponde alla domanda sull'incertezza nella previsione del modello originale (ad esempio, regressione lineare, rete neurale, partizione). La seconda coppia risponde alla domanda sull'incertezza nella previsione usando il bagging.
Questo dice che ho più incertezza sulle previsioni del mio modello rispetto alle previsioni insaccate, molto di più.Perché allora qualcuno dovrebbe usare le previsioni del modello e i loro intervalli di confidenza?Mi rendo conto che un errore standard più piccolo non è sempre buono, solo se il modello sottostante è buono.Ma nel caso che stiamo esaminando, lo stesso modello è alla base di entrambe le misure e le previsioni medie sono quasi identiche.Quindi, perché dovrei scegliere un intervallo di confidenza molto più ampio?
Suppongo che ci sia il problema della copertura: l'intervallo ristretto potrebbe non fornire una copertura sufficiente del valore reale.Proverò alcune simulazioni per vedere se posso far luce su questo - ma conosci qualche riferimento che parli dell'accuratezza delle due misure di errore standard l'una rispetto all'altra?
Ri: Domanda concettuale sulle previsioni insaccate" Sicuramente non può essere giusto "
OK, mi hai preso. È tutto inventato, finto. Stavo solo vedendo fino a che punto potevo trascinarti.
(La discussione seria riprende...)
" Qual è la misura appropriata della variabilità per la previsione media? "
Quello che è stato stimato per la previsione che utilizzerai. La cosa dell'accoppiamento...
Il bagging riguarda più la modellazione predittiva che la modellazione esplicativa, come ho spiegato. Il bagging diminuisce l'incertezza nella previsione.L'uso del bagging in questo caso si basa sulla tua convinzione nella qualità e validità dei dati e del modello. non è barare. Se il modello fallisce, è a causa di un problema con la qualità o la validità dei dati o del modello.
" Non possono essere entrambe le cose, a meno che non rispondano a domande diverse. "
Questo è esattamente quello che ho detto.
" E, se è così, puoi dirmi a quale domanda risponde ciascuno? "
Io posso. In realtà l'ho fatto: ancora una volta, la prima coppia risponde alla domanda sull'incertezza nella previsione del modello originale (ad esempio, regressione lineare, rete neurale, partizione). La seconda coppia risponde alla domanda sull'incertezza nella previsione usando il bagging.
Ri: Domanda concettuale sulle previsioni insaccateSicuramente non può essere giusto!Il tuo esempio sembra proprio come il mio: le medie sono quasi identiche ma le deviazioni standard differiscono di un fattore 10 (a causa di sq rt (M-1) a seconda di quale serie di colonne usi.Quindi, mentre vedo la logica di accoppiare la previsione media con la sua deviazione standard associata (dal modello o dall'insacchettamento), l'effetto pratico è di avere all'incirca le stesse previsioni medie, ma un intervallo di confidenza finisce per essere il 10% come largo come l'altro.Qual è la misura appropriata della variabilità per la previsione media?Non possono essere entrambe le cose, a meno che non rispondano a domande diverse.E, se è così, puoi dirmi a quale domanda risponde ciascuno?
Ri: Domanda concettuale sulle previsioni insaccate" Quindi, la domanda è: se voglio un intervallo di confidenza per la previsione media, quale errore standard devo usare?La differenza è di un ordine di grandezza! " Utilizzare l'SE dal modello utilizzato per la previsione.Se utilizzi il modello di regressione salvato, utilizza l'SE o l'elemento della configurazione salvato. Se stai utilizzando le previsioni insaccate dal Profiler, usa l'SE insaccato. Ecco il risultato usando :weight contro :height nel set di dati Big Class. Le coppie evidenziate di colonne di previsione e dati SE verrebbero utilizzate insieme.
Ri: Domanda concettuale sulle previsioni insaccateSiamo quasi sulla stessa pagina.Ignorando NN per il momento e utilizzando il semplice esempio di regressione che ho fornito, l'errore standard dalla media insaccata è circa il 10% di quello del modello di regressione: questo corrisponde alla radice quadrata di M-1 (M=100 qui).Questo è vero per le previsioni medie - per le previsioni individuali è circa il 20% (non sono sicuro del motivo per cui sq rt (M-1) si applica alla prima ma non alla seconda, ma non penso che sia molto importante).Quindi, la domanda è: se voglio un intervallo di confidenza per la previsione media, quale errore standard devo usare?La differenza è di un ordine di grandezza!
Supponendo per il momento che dovrei usare l'errore standard dal modello di regressione (che è il più grande dei due) - ed è quello che sospetto sia il caso - allora si solleva la questione di cosa servano le previsioni insaccate.Qui, penso che NN (e altri modelli di apprendimento automatico) entri in gioco: non vi è alcun errore standard da molti di questi modelli senza un qualche tipo di derivato empirico, come quello fornito dal profiler.Quindi, sembrerebbe molto utile utilizzare quell'errore standard dalle previsioni insaccate per costruire intervalli di confidenza per quelle previsioni.Tuttavia, dall'esempio di regressione, mi chiedo se questo potrebbe sottovalutare il grado di incertezza di un ordine di grandezza, il che non sarebbe così utile.
Ri: Domanda concettuale sulle previsioni insaccateRivediamo come funziona il bagging nel Profiler. Si noti che si basa sul modello montato. Utilizza il modello adattato e ricampiona i dati per gonfiare il set di dati o la dimensione del campione, ma non altera il modello. Ecco un estratto dalla Guida di JMP che copre Insaccamento del profilatore :
"Il bagging crea automaticamente nuove colonne nella tabella dati originale. Tutto M gli insiemi di previsioni insaccate vengono salvati come colonne nascoste. La previsione finale viene salvata in una colonna denominata "Pred Formula Bagged Mean". La deviazione standard della previsione finale viene salvata in una colonna denominata " Bagged Std Dev". L'errore standard della media insaccata viene salvato in una colonna denominata "StdError media insaccata". L'errore standard è la deviazione standard divisa per Quadrato( M-1 ).Qui, identifica la colonna nel report che è stata inserita nel bag.
L'errore standard fornisce informazioni sulla precisione della previsione. Un errore standard molto piccolo indica una previsione precisa per quell'osservazione. Per ulteriori informazioni sull'insacchettamento, vedere Hastie et al. ( 2009 )."
Quindi non stai confrontando gli SE da un'analisi di regressione e NN. Stai confrontando gli SE di qualsiasi modello e gli SE dall'insacchettamento nel Profiler con lo stesso modello. La differenza sarà un fattore di Sqrt( M-1 ).
Ri: Domanda concettuale sulle previsioni insaccateSegno
Quindi ti chiederei di guardare l'ultimo set di dati di esempio che ho pubblicato.Gli intervalli di confidenza (errori standard) non sono nemmeno vicini all'accordo.Cioè per una semplice regressione lineare e confrontando gli errori standard di previsione con quelli che derivano dal salvataggio delle previsioni insaccate dal profiler.Questi ultimi sono molto più piccoli dei primi.Ecco perché sono confuso.
Ri: Domanda concettuale sulle previsioni insaccate" Credo che gli intervalli di confidenza della previsione per una regressione multipla siano derivati tramite formule derivate da ipotesi sulla struttura dell'errore e sul campionamento casuale (in definitiva derivato dalla logica che è alla base del teorema del limite centrale).D'altra parte, credo che le previsioni insaccate derivino dal bootstrap, un approccio empirico non parametrico per derivare gli intervalli di confidenza.Credo inoltre che questi due approcci siano generalmente vicini, a meno che i dati sottostanti non abbiano distribuzioni insolite e/o non vengano utilizzate dimensioni del campione insufficienti per il bootstrap. "
SÌ! In altre parole, se si utilizza l'espressione teorica per l'elemento della configurazione e l'elemento della configurazione di bootstrap per il SAME modello di regressione lineare, i CI ESTIMATES dovrebbero concordare.
Ri: Domanda concettuale sulle previsioni insaccateCredo che gli intervalli di confidenza della previsione per una regressione multipla siano derivati tramite formule derivate da ipotesi sulla struttura dell'errore e sul campionamento casuale (in definitiva derivato dalla logica che è alla base del teorema del limite centrale).D'altra parte, credo che le previsioni insaccate derivino dal bootstrap, un approccio empirico non parametrico per derivare gli intervalli di confidenza.Credo inoltre che questi due approcci siano generalmente vicini, a meno che i dati sottostanti non abbiano distribuzioni insolite e/o non vengano utilizzate dimensioni del campione insufficienti per il bootstrap.
Nei file che ho allegato, non credo che si presenti nessuno di questi problemi.Le previsioni medie sono quasi identiche dai 2 approcci, ma gli errori standard del profiler sono molto più piccoli rispetto ai valori derivati teoricamente.Questo è ciò che mi fa pensare che sto fraintendendo il significato degli errori standard del profiler.Altrimenti, perché qualcuno dovrebbe mai usare gli errori standard derivati teoricamente?
Ri: Domanda concettuale sulle previsioni insaccate" La mia comprensione (che potrebbe essere sbagliata) è che gli errori standard delle previsioni sono teoricamente derivati nel modello di regressione e sono il risultato del bootstrap nelle previsioni insaccate.In teoria, quelli dovrebbero essere simili (almeno con un numero sufficiente di campioni di bootstrap - ho usato 100 e 1000 ed entrambi danno risultati simili) - ma non lo sono. "
A quale teoria ti riferisci?
Ri: Domanda concettuale sulle previsioni insaccateCercando di essere più completo, in allegato c'è un semplice file con un singolo predittore.Ho costruito il modello di regressione e salvato le previsioni e gli errori standard (sia medi che individuali).Ho usato il profiler per salvare le previsioni insaccate.Ci sono 3 grafici xy che mostrano l'equivalenza (perfetta in questo caso) dei valori previsti dal modello e dal profiler.I grafici degli errori standard mostrano forti correlazioni, ma mostrano anche che gli errori standard del profiler sono considerevolmente inferiori a quelli del modello.Sospetto fortemente che gli errori standard della procedura di insaccamento significhino qualcosa di diverso.Spero che tu possa chiarirmi questo.
Ri: Domanda concettuale sulle previsioni insaccateSto seguendo quello che dici, ma penso che la mia domanda sia diventata qualcosa di diverso.Lasciamo fuori NN.Poiché il profiler è disponibile anche dalla piattaforma di regressione multipla, ho fatto alcuni esperimenti per vedere come gli errori standard delle previsioni insaccate si confrontano con quelli salvati dal modello di regressione.Sono correlati, anche se tutt'altro che perfettamente.La deviazione standard della previsione individuale è molto più grande della deviazione standard della previsione media, come dovrebbe essere, e questo vale anche per i due errori standard che si ottengono quando si salvano le medie insaccate.Tuttavia, ciò che mi sorprende e non capisco, è perché gli errori standard dal salvataggio delle previsioni insaccate (la versione individuale o media) sono un ordine di grandezza inferiore agli errori standard dal modello di regressione.La mia comprensione (che potrebbe essere sbagliata) è che gli errori standard delle previsioni sono teoricamente derivati nel modello di regressione e sono il risultato del bootstrap nelle previsioni insaccate.In teoria, quelli dovrebbero essere simili (almeno con un numero sufficiente di campioni di bootstrap - ho usato 100 e 1000 ed entrambi danno risultati simili) - ma non lo sono.
Quindi, sembra che gli errori standard del profiler siano qualitativamente diversi dagli errori standard del modello di regressione.Perché è così?
Ri: Domanda concettuale sulle previsioni insaccateL'NN è un modello d'insieme altamente non lineare. Confrontalo con il tuo modello di regressione che potrebbe avere termini di secondo ordine. Gli errori standard sono molto diversi per questi due tipi di modelli.
Personalmente non sono d'accordo con l'idea che NN non sia interpretabile o che i modelli di regressione lineare siano interpretabili. (Penso che sia sciocco.) L'effetto del predittore X è una combinazione lineare di tutti i termini che lo includono. Ad esempio, non ha senso parlare di un "effetto quadratico". C'è solo un termine quadratico nel modello. Quindi, come interpretiamo l'effetto di X quando appare nel modello come X + X*X2 + X*X + X*X*X? Siamo abituati a pensare in questi termini: abbiamo avuto molti anni di esposizione e tempo per pensarci. Un NN è più o meno lo stesso (predittore lineare) sottoposto a una funzione di attivazione non lineare e aggiunto a più o meno lo stesso per ciascun nodo. Dobbiamo solo pensare più intensamente.
No, non lo sappiamo. Abbiamo un profiler che funziona con qualsiasi tipo di funzione (modello).
Ri: Domanda concettuale sulle previsioni insaccateMarco, grazie.Questo aiuta un po'.Potrebbe spiegare perché NN fornisce errori standard più piccoli (anche se sono ancora sorpreso dall'entità della differenza quando entrambi i modelli si adattano così bene ai dati).Ma in realtà non sembra spiegare perché non ci sia quasi alcuna correlazione negli errori standard associati a ciascuna previsione.I dati che ho pubblicato non mostrano praticamente alcuna relazione significativa tra l'errore standard di previsione di ciascuna osservazione tra i due modelli.Ora, per un modello di regressione multipla ho un'idea di ciò che determina gli errori standard associati a diverse osservazioni, ma per il NN, davvero no.Forse è per questo che non sono imparentati tra loro?Si tratta di una dimensione legata alla mancanza di interpretabilità dei modelli NN?
Ri: Domanda concettuale sulle previsioni insaccateSÌ.
La piattaforma neurale utilizza un modello complesso, anche con solo una manciata di nodi nascosti. Immagina di aggiungere molti termini al modello di regressione. Cosa succede all'RMSE? Cosa succede, a sua volta, agli SE? La complessità del tuo modello di regressione è paragonabile a quella del NN?
Non sto suggerendo che tu stia abusando di NN o di altri metodi ML. Ricorda solo che riguardano TUTTO la previsione, NON TUTTO l'inferenza. Quindi l'incertezza nelle stime non è importante, l'accuratezza/riproducibilità/generalizzazione sono tutto. Pertanto, i modelli di previsione (non i modelli esplicativi) utilizzano le misure del MSE totale (bias + varianza) per selezionare il modello e la "valutazione onesta" o convalida incrociata per confermare il modello selezionato.
Ma il punto principale è che non c'è motivo per cui gli SE di diversi modelli siano gli stessi, anche se le loro previsioni di risposta media sono simili. Questa differenza potrebbe dare un vantaggio a un modello nella tua applicazione.
Ri: Domanda concettuale sulle previsioni insaccateAddendum: nel file che ho allegato, ho (sovra)stimato gli errori standard dalla regressione multipla.Li ho stimati utilizzando gli intervalli di confidenza del 95% salvati.In allegato è una versione rivista in cui ho salvato direttamente gli errori standard.La mia domanda rimane, poiché gli errori standard dell'NN sembrano essere meno della metà rispetto alla regressione multipla (in media) con poca correlazione apparente all'interno del set di convalida.Entrambi i modelli si adattano abbastanza bene ai dati.Quindi, mi chiedo se l'interpretazione degli errori standard della media insaccata sia interpretata in modo appropriato come errori standard associati alle previsioni nello stesso modo in cui vengono interpretati gli errori standard delle previsioni dalla regressione multipla.
