Le recenti discussioni su come interpretare gli errori standard dal profiler non sono confluite in una soluzione, quindi lo ricomincerò - con un esempio diverso e un po' più di chiarezza (spero) sulla mia domanda.Ho allegato uno dei famosi set di dati del quartetto Anscombe, quello in cui è appropriato un modello di regressione lineare.Ho adattato un modello di regressione multipla e ho salvato l'errore standard di previsione medio e l'errore standard di previsione individuale - come previsto, il primo è molto più stretto del secondo.Ho anche usato il profiler e salvato le previsioni insacchettate - questo mi ha dato un errore standard per la media insacchettata (che interpreto come analogo all'errore standard di previsione media dal modello di regressione) e un dev Bagged Std (che interpreto come analogo all'errore standard di previsione individuale dalla regressione).Quando dico che li interpreto come analoghi, mi rendo conto che gli errori standard del modello derivano dal modello di regressione mentre gli errori standard insaccati sono derivati da un bootstrap non parametrico (in questo caso, con 100 campioni di bootstrap).
In questo caso (a differenza del mio ultimo esempio), gli errori standard individuali sono vicini, anche se leggermente inferiori per le previsioni insacchettate rispetto alle previsioni del modello.Ma l'errore standard della media insaccata è circa il 10% più grande dell'errore standard delle previsioni medie del modello.In effetti, ciò può essere verificato dalla documentazione che afferma che l'errore standard insaccato = deviazione standard delle previsioni insaccate divisa per la radice quadrata di (M-1) dove M è il numero di campioni insaccati (che qui è 100).
La mia domanda riguarda come utilizzare gli errori standard della media insaccata e la deviazione standard insaccata.Se osservo l'intervallo di confidenza mostrato nel profiler, mi sembra coerente con l'errore standard di previsione media dal modello di regressione, non con l'errore standard della media insaccata (che è il 10% più grande).In tal caso, a cosa servono gli errori standard dei campioni imbustati?
Penso che l'importanza (almeno per me) sia che JMP fornisca profiler per tutti i modelli di machine learning.Ciò consente di salvare i mezzi imbustati e questi due tipi di errori standard.Se questi errori standard possono essere utilizzati per costruire intervalli di confidenza, otteniamo qualcosa di simile a un senso di significatività statistica da reti neurali, foreste casuali, ecc.Penso che sarebbe una caratteristica importante poiché la maggior parte di quei modelli non fornisce prontamente alcuna informazione inferenziale.Ciò si applicherebbe ai modelli di classificazione così come ai modelli di regressione.
Ma non sono sicuro che gli errori standard imbustati abbiano molto senso.Nell'esempio che ho fornito, sembrano troppo piccoli.E non mi è chiaro se l'intervallo di confidenza mostrato nel profiler sia basato sull'errore standard per la media insaccata (non sembra così in questo esempio).Quindi, aiutatemi a far luce sulle mie domande.
Nessuno sembra essere stato in grado di fare luce su questo argomento.Sulla base di qualche esplorazione in più, lascia che ti suggerisca una "soluzione" e forse qualcuno può valutarla.Mi sembra che gli intervalli di confidenza prodotti dal profiler dopo aver salvato le previsioni insacchettate, utilizzino l'errore standard della media insaccata anziché la deviazione standard insaccata.Comincio a credere che ciò non sia corretto, che dovrebbe essere usato il secondo piuttosto che il primo.La differenza è che il primo è il secondo diviso per la radice quadrata del numero di campioni imbustati (-1).È vero che l'errore standard della media insacchettata misura qualcosa - penso che sia la stabilità della procedura di insacco (in altre parole, quanto sia sensibile la previsione media ai campioni bootstrap).Ma penso che ciò che vogliamo dagli intervalli di confidenza sia l'affidabilità della previsione e la fiducia in quanto ciascun fattore nel modello influisca su quella previsione.Penso che sia la deviazione standard insaccata a misurarlo.
