Convalida incrociata omessaQualcuno può aiutarmi a capire il grafico che viene mostrato di seguito dalla piattaforma di Gen Reg per la convalida leave-one-out (o forse aiutarmi a capire meglio la convalida leave-one-out)?Ho usato il diabete e prevedo Y (continuo).Perché un particolare record viene mostrato nel grafico di convalida?Avevo capito che il Tracciato di convalida del percorso della soluzione traccia il valore medio tra tutti gli ometti.
Set di dati allegato di seguito con script.
Ri: Convalida incrociata omessaCiao Wendy,
Penso che se guardi il file documentazione di aiuto per k-fold aiuterà a spiegare questo. Lasciarne uno fuori è solo un caso speciale di k-fold dove k = numero di righe di dati.
"Per ottenere il modello finale, tutti i k modelli derivati per il valore ottimale del parametro di regolazione sono adatti all'intero set di dati. Di questi, il modello con la probabilità di log di convalida più elevata viene selezionato come modello finale. Il set di addestramento utilizzato per quel modello finale è designato come Set di addestramento e la piega di controllo per quel modello è il set di convalida. Questi sono i set di addestramento e convalida utilizzati nei grafici e nei risultati riportati per la soluzione finale ".
Quindi stai vedendo solo i grafici per uno dei modelli k: il modello con la più alta probabilità di log di convalida.
Sono d'accordo che è un po 'strano vedere solo l'effettivo vs previsto per un set di convalida con un punto dati. Ma si spera che questo spieghi perché ora.
Saluti,
Phil
Ri: Convalida incrociata omessaCiao, Wendy,
Sì, la probabilità di logaritmo in scala (= probabilità logaritmica negativa divisa per # osservazioni) utilizzata nel metodo di convalida K-Fold o Leave-One-Out viene mediata, ma i grafici diagnostici come Actual by Predicted mostrano i risultati per un singolo modello.
La soluzione alla regressione penalizzata dal Lazo dipende da un singolo parametro di ottimizzazione. Quando si cerca il valore ottimale sulla griglia utilizzando la convalida LOO, ci saranno N (ad esempio, 442 nel tuo caso) modelli adatti a ogni valore del parametro di rotazione.Molti modelli andranno bene! I valori di -LL scalati verranno calcolati per ciascuna delle 442 osservazioni LOO, e una media di essi verrà quindi confrontata con un'altra -LL scalata media da modelli adattati con un diverso valore del parametro di rotazione.Questo è ciò che viene mostrato nel grafico di convalida.(Notare che i valori della grandezza delle stime dei parametri in scala sono equivalenti ai valori del parametro di regolazione.)
Quindi viene selezionato un modello finale tra 442 modelli come descritto nella documentazione di @phil_kay : è il modello che mostra il LL più alto sulla convalida da "all K i modelli derivati per il valore ottimale del parametro di regolazione si adattano all'intero set di dati. "Actual by Predicted traccia i risultati del modello finale sul training set e l'osservazione LOO; in questo caso, è la riga 305 poiché questo punto dati fornisce il valore LL più alto quando viene utilizzato come convalida LOO.
Come puoi vedere, i metodi di convalida K-fold e LOO funzionano in modo leggermente diverso nella regressione penalizzata rispetto a Partition e NN.Spero che questo possa essere d'aiuto.
Jian
