Alla comunità JMP Giappone:
Potresti gentilmente parlarmi dei metodi di convalida incrociata per dati con un numero ridotto di campioni?
Numero di casi: 44, positivi: 23, negativi: 21.
Poiché i fattori estratti erano numerosi, sono state selezionate due metriche basate sull'affidabilità dei dati (ICC tra due valutatori) e sul valore ROC-AUC, ed è stata eseguita un'analisi logistica. Entrambi i fattori sono risultati significativi per i risultati e la loro combinazione ha prodotto un risultato ragionevole di ROC-AUC > 0,85. Il revisore ha sottolineato che la convalida incrociata era necessaria per prevenire l'overfitting e, poiché i casi erano pochi, abbiamo deciso di scegliere il metodo LOOCV (lasciare un metodo predefinito).
Quando eseguo Analizza > Regressione generalizzata > Lazo > LOOCV, vengono visualizzati i seguenti risultati. Non ho mai usato questo metodo prima, quindi non sono sicuro di come interpretare i risultati. Qualcuno più esperto potrebbe spiegarmi meglio?
A proposito, i risultati della logistica binomiale sono i seguenti.
Grazie per la collaborazione.
La regressione Lasso (pronunciata "lasso" o "ras-") fa parte di un gruppo di metodi di regressione comunemente chiamati regressione penalizzata o regressione regolarizzata. Altri tipi di regressione penalizzata (regressione regolarizzata) includono la regressione ridge e la regressione elastica netta.
Nella regressione logistica standard, si trovano i coefficienti di regressione (parametri) che massimizzano la verosimiglianza logaritmica. Il metodo di stima per trovare i valori dei parametri che massimizzano la verosimiglianza logaritmica è chiamato stima di massima verosimiglianza. Maggiore è la verosimiglianza logaritmica calcolata dai dati di training, migliore è l'adattamento ai dati di training. Pertanto, la stima di massima verosimiglianza può essere considerata un metodo di stima per trovare i coefficienti di regressione (parametri) che meglio si adattano ai dati di training.
La stima della massima verosimiglianza nella regressione logistica ha buone proprietà matematiche (coerenza, validità, normalità asintotica) quando i dati sono di grandi dimensioni.
La regressione penalizzata (regressione regolarizzata) è un metodo per evitare l'overfitting e migliorare l'accuratezza delle previsioni utilizzando la logaritmo-verosimiglianza negativa più un termine di penalità come funzione obiettivo. Nel caso della regressione Lasso, il termine di penalità è la somma dei valori assoluti delle stime dei parametri, esclusa l'intercetta, moltiplicata per una costante (il parametro di penalità). Impostando questo parametro di penalità a zero (ovvero, indebolisce la penalità) si ottiene una stima di massima verosimiglianza normale, mentre impostando il parametro di penalità a infinito (ovvero, rafforza la penalità) si ottiene che tutte le stime dei parametri, esclusa l'intercetta, diventino zero.
Nel rapporto sullo screenshot che hai pubblicato, i parametri di penalità aumentano man mano che ti sposti verso sinistra e diminuiscono man mano che ti sposti verso destra.
La "log-verosimiglianza negativa" è la log-verosimiglianza con il segno opposto. La "log-verosimiglianza negativa scalata" è la log-verosimiglianza negativa media per osservazione (riga). Una log-verosimiglianza maggiore indica un migliore adattamento ai dati, mentre una log-verosimiglianza negativa minore con il segno opposto indica un migliore adattamento ai dati.
Quando si calcolano le stime dei parametri nella stima di massima verosimiglianza o nella regressione penalizzata, viene utilizzata la logaritmo-verosimiglianza negativa per i dati di training. Nel grafico a destra del report inviato, viene rappresentata non solo la logaritmo-verosimiglianza negativa per i dati di training, ma anche la logaritmo-verosimiglianza negativa per i dati di validazione. Più complesso è il modello (allentando le penalità, aumentando il numero di variabili esplicative, ecc.), minore diventa la logaritmo-verosimiglianza negativa per i dati di training. Tuttavia, questo non è il caso della logaritmo-verosimiglianza negativa per i dati di validazione.
In genere, se si dispone di una quantità di dati piuttosto grande, di un modello semplice e si specifica il modello reale, le verosimiglianze logaritmiche negative dei dati di addestramento e dei dati di convalida saranno le stesse, come mostrato nella figura seguente.
Tuttavia, in situazioni in cui i dati sono pochi, anche se il modello reale è adattato, la verosimiglianza logaritmica negativa dei dati di convalida sarà maggiore della verosimiglianza logaritmica negativa dei dati di addestramento, come mostrato nella figura seguente, e il grafico dei dati di convalida sarà spesso a forma di U.
Una maggiore verosimiglianza negativa per i dati di convalida rispetto ai dati di training suggerisce che il modello è sovraadattato ai dati di training, ovvero si adatta bene ai dati di training ma male ai dati di convalida. Una forma a U per i dati di convalida indica che più complesso è il modello, peggiore è l'adattamento ai dati di convalida.
■L'intervallo di confidenza per l'AUC può fornire una stima approssimativa dell'incertezza della stima dell'AUC. Se si adatta un modello di regressione logistica utilizzando la "Regressione generalizzata", è possibile ottenere l'intervallo di confidenza per l'AUC seguendo i seguenti passaggi:
(1) Fare clic sul pulsante del triangolo rosso nella struttura "Regressione logistica" .
(2) Dal menu che appare, seleziona [Salva colonne] → [Salva formula di previsione] .
Questa operazione crea una colonna di formule di previsione della probabilità nella tabella dati.
(3) Dal menu a discesa, selezionare [Analisi (A)] → [Modello predittivo] → [Confronta modelli] .
(4) Nella casella di riepilogo "Seleziona colonne" sul lato sinistro della finestra di avvio richiamata, selezionare le due colonne contenenti i valori di previsione della probabilità ( "Probabilità (Nome colonna = Nome evento)" e "Probabilità (Nome colonna = Nome non evento)") e fare clic sul pulsante [Y, Predictor] .
(5) Fare clic sul pulsante [OK] .
(6) Fare clic sul pulsante del triangolo rosso nella struttura "Confronto modelli" e selezionare "Confronto AUC".
■Se viene richiesto di "calcolare l'AUC in base alle previsioni di probabilità ottenute utilizzando il metodo "lascia uno e lascia uno", JMP non fornisce un'interfaccia utente grafica per tale processo. Per eseguire questa operazione in JMP, è necessario programmare utilizzando un linguaggio di scripting chiamato JMP Scripting Language (JSL).
Di seguito è riportato un programma di esempio. È solo un esempio.
Questa operazione cancellerà gli attributi di riga della tabella dati, quindi si prega di preparare in anticipo solo la tabella dati che si desidera analizzare. Nel farlo, si prega di rimuovere tutte le righe con attributi esclusi.
Nell'esempio seguente, le righe vengono rimosse una alla volta, viene adattato un modello di regressione logistica e viene calcolata la probabilità prevista per ciascuna riga. La curva ROC e l'AUC vengono quindi calcolate in base alla probabilità prevista.
Gli esempi che seguono sono solo esempi.
Inoltre, affinché ciò funzioni, sarà necessario modificare di conseguenza i nomi delle colonne e i valori dei dati degli eventi. Si noti che, per impostazione predefinita, tutte le righe con valori mancanti vengono rimosse prima dell'analisi (l'analisi viene eseguita utilizzando la rimozione listwise).
Names Default To Here(1);
dt = Current Data Table();
eta = J(NRow(dt),1,.);
For(i = 1, i <= NRow(dt), i++,
dt << Clear Row States; // 行属性のクリア
Row State(i)= Excluded State(1); // 第i行に除外属性を付与
// ロジスティックモデルのあてはめ
plat = dt << Fit Model(
<
<INVISIBLE></INVISIBLE>
<DIV>
</DIV>
<DIV>■In ogni caso, se le variabili esplicative sono modelli di regressione logistica a due variabili con n = 50 (le variabili evento e non evento sono circa n = 25), anche se il modello vero è adattato, l'errore di stima sarà ampio e sarà difficile determinare se il modello a due variabili è un buon modello (ad esempio, sarebbe meglio usare altre variabili esplicative? Sarebbe meglio aggiungere altre variabili esplicative?). Sarà anche piuttosto difficile determinare se il modello stimato sarà pratico come un vero modello predittivo in futuro. Anche se la validazione interna può essere confermata utilizzando i metodi sopra menzionati e altri metodi, ritengo che i giudizi dovranno essere espressi in modo conservativo e cauto.</DIV>
<DIV>
</DIV>
<DIV>■TRIPOD è una linea guida per la costruzione di modelli predittivi in campo medico, ma non ho prestato attenzione alle linee guida TRIPOD quando ho scritto la risposta qui sopra. Penso che ci siano molti altri aspetti da tenere in considerazione quando si costruisce un modello predittivo.</DIV>
<DIV>
</DIV>
