Valutare l'adattamento lineare delle prestazioni rispetto all'adattamento logaritmicoCiao a tutti,
Mi chiedevo se aveste suggerimenti su come valutare le prestazioni di un modello lineare e di un modello logaritmico (ovvero con sola risposta trasformata logaritmica). Sto cercando di valutare quale modello sia migliore in termini di prevedibilità e accuratezza.
La mia prima ipotesi è stata quella di confrontare i valori R-quadrato e i valori RMSE, tuttavia sembra che i due modelli abbiano unità diverse e quindi non possano essere confrontati direttamente.
Cordiali saluti, Janneman
Modellazione statistica avanzataAnalisi e modellazione dei dati di baseModellazione predittiva e apprendimento automaticoAnalisi di affidabilitàRe: Valutare l'adattamento lineare delle prestazioni rispetto all'adattamento logaritmicoCiao @Janneman ,
Potrebbe esserci un lungo elenco di domande a cui rispondere per comprendere meglio qual è lo scopo del tuo modello e la sua applicabilità/copertura/generalizzazione:
- Qual è l'obiettivo della modellazione: esplicativo, predittivo, entrambi...?
- Come sono stati raccolti i dati? C'è qualche progettazione coinvolta nella raccolta dei dati?
- Altre domande per aiutare a riflettere sulle "prestazioni" previste del modello: modello migliore
Oltre alle metriche di valutazione che potresti utilizzare per confrontare le prestazioni esplicative del modello (R² / R² corretto, senza unità ), le prestazioni predittive (RMSE, MAE, ...), la significatività statistica (valore p del modello, valori p dei singoli termini, ...), la complessità/aggiustamento del modello (tramite AICc, BIC, ...), penso che potrebbe essere importante valutare e "debuggare" prima il modello attraverso la visualizzazione e l'analisi dei residui. Vedi Riduzione del modello per ulteriori idee sul confronto e la selezione dei modelli.
Trasformare una risposta significa trasformare sia la risposta media che quella della varianza. È quindi possibile verificare se i residui del modello di risposta trasformato rispettano meglio le ipotesi del modello di regressione rispetto al modello di risposta originale. Se la situazione non sembra migliorare, è possibile utilizzare un modello di regressione generalizzata, poiché gestisce la risposta media e la varianza in modo indipendente: questo tipo di modello utilizza una funzione di collegamento per trasformare la media in una funzione lineare delle variabili predittive e una funzione di varianza per tenere conto dell'eterogeneità della varianza nell'analisi, anziché cercare di trasformare tutto (ad esempio tramite la trasformata logaritmica). Trasformando completamente la risposta (tramite la trasformata logaritmica o la trasformazione Y di Box-Cox ) o utilizzando un modello di regressione generalizzata, si dovrebbe ottenere un modello altrettanto o più semplice del modello originale (meno termini nel modello, quindi AICc/BIC inferiori).
Non trasformerei le risposte a meno che non avessi una forte indicazione che potrebbe essere necessario (semplificazione del modello con risposta trasformata e migliori modelli residui mediante la trasformazione della risposta).
Per maggiori informazioni sulle differenze tra questi due tipi di modelli, vedere: Differenza tra "minimi quadrati" e "metodo lineare generalizzato" nel modello di adattamento .
Una volta effettuata questa valutazione statistica e se entrambi i modelli possono essere mantenuti, è possibile utilizzare metriche predittive normalizzate e/o senza unità per confrontare i modelli ed evitare qualsiasi confronto distorto dovuto alla trasformazione.
Spero che questa risposta ti sia d'aiuto,
Re: Valutare l'adattamento lineare delle prestazioni rispetto all'adattamento logaritmicoCiao @Victor_G ,
Innanzitutto, grazie per la tua risposta esauriente.
L'obiettivo del modello è di essere sia predittivo che esplicativo. I dati sono stati raccolti eseguendo un'analisi CCD multifattoriale.
Dalla distribuzione della risposta non si evince chiaramente se i dati siano distribuiti in modo normale o log-normale. Pertanto, utilizzo entrambi i metodi (uno lineare e l'altro logaritmo-trasformato) per valutare quale sia più predittivo ed esplicativo.
Ho adattato il modello utilizzando il processo graduale in cui i fattori con p < 0,05 vengono selezionati in un processo iterativo.
Ritieni che questa valutazione statistica sia sufficiente per mantenere entrambi i modelli? Inoltre, i valori di R-quadrato e di R-quadrato corretto per il modello lineare e log-lineare sono molto simili, tuttavia l'influenza sull'RMSE è piuttosto significativa. Per questo motivo, sto cercando un modo per confrontare entrambi i modelli in modo equo e ho scelto il modello migliore.
Quali altre metriche predittive normalizzate e/o azzerate potrei usare per confrontare i modelli ed evitare qualsiasi confronto distorto dovuto alla trasformazione? Hai già menzionato R2/R2adj.
Re: Valutare l'adattamento lineare delle prestazioni rispetto all'adattamento logaritmicoVorrei ribadire quanto detto da @Victor_G nel suo post. L'unica cosa che aggiungerei riguarda il confronto degli RMSE. L'RMSE del modello logaritmico trasformato non è ovviamente sulla stessa scala dell'RMSE del modello non trasformato.
Per correggere questo problema, puoi fare quanto segue:
- Ottieni previsioni in scala logaritmica per ogni osservazione.
- Trasforma all'indietro queste previsioni elevandole a potenza.
- Nota qui per esaminare la ritrasformazione di sbavatura (Duan) (Wikipedia ha una bella voce a riguardo). Questa essenzialmente moltiplica le previsioni retrotrasformate per una costante di sbavatura per correggere la trasformazione che si sta eseguendo (consultare la disuguaglianza di Jensen); altrimenti, si otterranno previsioni distorte.
- Utilizzare le previsioni retrotrasformate e i valori osservati non trasformati per calcolare i residui.
- Infine, calcola l'RMSE utilizzando tali residui.
È quindi possibile confrontare questo RMSE con l'RMSE del modello lineare standard.
Re: Valutare l'adattamento lineare delle prestazioni rispetto all'adattamento logaritmicoIn primo luogo, ci si aspetterebbe che la risposta fosse distribuita normalmente, come ipotizzato dal modello di regressione sotto l'ipotesi nulla. Qualsiasi effetto dei predittori produrrebbe una distribuzione non normale della risposta. La risposta condizionata dei residui è un modo migliore per valutare questa ipotesi.
In secondo luogo, si potrebbero anche considerare i due modelli come un interesse per l'effetto sulla risposta e l'altro come un interesse per l'effetto sull'ordine di grandezza della risposta.
Re: Valutare l'adattamento lineare delle prestazioni rispetto all'adattamento logaritmicoInnanzitutto, la distribuzione normale è un'ipotesi per i residui, non per i dati stessi, come spiegato da @Mark_Bailey . L'idea di base è che non ci siano pattern nei dati dopo la modellazione, ma solo errori casuali distribuiti normalmente, tutti pattern catturati dal modello di regressione.
In secondo luogo, un metodo di selezione graduale potrebbe non essere adeguato (in particolare con una soglia di p-value) per i dati sperimentali progettati, poiché i dati sono stati raccolti con un modello presunto (modello di superficie di risposta collegato al disegno composito centrale). A seconda della piattaforma utilizzata e delle regole applicate, si potrebbe creare un modello che non applica l'ereditarietà dell'effetto , quindi si potrebbe ottenere un modello apparentemente soddisfacente con prestazioni elevate, ma che non generalizza bene queste prestazioni (non è robusto). Applicare l'ereditarietà nelle regole o utilizzare un approccio Pruned (nel modello GenReg) potrebbe essere una soluzione migliore (oppure semplicemente iniziare con il modello presunto completo). Altre insidie della regressione graduale:
- Il valore R² del modello è distorto verso l'alto
- Le statistiche del test F e del chi-quadrato utilizzate per determinare la significatività degli effetti non hanno le distribuzioni pubblicizzate
- Gli intervalli di confidenza dei coefficienti del modello sono troppo piccoli (errori standard ridotti) e i coefficienti del modello sono sovrastimati
- I valori p per i coefficienti del modello non hanno più senso, perché si basano su confronti multipli impliciti
- La collinearità nei predittori del modello influenzerà notevolmente le variabili selezionate, rendendo la selezione arbitraria. Inoltre, non affrontiamo nemmeno adeguatamente la collinearità.
Vedere Gli algoritmi di selezione graduale rovinano quasi sempre le stime statistiche
Se il tuo obiettivo riguarda principalmente le prestazioni predittive, allora le tue metriche di valutazione dovrebbero essere scelte per dare priorità e far rispettare questo obiettivo. L'utilizzo di AICc o BIC come regola di arresto nella selezione graduale potrebbe essere più rilevante per la costruzione del modello, poiché la significatività statistica potrebbe non essere una priorità (anche se i termini importanti/ad effetto elevato avranno valori p bassi (significativi)). Per il confronto e la selezione, potresti calcolare il MAPE (errore percentuale assoluto medio) dai residui dei tuoi modelli seguendo questa equazione o il RMSPE (errore percentuale quadratico medio) con questa equazione .
Sono disponibili altre metriche, ma queste versioni "percentuali" dovrebbero aiutarti a confrontare i due modelli sulla stessa scala percentuale.
Spero che questa risposta complementare ti sia d'aiuto,
