Rsquare previstoVolevo utilizzare Rsquare previsto per verificare se il mio modello si adatta o meno.Non ho molta familiarità con questo, quindi ho alcune domande su Rsquare previsto.
1. Quanto più piccolo per il previsto Rsquare è un segno di overfitting?Se l'R-quadrato corretto è 0,94 e l'R-quadrato previsto è 0,84, va bene?
2. Non capisco appieno come è stato calcolato il previsto Rsquare.So che ci vuole un punto dati ogni volta, ottieni un modello di regressione, rimetti quel punto dati e ottieni un R-quadrato. Ha ripetuto per tutti i punti dati e ha fatto la media degli R-quadrati ottenuti.Ma come ottenere quei modelli di regressione? JMP utilizza un approccio di machine learning per ottenere il modello? Questi modelli di regressione sono diversi dal modello che scelgo?
3. Ho scoperto che non è sempre vero dire che l'R-quadro previsto scenderà di più se ci sono più fattori nel modello. Ho scoperto che, ad esempio, il modello con 2 fattori può avere un R-quadrato previsto inferiore rispetto a un modello con 3 fattori (sebbene il terzo fattore abbia un valore p (molto) maggiore di 0,05).In questo caso, devo includere 2 o 3 fattori nel modello?
Ri: Rsquare previstoSolo per aggiungere ai commenti di Mark, uno dei metodi per determinare il modello rispetto alle specifiche è utilizzare il delta tra R-quadrato e R-quadrato regolato. Gli R-quares aumentano all'aumentare del numero di gradi di libertà nel modello (indipendentemente dal fatto che questi DF siano importanti). L'R-quadrato aggiustato tiene conto dell'"importanza" dei DF nel modello, quindi aggiungendo gradi di libertà non importanti al modello, il delta aumenterà (l'R-quadrato aggiustato non aumenterà alla velocità dell'R-quadrato) .
Ri: Rsquare previstoNon dovresti usare il quadrato R per la selezione del modello. Aumenta sempre quando rendi un modello più complesso (ad esempio, aggiungi un termine al predittore lineare nella regressione). Diminuisce sempre quando rendi un modello meno complesso.
L'uso della convalida incrociata, tuttavia, può rendere il quadrato R più utile per la selezione del modello. Ci si potrebbe aspettare che il quadrato R di convalida non aumenti man mano che si adattano eccessivamente i dati. Nello specifico:
- Non c'è modo di stabilire quanta differenza tra il quadrato R di addestramento e il quadrato R di convalida indichi un adattamento eccessivo. È una decisione soggettiva. Si può dire che il modello per il quale i due R quadrati stimano l'overfitting è il minimo di tutti i modelli candidati.
- Esiste un calcolo efficiente delle statistiche "lascia uno fuori" utilizzando la matrice "cappello" o "proiezione".
- Non userei la modifica in R quadrato per selezionare il modello. Prenderei in considerazione altre informazioni ma soprattutto prestare attenzione a un criterio come AICc o BIC.
