Differenza nei risultati tra RSquare generalizzato e RSquareCiao a tutti,
Ho provato a trovare una risposta alla mia domanda nella comunità o nella guida di JMP, ma non ci sono riuscito. Quindi, apprezzerei davvero se qualcuno potesse indicarmi la giusta direzione qui o farmi sapere qual è il concetto di base che mi manca.
Sto adattando un modello alla mia risposta (variabile dipendente - DV), che è continua, utilizzando 3 variabili indipendenti (IV) [2 categoriali e 1 continua] e l'interazione tra 2 di esse (l'altra sto usando solo la principale effetto). Ho usato per la prima volta i minimi quadrati per questo, come puoi vedere nello screenshot qui sotto.
Tuttavia, il mio residuo per trama prevista non sembra molto buono (ho alcuni valori anomali).Indipendentemente dagli altri fattori che ho provato ad aggiungere al modello o alla trasformazione, non sono stato in grado di migliorare il mio grafico dei residui. Il meglio che ho potuto ottenere è stato utilizzare una modifica della mia risposta, che è quella che sto già mostrando sopra.
Successivamente, ho pensato di utilizzare il metodo di regressione penalizzata (più specificamente Ridge) attraverso la regressione generalizzata. Ho letto che può essere più robusto per i valori anomali (anche se introdurrà alcuni pregiudizi).
Ho iniziato a eseguire la regressione generalizzata con i minimi quadrati standard.
Secondo alcuni video che ho visto, questo dovrebbe produrre gli stessi risultati della regressione dei minimi quadrati.
Inoltre, secondo la guida di JMP ( https://www.jmp.com/support/help/en/15.2/index.shtml#page/jmp/training-and-validation-measures-of-fit.shtml ) il RSquare generalizzato fornito dovrebbe essere compreso tra 0 e 1 e semplificherà il RSquare tradizionale per risposte normali continue nell'impostazione dei minimi quadrati standard. Tuttavia, come puoi vedere dallo screenshot qui sotto, sebbene RSquare generalizzato corrisponda a RSquare per il set di addestramento, non corrisponde al set di convalida (ed è negativo). Le altre statistiche (es. RASE) corrispondono a entrambi i set (Training e Validation).
Qualche idea su cosa potrebbe succedere qui?
Grazie in anticipo per eventuali idee e suggerimenti!
PS: Per tutto ciò che sto facendo in questo post, ho utilizzato la piattaforma FitModel in JMP.
AnalyticsOggetto: Differenza nei risultati tra RSquare generalizzato e RSquareIl predittore continuo è coinvolto nel termine di interazione? Hai usato la stima per l'interazione omessa per determinare che dovrebbe essere rimossa o l'hai lasciata fuori all'inizio?
Quali trasformazioni della risposta hai provato?
La regressione penalizzata e la regressione ai minimi quadrati di solito non portano alle stesse stime dei parametri del modello, quindi il quadrato R non sarebbe lo stesso. La tua immagine mostra il risultato OLS, non la regressione della cresta.
I risultati della formazione e della convalida dovrebbero essere simili al miglior modello imparziale, ma non uguali. Come hai determinato la riserva per la convalida?
È possibile il quadrato R negativo.
Oggetto: Differenza nei risultati tra RSquare generalizzato e RSquareCiao @AnnaPaula ,
Se ho capito bene, hai un set di dati che hai suddiviso in base a una colonna di convalida di qualche tipo. Una cosa da considerare è se hai stratificato o meno la colonna di convalida sulla tua risposta per assicurarti che entrambe le colonne di addestramento e di convalida abbiano distribuzioni simili.
Poiché R ^ 2 è negativo, per me ciò indicherebbe che stai adattando eccessivamente i tuoi dati. Hai fatto qualche bootstrap sulle stime per vedere se i termini che hai nel tuo modello sono davvero importanti? Hai una base teorica per includere termini misti?
Inoltre, potresti provare Elastic Net poiché è una combinazione di Ridge e Lasso. Un'altra cosa da considerare è se la distribuzione delle risposte è veramente normale o se una distribuzione diversa è più adatta ai dati.
DS
Oggetto: Differenza nei risultati tra RSquare generalizzato e RSquarescusate @markbailey , Penso di non essere stato molto chiaro nella mia domanda.
Come hai affermato, non ho usato Ridge (quello sarebbe stato il mio prossimo passo). Ma prima, ho semplicemente usato di nuovo il metodo dei minimi quadrati (attraverso il modello di regressione generalizzata), per verificare se i risultati corrispondevano ai risultati utilizzando i minimi quadrati direttamente dalla finestra FitModel. Poiché i miei risultati non corrispondevano, non ho nemmeno finito per provare Ridge (che sarebbe stato il mio prossimo passo).
Ma sono curioso perché i risultati da LeastSquares a Generalized Regression non corrispondono ai risultati di LeastSquares direttamente da FitModel . Hai qualche idea?
Rispondere alle tue domande:
1. Il predittore continuo non è coinvolto nel termine di interazione.
2. Ho utilizzato per gradi e ho anche utilizzato le stime per determinare se l'effetto di interazione debba essere rimosso
3. Ho provato Log, Logistic, Logit e Reciprocal. Con il reciproco, il modello si deteriora molto. Con Logistic, c'è un leggero miglioramento nelle statistiche (R-square, RASE), ma non nei grafici residui. Quindi niente per giustificare l'uso della trasformazione secondo me.
4. La formazione e la convalida sono state definite in base ai gruppi che ho (si tratta di esperimenti al computer con diversi semi casuali). Ho utilizzato i semi per separare i dati in gruppi e ho utilizzato quella colonna come colonna di convalida del controllo.
5. La mia domanda relativa al negativo era per R-quadrato generalizzato , perché quando ho letto per la prima volta la guida di JMP, ho pensato che potesse andare solo tra 0 e 1. Ma sì, ho trovato la formula per quello e come possiamo vedere può anche andare sotto lo 0:
| Nagelkerke / Cragg & Uhler's (RSquare generalizzato) | 
|
Grazie!
Oggetto: Differenza nei risultati tra RSquare generalizzato e RSquareCiao @DS
Grazie mille per la tua risposta e le tue intuizioni. Sono molto utili e sono in linea con alcune cose a cui stavo pensando.
Fornirò alcune informazioni extra qui nel caso tu abbia più approfondimenti da dare (lo apprezzerei davvero).
1. La risposta stratificata basata sulle colonne di convalida ha distribuzioni (molto) simili. Come ho spiegato a Mark, la risposta è stata calcolata sulla base di esperimenti al computer generati utilizzando semi diversi (e ho utilizzato i semi per stratificarli in set di addestramento e convalida).
2. Supponiamo che io stia overfitting, la mia domanda principale è:
Perché il mio RSquare per il set di addestramento è 0.9995 utilizzando LeastSquares direttamente da FitModel o tramite la regressione generalizzata, mentre il mio RSquare per il set di convalida è 0.9791 utilizzando LeastSquares direttamente da FitModel e -1,24e + 12 utilizzando i minimi quadrati tramite la regressione generalizzata .
Non capisco le differenze nei valori RSquare per il set di convalida. I valori non dovrebbero essere gli stessi (anche se c'è overfitting)?
3. Penso di avere motivo di includere i termini nel mio modello. In primo luogo, la mia risposta è stata calcolata con dati diversi basati sul diverso numero di repliche (un IV categoriale) e diversi "formula / dati" basati sul diverso numero di cluster (secondo IV categoriale). La formula teorica nota per calcolare la risposta prende in considerazione il tasso di arrivo (IV continuo), perché quel valore influenza i dati generati.
Non sono sicuro di come eseguire il bootstrap in JMP. Ma ho provato diversi modelli manualmente (con e senza i termini) e ho anche provato a utilizzare Forward Stepwise. In entrambi i casi, i risultati hanno finito per mostrare le due IV categoriali + la loro interazione + la IV continua era il modello migliore.
4. Il tuo ultimo punto è in realtà qualcosa che speravo che qualcuno portasse a questa discussione.
La mia risposta non è in realtà normale (è LogNormal, infatti).
Quindi, lo aggiusterò quando proverò Ridge o ElasticNet.
Ma anche se la mia risposta non è normale, i valori RSquare per i set di convalida in entrambe le immagini che ho caricato non dovrebbero corrispondere?
Grazie mille per le tue intuizioni!
Oggetto: Differenza nei risultati tra RSquare generalizzato e RSquareHo notato nella tua trama residua originale che i valori anomali sembrano tutti essere nel set di controllo della convalida.
La regressione generalizzata utilizza una parametrizzazione diversa da Adatta ai minimi quadrati. Vedi questa pagina di dettagli statistici . Utilizza anche un metodo di stima diverso (MLE vs OLS).
Oggetto: Differenza nei risultati tra RSquare generalizzato e RSquareCiao @AnnaPaula ,
Non sono sicuro di seguire abbastanza come hai utilizzato i semi calcolati per generare la stratificazione della colonna di convalida. Tuttavia, se utilizzi la piattaforma della colonna di convalida in JMP Pro (che hai se puoi accedere a GenReg), puoi semplicemente stratificare sulla risposta (variabile Y) che stai adattando. Se tutti i tuoi valori anomali sono nel set di convalida, potresti voler ripensare a come ha generato i due set.
Un altro punto su questo punto che potresti considerare è di suddividere completamente in un'altra tabella di dati un set di dati di test che non viene utilizzato per adattare i dati. Se esegui più modelli sul set di addestramento / convalida, puoi quindi utilizzare il set di dati di test per vedere quale modello è davvero il migliore in termini di previsione, puoi farlo utilizzando la piattaforma Confronto modelli. Presumibilmente, il tuo obiettivo è avere la migliore capacità predittiva e devi testarla in qualche modo. Sembra che tu abbia un set abbastanza grande da poter fare qualcosa del genere. Ad esempio, crea una colonna di convalida con, ad es. 60% train, 20% validation, 20% test. Sottoporre il set di dati di test in una tabella completamente diversa, quindi utilizzare il restante sottoinsieme di addestramento / convalida per creare modelli.
Per le altre tue domande su R ^ 2 e sul fatto che sia negativo o non corrisponda del tutto, farei riferimento a ciò che ha detto Mark.
Se i tuoi dati sono distribuiti in modo logico, ti consigliamo di selezionare quell'opzione nella specifica del modello, poiché ciò modifica alcuni dei processi sottostanti alla modalità di adattamento.
Dopo aver creato un modello in SLS o GenReg o PLS, è possibile eseguire il bootstrap delle stime facendo clic con il pulsante destro del mouse sulla colonna Stima e selezionando bootstrap. Ti consigliamo di eseguire diverse migliaia e quindi esaminare le distribuzioni per vedere se la stima originale per il coefficiente di quel termine è vicina a una media globale di molte stime. JMP eseguirà alcuni calcoli con punti di partenza leggermente diversi e quindi genererà diverse stime diverse, puoi quindi vedere quella distribuzione e determinare se nel complesso 1) la stima del primo tentativo è stata accurata e 2) se il coefficiente per l'effetto sta realmente contribuendo molto o no. Ad esempio, nella piattaforma SLS, agli effetti viene assegnato un valore LogWorth FDR per stimare il tasso di false scoperte per quell'effetto. Se il valore è> 2 (la linea blu), allora ci sono prove significative che l'effetto contribuisce davvero al modello. D'altra parte, potrebbe essere più piccolo o vicino al valore 2. Se esegui il bootstrap di questi valori FDR, puoi trovare la media e l'intervallo per determinare se l'effetto è significativo o meno. Ho avuto momenti in cui un effetto sembrava essere borderline e, dopo aver avviato il FDR, la maggior parte delle volte in realtà non superava i 2 e quindi non era un fattore di importanza globale nel modello.
Come ultima nota, consiglio vivamente di eseguire diversi tipi di piattaforme di modellazione: albero potenziato, foresta di bootstrap, NN, ecc. Per vedere se un'altra piattaforma potrebbe funzionare meglio per i tuoi dati / situazione.
Spero che sia di aiuto!,
DS
Oggetto: Differenza nei risultati tra RSquare generalizzato e RSquareCiao @markbailey , grazie mille per essere tornato di nuovo da me. Apprezzo davvero tutto il tuo aiuto e la tua pazienza con le mie domande.
Sì, per questa risposta specifica tutti i miei valori anomali sono nel set di convalida. Ma per altre risposte che sto indagando, questo non è vero (i valori anomali rientrano sia nel set di convalida che in quello di addestramento).
In termini di ciò che sto modellando: avevo eseguito alcuni esperimenti utilizzando la simulazione di eventi discreti (con semi diversi in modo da avere dati diversi). Sulla base di ciò ho calcolato le mie quattro risposte di interesse (qui ne ho mostrata solo una).
Ora sto cercando di adattare un modello di regressione a tali risposte, perché il mio prossimo passo sarà utilizzare un modello di ottimizzazione per trovare l'impostazione migliore per le mie risposte di interesse.
Per quanto ne so, la parametrizzazione / codifica non dovrebbe influire sulle statistiche del modello. Mi manca qualcosa qui? ( Codifica )
Inoltre, per la regressione lineare e quando i residui sono normalmente distribuiti, OLS e MLE portano agli stessi coefficienti. Non è vero? ( OLS e MLE )
Secondo questo Tutorial sulla regressione generalizzata Pubblicato da @gail_massari , intorno alle 8:35, la mia comprensione è questa @brady_brady dice anche che i risultati tra MLE e OLS dovrebbero corrispondere.
Infine, ti dispiacerebbe indicarmi la pagina della guida di JMP che indica che la regressione generalizzata utilizza MLE invece di OLS quando la distribuzione è normale?
A causa dell'immagine sottostante (presa da JMP), avevo l'impressione sbagliata che la regressione generalizzata avrebbe comunque utilizzato OLS se la distribuzione scelta fosse stata Normale:
Grazie!
Oggetto: Differenza nei risultati tra RSquare generalizzato e RSquareGrazie!
Non avevo idea che fossimo in grado di eseguire il bootstrap della stima in JMP. Grazie per avermelo insegnato!
Grazie anche per tutti gli altri approfondimenti. Molto utile!
Oggetto: Differenza nei risultati tra RSquare generalizzato e RSquareHai ragione, le metriche per l'intero modello non dovrebbero cambiare con diverse parametrizzazioni. Ovviamente, le metriche per i singoli termini o parametri cambieranno.
Quindi i coefficienti non sono gli stessi con parametrizzazioni diverse, quindi anche le loro stime devono essere diverse.
La soluzione OLS e l'ottimizzazione MLE dovrebbero portare alle stesse stime con la stessa parametrizzazione con una risposta normalmente distribuita.
Ti ho fuorviato: il risultato dei minimi quadrati standard in GenReg è OLS. Vedere questa pagina per ulteriori dettagli.
