Differenza nei risultati tra RSquare generalizzato e RSquareCiao a tutti,
Ho provato a trovare una risposta alla mia domanda nella community o nella guida di JMP, ma non ci sono riuscito. Quindi, apprezzerei davvero se qualcuno potesse indicarmi la giusta direzione qui o farmi sapere qual è il concetto di base che mi manca.
Sto adattando un modello alla mia risposta (variabile dipendente - DV), che è continua, utilizzando 3 variabili indipendenti (IV) [2 categoriche e 1 continua] e l'interazione tra 2 di esse (l'altra sto usando solo la variabile principale effetto). Per prima cosa ho utilizzato i Minimi Quadrati, come puoi vedere nello screenshot qui sotto.
Tuttavia, il mio residuo in base alla trama prevista non sembra molto buono (ho alcuni valori anomali).Non importa quali altri fattori ho provato ad aggiungere al modello - o alla trasformazione - non sono riuscito a migliorare il grafico dei residui. Il meglio che ho potuto ottenere è stato modificare la mia risposta, che è quella che sto già mostrando sopra.
Successivamente, ho pensato di utilizzare il metodo di regressione penalizzata (più specificamente Ridge) attraverso la regressione generalizzata. Ho letto che può essere più robusto rispetto ai valori anomali (anche se introdurrà alcuni pregiudizi).
Ho iniziato a eseguire la regressione generalizzata con i minimi quadrati standard.
Secondo alcuni video che ho visto, questo dovrebbe produrre gli stessi risultati della regressione dei minimi quadrati.
Inoltre, secondo la guida di JMP ( https://www.jmp.com/support/help/en/15.2/index.shtml#page/jmp/training-and-validation-measures-of-fit.shtml ) l'RSquare generalizzato fornito dovrebbe essere compreso tra 0 e 1 e si semplificherà nell'RSquare tradizionale per risposte normali continue nell'impostazione dei minimi quadrati standard. Tuttavia, come puoi vedere dallo screenshot qui sotto, sebbene l'RSquare generalizzato corrisponda all'RSquare per il set di allenamento, non corrisponde al set di convalida (ed è negativo). Le altre statistiche (ad esempio RASE) corrispondono ad entrambi i set (Formazione e Validazione).
Qualche idea su cosa potrebbe succedere qui?
Grazie in anticipo per eventuali idee e suggerimenti!
PS: per tutto ciò che faccio in questo post, ho utilizzato la piattaforma FitModel in JMP.
Combinazione e pulizia dei datiRi: Differenza nei risultati tra RSquare generalizzato e RSquareGrazie, Marco! Ho appena aperto un ticket a riguardo.
Pubblicherò la risposta qui quando l'avrò.Ri: Differenza nei risultati tra RSquare generalizzato e RSquareNon posso dire da questa discussione cosa potrebbe causare una differenza. Ti suggerisco di contattare il supporto tecnico JMP ( support@jmp.com ) sulla questione.
Ri: Differenza nei risultati tra RSquare generalizzato e RSquareGrazie per tutti i dettagli e per avermi indicato ulteriori informazioni sul GenReg.
Ma sono ancora confuso in questo caso (assumendo una distribuzione normale per la risposta), cosa spiegherebbe le differenze nei valori Rsquare generalizzati tra i set di validazione tra le due "piattaforme" (Fit Least Squares e GenReg)?
Scusa se ho frainteso qualcosa che hai detto.
Grazie!
Ri: Differenza nei risultati tra RSquare generalizzato e RSquareHai ragione, le metriche per l'intero modello non dovrebbero cambiare con parametrizzazioni diverse. Naturalmente, le metriche per i singoli termini o parametri cambieranno.
Quindi i coefficienti non sono gli stessi con parametrizzazioni diverse, quindi anche le loro stime devono essere diverse.
La soluzione OLS e l'ottimizzazione MLE dovrebbero portare alle stesse stime con la stessa parametrizzazione con una risposta normalmente distribuita.
Ti ho ingannato: il risultato dei minimi quadrati standard in GenReg è OLS. Vedere questa pagina per ulteriori dettagli.
Ri: Differenza nei risultati tra RSquare generalizzato e RSquareGrazie!
Non avevo idea che fossimo riusciti a eseguire il bootstrap della stima in JMP. Grazie per avermelo insegnato!
Grazie anche per tutti gli altri spunti. Molto utile!
Ri: Differenza nei risultati tra RSquare generalizzato e RSquareCIAO @Mark_Bailey , grazie mille per avermi risposto di nuovo. Apprezzo davvero tutto il vostro aiuto e la vostra pazienza con le mie domande.
Sì, per questa risposta specifica tutti i miei valori anomali sono nel set di convalida. Ma per altre risposte che sto esaminando, questo non è vero (i valori anomali rientrano sia nei set di convalida che in quelli di addestramento).
In termini di ciò che sto modellando: ho eseguito alcuni esperimenti utilizzando la simulazione di eventi discreti (con semi diversi in modo da avere dati diversi). Sulla base di ciò ho calcolato le mie quattro risposte di interesse (qui ne ho mostrato solo una).
Ora sto cercando di adattare un modello di regressione a quelle risposte, perché il mio prossimo passo sarà utilizzare un modello di ottimizzazione per trovare l'impostazione migliore per le mie risposte di interesse.
Per quanto ne so, la parametrizzazione/codifica non dovrebbe influire sulle statistiche del modello. Mi sto perdendo qualcosa qui? ( Codifica )
Inoltre, per la regressione lineare e quando i residui sono distribuiti normalmente, OLS e MLE portano agli stessi coefficienti. Non è vero? ( OLS e MLE )
Secondo questo Esercitazione sulla regressione generalizzata Pubblicato da @gail_massari , intorno alle 8:35, da quello che ho capito @brady_brady dice anche che i risultati tra MLE e OLS dovrebbero corrispondere.
Infine, ti dispiacerebbe indicarmi la pagina della guida di JMP che indica che la regressione generalizzata utilizza MLE anziché OLS quando la distribuzione è normale?
A causa dell'immagine seguente (presa da JMP), avevo l'impressione sbagliata che la regressione generalizzata avrebbe comunque utilizzato OLS se la distribuzione scelta fosse stata Normale:
Grazie!
Ri: Differenza nei risultati tra RSquare generalizzato e RSquareCIAO @AnnaPaula ,
Non sono sicuro di seguire bene il modo in cui hai utilizzato i semi calcolati per generare la stratificazione della colonna di convalida. Tuttavia, se utilizzi la piattaforma della colonna di convalida in JMP Pro (di cui disponi se puoi accedere a GenReg), puoi semplicemente stratificare in base alla risposta (variabile Y) che stai adattando. Se tutti i tuoi valori anomali sono nel set di validazione, potresti voler ripensare a come ha generato i due set.
Un altro punto a riguardo che potresti prendere in considerazione è la suddivisione completa: in un'altra tabella dati un set di dati di test che non viene utilizzato per adattare i dati. Se esegui più modelli sul set di addestramento/convalida, puoi quindi utilizzare il set di dati di test per vedere quale modello è davvero il migliore in termini di previsione; puoi farlo utilizzando la piattaforma di confronto modelli. Presumibilmente, il tuo obiettivo è avere la migliore capacità predittiva e devi testarlo in qualche modo. Sembra che tu abbia un set abbastanza grande da poter fare qualcosa del genere. Ad esempio, crea una colonna di convalida con, ad esempio, 60% training, 20% validation, 20% test. Sottoimposta il set di dati del test in una tabella completamente diversa e quindi utilizza il rimanente sottoinsieme di training/convalida per creare modelli.
Per le altre tue domande su R ^ 2 e sul fatto che sia negativo o non del tutto corrispondente, farei riferimento a ciò che ha detto Mark.
Se i tuoi dati sono distribuiti in modo log-normale, ti consigliamo di selezionare tale opzione nelle specifiche del modello, poiché ciò modifica alcuni dei processi sottostanti dietro il modo in cui esegue l'adattamento.
Dopo aver creato un modello in SLS o GenReg o PLS, è possibile eseguire il bootstrap delle stime facendo clic con il pulsante destro del mouse sulla colonna Stima e selezionando bootstrap. Ti consigliamo di eseguire diverse migliaia e poi osservare le distribuzioni per vedere se la stima originale per il coefficiente di quel termine è vicina alla media globale di molte stime. JMP eseguirà alcuni calcoli con punti di partenza leggermente diversi e pertanto genererà diverse stime diverse, sarà quindi possibile visualizzare la distribuzione e determinare se nel complesso 1) la stima del primo tentativo era accurata e 2) se il coefficiente per l'effetto contribuisce realmente molto o no. Ad esempio, nella piattaforma SLS, agli effetti viene assegnato un valore FDR LogWorth per stimare il tasso di false scoperte per quell'effetto. Se il valore è >2 (la linea blu), allora ci sono prove significative che l'effetto contribuisce davvero al modello. D'altra parte, potrebbe essere più piccolo o vicino al valore 2. Se esegui il bootstrap di questi valori FDR, puoi trovare la media e l'intervallo per determinare se l'effetto è significativo o meno. Ho avuto momenti in cui un effetto sembrava potesse essere al limite e, dopo aver avviato l'FDR, la maggior parte delle volte in realtà non superava il valore 2 e quindi non era un fattore realmente importante a livello globale nel modello.
Come ultima nota, consiglio vivamente di eseguire più tipi diversi di piattaforme di modellazione: albero potenziato, foresta bootstrap, NN, ecc. per vedere se un'altra piattaforma potrebbe funzionare meglio per i tuoi dati/situazione.
Spero che questo ti aiuti!,
DS
Ri: Differenza nei risultati tra RSquare generalizzato e RSquareHo notato nella trama residua originale che i valori anomali sembrano essere tutti nel set di resistenze di convalida.
La regressione generalizzata utilizza una parametrizzazione diversa rispetto a quella di Adatta ai minimi quadrati. Vedi questa pagina di dettagli statistici . Utilizza anche un metodo di stima diverso (MLE vs OLS).
Ri: Differenza nei risultati tra RSquare generalizzato e RSquareCIAO @SDF1
Grazie mille per la tua risposta e i tuoi approfondimenti. Sono molto utili e si allineano con alcune cose che stavo pensando.
Fornirò qui alcune informazioni aggiuntive nel caso in cui tu abbia ulteriori approfondimenti da fornire (lo apprezzerei davvero).
1. La risposta stratificata basata sulle colonne di validazione ha distribuzioni (molto) simili. Come ho spiegato a Mark, la risposta è stata calcolata sulla base di esperimenti al computer generati utilizzando diversi seed (e ho utilizzato i seed per stratificarli in set di training e validazione).
2. Supponiamo che mi stia adattando eccessivamente, la mia domanda principale è:
Perché il mio RSquare per il set di training è 0,9995 utilizzando LeastSquares direttamente da FitModel o tramite la regressione generalizzata, mentre il mio RSquare per il set di validazione è 0,9791 utilizzando LeastSquares direttamente da FitModel e -1.24e+12 utilizzando i minimi quadrati attraverso la regressione generalizzata .
Non capisco le differenze nei valori RSquare per il set di convalida. I valori non dovrebbero essere gli stessi (anche se c'è un overfitting)?
3. Penso di avere motivo di includere i termini nel mio modello. Innanzitutto, la mia risposta è stata calcolata con dati diversi in base al diverso numero di repliche (un IV categoriale) e "formula/dati" diversi in base al diverso numero di cluster (secondo IV categoriale). La nota formula teorica per calcolare la risposta prende in considerazione il tasso di arrivo (IV continua), perché tale valore influisce sui dati generati.
Non sono sicuro di come eseguirei il bootstrap in JMP. Ma ho provato manualmente diversi modelli (con e senza i termini) e ho anche provato a utilizzare Forward Stepwise. In entrambi i casi, i risultati hanno mostrato che i due IV categoriali + la loro interazione + l’IV continuo erano il modello migliore.
4. Il tuo ultimo punto è in realtà qualcosa che speravo qualcuno portasse in questa discussione.
La mia risposta in realtà non è Normal (in effetti è LogNormal).
Quindi, lo adeguerò quando proverò Ridge o ElasticNet.
Ma anche se la mia risposta non è Normale, i valori RSquare per i set di convalida in entrambe le immagini che ho caricato non dovrebbero corrispondere?
Grazie mille per i tuoi approfondimenti!
Ri: Differenza nei risultati tra RSquare generalizzato e RSquareScusa @Mark_Bailey , Credo di non essere stato molto chiaro nella mia domanda.
Come hai affermato, non ho usato Ridge (quello sarebbe stato il mio prossimo passo). Ma prima, ho utilizzato nuovamente il metodo dei minimi quadrati (attraverso il modello di regressione generalizzata), per verificare se i risultati corrisponderebbero ai risultati utilizzando LeastSquares direttamente dalla finestra FitModel. Poiché i miei risultati non corrispondevano, non ho nemmeno provato Ridge (che sarebbe stato il mio prossimo passo).
Ma sono curioso perché i risultati di LeastSquares tramite Regressione generalizzata non corrispondono ai risultati di LeastSquares direttamente da FitModel . Hai qualche idea?
Rispondendo alle tue domande:
1. Il predittore continuo non è coinvolto nel termine di interazione.
2. Ho utilizzato le stime per gradi e ho utilizzato anche io stesso le stime per determinare se l'effetto di interazione dovesse essere rimosso
3. Ho provato Log, Logistic, Logit e Reciprocal. Con il reciproco il modello si deteriora parecchio. Con Logistic si riscontra un leggero miglioramento nelle statistiche (R-square, RASE), ma non nei grafici residui. Quindi nulla che giustifichi l'uso della trasformazione secondo me.
4. La formazione e la validazione sono state definite in base ai gruppi che ho (si tratta di esperimenti al computer con diversi semi casuali). Ho utilizzato i seed per separare i dati in gruppi e ho utilizzato quella colonna come colonna di convalida del controllo.
5. La mia domanda relativa al negativo era per R-quadrato generalizzato , perché quando ho letto per la prima volta la guida di JMP, ho pensato che potesse andare solo tra 0 e 1. Ma sì, ho trovato la formula per quello e come possiamo vedere può anche scendere sotto lo 0:
| Nagelkerke / Cragg & Uhler's (RSquare generalizzato) | 
|
Grazie!
Ri: Differenza nei risultati tra RSquare generalizzato e RSquareCIAO @AnnaPaula ,
Se ho capito bene, hai un set di dati che hai suddiviso in base a una colonna di convalida di qualche tipo. Una cosa da considerare è se hai stratificato o meno la colonna di convalida sulla tua risposta per assicurarti che entrambe le colonne di training e di convalida abbiano distribuzioni simili.
Poiché R ^ 2 è negativo, per me ciò indicherebbe che stai adattando eccessivamente i tuoi dati. Hai eseguito il bootstrap delle stime per vedere se i termini presenti nel tuo modello sono davvero importanti? Disponete di una base teorica per includere termini misti?
Inoltre, potresti provare Elastic Net poiché è una combinazione di Ridge e Lasso. Un'altra cosa da considerare è se la distribuzione delle risposte è veramente normale o se una distribuzione diversa è più adatta ai tuoi dati.
DS
Ri: Differenza nei risultati tra RSquare generalizzato e RSquareIl predittore continuo è coinvolto nel termine di interazione? Hai utilizzato la stima per l'interazione omessa per determinare che dovesse essere rimossa o l'hai tralasciata fin dall'inizio?
Quali trasformazioni della risposta hai provato?
La regressione penalizzata e la regressione dei minimi quadrati solitamente non portano alle stesse stime dei parametri del modello, quindi l’R quadrato non sarebbe lo stesso. La tua immagine mostra il risultato OLS, non la regressione Ridge.
I risultati della formazione e della convalida dovrebbero essere simili a quelli del miglior modello imparziale, ma non uguali. Come avete determinato il set di resistenze per la validazione?
Il quadrato R negativo è possibile.
