Valutare i modelli in GenRegCiao,
Quando si costruisce un modello utilizzando la regressione generalizzata, se si utilizzano i minimi quadrati standard, con o senza una colonna di convalida, JMP restituisce una serie di metriche utili sotto lo schema Riepilogo modello. Tuttavia, se utilizzo un metodo diverso - Selezione in avanti o Lazo o altro - in modo da poter ottenere altri metodi di convalida oltre alla colonna di convalida, non ci sono singole metriche che posso confrontare. Quindi, se ho una colonna di convalida, posso ottenere qualcosa come un R^2 del set di addestramento e del set di convalida. Ma se uso leave-one-out, o AICc, o un set di holdback o qualsiasi altra cosa, non riesco a ottenere statistiche di riepilogo del modello complessive buone. Presumo che i grafici del percorso della soluzione siano il meglio che posso ottenere.
I grafici del percorso della soluzione non sono particolarmente utili, tuttavia, se sto cercando di confrontare più approcci. Se torno al tradizionale passo passo, posso eseguire lo stesso insieme di termini candidati attraverso la selezione AICc e la selezione BIC, vedere che ottengo modelli diversi e confrontare R^2 o RMSE o AICc o BIC o qualche altro modello statistica riassuntiva per vedere quale modello è "migliore". Se nel tradizionale stepwise scelgo una convalida incrociata K-Fold, posso ottenere una statistica "RSquare K-Fold".
Quali sono gli analoghi di questi strumenti nella regressione generalizzata? Sono davvero entusiasta di sfruttare la flessibilità che GenReg può offrire, ma non so come scegliere tra le varie opzioni. Sono sicuro che c'è qualcosa di semplice, ma essendo relativamente nuovo in GenReg non sono sicuro di cosa sia.
Grazie,
Michael
Re: Valutazione dei modelli in GenRegGrazie per aver collaborato con noi su questo e assicurati di aggiungere ciò che vorresti vedere alla lista dei desideri.
Migliore,
Fattura
Re: Valutazione dei modelli in GenRegSì... Sto lavorando con alcuni set di dati più piccoli, motivo per cui sono propenso per il Leave-one-out, ma questo mi riporta alla mia frustrazione nel provare a valutare il modello. Mi piacerebbe qualcosa di un po' più quantitativo che spieghi perché JMP arriva a un modello particolare, piuttosto che semplicemente premere un pulsante Vai e sperare per il meglio.
Re: Valutazione dei modelli in GenRegMichael,
Credo che tu possa realizzare ciò che desideri con una colonna di convalida a 3 livelli.Formazione, convalida e test.I dati del test non vengono utilizzati nell'adattamento del modello e RSquare dal set di test viene quindi confrontato con RSquare per i set di addestramento e convalida.Più è vicino, meglio è.Questo è un po' più difficile da realizzare con un set di dati più piccolo (< 100 righe), ma ho trovato che è un ottimo modo per determinare quanto bene il tuo "modello tutto compreso" predicerà i dati futuri.
Per quanto riguarda il tuo ultimo punto, credo che il K-fold leave-one-out sia una delle migliori tecniche di convalida incrociata che puoi scegliere per set di dati più piccoli.
Re: Valutazione dei modelli in GenRegOk Bill,
Grazie. Sto ancora imparando, ma penso di aver capito un po' di più ora.
Penso che quello che sto ottenendo è che un R^2 all-in (su tutte le righe dei dati) sia utile, ma sto cercando qualcosa di più simile a questo:
La differenza tra le statistiche di adattamento del modello per il set di addestramento rispetto al set di convalida offre una prospettiva su quanto sia robusto il modello rispetto alle osservazioni che vengono trattenute dal processo di adattamento. Una delle cose che mi piace cercare quando costruisco modelli è una statistica che mi dice che se dovessi ottenere più osservazioni, il mio modello sarebbe comunque appropriato.
Forse l'unico modo per farlo è creare una colonna di convalida e identificare casualmente una serie di osservazioni da trattenere, piuttosto che tentare di eseguire una convalida multipla (identificando più serie di osservazioni da trattenere). Il mio pensiero è che la convalida multiplo porterebbe a un modello più robusto, ma forse non è vero?
Michael
Re: Valutazione dei modelli in GenRegMichael,
Ho avuto ulteriore corrispondenza con lo sviluppatore in base alla tua risposta e di seguito è riportato ciò che ha inviato;
"... quello che sta confrontando è l'R^2 nel confronto del modello (per un modello di selezione in avanti costruito in genereg) con l'R^2 di un modello di selezione in avanti costruito nella piattaforma graduale. L'R^2 nel suo modello di confronto (.8704) è calcolato sull'intero dato. L'output di Stepwise in realtà include anche queste informazioni, l'ho cerchiato in rosso di seguito. Il valore che ha cerchiato (.8514) nel rapporto Stepwise è il k volte R^2. Quindi il problema è che sta confrontando un R^2 sull'intero dato con un R^2 per k volte". 
Lo sviluppatore prosegue parlando delle differenze tra le due piattaforme;
"....(quando) confrontando la selezione in avanti in genere con la selezione in avanti in Stepwise. Ci sono alcune sottili differenze nel modo in cui le due piattaforme effettuano la selezione in avanti. Genreg esamina i test di punteggio per decidere quale effetto portare in seguito, Stepwise esamina i test di wald".
E infine il calcolo per K-fold RSquare in Stepwise di Fang Chen nel gruppo di sviluppo:
"Il K-Fold RSquare in Stepwise viene calcolato seguendo la definizione generale di RSquare = 1 – SSE/SST, dove SSE viene calcolato sulla base dei residui di ciascuno dei campioni di K holdout.
Piega K RSquadro = 1 - ResV`*ResV / ( (Y-YMean)`*(Y-YMean)"
Quest'ultimo bit potrebbe essere il punto cruciale di ciò che stavi cercando sul motivo per cui i valori di RSquare sono diversi.Ho aggiunto gli altri bit nella speranza di fornire una risposta più completa.
HTH
Re: Valutazione dei modelli in GenRegFattura,
Sono ancora confuso. Lo sviluppatore GenReg dice che GenReg sta facendo un confronto del modello (R^2? qualcos'altro?) ma non so dove trovarlo, vedere il mio post originale dicendo che non sono riuscito a trovare alcuna metrica. Interessante anche il fatto che afferma che il confronto graduale e il modello calcolano R^2 allo stesso modo. È strano poiché ho chiaramente ottenuto due valori diversi per R^2.
Grazie,
Michael
Re: Valutazione dei modelli in GenRegMichael,
Si prega di vedere la spiegazione di seguito da parte di uno degli sviluppatori della piattaforma GenReg.
"Quando calcoliamo R^2, stiamo confrontando quanto bene il nostro modello si adatta rispetto a un modello nullo (solo intercettazione). Sul set di addestramento, è ovvio come dovremmo farlo: confrontiamo il nostro adattamento con il modello di sola intercettazione stimato sul set di addestramento. Sul set di convalida, c'è una certa ambiguità. In genere, confrontiamo il modello che adattiamo al modello di sola intercettazione costruito sul set di allenamento . Nel confronto graduale e del modello, l'R^2 viene calcolato confrontando il modello adattato con il modello di sola intercettazione costruito sul set di validazione ."
Lo sviluppatore ha continuato dicendo che sente "una risposta non è necessariamente giusta o sbagliata".Detto questo, però, preferisce fortemente il modo in cui viene fatto in GenReg. 
Re: Valutazione dei modelli in GenReg@Bill_Worley Grazie! In apparenza questo è un approccio utile. Non è d'accordo con ciò che ottengo in Stepwise. A quale piattaforma dovrei credere? (GenReg con Forward Selection, Leave One Out, 38 righe di dati nella tabella, rispetto a Stepwise, k-Fold dal triangolo rosso con 38 pieghe specificate.) Vedi screenshot. Differenze abbastanza evidenti in R^2 e differenze minori nella stima del coefficiente.
Re: Valutazione dei modelli in GenRegCiao Michele,
La mia prima reazione alla tua domanda è di suggerire di utilizzare il confronto dei modelli.Pubblica le formule di previsione che desideri confrontare con il Formula Depot e vai da lì o vai direttamente dal report Gen Reg ad Analizza > Modellazione predittiva > Confronto modelli.Tuttavia, dovrai prima salvare le formule di previsione nella tabella dei dati per utilizzare questa opzione.
HTH
Migliore,
Fattura
