Testare la capacità predittiva del modello in JMP normaleSalve, ho sviluppato un modello basato su un set di dati di addestramento e vorrei testare la capacità predittiva del modello su un set di dati di test. In qualche modo posso farlo nel normale JMP? Il mio modello è costituito da effetti continui e categorici.Immagino che dovrei essere in grado di correggere i parametri del modello. O forse questo è un altro buon motivo per ottenere JMP Pro?
AnaliticaRe: Testare la capacità predittiva del modello nel normale JMPSono d'accordo, almeno una delle variabili nel mio modello segue una distribuzione completamente diversa nel set di dati di addestramento rispetto al set di dati di test (vedere il file allegato con test=0 uguale ai dati di addestramento e test=1 uguale ai dati di test). Un'analisi delle tendenze rivela che il livello di questa variabile si è spostato verso l'alto. Non sono sicuro del perché, ma questo è qualcosa su cui indagare.
Re: Testare la capacità predittiva del modello nel normale JMPSolo per aggiungere a @P_Bartell i commenti di...Se il tuo set di dati originale non è rappresentativo delle condizioni future, allora l'abilità di un modello creato da detto set di dati non è molto utile per la previsione. Ciò non significa che non hai imparato nulla, ma dovrai espandere il tuo spazio di inferenza per migliorare la prevedibilità del modello (e potrebbe essere necessario modificare il modello nel tempo).
Re: Testare la capacità predittiva del modello nel normale JMPQuando dici "periodo successivo" ... Il punto in cui stavo arrivando da wrt alla selezione casuale di osservazioni da inserire nel set di addestramento era basato sulla mia premessa che essenzialmente l'intera raccolta di dati fosse rappresentativa di una singola popolazione di studio. Ed eri disposto ad assumere questo wrt per modellare la valutazione. Ora, quando dici "più tardi"... quanto sei disposto ad assumere che l'idea di una singola popolazione sia vera? Certo, hai un numero limitato di osservazioni in entrambi i set di dati ... ma l'utilizzo di K fold è una forma di convalida incrociata che può aiutare con un numero relativamente piccolo di osservazioni per creare e valutare un modello per l'overfitting.
IMO, anche con un piccolo numero di osservazioni nel set di dati di test ... se il set di test non si adatta bene alle previsioni / ai risultati effettivi, allora questo ti sta dicendo qualcosa ... che il tuo modello NON è particolarmente efficace nel prevedere il futuro prestazione. Quindi, in un certo senso, il tuo set di test non ti sta deludendo ... ti sta urlando di procedere con cautela con l'adozione del modello di allenamento come vangelo.
Inoltre, non hai condiviso nessuna diagnostica del modello di addestramento ... forse ci sono alcuni problemi con il modello che renderebbero problematico l'adattamento di osservazioni future. Puoi condividere i dati o la diagnostica? Potrebbero esserci degli indizi nascosti in questi risultati.
Re: Testare la capacità predittiva del modello nel normale JMPGrazie.
Il mio set di dati di addestramento è composto da 95 osservazioni e ho applicato la regressione graduale con selezione k-fold. Quindi ho ridotto ulteriormente il modello con i minimi quadrati ordinari applicando un limite di significatività del 5%. L'idea era di utilizzare una nuova serie di osservazioni (da un periodo di tempo successivo) come set di dati di test, il che significa che i dati non vengono assegnati in modo casuale al set di dati di addestramento e test. Pensi che ci sia un problema con questa procedura?
Applicando la tua procedura ho ottenuto un R-quadrato molto scarso per il test dei dati di test.Penso che il problema sia che il mio set di dati di test è troppo piccolo (ha solo 20 osservazioni), inoltre i valori delle variabili esplicative hanno un intervallo inferiore rispetto al set di dati di addestramento. Trovo che non sia davvero possibile valutare la capacità predittiva del mio modello con questo set di dati di test.
Re: Testare la capacità predittiva del modello nel normale JMPQuale piattaforma è stata utilizzata per creare il modello?
Re: Testare la capacità predittiva del modello nel normale JMPUna domanda per te ... si spera che tu abbia selezionato casualmente le osservazioni da includere nel tuo set di "allenamento"? In caso contrario, farei marcia indietro e inizierei con quello. Ammesso che tu l'abbia fatto...
Bene, sì, se si desidera valutare i modelli utilizzando un costrutto di addestramento/convalida/test, che in genere è una best practice per il lavoro di modellazione predittiva, allora JMP Pro è la strada da percorrere. Molte funzionalità molto utili come le piattaforme Model Comparison e Formula Depot che mirano specificamente a una valutazione multipla di modelli molto efficiente.
Ma, in mancanza di JMP Pro, ecco due semplici idee da prendere in considerazione. Salva il modello che hai creato con il set di dati di addestramento in una nuova formula di colonna chiamandola "Valori previsti" o un costrutto simile, in una tabella di dati contenente il set di dati "test". Ora dovresti avere previsioni della risposta nella colonna. Ora traccia un grafico Fit Y per X dei "valori previsti" e dei valori effettivi per le risposte ed esamina la "bontà di adattamento" dei due insiemi di risposte. Forzerei i limiti degli assi x e y uguali sul grafico a tutti, ma replicherei il rapporto della piattaforma del modello di adattamento tra il grafico effettivo e quello previsto. Usa l'occhio per trovare quella linea a 45 gradi... o semplicemente sovrapponine una in Costruttore di grafici.
Un'altra variazione consiste nel sottrarre i valori previsti dai valori effettivi e tracciare i residui in un formato a istogramma.
Queste tecniche non faranno nulla per valutare l'adattamento eccessivo ... ma se la tua enfasi è strettamente sulla previsione ... beh, è un inizio.
