Screening di previsioneHo ascoltato con grande interesse la lezione sui modelli predittivi e il suggerimento di salvare la formula di previsione nel set di dati, quindi rieseguire lo screening di previsione con le variabili iniziali come X e aggiungendo le formule di previsione come nuove X.
Creazione di modelli predittivi migliori utilizzando JMP Pro - Screening dei modelli
Oggi ho discusso con un collega, e la sua reazione è stata "parlando di un adattamento eccessivo dei modelli!"
Questo approccio si sovrapporrà ancora di più ai modelli (anche se utilizziamo dati di convalida diversi dai dati che creano i modelli). L'opinione del mio collega era che usiamo gli stessi dati due volte.
Stiamo lavorando sul binomio Y (Health or Sick) e l'approccio migliora effettivamente la previsione, ma abbiamo appena introdotto più over-fitting in modo tale che anche la convalida sia ora errata/over-fitted? #previsione, #overfitting, #screening
AnalisifinestreRe: screening di previsioneNon ho guardato questo e sarò interessato a vedere le risposte, ma ho una reazione iniziale.L'utilizzo della formula di previsione dalla piattaforma Model Screen e l'esecuzione di nuovo di tale piattaforma con la formula di previsione insieme ad altri predittori suona un po' come un adattamento eccessivo.Tuttavia, penso che sia un modo per costruire modelli di insieme: se la formula di previsione proviene da un modello e il nuovo modello utilizza quell'output (insieme ad altri predittori) per creare un nuovo modello, allora è un modello di insieme che potrebbe essere superiore al primo modello senza sovradattamento.La questione di quali dati di convalida utilizzare mi sembra più sottile.Userei gli stessi dati di convalida, altrimenti non puoi davvero dire se il nuovo modello è migliore di quello vecchio.Forse potresti salvare entrambe le formule di previsione e quindi applicarle a un set di convalida diverso per vedere se le prestazioni sono migliorate o meno.
Re: screening di previsioneCiao @ChristerMalm ,
La sessione di ieri sulla modellazione predittiva è stata molto istruttiva. Non ricordo l'esatta discussione su quell'argomento, ma sarei cauto nell'usare una formula di previsione per il risultato come uno degli input per lo stesso risultato. La mia comprensione della modellazione di insieme è che vengono costruiti diversi modelli, ad esempio NN, albero potenziato, XGBoost, ecc. E quindi vengono mediati insieme. Puoi farlo attraverso la piattaforma Model Comparison utilizzando il pulsante rosso caldo, oppure puoi scrivere una formula di colonna che lo faccia per te. Il modello di insieme dovrebbe adattarsi ai dati meglio di qualsiasi modello da solo, ma non è sempre così. Una cosa da tenere a mente, dipende davvero da quale sia l'obiettivo finale e da quanto sia importante l'interpretabilità per il modello. Se si comprende l'equazione del modello e come gli input si traducono in output, allora gli insiemi di modelli e i modelli non lineari complicati potrebbero non essere il modo migliore per procedere.
Penso che una delle cose di cui parlava Russ Wolfinger sia davvero importante trovare il giusto schema di convalida per i tuoi dati. Se si sceglie l'insieme sbagliato di dati di addestramento e convalida, si potrebbero avere attacchi terribili, anche se i dati sono buoni, come l'esempio del documento Nature di cui ha parlato. Probabilmente sarebbe meglio dedicare più tempo alla determinazione del miglior schema di convalida e quindi lavorare alla generazione del modello.
Sembra anche che tu possa avere un set di dati sbilanciato, il che significa molto più di un'occorrenza che di un'altra. In tal caso, ti consigliamo di esplorare la modifica della soglia di probabilità logistica per vedere se ciò aiuta la tua previsione. Inoltre, forse si consideri l'approccio della matrice di profitto per assegnare valore al costo di falsi positivi e falsi negativi. Chris Gotwalt ha anche dimostrato un approccio interessante all'utilizzo degli alberi decisionali per aiutare a comprendere meglio i cutoff con dati sbilanciati.
Spero questo sia di aiuto,
DS
Re: screening di previsioneCiao @dale_lehman .Andrea Coombs @andreacoombs1 ha presentato la sessione sulla modellazione predittiva e potrebbe avere qualche idea in proposito.
Re: screening di previsione@ChristerMalm e @dale_lehman .Il modello di insieme che ho presentato in quella registrazione era probabilmente sovradimensionato perché il modello di insieme è stato costruito utilizzando gli stessi dati utilizzati per costruire il modello originale.(Continuerò con la terminologia "modello originale" e "modello d'insieme" per mantenere le cose dritte nella mia spiegazione).Una strategia per prevenire questo overfitting consiste nel prendere l'intero set di dati e suddividerlo in due gruppi: Gruppo A per costruire il modello originale e Gruppo B per costruire il modello di insieme.Puoi nascondere ed escludere il Gruppo B durante la creazione del modello originale.Suddividi il Gruppo A in formazione, convalida e test per creare modelli candidati e scegliere il modello campione.Ora riporta il Gruppo B nel mix e usa l'intero Gruppo B per l'allenamento.È possibile utilizzare il Gruppo B come convalida o suddividerlo in convalida e test.Questo dovrebbe proteggere dal sovradattamento.
Re: screening di previsioneIn realtà non avevo visto il video fino ad ora.Dopo averlo visto, la tua risposta mi lascia un po' perplesso.Sembra che 2 cose si stiano mescolando, difficili da districare.Certamente se crei potenziali modelli predittivi e li esponi a nuovi dati (ad esempio, il tuo gruppo 
, potresti scoprire se quei modelli candidati originali sono ancora i migliori o se ulteriori regolazioni o modelli diversi potrebbero migliorare le previsioni di fronte a nuovi dati - modi classici per evitare il sovradattamento.Tuttavia, se esegui il modello di insieme, insieme ai predittori originali, sugli stessi dati, penserei che l'overfitting non sia l'unico problema.Non sono affatto sicuro di quale sia il senso in questo processo - includendo i predittori originali insieme ad alcuni modelli scelti dallo screening, non stai solo confermando se i modelli scelti originali avrebbero dovuto essere scelti per cominciare?E se lo scopo è vedere come funzionano i tuoi modelli su nuovi dati, allora questo ha davvero qualcosa a che fare con la modellazione di insieme?Non è l'idea di offrire un set di dati di test (o forse anche un secondo set di dati di test) per vedere come si comporta il tuo modello fuori dal campione, indipendentemente dal fatto che si tratti o meno di un modello di insieme.In altre parole, il test fuori campione sembra avere poco o nulla a che fare con la piattaforma di screening del modello o la modellazione di insieme: è sempre un problema con qualsiasi modello predittivo.
