423584_it-IT

liliconcom

Screening delle previsioni

Ho ascoltato con grande interesse la lezione sui modelli predittivi e il suggerimento di salvare la formula di previsione nel set di dati, quindi eseguire nuovamente lo screening di previsione con le variabili iniziali come X e aggiungendo le formule di previsione come nuove X.

Creazione di modelli predittivi migliori utilizzando JMP Pro - Screening dei modelli

 

Oggi ho discusso con un collega e la sua reazione è stata "parlavo di un adattamento eccessivo dei modelli!"

Questo approccio si adatterà ancora di più ai modelli (anche se utilizziamo dati di convalida diversi dai dati che creano i modelli). L'opinione del mio collega era che utilizziamo gli stessi dati due volte.
Stiamo lavorando sul binomio Y (Salute o Malato) e l'approccio migliora effettivamente la previsione, ma abbiamo appena introdotto un adattamento eccessivo tale che anche la convalida ora è errata/adattata eccessivamente? #previsione, #overfitting, #screening

Modellazione predittiva e machine learningfinestreRi: Screening delle previsioni

Non sono sicuro di capirti.Quando dici che il dataset B è "cieco" intendi dire che non sai quali soggetti sono dopati (o almeno fai finta di non saperlo)?Se è così, allora B sembra essere il tuo set di dati di test.Normalmente, se disponi di dati sufficienti, divideresti A in dati di addestramento e convalida, addestreresti i tuoi modelli (compresi i modelli di ensemble) e quindi li applicheresti a B.L’idea che poi, sulla base delle loro prestazioni su B, tornerai indietro e cambierai i tuoi modelli sembra invitare a un adattamento eccessivo.È analogo all'addestramento su A e all'utilizzo di B come set di convalida.Ma in questo caso non hai affatto dati di test: ciò che intendo per dati di test sono dati tenuti completamente separati dal processo di modellazione.

Ri: Screening delle previsioni

Grazie a tutti per il feedback sulla mia domanda!

Come commento sui tuoi problemi @dale_lehman - il progetto consiste nel convalidare una serie di biomarcatori selezionati per il doping su nuovi set di dati (campioni di sangue in cieco che possono essere prelevati o potrebbero essere prelevati da soggetti dopati). Pertanto, dobbiamo correggere il modello utilizzando il set di dati A da campioni noti e l'approccio insieme sembra una strada da percorrere, quindi applicare il modello al set di dati B (in cieco) e analizzare il risultato della previsione sul set di dati B dalla formula creata utilizzando il set di dati A .

Possiamo, se necessario, tornare indietro e scambiare alcuni biomarcatori ed eseguire nuovamente questa procedura, fino a raggiungere un potere predittivo preimpostato.

Ora che ho (si spera) spiegato un po' meglio il progetto, posso vedere come utilizzerei il Gruppo B per la validazione, ma non sono sicuro di aver capito come addestrare (di nuovo) il modello con B, (ricordate che non sono uno statistico ) come suggerito da @andreacoombs1 .

Non so se questo altera le tue risposte, volevo solo chiarire.

 

Ri: Screening delle previsioni

In realtà non avevo guardato il video fino ad ora.Dopo averlo visto, la tua risposta mi lascia un po' perplesso.Sembra che due cose si stiano mescolando e sono difficili da distinguere.Certamente se crei potenziali modelli predittivi e li esponi a nuovi dati (ad esempio, il tuo gruppo , potresti scoprire se quei modelli candidati originali sono ancora i migliori o se ulteriori ottimizzazioni o modelli diversi potrebbero migliorare le previsioni di fronte a nuovi dati - modi classici per evitare il sovradattamento.Tuttavia, se si esegue il modello d'insieme, insieme ai predittori originali, sugli stessi dati, penserei che l'adattamento eccessivo non sia l'unico problema.Non sono sicuro del senso di questo processo: includendo i predittori originali insieme ad alcuni modelli scelti dallo screening, non stai semplicemente confermando se i modelli scelti originali avrebbero dovuto essere scelti fin dall'inizio?E, se lo scopo è vedere come funzionano i tuoi modelli su nuovi dati, allora questo ha davvero qualcosa a che fare con la modellazione di ensemble?Non è l'idea di fornire un set di dati di test (o forse anche un secondo set di dati di test) per vedere come si comporta il tuo modello fuori dal campione, indipendentemente dal fatto che si tratti di un modello di insieme o meno.In altre parole, il test fuori campione sembra avere poco o nulla a che fare con la piattaforma di screening del modello o con la modellazione dell'insieme: è sempre un problema con qualsiasi modello predittivo.

Ri: Screening delle previsioni

@ChristerMalm E @dale_lehman .Il modello d'insieme che ho presentato in quella registrazione era probabilmente eccessivo perché era stato costruito utilizzando gli stessi dati utilizzati per costruire il modello originale.(Continuerò con la terminologia "modello originale" e "modello d'insieme" per mantenere le cose in chiaro nella mia spiegazione).Una strategia per evitare questo adattamento eccessivo è prendere l'intero set di dati e suddividerlo in due gruppi: Gruppo A per costruire il modello originale e Gruppo B per costruire il modello d'insieme.Puoi nascondere ed escludere il Gruppo B durante la creazione del modello originale.Suddividi il Gruppo A in formazione, convalida e test per creare modelli candidati e scegliere il modello campione.Ora riporta il Gruppo B nel mix e utilizza l'intero Gruppo B per l'allenamento.È possibile utilizzare il Gruppo B come convalida o suddividerlo in convalida e test.Ciò dovrebbe proteggere dal sovradattamento.  

Ri: Screening delle previsioni

CIAO @dale_lehman .Andrea Coombs @andreacoombs1 ha presentato la sessione sulla modellazione predittiva e potrebbe avere qualche riflessione al riguardo.

 

Ri: Screening delle previsioni

CIAO @ChristerMalm ,

 

La sessione di ieri sui modelli predittivi è stata molto istruttiva. Non ricordo la discussione esatta su quell'argomento, ma sarei cauto nell'usare una formula di previsione per il risultato come uno degli input per lo stesso risultato. La mia comprensione della modellazione d'insieme è che vengono costruiti diversi modelli, ad esempio NN, albero potenziato, XGBoost, ecc. E poi viene calcolata la media insieme. Puoi farlo tramite la piattaforma di confronto modelli utilizzando il pulsante rosso oppure puoi scrivere una formula di colonna che lo faccia per te. Il modello d'insieme dovrebbe adattarsi ai dati meglio di qualsiasi modello preso singolarmente, ma non è sempre così. Una cosa da tenere a mente, dipende davvero da quale sia l'obiettivo finale e da quanto sia importante l'interpretabilità per il modello. Se si comprende l’equazione del modello e il modo in cui gli input si traducono in output, allora gli insiemi di modelli e i complicati modelli non lineari potrebbero non essere la strada migliore da percorrere.

 

Penso che una delle cose di cui parlava Russ Wolfinger che sia davvero importante è trovare il giusto schema di convalida per i tuoi dati. Se viene scelto l'insieme sbagliato di dati di addestramento e convalida, potrebbero verificarsi adattamenti terribili, anche se i dati sono buoni, come nell'esempio del documento Nature di cui ha parlato. Probabilmente sarebbe meglio dedicare più tempo alla determinazione del miglior schema di validazione e quindi lavorare alla generazione del modello.

 

Sembra anche che potresti avere un set di dati sbilanciato, il che significa che un evento è molto più frequente di un altro. In tal caso, vorrai sicuramente esplorare la possibilità di modificare la soglia di probabilità logistica per vedere se ciò aiuta la tua previsione. Inoltre, si potrebbe prendere in considerazione l’approccio della matrice del profitto per assegnare valore al costo dei falsi positivi e dei falsi negativi. Chris Gotwalt ha anche dimostrato un approccio interessante nell'utilizzo degli alberi decisionali per aiutare a comprendere meglio i limiti con dati sbilanciati.

 

Spero che questo ti aiuti,
DS

Ri: Screening delle previsioni

Non l'ho guardato e sarò interessato a vedere le risposte, ma ho una reazione iniziale.Usare la formula di previsione dalla piattaforma Schermata modello ed eseguire nuovamente tale piattaforma con la formula di previsione insieme ad altri predittori sembra un po' come un adattamento eccessivo.Tuttavia, penso che sia un modo per costruire modelli di insieme: se la formula di previsione proviene da un modello e il nuovo modello utilizza quell'output (insieme ad altri predittori) per creare un nuovo modello, allora è un modello di insieme che potrebbe essere superiore al primo modello senza sovradimensionarlo.La questione di quali dati di convalida utilizzare mi sembra più sottile.Utilizzerei gli stessi dati di validazione, altrimenti non puoi davvero dire se il nuovo modello è migliore di quello vecchio.Forse potresti salvare entrambe le formule di previsione e quindi applicarle a un diverso set di convalida per vedere se le prestazioni sono migliorate o meno.