Domanda concettuale sulla convalidaSpero che persone con una formazione statistica migliore della mia possano fare luce su questo quesito. JMP offre solide funzionalità di convalida per tutti i modelli predittivi, inclusa la convalida incrociata (sebbene non sia presente nella piattaforma Fit Model, fatta eccezione per la possibilità di utilizzare un set di convalida). I data scientist suddividono abitualmente i loro dati in set di dati di training e di convalida (e talvolta di test). Tuttavia, la maggior parte dei lavori pubblicati che utilizzano metodi statistici tradizionali (regressione multipla, regressione logistica) non utilizza alcuna convalida. Mi sono chiesto perché. Tra le possibilità che mi vengono in mente: (1) la significatività statistica è considerata un fattore che rende superflua la convalida; (2) una pratica storica che è lenta a cambiare; (3) l'enfasi è posta sull'inferenza e non sulla previsione (sulla falsariga delle due culture di Brieman). In ogni caso, non capisco alcuna giustificazione per non utilizzare la convalida, quindi vorrei sapere cosa ne pensano le persone.
Modellazione predittiva e apprendimento automaticoRe: Domanda concettuale sulla convalidaSospetto che gran parte della mancanza di validazione derivi dalla tua seconda opzione, soprattutto in combinazione con altre pratiche/tradizioni che sono lente a cambiare. Se accettiamo l'idea che il mondo accademico tenda a pubblicare solo risultati significativi , e se accettiamo il detto "pubblica o muori", allora stiamo naturalmente disincentivando, almeno in piccola parte, una comprensione estremamente rigorosa prima della pubblicazione. Questo potrebbe spiegare in parte la recente scoperta che molti studi scientifici non sono replicabili . A mio parere, se la comunità scientifica adottasse la validazione più prontamente e fosse più disposta a pubblicare risultati "banali", mi aspetterei di vedere risultati più facilmente replicabili, ma forse meno entusiasmanti.
Potrei facilmente sbagliarmi o generalizzare eccessivamente, però. Come te, mi interessa sentire cosa pensano gli altri.
Re: Domanda concettuale sulla convalidaInnanzitutto, per favore, definisci cosa intendi per convalida. Un modo potrebbe essere quello di raccogliere un set di dati da uno spazio di inferenza e partizionarlo in modo casuale (?) in modo che solo una parte venga utilizzata per sviluppare un modello e il resto per verificare quanto bene il modello predice i dati a partire dai dati forniti. Sebbene questa possa essere una pratica accettata, questa non è la mia idea di convalida (potrei essere l'unico a pensarla così).
Una delle mie convinzioni è che per "validare" veramente il modello, devo creare dei "campioni" fisici e valutare quanto bene il modello abbia previsto quei campioni reali. Per me, la validazione consiste nel valutare quanto bene il modello predice il futuro (condizioni mutevoli). Se avete progettato il vostro studio in modo sufficientemente efficace, su uno spazio di inferenza sufficientemente ampio (il che può essere molto impegnativo e richiedere molte risorse), allora il vostro modello dovrebbe funzionare meglio nella previsione futura.
Re: Domanda concettuale sulla convalidaMi riferisco alla prima definizione (quella che non ti piace), e credo che sia ciò a cui la letteratura si riferisce con il termine "validazione". Ovviamente, quasi tutti i modelli vengono utilizzati per predizioni fuori dal campione e il partizionamento non terrà conto delle future condizioni mutevoli. Nulla lo farà (almeno non perfettamente). In definitiva, la tua seconda idea è necessaria: anche se hai "validato" un modello nel primo senso, dovresti monitorarne le prestazioni per vedere se funziona abbastanza bene da poter continuare a utilizzarlo. Ma la maggior parte degli articoli pubblicati (a parte le riviste di data science) non effettua nemmeno il primo tipo di validazione, e mi chiedo perché.
Re: Domanda concettuale sulla convalidaConcordo con tutto ciò che @statman e @Jed_Campbell hanno contribuito. L'unica cosa che aggiungerei è che forse c'è una quarta "ragione"? Finché la validazione dei modelli non verrà insegnata come requisito del processo di problem solving esteso di cui la modellazione è una componente, non la vedrete molto inclusa nella letteratura. Solo un altro tassello o conseguenza della "pratica storica che è lenta a cambiare".
Re: Domanda concettuale sulla convalidaCiao @dlehman1 ,
Grazie per aver posto un'interessante domanda concettuale. In generale, concordo con quanto detto finora da tutti: è importante definire il significato di "validazione" in questo caso. Tuttavia, direi che la convalida può assumere entrambi i significati: un insieme di dati di riserva per migliorare la predizione del modello, nonché la generazione di nuovi campioni che ne testino la capacità predittiva.
Per me, entrambe le cose sono importanti e necessarie: una per migliorare il modello, l'altra per assicurarsi che il modello possa funzionare, soprattutto quando si generano nuovi campioni che si trovano vicino ai confini dello spazio dei parametri, dove i modelli tendono a essere meno accurati.
Il motivo per cui le opere pubblicate tendono a non utilizzare la validazione è in larga misura ciò che tu e @Jed_Campbell avete commentato: la pratica storica è lenta a cambiare, ma questo è più dovuto alle influenze interne alla comunità scientifica che spingono verso la ricerca di un risultato significativo piuttosto che verso un modello robusto. La mia formazione è in fisica, e i fisici sono noti per creare modelli semplici per una situazione specifica e poi estrapolarli ad altre. Prendiamo ad esempio il semplice pendolo. Questa è la base di quasi tutti i problemi di fisica di base, eppure in pratica non è il modello migliore: sono state apportate così tante modifiche e ritocchi per farlo funzionare in altre situazioni non ideali (si pensi a dover aggiungere lo spin dell'elettrone alla meccanica orbitale degli stati elettronici di un atomo).
Per me, questo semplice pendolo non costituisce un modello molto robusto, ma soddisfa l'interesse e il desiderio di "trovare" qualcosa di significativo nei dati. Certo, è un ottimo inizio, e tutti dobbiamo iniziare da qualche parte. Tuttavia, se si vuole generare un modello più ampio e robusto che possa essere utilizzato in ambiti più generali, è necessaria la validazione in entrambe le definizioni discusse.
Risultati più "banali" potrebbero in ultima analisi portare a modelli più solidi e migliori e a capacità predittive nella scienza, ma è necessario che nella comunità scientifica cambino i cambiamenti culturali e probabilmente occorre sminuire l'importanza delle nuove scoperte sensazionali e appariscenti.
In breve, direi che non solo la prassi storica è lenta a cambiare, ma che è anche necessario un cambiamento culturale nella comunità scientifica su cosa/come i risultati debbano essere riconosciuti nella scienza. Una sorta di riorientamento delle priorità.
DS
Re: Domanda concettuale sulla convalidaHo questo da offrire:
“La letteratura, così come si è sviluppata, sembra essere sbilanciata nella sua relativa negligenza verso gli aspetti scientifici del problema e verso i suoi aspetti logici . Questo forse era prevedibile, dato che molti autori, pur essendo matematici di talento, evidentemente non hanno mai sottoposto la loro mente alla disciplina specificamente educativa di alcuna delle Scienze Naturali, non si sono mai assunti la responsabilità personale della sperimentazione sul campo e non hanno esperienza diretta del tipo di materiale coinvolto…”
Sir Ronald Fisher, Colloq. Internazionale Centinaio. Nat. Ricerche Scientifiche, Parigi, n. 110: 13-19 (1962)
Re: Domanda concettuale sulla convalidaQuesto è un punto di vista comune che ho visto e con cui concordo certamente nello spirito. Ma ritengo che sia inadeguato quando si tratta di scienze sociali. Molte delle questioni (gli effetti dei salari minimi, le politiche sulla concorrenza, gli effetti psicologici dell'uso dei social media, ecc.) non sono suscettibili di sperimentazione scientifica allo stesso modo delle scienze fisiche. Questo non esime dall'ignorare le buone pratiche scientifiche, ma lascia un vuoto (a mio avviso ampio) su come procedere in tali aree di indagine. E credo che questo sia correlato alla questione della convalida: a mio avviso, rende il primo tipo di convalida (partizionamento casuale) più essenziale in questi ambiti (sebbene non sufficiente come hai indicato).
Re: Domanda concettuale sulla convalidaCiao @dlehman1 ,
Ottima osservazione sulle scienze sociali. È molto più difficile replicare un DOE o generare un "nuovo campione" senza che le analisi precedenti influenzino le risposte dei partecipanti in un secondo momento. L'esperienza di vita di una persona non è mai uguale a quella di un'altra.
Forse potresti capovolgere la situazione e considerarla come un questionario per le scienze sociali. Potresti porre alla comunità scientifica domande come: quando fai ricerche sul tuo argomento, usi il concetto di convalida durante l'analisi e la costruzione del modello? Perché usi o non usi la convalida? Sei a conoscenza della pratica di utilizzo della convalida? Avere alcuni spunti aperti può offrire al rispondente l'opportunità di rivelare ulteriori informazioni. Immagino che otterrai una moltitudine di risposte diverse, ma potrebbero essercene alcune che si distinguono come più comuni, almeno da un punto di vista concettuale/generale e non da uno specifico.
DS
Re: Domanda concettuale sulla convalidaHmmm, non è adeguato coinvolgere esperti in materia che lavorano nel campo delle scienze sociali nello sviluppo del sondaggio o del piano di campionamento o del DOE o nell'interpretazione dei dati derivati da tali strumenti?
Perché non sono " adatti alla sperimentazione scientifica allo stesso modo delle scienze fisiche"? Certo, i sistemi di misurazione sono piuttosto complessi, ma in che modo la validazione (l'archiviazione di un sottoinsieme di dati) può migliorare la situazione?
Re: Domanda concettuale sulla convalidaTrovo che sia un commento molto strano. Supponiamo di voler stimare l'effetto dei dazi sul PIL. Gli esperimenti sono difficili e costosi da condurre e richiedono tempo, durante il quale molte altre cose cambiano (ovviamente, stiamo conducendo un esperimento del genere proprio ora!). Questo è molto diverso dagli esperimenti nelle scienze sociali. Eppure, esistono esperimenti di questo tipo nelle scienze sociali, e a volte ci sono esperimenti naturali che possono essere utilizzati (come i regimi tariffari esistenti che mostrano molta variabilità). Quindi, non escludo esperimenti nelle scienze sociali, ma faccio fatica a pensare che tu li ritenga altrettanto fattibili quanto nelle scienze fisiche. E considererei la medicina una via di mezzo: esistono molti RCT, ma a causa dei costi e delle preoccupazioni etiche, questi hanno solitamente dimensioni campionarie molto più ridotte di quanto vorremmo (omettendo così molte analisi di sottogruppo che vorremmo).
Mi chiedi come la validazione possa migliorare le cose. Non credo sia sufficiente a sostituire gli esperimenti ideali che vorresti, ma credo che sia necessaria in loro assenza. Se il modello non funziona con i dati che abbiamo, perché dovremmo credere che funzionerà in futuro?
Re: Domanda concettuale sulla convalidaSenza dubbio sono strano e probabilmente la penso diversamente da te. Se capisci le differenze tra situazioni enumerative e analitiche, ti farò sapere che sono completamente di parte a favore dell'approccio analitico (sono un fervente determinista). Utilizzo sia il campionamento diretto (basato su ipotesi) che la sperimentazione (con enfasi su come aumentare lo spazio di inferenza aumentando contemporaneamente la precisione del progetto). Sono meno "interessato" agli studi esplicativi e più alla modellazione predittiva (sebbene entrambe possano essere utili).
Nessun esperimento è "ideale" (non sapremmo comunque se lo fosse). Per questo motivo propongo sempre (e consiglio) al ricercatore di sviluppare diversi piani di esperimento/campionamento. Ogni piano dovrebbe essere valutato in base alla potenziale conoscenza acquisita (ad esempio, cosa può essere assegnato (modello), cosa è confuso, cosa è limitato (inferenza)) e in base a tale potenziale conoscenza rispetto alle risorse richieste.
Non voglio discutere di politica. Credo che ci sia una causa per ogni effetto. Non mi interessa quale sia la disciplina. Ogni disciplina ha le sue difficoltà nell'utilizzo degli strumenti di acquisizione dati. Questa non è una scusa per non usarli.
