Reti neurali e piccoli set di dati: quali sono le soluzioni nella validazione e nella modellazione predittiva?Cari colleghi,
La questione potrebbe essere piuttosto filosofica e mi piacerebbe conoscere il parere degli specialisti per evitare speculazioni.
Parlando di dataset di piccole dimensioni, ad esempio di circa 80-300 istanze (righe), sarebbe sufficiente applicare le reti neurali in generale? Se sì, allora:
- quali parametri sono rispettivamente più critici per le risposte categoriche e continue?
- quale strategia di validazione è preferibile oltre alla validazione incrociata K-fold? O solo la convalida incrociata K-fold?
Sarei molto grato per il tuo consiglio.
Grazie molto,
Michael
Ingegneria della qualità e dei processiRe: Reti neurali e piccoli set di dati: quali sono le soluzioni nella validazione e nella modellazione predittiva?Le 2 risposte precedenti sono assolutamente ECCELLENTI! Dico quasi sempre che le dimensioni non contano (per enfatizzare le questioni rappresentative). Faccio un esempio concettuale. Chiedo qual è la dimensione del campione migliore?
UN. 10.000 o
B. 5
Ora il problema che deve essere scoperto è la variazione quotidiana. I 10.000 campioni vengono prelevati in 1 giorno, i 5 sono 1 campione al giorno per 5 giorni. Quindi quale è meglio?...ovvio.
Re: Reti neurali e piccoli set di dati: quali sono le soluzioni nella validazione e nella modellazione predittiva?Devi SEMPRE preoccuparti della dimensione del set di dati purché il set di dati sia un campione di alcune popolazioni di interesse. Ma non è solo la dimensione... la dimensione influenza il rischio statistico, ma contribuisce poco o nulla al rischio di rappresentazione.
Perchè devi sempre preoccuparti della taglia? Perché ci sarà sempre il rischio di errori di Tipo I o di Tipo II, indipendentemente dalla dimensione del campione. Ricordo che anni fa, in una brochure pubblicitaria per il programma di Master of Science in Statistica matematica applicata al Rochester Institute of Technology, nella brochure definivano la "statistica" come la "Scienza del processo decisionale di fronte all'incertezza". È questa incertezza, composta da due componenti, il rischio statistico, che è influenzato/controllato in parte dalla dimensione del campione, e il rischio di rappresentazione. La dimensione del campione parla solo del rischio statistico... non del rischio di rappresentazione.
Un piccolo ma illustrativo esempio dell'interazione tra rischio statistico e rischio di rappresentazione: supponiamo di avere una gran quantità di osservazioni (è un termine non scientifico per una GRANDE quantità di dati) su apparecchiature pilota e su scala e di avere valori p per cui morire... quasi certezza assoluta che abbiamo TUTTE le variabili chiave x e nessuna delle variabili non influenti nel nostro modello. MA, ed ecco un grande MA, ora faremo PREVISIONI sui processi di produzione e sulla scala di produzione... diciamo passando dalla scala del becher (pilota), alla scala del vagone ferroviario (produzione). E i nostri risultati risultano non essere nemmeno vicini alle previsioni. Quindi la DIMENSIONE del campione non significava nulla. Il rischio di rappresentanza ti ha morso alla grande.
Il motivo per cui le persone si concentrano sulla dimensione del campione e ignorano del tutto il rischio di rappresentazione è per me sconcertante. Capisco... è facile parlare di rischio statistico, alfa, beta, differenza da rilevare, errori di tipo I e II, tutto facile da comprendere e ora abbiamo i computer che ci dicono cosa dobbiamo fare lo so... non sono più necessarie quelle fastidiose tabelle di ricerca ASQ/ANSI.
Ma non dimenticare MAI il rischio di rappresentanza... sbraita.
Re: Reti neurali e piccoli set di dati: quali sono le soluzioni nella validazione e nella modellazione predittiva?Si tratta di un argomento vasto e a cui non è facile rispondere.Direi solo che vale sempre la pena provare a modellare i tuoi dati, ma più piccolo è il set di dati, più umile devi essere riguardo a tutto ciò che pensi di trovare.Certamente non esiste un numero critico di osservazioni che possa essere derivato da un dato numero di variabili - e chiaramente più variabili hai, più osservazioni avrai bisogno per dare un senso ai dati.In effetti, vale la pena riflettere sul contrario: se si hanno solo poche variabili, non sono necessarie così tante osservazioni per costruire un modello "sensato", ma ciò non dovrebbe essere motivo di fiducia.Al contrario: se hai solo poche variabili, ti perdi gran parte (o la maggior parte) del quadro.Un pezzo fondamentale del puzzle riguarda quanta struttura teorica puoi imporre ai tuoi dati.Nelle scienze fisiche esiste spesso una teoria ben sviluppata che porta più o meno direttamente a una struttura per modellare i dati.Nelle scienze sociali questo è molto meno vero.Ma la conclusione per me è che non c'è altra alternativa che provare a costruire modelli (se non si costruiscono modelli, su cosa si baseranno le decisioni?).La chiave (per me) è non sopravvalutare la potenza dei tuoi modelli, e questo è legato a quante variabili e osservazioni hai.
Re: Reti neurali e piccoli set di dati: quali sono le soluzioni nella validazione e nella modellazione predittiva?Hai ragione. E ora sta emergendo una nuova questione: vale la pena creare una serie di modelli per piccoli set di dati in generale? Non solo NN. Ho paura di proporre modelli predittivi in questi casi.
Permettimi di riformulare questa domanda: quale numero di istanze (righe) e/o proprietà (colonne) è sufficiente per eseguire la modellazione predittiva senza preoccuparsi delle dimensioni del set di dati?
Grazie
Re: Reti neurali e piccoli set di dati: quali sono le soluzioni nella validazione e nella modellazione predittiva?Per quanto riguarda la tua domanda sulle reti neurali in particolare, non ho avuto molto successo con NN per piccoli set di dati: penso che generalmente funzionino meglio quando hai molti dati.Tuttavia, a prescindere da ciò, suggerirei di eseguire una varietà di modelli predittivi: alberi decisionali, alberi potenziati, foreste casuali, regressione logistica/multipla, ecc.Li confronterei in termini di accuratezza (utilizzando ROC, R2, particolari classificazioni errate di interesse, ecc.) ma anche in termini di variabili che identificano come le più importanti.Sebbene il problema della previsione rispetto alla comprensione sia importante, penso che la previsione senza comprensione alla fine avrà meno valore rispetto all'avere un modello che abbia senso.Non è necessario scegliere una tecnica di modellazione: è facile eseguirle tutte sugli stessi dati e confrontare/contrastare ciò che ottieni.
Re: Reti neurali e piccoli set di dati: quali sono le soluzioni nella validazione e nella modellazione predittiva?È un'intervista eccellente, grazie @P_Bartell . Lo farò anche essere filosofico ...Penso che la modellazione predittiva richieda la comprensione delle relazioni causali dei "fenomeni" di interesse. Un ordine razionale di pensiero potrebbe assomigliare a questo: dobbiamo capire come quantificare i fenomeni di interesse (e se i sistemi di misurazione sono adeguati). Quindi costruiamo ipotesi sul motivo per cui i fenomeni variano (mi piace pensare che queste ipotesi abbiano le loro radici nelle scienze naturali). Ciò porta a testare le nostre ipotesi attraverso il campionamento diretto o la sperimentazione. Sì, le ipotesi vengono costruite prima della raccolta dei dati. Se non hai ipotesi, puoi utilizzare tecniche di "data mining" per stimolare la tua mente per creare/sviluppare ipotesi. Dal mio punto di vista, avere un modello che descrive il set di dati in mano (ad esempio, reti neurali) senza fornire informazioni e comprensione su quali siano le relazioni causali, non sarà un modello predittivo efficace.
Parole da vivere: tutte le domande a cui è possibile rispondere, gli strumenti da utilizzare per l'analisi, la fiducia nelle conclusioni da trarre e la capacità di estrapolare i risultati DIPENDONO DA COME SONO STATI ACQUISITI I DATI.
Re: Reti neurali e piccoli set di dati: quali sono le soluzioni nella validazione e nella modellazione predittiva?Lascerò la conversazione sulla convalida incrociata ad altri. Ecco la mia opinione sull'applicabilità delle reti neurali e sarò anche filosofico. Penso che la questione dell'applicabilità senza contesto rispetto al problema pratico in questione, i dati (il set di dati è ampio/ristretto, multicollineare ecc.), i rischi sia statistici che di rappresentazione e il caso d'uso finale del modello, avranno tutti un impatto maggiore influenza sull’applicabilità del metodo rispetto alla sola dimensione del campione.
Ad esempio: qual è lo scopo dello studio? Previsione o esplorazione? Esiste la possibilità di ulteriori studi... magari nel contesto di esperimenti progettati? E così via.
Per alcuni commenti approfonditi sul costrutto di previsione rispetto a quello di esplorazione, suggerisco di dare un'occhiata a questo:
https://www.jmp.com/en_us/events/ondemand/analyticalmente-parlando/to-explain-or-predict-that-is-the-question.html
