Benvenuti al primo di una serie di post di blog in cui esploreremo la validazione nella modellazione. Resta con me: capisco che questo potrebbe non sembrare l'argomento più eccitante. Ma è IL metodo chiave che rende possibile la moderna analisi dei dati. Senza convalida, sofisticati algoritmi di apprendimento automatico come le macchine vettoriali di supporto e le reti neurali sono quasi inutili. E mentre può essere visto come un approccio abbastanza "stupido" che semplifica enormemente il processo di apprendimento dai dati, deve anche essere applicato con cura, utilizzando la migliore comprensione del processo o del sistema che ha generato i dati. Comprendere la convalida è fondamentale per il tuo successo nell'era moderna dell'analisi dei dati.
Nei post futuri parleremo delle basi di Holdback e Cross Validation e di quanto sia facile con lo strumento Crea colonna di convalida in JMP Pro. Vedremo alcuni casi di studio della scienza e dell'ingegneria che illustrano la necessità di garantire Befitting Cross Validation (BCV) e Befitting Bootstrap Analysis (BBA). Tratteremo anche approcci all'avanguardia, inclusi modelli di ensemble auto-convalidati (SVEM) per dati più piccoli, come esperimenti progettati. Si spera che capirai perché JMP è particolarmente utile nel consentire a scienziati e ingegneri di applicare con sicurezza l'analisi dei dati moderna. Innanzitutto, parleremo della necessità di generalizzabilità.
Generalizzabilità e crisi di replicazione
L'argomento di questa serie è nato dalle discussioni con Chris Gotwalt, Chief Data Scientist di JMP, e Ron Kenett, presidente del gruppo KPA. Abbiamo parlato della generalizzabilità, di come sia un processo formale nelle statistiche ma anche parte della natura umana.
Ron Kenett, Chairman of the KPA GroupRon Kenett, presidente del gruppo KPA
Ron: “Generalizziamo sempre. Dalla nostra esperienza in un ristorante deduciamo quale sarà la nostra esperienza in un altro ristorante della stessa catena. Oppure deduciamo da un progetto di ingegneria a un altro.
Chris Gotwalt, JMP Chief Data ScientistChris Gotwalt, Chief Data Scientist di JMP
Chris: “Questo è l'apprendimento. La maggior parte di questo non accade in una tabella dati JMP!”
Nella ricerca accademica la riproducibilità è sempre stata importante: è una pietra angolare della scienza che dovrebbe essere possibile replicare i risultati di qualsiasi studio in modo indipendente. È stato un argomento particolarmente caldo da quando il termine "crisi di replicazione" è stato coniato per la prima volta all'inizio degli anni 2010 con il riconoscimento diffuso di alcuni gravi problemi nel campo della psicologia e della medicina. Ma la generalizzabilità è anche in prima linea in alcuni settori. La generalizzabilità migliora la riproducibilità.
Chris: "In un settore regolamentato come quello farmaceutico è sempre stato fondamentale sapere che un'affermazione è generalizzabile e può essere difesa come una "verità". Sarebbe costoso in tutti i modi se il tuo farmaco fosse notevolmente meno sicuro o efficace nella popolazione generale di quanto hai promesso sulla base dei risultati della tua sperimentazione clinica. Ma gli utenti di JMP lavorano più spesso nella risoluzione e nel miglioramento dei problemi industriali".
Ron: “Abbiamo definito la generalizzabilità come una delle otto dimensioni che influenzano la qualità delle informazioni. Affrontarlo migliora la qualità delle informazioni derivate dall'analisi dei dati.
La generalizzabilità può essere ignorata, ma c'è ancora un costo elevato per sbagliarla. Se la soluzione che hai concluso dai tuoi esperimenti non funziona quando la metti in produzione, probabilmente avrai sprecato materiale costoso, tempo di produzione e tutto lo sforzo per dover tornare indietro per risolvere il problema di nuovo in ricerca e sviluppo. Al contrario, se lo fai bene e sei sicuro delle tue soluzioni, puoi evitare sprechi e accelerare il ritmo dell'innovazione.
Generalizzabilità nell'analisi moderna
Nel mondo dei dati "piccoli" utilizziamo misure statistiche come il valore p per comprendere il rischio di fare inferenze che non si generalizzeranno. Questi strumenti sono stati inventati per consentirci di utilizzare un piccolo campione di dati per generare informazioni affidabili sulla popolazione o sul sistema più ampio a cui teniamo effettivamente. Sfortunatamente, i valori p possono essere interpretati male, usati in modo improprio e persino abusati.
Ron: “Molte persone interpretano il p-value come la probabilità che un'ipotesi valga, il che è fuorviante. Il modo in cui viene insegnato è per lo più corretto, ma il modo in cui viene utilizzato è per lo più errato.
Nonostante questi problemi e essendo implicati nelle cause della crisi di replicazione a cui abbiamo fatto riferimento in precedenza, i valori p hanno ampiamente servito bene scienziati e ingegneri. Con dati più grandi e metodi di modellazione più recenti come le reti neurali artificiali, dobbiamo considerare diversi strumenti per garantire la generalizzabilità.
Spero che ti unirai a me per il prossimo post di questa serie, dove lo illustreremo con un esempio tratto dalla scienza e dall'ingegneria. Inizieremo mostrandoti come generare risultati che NON si generalizzano. Grazie a tutte le protezioni che gli sviluppatori hanno messo in atto, questo è in realtà abbastanza difficile in JMP. Ciò sarà utile per capire in che modo gli strumenti di JMP ti proteggono da questo tipo di problemi e in che modo la convalida ti consente di applicare facilmente l'analisi con sicurezza.
