Benvenuti al primo di una serie di post di blog in cui esploreremo la convalida nella modellazione. Resta con me: capisco che questo potrebbe non sembrare l'argomento più interessante. Ma è IL metodo chiave che rende possibile la moderna analisi dei dati. Senza convalida, sofisticati algoritmi di apprendimento automatico come le macchine a vettori di supporto e le reti neurali sono quasi inutili. E sebbene possa essere visto come un approccio abbastanza “stupido” che semplifica enormemente il processo di apprendimento dai dati, deve anche essere applicato con cura, utilizzando la migliore comprensione del processo o del sistema che ha generato i dati. Comprendere la convalida è fondamentale per il tuo successo nell'era moderna dell'analisi dei dati.
Nei post futuri parleremo delle nozioni di base sull'holdback e sulla convalida incrociata e su quanto sia semplice farlo con lo strumento Crea colonna di convalida in JMP Pro. Vedremo alcuni casi di studio provenienti dalla scienza e dall'ingegneria che illustrano la necessità di garantire la Befitting Cross Validation (BCV) e la Befitting Bootstrap Analysis (BBA). Tratteremo anche approcci all'avanguardia, inclusi i modelli di insieme autovalidati (SVEM) per dati più piccoli, come gli esperimenti progettati. Ci auguriamo che capirete perché JMP è particolarmente utile nel consentire a scienziati e ingegneri di applicare con sicurezza l'analisi dei dati moderna. Innanzitutto, parleremo della necessità di generalizzabilità.
Generalizzabilità e crisi di replicazione
L'argomento di questa serie è nato dalle discussioni con Chris Gotwalt, Chief Data Scientist di JMP, e Ron Kenett, Presidente del Gruppo KPA. Abbiamo parlato di generalizzabilità, di come sia un processo formale in statistica ma anche parte della natura umana.
Ron: “Noi generalizziamo continuamente. Dalla nostra esperienza in un ristorante, deduciamo quale sarà la nostra esperienza in un altro ristorante della stessa catena. Oppure deduciamo da un progetto di ingegneria all’altro”.
Chris: “Questo è ciò che significa imparare. La maggior parte di ciò non avviene in una tabella dati JMP!”
Chris Gotwalt, JMP Chief Data ScientistChris Gotwalt, scienziato capo dei dati di JMP
Ron Kenett, Chairman of the KPA GroupRon Kenett, Presidente del Gruppo KPA
Nella ricerca accademica la riproducibilità è sempre stata importante: è una pietra angolare della scienza che sia possibile replicare i risultati di qualsiasi studio in modo indipendente. È stato un argomento particolarmente caldo da quando il termine “crisi di replicazione” è stato coniato per la prima volta all’inizio degli anni 2010 con il diffuso riconoscimento di alcuni gravi problemi nei campi della psicologia e della medicina. Ma anche in alcuni settori la generalizzabilità è in primo piano. La generalizzabilità migliora la riproducibilità.
Chris: “In un settore regolamentato come quello farmaceutico è sempre stato fondamentale sapere che un’affermazione è generalizzabile e può essere difesa come una “verità”. Sarebbe costoso sotto tutti i punti di vista se il tuo farmaco fosse notevolmente meno sicuro o efficace nella popolazione generale di quanto promesso sulla base dei risultati della tua sperimentazione clinica. Ma gli utenti di JMP lavorano più spesso nella risoluzione e nel miglioramento dei problemi industriali”.
Ron: “Abbiamo definito la generalizzabilità come una delle otto dimensioni che influenzano la qualità delle informazioni. Affrontarlo migliora la qualità delle informazioni derivate dall’analisi dei dati”.
La generalizzabilità può essere ignorata, ma commettere errori comporta comunque un costo elevato. Se la soluzione che hai tratto dai tuoi esperimenti non funziona quando la metti in produzione, probabilmente avrai sprecato materiale costoso, tempo di produzione e tutto lo sforzo necessario per tornare indietro per risolvere nuovamente il problema in ricerca e sviluppo. Al contrario, se lo fai bene e sei sicuro delle tue soluzioni, puoi evitare sprechi e accelerare il ritmo dell’innovazione.
Generalizzabilità nell'analisi moderna
Nel mondo dei dati “piccoli” utilizziamo misure statistiche come il valore p per comprendere il rischio di fare inferenze che non saranno generalizzabili. Questi strumenti sono stati inventati per consentirci di utilizzare un piccolo campione di dati per generare informazioni affidabili sulla popolazione o sul sistema più ampio che ci sta a cuore. Sfortunatamente, i valori p possono essere interpretati erroneamente, utilizzati in modo improprio e persino abusati.
Ron: “Molte persone intendono il valore p come la probabilità che un’ipotesi sia vera, il che è fuorviante. Il modo in cui viene insegnato è per lo più corretto, ma il modo in cui viene utilizzato è per lo più sbagliato”.
Nonostante questi problemi e il loro coinvolgimento nelle cause della crisi di replicazione a cui abbiamo fatto riferimento in precedenza, i valori p sono stati ampiamente utili a scienziati e ingegneri. Con dati più grandi e metodi di modellazione più recenti come le reti neurali artificiali, dobbiamo considerare diversi strumenti per garantire la generalizzabilità.
Spero che vi unirete a me per il prossimo post di questa serie, in cui lo illustreremo con un esempio tratto dalla scienza e dall'ingegneria. Inizieremo mostrandoti come generare risultati che NON siano generalizzabili. Grazie a tutte le protezioni messe in atto dagli sviluppatori, questo è in realtà abbastanza difficile in JMP. Ciò sarà utile per comprendere in che modo gli strumenti di JMP ti proteggono da questo tipo di problemi e in che modo la convalida semplifica l'applicazione delle analisi in tutta sicurezza.
Saperne di più:
Non vedo l'ora di imparare da questa serie.
Mi sembra di guardare un interessante film documentario dalla TV!
Considerando che questo è un post sulla generalizzabilità, penso che l'affermazione "i valori p sono stati ampiamente utili a scienziati e ingegneri" sia alquanto fuorviante. I valori p (probabilmente) possono essere utili per pensare alla generalizzabilità di un campione alla popolazione da cui è stato estratto. Ma molte, se non la maggior parte, delle applicazioni implicano la generalizzazione da un campione a una popolazione leggermente diversa: un periodo di tempo diverso, un luogo diverso, persone diverse, ecc. I valori p non servono davvero a nessuno in quelle situazioni senza il presupposto che il La popolazione su cui stai facendo le tue inferenze è essenzialmente la stessa della popolazione da cui è stato estratto il campione. Tale presupposto può essere ragionevole per i contesti ingegneristici, ma meno per le scienze sociali. Troppo spesso, l’adeguatezza del campione alla popolazione per la quale si stanno facendo le inferenze viene sorvolata facendo affidamento sul valore p per occuparsene in qualche modo.
