Bentornati ad Analytics With Confidence. In questa serie, sto esplorando la chiave del successo con la moderna analisi dei dati: la convalida. In il primo post, Ho parlato con Ron Kenett e Chris Gotwalt della necessità di generalizzabilità. In questo post vedremo i problemi con i modelli che non generalizzano. Per fare ciò, dobbiamo aggirare le protezioni in JMP che impediscono l'overfitting dei modelli.
Ricette di reazione: un caso di studio dalla scienza e dall'ingegneria
Rendiamolo reale con un caso di studio sullo studio di migliaia di variazioni su una ricetta per realizzare un prodotto chimico di alto valore [1]. La reazione richiede cinque ingredienti fondamentali:
Reaction schematic hand-drawn by me . Don't worry if you are not a chemist - the important thing is there are lots of different possible recipes.Schema di reazione disegnato a mano da me. Non preoccuparti se non sei un chimico: l'importante è che ci siano molte diverse ricette possibili.
Per ognuno di questi ci sono diverse varianti tra cui scegliere: quattro elettrofili, tre nucleofili, 12 ligandi, otto basi e quattro solventi:
Ciò significa che ci sono 4608 ricette possibili (4 x 3 x 12 x 8 x 4). Quale combinazione di scelte di ingredienti ci darà la resa più alta (la conversione più completa al prodotto finale)? Perché? Gli ingredienti "migliori" potrebbero essere troppo costosi o indesiderabili per motivi di sicurezza o ambientali, e potrebbero esserci altre opzioni che potrebbero darci rese altrettanto elevate.
Abbiamo dati che ci aiutano a rispondere a queste domande. Abbiamo 150 delle possibili ricette che sono state testate e la percentuale di resa determinata. Visualizzarli è un buon inizio:
Le ricette che hanno dato una resa scarsa sono in rosa intenso e le reazioni a resa più elevata sono in verde. Lo spazio bianco circostante rappresenta tutte le ricette che non sono state provate. Non è facile da vedere con così tante variabili, ma il nucleofilo trifluoroborato sembra comportare rese inferiori (terzo destro). Le ricette che utilizzano gli altri nucleofili e 6-IQ come elettrofilo (in alto a sinistra) sono generalmente migliori.
I grafici di distribuzione interattivi in JMP mostrano ciò che è comune alle ricette a più alto rendimento:
Ma è ancora difficile vedere tutti i modelli tra gli input o "predittori" (in blu qui) e il risultato % di rendimento o "risposta" (in arancione) in un sistema complesso come questo.
Un'analisi dell'albero delle decisioni o della "partizione" è la base per alcuni dei metodi di apprendimento automatico più diffusi per le situazioni di big data. L'algoritmo cerca il modo migliore per dividere tutte le osservazioni (ricette qui) in due utilizzando una delle variabili predittive. La divisione "migliore" presenta la differenza maggiore nella risposta media tra i due rami.
You can launch the Partition platform from Analyze > Predictive Modeling. È possibile avviare la piattaforma di partizione da Analizza > Modellazione predittiva.
Qui troviamo che la suddivisione migliore è su Nucleophile, con una resa media del 49,3% per l'estere boronico o acido boronico e del 23,4% per il trifluoroborato. Questo ci dice che la scelta del nucleofilo è importante ma non ci dà previsioni precise. Se usiamo l'estere boronico o l'acido boronico, il modello prevede una resa del 49,3%. Dai valori effettivi nell'immagine sopra, possiamo vedere che potremmo aspettarci rendimenti ovunque nell'intervallo da 0 a quasi il 100%! E non ci dice nulla sull'effetto degli altri fattori sul rendimento:
Possiamo migliorare il modello ripetendo l'algoritmo di partizionamento su ogni nuovo ramo. IL RQuadrato è una misura utile per tenere traccia di come il modello "fit" sta migliorando. Ci dice quanta variazione nella nostra risposta è spiegata dagli effetti dei fattori nel modello. Più è vicino a 1, maggiore è la variazione spiegata dal modello.
L'RSquare aumenta da 0,204 a 0,442 con una seconda divisione. Dopo 24 divisioni, è 0,825:
A questo punto JMP ci impedisce di suddividere ulteriormente perché abbiamo raggiunto il limite della dimensione minima di suddivisione di 5. Questo è uno dei guardrail in JMP per impedirti di creare modelli stupidi. Per questo esempio imposteremo la dimensione minima su 1 e continueremo a dividere.
You can change the minimum size split from the red triangle menu.È possibile modificare la dimensione minima della suddivisione dal menu del triangolo rosso.
Dopo 97 divisioni non possiamo più dividere e RSquare è 0,985, il che significa che il nostro modello cattura il 98,5% della variazione del rendimento. Possiamo vedere come RSquare è aumentato con l'aumentare della complessità del modello con la cronologia divisa:
Il modello è ora molto più complesso, come possiamo vedere dal forecast profiler:
Potremmo utilizzare il modello per prevedere la resa per le ricette che non abbiamo testato per ottimizzare la ricetta e per capire in che modo la modifica delle ricette influisce sulla resa. Possiamo dedurre quali predittori sono più importanti e possiamo vedere come i fattori interagiscono tra loro.
Quanto è buono questo modello?
Possiamo vedere dal grafico RSquare e Actual vs Predicted che il modello si adatta molto bene ai dati. In altre parole, il modello effettua principalmente previsioni accurate dei rendimenti delle ricette utilizzate per addestrare il modello.
Ma generalizza? Dovremmo essere sicuri delle previsioni per le ricette che non abbiamo testato?
In questo caso possiamo rispondere direttamente a questa domanda perché tutte le 4.608 possibili ricette sono state eseguite utilizzando un esperimento di screening automatizzato ad alto rendimento. Le 150 ricette che abbiamo usato sono state da me campionate casualmente dai dati completi a titolo illustrativo. La mappa termica per le previsioni del modello mostra alcune somiglianze con i rendimenti effettivi, ma anche evidenti differenze.
Il grafico della resa % effettiva di tutte le 4.608 ricette rispetto alle previsioni del modello di partizione non sembra molto buono:
Oh no! Il modello di partizione ha previsto rese vicine al 100% per diverse ricette che in realtà avevano rese più vicine a 0 (in basso a destra del grafico). Il Rquadrato è 0,5. Chiaramente questo modello di "overfit" non si generalizza affatto bene.
Nel prossimo post vedremo in che modo la convalida e alcuni degli altri strumenti di JMP Pro possono aiutarci a creare modelli di previsione che si generalizzano in modo da poter applicare l'analisi con sicurezza.
[1] Dati di Perera D, Tucker JW, Brahmbhatt S, Helal CJ, Chong A, Farrell W, Richardson P, Sach NW. Una piattaforma per lo screening automatico delle reazioni su scala nanomolecolare e la sintesi in flusso su scala micromolecolare. Scienza. 26 gennaio 2018; 359 (6374): 429-434. doi: 10.1126/science.aap9112. PMID: 29371464. I set di dati campionati e completi sono allegati come tabelle di dati JMP.
