La gestione di grandi set di dati continua a presentare sfide uniche, anche in un'epoca in cui algoritmi di apprendimento automatico avanzati possono elaborare enormi quantità di informazioni. Affidarsi a tecniche di forza bruta per analizzare enormi set di dati può portare a inefficienze, overfitting dei modelli, accumulo di rumore e rendimenti decrescenti derivanti dall'aggiunta di ulteriori dati.
Il sottocampionamento intelligente, che prevede la selezione di una frazione rappresentativa dei dati, spesso offre un approccio più mirato e approfondito. Il sottocampionamento favorisce modelli più interpretabili, poiché la dimensione ridotta del set di dati semplifica le relazioni tra le variabili. Per questi motivi, il sottocampionamento intelligente dovrebbe essere un approccio preferenziale per un'ampia gamma di applicazioni, tra cui la scienza dei materiali, la ricerca biomedica, la modellazione ambientale, l'analisi di marketing e le scienze sociali.
Ma perché ricorrere alla forza bruta quando si può ricorrere all'intelligenza? Attraverso una dimostrazione interattiva che sfrutta le più recenti funzionalità di JMP Pro nel campo della formulazione di materiali complessi, questa presentazione dimostra che un approccio di sottocampionamento ben progettato, combinato con tecniche di modellazione sia classiche che avanzate (regressione multilineare, reti neurali, SVM, regressione generalizzata), può portare a previsioni affidabili.
Salve. Grazie per aver seguito questa presentazione per l'edizione 2025 della conferenza Europe Discovery Summit. Mi chiamo Damien Perret. Sono un ricercatore di ricerca e sviluppo presso il CEA in Francia e oggi presento con Carole Soual, statistica presso Ippon Innovation. Con Carole, siamo molto felici di essere qui oggi e vorremmo ringraziare il comitato direttivo che ci ha dato l'opportunità di parlare di questo lavoro, che riguarda un approccio di sottocampionamento intelligente applicato alla modellazione predittiva.
Cominciamo con qualche parola sul CEA. Il CEA è un ente governativo francese per la ricerca, lo sviluppo e l'innovazione in quattro aree: energie a basse emissioni di carbonio, tecnologia digitale, tecnologie mediche per il futuro e difesa e sicurezza.
Il CEA conta circa 21.000 persone distribuite in 9 sedi. Abbiamo solidi rapporti con le università attraverso diverse unità di ricerca congiunte, un elevato numero di brevetti e la creazione di startup con un budget di circa 6 miliardi di euro.
Ippon Innovation è un'azienda di data scientist dedicata a fornire algoritmi avanzati all'industria. I nostri obiettivi sono ottimizzare i costi di produzione e i tempi di test per migliorare la qualità di prodotti complessi e rilevare piccoli segnali nei big data. Offriamo servizi di consulenza, formazione e studi avanzati on-demand. Abbiamo diversi progetti, tra cui soluzioni statistiche personalizzate o strumenti avanzati, alcuni dei quali brevettati.
La motivazione di questo lavoro deriva dal fatto che, sebbene i più recenti algoritmi di apprendimento automatico siano in grado di elaborare grandi quantità di informazioni, la gestione di grandi set di dati presenta ancora alcune sfide. Invece di utilizzare tecniche di forza bruta su enormi set di dati, che possono potenzialmente portare a un degrado della previsione per diversi motivi, crediamo che un sottocampionamento intelligente sia un approccio più perspicace, che porta anche a modelli più interpretabili. Qui mostriamo un'applicazione nella scienza dei materiali, ma potremmo immaginare che questo approccio possa essere applicato anche a nuove applicazioni, anche al di fuori dei campi della fisica e della chimica.
Per le persone che hanno partecipato alla scoperta nel 2021, è stata presentata un'anteprima di questo studio per spiegare l'approccio. L'approccio è stato notevolmente migliorato negli ultimi 4 anni e la capacità predittiva del metodo è aumentata significativamente, ed è per questo che volevamo mostrarvi i nostri ultimi risultati.
Il nostro obiettivo principale in questo lavoro è sviluppare un approccio di sottocampionamento ben progettato, che, come vedrete, si avvalga sia di tecniche di modellazione classiche che di quelle più avanzate per ottenere previsioni robuste. Per raggiungere questo obiettivo, volevamo che gli algoritmi fossero codificati in JSL e implementati in JMP Pro 18.
Nell'esempio di oggi, mostriamo come questa metodologia è stata applicata alla previsione della viscosità del vetro fuso. Pertanto, la risposta del modello è la viscosità del vetro. I fattori sono la percentuale in peso degli ossidi di vetro e il nostro database contiene sia set di dati commerciali che proprietari.
In breve, il vetro è un materiale non cristallino ottenuto mediante tempra rapida, ed è costituito da una miscela di diversi ossidi. Il numero di ossidi varia da 2 o 3 in un vetro molto semplice a circa 30, e anche di più nelle composizioni più complesse.
Un aspetto importante della viscosità del vetro è l'ampio intervallo di variazione che rende questa proprietà molto difficile da prevedere. La viscosità del vetro è anche altamente sensibile alla composizione e meccanismi come la cristallizzazione solitamente influenzano notevolmente la reologia della massa fusa.
Esiste una bella analogia con il comportamento della lava in geologia per illustrare la complessa relazione tra cristallizzazione e viscosità. Ad alta temperatura, la lava è un fluido viscoso e omogeneo, molto simile a una massa di vetro fuso. Quando la temperatura della lava diminuisce, di solito si verifica una cristallizzazione rapida e massiva, che ha un impatto enorme sulla viscosità della massa fusa.
Come si può vedere in questo grafico, l'aumento di viscosità causato da questa cristallizzazione può raggiungere fino a otto ordini di grandezza, modificando anche il reale comportamento logico della massa fusa, rendendo molto difficile la previsione della viscosità.
Ciò che volevamo dimostrare qui è che la previsione della viscosità non è semplice nemmeno per composizioni di vetro molto semplici. Qui abbiamo selezionato tre composizioni di vetro SBN, un vetro molto semplice con solo tre ossidi. Abbiamo applicato i modelli più noti in letteratura per calcolare la viscosità. Abbiamo quindi confrontato i valori previsti con i valori sperimentali misurati con il nostro dispositivo, evidenziati in rosso in questi grafici. Si può notare che anche per un vetro molto semplice non è facile ottenere un valore affidabile per la viscosità prevista.
Le tecniche di apprendimento automatico sono sempre più applicate alla scienza dei materiali vetrosi, in particolare per la previsione della viscosità del vetro, ma con un'accuratezza limitata. In passato abbiamo provato ad applicare le reti neurali per prevedere la viscosità del vetro, ma non siamo rimasti molto soddisfatti dei risultati ottenuti.
Ad esempio, osserviamo alcuni modelli inaspettati e anche deviazioni di diversi ordini di grandezza. Questo è stato il caso anche in pubblicazioni recenti, sempre utilizzando reti neurali, dove possiamo osservare queste differenze di sei ordini di grandezza tra la previsione e la misurazione.
Alla fine siamo giunti alla conclusione che c'era così tanta disparità nei set di dati globali e così tanti meccanismi fisici e chimici non lineari che si verificavano nella fusione del vetro, influenzandone la viscosità, che l'utilizzo dell'apprendimento automatico tradizionale sul database globale non era l'approccio migliore.
Ecco un'immagine utile per dare un'idea del nostro database, in cui ogni punto rappresenta un bicchiere in una visione multidimensionale del dominio di composizione. I dati possono provenire da diversi studi isolati, oppure possiamo avere dati da progetti sperimentali, o dati ottenuti da studi parametrici con variazioni di un componente alla volta. Il risultato finale è un database molto eterogeneo e omogeneamente popolato.
La strategia si basa sull'ipotesi che, invece di utilizzare tutti i dati, sia meglio addestrare i modelli predittivi solo su dati simili. Ad esempio, se vogliamo fare una previsione in questo caso, i modelli verranno creati a partire dai dati che abbiamo in quest'area. Se invece vogliamo fare una previsione in questo caso, verranno creati modelli diversi.
Abbiamo detto che l'approccio è dinamico perché i modelli predittivi dipendono dalla composizione e vengono adattati dove vogliamo prevedere. È automatico perché non dobbiamo farlo manualmente. Ogni passaggio è eseguito da algoritmi implementati nel nostro strumento.
La strategia che abbiamo applicato per creare set di dati di training si basa sulla metodologia del design of experiment. Per ogni previsione, viene generato un DOE ottimale attorno alla composizione di interesse e ogni esecuzione del design viene quindi sostituita dai dati sperimentali più simili presenti nel database, ottenendo il set di dati di training finale.
Per la parte predittiva dello strumento, sono stati implementati quattro algoritmi: un modello polinomiale classico ottenuto da regressione multilineare, un modello GENREG, un modello di rete neurale e un modello di regressione vettoriale di supporto, che è una nuova aggiunta. Alla fine, non abbiamo un singolo valore previsto, ma quattro valori previsti. Calcolando la mediana di queste quattro previsioni, otteniamo una stima molto robusta della risposta. Come vedremo durante la demo, vengono anche calcolati e analizzati diversi criteri statistici per confrontare le prestazioni dei diversi algoritmi predittivi.
Ecco alcuni dei parametri chiave. Era fondamentale tenere conto del maggior numero possibile di input da parte degli esperti del vetro. Un aspetto di fondamentale importanza era legato all'origine e all'affidabilità dei dati. Per questo motivo, gran parte del progetto è stata dedicata alla costituzione di un database affidabile.
Abbiamo anche dovuto creare algoritmi specifici per gestire la natura e il ruolo degli ossidi e della viscosità. Abbiamo dovuto implementare metodi e studiare diversi metodi per calcolare le distanze tra composizioni simili. Tutto questo è stato implementato negli algoritmi dello strumento.
Prima di passare alla demo, ecco una vista schematica dello strumento, che mostra anche le evoluzioni aggiunte di recente. Molti algoritmi sono stati aggiornati sia per la parte di campionamento che per il modello predittivo. Come accennato in precedenza, è stato implementato il SVR. Inoltre, ora è possibile inserire una singola composizione di vetro o un elenco di composizioni, il che consente di valutare la capacità dello strumento utilizzando un numero elevato di composizioni.
In termini di tempo di calcolo, ci vuole meno di un minuto per una produzione. Questo è accettabile, ma stiamo lavorando per migliorare leggermente l'efficienza del codice. Come abbiamo detto, tutto è codificato in JSL e include un componente aggiuntivo.
La demo, grazie, Damien. Condividerò il mio schermo. Il componente aggiuntivo JMP è stato sviluppato a partire dalla versione 16 di JMP Pro per lo strumento MS [inudibile 00:13:28] presso il CEA. Ora è disponibile nella versione 18 di JMP Pro. Offre due modalità per eseguire le previsioni per un vetro. Il primo pulsante nel menu JMP contiene un'interfaccia utente per prevedere la viscosità o la TG per un solo vetro a una o più temperature. Il secondo pulsante è una versione automatizzata, che fornisce la previsione per un elenco di vetri a una sola temperatura.
Se accedo alla cartella del componente aggiuntivo, è possibile visualizzare i due script principali eseguiti con i due pulsanti e le diverse funzioni o espressioni utilizzate dai due script principali. La cartella contiene script per le fasi di pre-elaborazione dei dati per costruire i dati campione di apprendimento, i modelli di previsione e, infine, la costruzione dell'output dell'analisi.
Eseguiamo il primo pulsante, la versione interattiva. Il primo passo per l'utente è selezionare la cartella contenente un database globale di tutte le viscosità del vetro in formato JMP. Poi devo selezionare gli elementi della composizione, ovvero gli ossidi del vetro di cui voglio prevedere la viscosità. Quindi clicco su OK.
Qui devo inserire la quantità in percentuale di ciascun elemento nella composizione globale del nostro bicchiere. Ad esempio, il mio bicchiere di cui voglio prevedere la viscosità contiene il 6,5% di CaO. L'ultimo passaggio è inserire le temperature. La caratteristica che voglio prevedere qui è la viscosità a 2 temperature, 1.100 gradi e 1.200 gradi. Tutti e quattro i modelli spiegati da Damien si riferiscono a due temperature. L'obiettivo è prevedere la viscosità del mio bicchiere. Per due temperature, ci vuole circa 1 minuto per ottenere i risultati.
Alla fine, ho questa finestra di output. Possiamo scegliere la temperatura più interessante per approfondire l'analisi delle previsioni. Qui, 1.200 gradi. Selezionando "Go" si aprirà la finestra di output finale, che mostra lo zoom sulla viscosità a 1.200 gradi.
In primo luogo, i profili contengono la composizione del vetro che vogliamo prevedere e gli elementi effettivamente considerati nei modelli. Poi abbiamo un profilo che fornisce la qualità dei modelli con errore assoluto medio o R-quadrato, ad esempio. Ulteriori dettagli sono disponibili sul metodo del DOE adattivo, come, ad esempio, la percentuale di correlazione tra il DOE ottimale e il DOE adattivo qui, 80% di elementi correlati tra i due DOE. È un ottimo progetto.
Vengono fornite anche le formule di previsione e gli effetti. Qui, ad esempio, per il BIC, possiamo vedere che SiO2 è l'ossido più significativo nel modello. L'output più importante è qui. È il riepilogo delle previsioni nel grafico che mostra i valori di viscosità previsti in funzione dei modelli. Possiamo vedere i valori di viscosità previsti forniti da ciascun punto. Sessantuno decipascal secondo per BIC F, 67 per GLM, 49 per le reti neurali e 64 per SVR.
Abbiamo anche il vetro più vicino, indicato dalla linea orizzontale tratteggiata verde, con una viscosità reale misurata di 68 decipascal al secondo. Questo vetro più vicino è qui. È molto vicino a quello che vogliamo prevedere. Come promemoria, avevamo il 6,5% di CaO, ad esempio, il vetro più vicino ha il 6,4% di CaO. Non conosciamo la viscosità reale del vetro da prevedere, quindi confrontiamo la previsione con la viscosità reale del vetro più vicino.
Infine, per questo vetro, la mediana della previsione è 62,5. È un ottimo risultato per quanto riguarda la viscosità misurata del vetro più vicino. GLM e SVR, qui e qui, sono i modelli migliori per prevedere la viscosità.
Damien presenterà ora l'analisi della versione automatizzata e l'output in una tabella per questo strumento.
La capacità dello strumento è stata valutata utilizzando un set di test contenente 7.500 dati. La metrica di interesse è l'errore assoluto sul logaritmo della viscosità, che riflette la distanza tra la viscosità prevista e il valore riportato in termini di ordine di grandezza. Solitamente riteniamo che sia molto efficace prevedere la viscosità di classe con un ordine di grandezza all'interno dell'intero intervallo di possibili valori di viscosità.
Ecco i risultati che otteniamo, dove la viscosità prevista è la mediana delle previsioni spiegate dai quattro algoritmi. Siamo rimasti piuttosto colpiti dall'accuratezza della previsione, poiché l'errore sulla viscosità prevista è inferiore a un ordine di grandezza, che era il nostro obiettivo per la stragrande maggioranza dei dati. In secondo luogo, ci sono solo pochissimi campioni per i quali l'errore è maggiore. Gli errori più elevati, pari a 3,3 ordini di grandezza, sono molto inferiori a quelli dei modelli di viscosità presenti in letteratura.
Un altro aspetto importante è che l'accuratezza predittiva è buona nell'intero intervallo di valori di viscosità, da 1-10 a 6 decipascal al secondo. L'ultimo punto è che l'accuratezza è ancora migliore per le composizioni di vetro su cui ci stiamo concentrando principalmente per la nostra applicazione.
Stiamo attualmente indagando sui fattori alla base dei dati che mostrano l'errore di previsione più elevato. In termini di composizione, sembra che l'errore di previsione sia altamente correlato alla presenza di elementi chimici, che notoriamente hanno un impatto molto forte sulla viscosità del vetro, ma sono presenti solo in un numero molto limitato di composizioni nel database. Abbiamo anche osservato che la distanza dal vicino più prossimo era significativamente maggiore per questi valori anomali.
Infine, abbiamo anche cercato di verificare se l'anno di pubblicazione dei dati avesse un effetto, perché possiamo immaginare che i dispositivi sperimentali per le misurazioni della viscosità del vetro fossero forse meno accurati 60 o 80 anni fa. In effetti, questi grafici tendono a mostrare che l'errore di previsione è inferiore per i dati più recenti.
Infine, abbiamo osservato che i quattro tipi di modelli forniscono previsioni molto vicine in termini di quantili dell'errore assoluto. Il massimo dell'errore assoluto è significativamente inferiore per le reti neurali e ancora inferiore per SVR, dando alla fine un errore medio inferiore. Poiché i quattro modelli si sono rivelati efficienti, abbiamo deciso di mantenere la mediana delle quattro previsioni per garantire previsioni altamente robuste.
In conclusione, abbiamo presentato un approccio predittivo basato sul sottocampionamento dinamico dei dati. Abbiamo implementato quattro diversi modelli, addestrati su un sottoinsieme di dati simili generati da un DOE ottimale. Questa procedura è completamente automatica, con tutti i passaggi codificati in JSL e implementati come componente aggiuntivo in JMP Pro 18.
La capacità predittiva dello strumento è stata valutata su un set di dati contenente circa 7.500 composizioni di vetro, fornendo risultati molto accurati, in particolare per le composizioni di vetro di interesse.
Successivamente, vorremmo valutare ed eventualmente implementare ulteriori tecniche predittive che riteniamo possano essere promettenti per questa applicazione. Cercheremo anche di sviluppare un'interfaccia Python per abbinare questo strumento ad altri codici di simulazione agli elementi finiti che già utilizziamo per l'elaborazione della vetrificazione.
Grazie mille per l'attenzione.
Grazie.
