| Oratore |
Trascrizione |
| Damien PERRET |
Ciao, benvenuti e grazie per aver guardato online questa presentazione per la conferenza Europe Discovery Summit. |
| |
Mi chiamo Damien Perret. Sono un ricercatore di ricerca e sviluppo presso il CEA in Francia, insieme al mio collega e amico Francois Bergeret, statistico e fondatore di Ippon Innovation in Francia. |
| |
Mi chiamo Damien Perret. Sono un ricercatore di ricerca e sviluppo presso il CEA in Francia, insieme al mio collega e amico Francois Bergeret, statistico e fondatore di Ippon Innovation in Francia. |
| |
Quindi, insieme a Francois, siamo molto felici di essere qui oggi e vorremmo ringraziare il comitato direttivo che ci ha dato l'opportunità di affrontare questo argomento, che riguarda i metodi statistici avanzati applicati alla previsione della viscosità del vetro con JMP. |
| |
Cominciamo quindi con qualche parola sulla Commissione francese per le energie alternative e l'energia atomica. Il CEA è un ente governativo francese per la ricerca, lo sviluppo e l'innovazione in quattro settori. |
| |
Difesa e sicurezza, energie a basse emissioni di carbonio, ricerca tecnologica e ricerca fondamentale. Il CEA conta circa 20.000 persone distribuite in nove sedi. |
| |
Abbiamo solidi rapporti con le università attraverso diverse unità di ricerca congiunte, un elevato numero di brevetti e la creazione di start-up, con un budget di circa 5 miliardi di euro. |
| François Bergeret |
statistica e scienza dei dati, inclusi studi, consulenza e formazione. |
| |
Siamo molto orgogliosi di essere soci accomandatari |
| |
da diversi anni. Sono anche molto felice di presentarvi oggi il mio amico Damien. |
| |
Ippon propone anche soluzioni avanzate per il controllo di processo e la riduzione dei difetti. Personalmente, utilizzo JMP dal 1995 con JMP 3. |
| Damien PERRET |
Il nostro obiettivo principale in questo lavoro è quindi quello di creare modelli statistici per prevedere le proprietà del vetro e, per la conferenza di oggi, ci concentreremo sulla viscosità del vetro. |
| |
Per raggiungere questo obiettivo, i dati sperimentali provengono sia da database commerciali che dal nostro database presso il CEA. Volevamo che gli algoritmi fossero codificati in JSL e implementati in JMP Pro 15. |
| |
La risposta del modello è la proprietà del vetro di interesse, quindi la viscosità per questo esempio, e i fattori sono il contenuto dei diversi componenti del vetro. |
| |
Ecco alcune informazioni di base. Il vetro è un solido non cristallino. Si ottiene dalla rapida tempra di una massa fusa di vetro e, dal punto di vista materiale, il vetro è una miscela di diversi ossidi. |
| |
Quindi il numero di ossidi è variabile, da due o tre in un vetro molto semplice a circa 30 e anche di più nelle composizioni più complesse. |
| |
Esiste una lunga tradizione nel calcolo delle proprietà del vetro e pensiamo che i primi modelli siano stati creati in Germania alla fine del XIX secolo. |
| |
Da allora, |
| |
la quantità di letteratura pubblicata nel campo della previsione delle proprietà del vetro è aumentata enormemente, tanto che oggi abbiamo un'enorme quantità di dati sul vetro disponibili in database commerciali, che hanno anche offerto e utilizzato per prevedere il |
| |
proprietà del vetro. |
| |
Ma nonostante tutti gli sforzi fatti in passato per prevedere le proprietà del vetro, permangono delle sfide per la previsione della viscosità del vetro. |
| |
E questo perché la viscosità del vetro è una proprietà difficile da prevedere. Innanzitutto, la viscosità dipende molto dai meccanismi fisici che possono verificarsi nella massa fusa del vetro, a seconda della composizione del vetro, come ad esempio la separazione di fase o la cristallizzazione. E inoltre |
| |
la viscosità è l'unica proprietà che presenta un intervallo di variazione così ampio, fino a certi ordini di grandezza. |
| |
Ecco un esempio che illustra questa difficoltà. Abbiamo selezionato tre composizioni di vetro SBN, un vetro molto semplice, con solo tre ???. |
| |
E abbiamo applicato i modelli più noti in letteratura per calcolare la viscosità. |
| |
E poi confrontiamo i valori previsti con il valore sperimentale misurato con il nostro strumento. Si può quindi osservare che, anche per un vetro molto semplice, non è facile ottenere un valore affidabile per la viscosità prevista. |
| |
Ecco un'immagine, una buona immagine che ci piace usare per dare una visione del database, dove ogni punto è un bicchiere in una visione multidimensionale del dominio delle composizioni. Quindi i dati possono provenire da studi isolati. |
| |
oppure possiamo avere dati provenienti da studi che utilizzano modelli sperimentali oppure possiamo avere dati |
| |
ottenuto |
| |
con la valutazione di un componente alla volta. |
| |
In passato abbiamo dedicato molto tempo all'applicazione di diverse tecniche di apprendimento automatico utilizzando la parte di dati presente nell'intero database. |
| |
È stato utilizzato un approccio classico su un set di convalida, ma alla fine non è stato trovato alcun modello statistico con una capacità predittiva accettabile per prevedere la viscosità. |
| |
Abbiamo quindi deciso di adottare un approccio diverso. |
| |
Quindi, invece di utilizzare tutti i dati, pensiamo che sia meglio creare un modello utilizzando dati vicini alla composizione di cui vogliamo prevedere la viscosità. Quindi, ad esempio, se vogliamo prevedere |
| |
qui sul |
| |
punti rossi, verrà creato un modello dai dati che abbiamo in quest'area e verrà creato un modello diverso se vogliamo prevedere |
| |
la proprietà |
| |
su un'altra composizione. Ecco perché diciamo che questa tecnica è dinamica. Perché il modello dipende dalla composizione. È correlato e adattato dove vogliamo prevedere. |
| |
E diciamo che è automatico perché non dobbiamo farlo manualmente. Ogni passaggio è eseguito da algoritmi implementati nello strumento. |
| |
Quindi uno dei punti più importanti è sicuramente la determinazione del sottoinsieme ottimale di dati per creare il modello. Per questo abbiamo implementato due metodi di sottocampionamento. |
| |
Quindi nel primo metodo viene generato un progetto teorico o virtuale dell'esperimento |
| |
attorno alla composizione di interesse. Quindi, ogni esecuzione del disegno viene sostituita dai dati sperimentali più simili presenti nel database, ottenendo il set di addestramento finale. |
| |
Il secondo metodo che abbiamo implementato nello strumento si basa su set di dati di diverse dimensioni creati attorno alla composizione di interesse. |
| |
Lo strumento genera un piccolo set di dati e su questo piccolo sottoinsieme vengono creati modelli per prevedere la viscosità. Successivamente, vengono generati set di dati sempre più grandi e la dimensione ottimale viene valutata tramite criteri statistici associati a ciascun sottoinsieme. |
| François Bergeret |
La viscosità del vetro non è facile da prevedere, quindi abbiamo deciso di utilizzare diverse statistiche e metodi di apprendimento automatico. |
| |
Modelli polinomiali ??? con trasformazione, regressione generalizzata utilizzando una distribuzione lognormale. Questo metodo è molto potente se utilizzato con JMP Pro e può fornire risultati migliori rispetto ai modelli ??? con trasformazione. |
| |
Utilizziamo anche reti neurali, molto potenti in termini di predizione. Avendo a disposizione due set di dati, come accennato in precedenza, abbiamo sei previsioni per ogni risposta. |
| |
La diapositiva successiva è uno schema, una vista dello strumento. |
| |
I dati di input sono la composizione del vetro e la temperatura alla quale deve essere prevista la viscosità. |
| |
Se osserviamo qui, il codice e l'algoritmo sono stati implementati per i due metodi descritti poco prima. |
| |
Il punto di forza dello strumento è che, invece di ottenere una sola previsione, vengono calcolati sei valori con un criterio statistico associato a tutti i dati che possono essere valutati dall'utente. |
| Damien PERRET |
Ecco quindi alcuni dei parametri chiave. È fondamentale tenere conto del maggior numero possibile di suggerimenti da parte degli esperti del vetro. |
| |
Ad esempio, abbiamo dovuto creare algoritmi specifici per entrare in contatto con la natura e con il ruolo degli ossidi sulla viscosità. |
| |
Un altro punto di fondamentale importanza è legato all'origine e quindi all'affidabilità dei dati. Per questo, è stato dedicato molto tempo a questo progetto. |
| |
alla costituzione di un database affidabile. Quindi abbiamo dovuto implementare i pesi e studiare diversi modi per calcolare la distanza... le distanze tra le composizioni del vetro. |
| |
Quindi adesso è il momento... |
| François Bergeret |
Ok, ora vi mostro la schermata. |
| |
Per mostrarti una demo |
| |
del codice, quindi ora dovresti vedere la mia schermata. |
| |
E sto solo eseguendo il codice, quindi è un programma JSL complesso. Lo stiamo sviluppando da diversi mesi con CEA. |
| |
Quindi ho appena eseguito il codice e ora ve lo mostrerò. |
| |
Scoperta...quindi eccomi qui ad aprire i file per il codice. |
| |
E funziona, ok. Il codice è in esecuzione, quindi farò un piccolo commento. |
| |
Abbiamo diversi cicli in questo codice. Naturalmente, il primo passo è identificare i dati e le funzioni. Dopodiché abbiamo un ciclo, prima di tutto, abbiamo quella che chiamiamo iterazione adattiva e la ragione per cui il database è stato creato. |
| |
Quindi e |
| |
Poiché è adattivo, come ha detto Damien, si cerca il miglior sottoinsieme di dati. E qui abbiamo anche l'approccio della progettazione degli esperimenti, grazie al quale, ottimizzando la progettazione, otteniamo i dati giusti. |
| |
Dopodiché, mentre il sistema è in esecuzione, stiamo prevedendo la temperatura di transizione vetrosa. Bene, come ho detto, abbiamo tre modelli e per ogni modello abbiamo due database, quindi abbiamo un totale di sei previsioni. |
| |
Quindi, come potete vedere, è un po' lungo da eseguire, ma dura circa un minuto e, una volta terminato, avremo tutti i risultati dei programmi relativi alla temperatura di transizione vetrosa e, naturalmente, alla viscosità. |
| |
L'utilizzo di JSL è stato molto, molto utile e, inoltre, in termini di utenti, come vedrete con Damien, è molto facile da usare e da |
| |
da usare per gli esperti. Quindi Damien, puoi parlare e smettere di condividere. |
| Damien PERRET |
Va bene, quindi. |
| |
Solo uno. |
| |
Riesci a vedere il mio schermo adesso? |
| |
Sì, va bene. |
| |
Bene, questo è un rapporto statistico generale creato dallo strumento. Innanzitutto, abbiamo la composizione di interesse del vetro. |
| |
Poi |
| |
abbiamo |
| |
su questo grafico, i valori previsti. Quindi sull'asse Y, |
| |
Abbiamo i valori previsti della viscosità calcolati dai tre algoritmi e per i due metodi. E sull'asse X, abbiamo il numero dell'ingrandimento per il secondo metodo. |
| |
E in rosso abbiamo la mediana delle previsioni, che può essere sufficiente per un utente non statistico, ma se vogliamo indagare i dettagli statistici, abbiamo molte informazioni in questo rapporto per studiare la qualità di ciascuna |
| |
ogni modello. Ad esempio, |
| |
possiamo controllare i valori |
| |
del PRESSS o del modello diverso. Ecco il modello di regressione multilineare BIC F. |
| |
Quindi qui vediamo che i valori PRESS ci dicono che la previsione con il metodo numero uno è leggermente migliore rispetto al secondo metodo, e vediamo anche la liquidazione del modello con l'ampliamento del set di addestramento. |
| |
Abbiamo anche |
| |
diversi valori statistici. Ad esempio, abbiamo il valore R quadrato per i diversi algoritmi e per i diversi modelli. |
| |
E qui abbiamo ancora più dettagli sul modello. |
| |
Ad esempio, per il primo metodo possiamo confrontare la progettazione teorica e quella effettiva dell'esperimento. Abbiamo la previsione... |
| |
Formula di previsione per i diversi...per i diversi modelli. Abbiamo anche alcune informazioni sulle...stime, e abbiamo anche molte informazioni per...per il secondo metodo. Quindi, alla fine, abbiamo un sacco di dati statistici. |
| |
dettagli e informazioni molto, molto utili per l'utente. E qui, |
| |
alla fine abbiamo la composizione della maggior parte dei vetri presenti nel database, per i quali abbiamo un valore sperimentale della viscosità, quindi anche questo è molto, molto utile. |
| |
Ok, allora |
| |
torniamo al PowerPoint. |
| |
Bene, quindi questi sono i risultati che otteniamo. Il |
| |
La capacità predittiva è stata valutata estraendo 230 righe che formano un database globale. E in questa tabella, abbiamo l'errore relativo della previsione...di |
| |
la previsione della viscosità |
| |
per diversi tipi di vetro e per il sottoinsieme globale di dati. Tre quantili sono forniti come mediana, il che significa che il 50% dei valori previsti presenta un errore relativo inferiore al valore indicato nella tabella. |
| |
E in questa tabella abbiamo anche i quantili del 75% e del 90%. Quindi, quando parliamo di viscosità del vetro, tradizionalmente consideriamo un errore previsto intorno al 70% molto buono. Possiamo quindi osservare che per la maggior parte dei dati |
| |
la capacità del modello è buona e siamo stati molto soddisfatti dei risultati ottenuti. |
| |
A titolo di confronto, |
| |
eccoci di nuovo |
| |
i risultati che abbiamo ottenuto per il vetro molto semplice, il vetro SBN, con solo tre ossidi, quando abbiamo applicato i modelli disponibili in letteratura. Possiamo quindi vedere che i valori per l'errore relativo di predizione erano molto più alti e potevano variare notevolmente da un modello all'altro. |
| |
E ancora una volta, questo valeva per un vetro molto semplice, con solo tre ossidi. |
| |
E in alcuni casi abbiamo errori che sono più importanti, |
| |
ma se guardiamo questi dati in dettaglio, quindi qui su questo grafico, abbiamo |
| |
i valori ??? su |
| |
asse x e valori sperimentali sull'asse y, vediamo che questo errore di previsione più grande si ottiene per questi due bicchieri |
| |
proveniente dal database commerciale SciGlass da ... lo stesso riferimento, che è un brevetto e per il quale non viene menzionato l'errore sperimentale dell'apparecchiatura. |
| |
Inoltre, per tutte queste composizioni ad alto contenuto di alluminio, riteniamo che sia molto probabile che si verifichi una cristallizzazione, e quindi non possiamo essere totalmente sicuri che i valori sperimentali siano corretti. |
| |
Infine, abbiamo applicato la nostra metodologia per prevedere un'altra proprietà del vetro, la temperatura di transizione vetrosa, che è una proprietà importante nella tecnologia del vetro. |
| |
Ecco i risultati che abbiamo ottenuto, che sono persino migliori rispetto a quelli ottenuti per la viscosità. E qui, l'errore relativo complessivo della previsione è inferiore al 5%, il che è davvero ottimo, perché sappiamo che questa proprietà |
| |
può variare molto, a seconda della storia termica del vetro e del dispositivo sperimentale. Ecco quindi le due capacità, molto vicine all'errore sperimentale, il che è molto interessante. |
| François Bergeret |
Bene, in conclusione, una caratteristica importante del nostro approccio è il sottocampionamento dinamico del database globale. Ci occupiamo delle informazioni corrette in base alla composizione di interesse. |
| |
Inoltre, utilizzando JSL e JMP Pro, abbiamo automatizzato i modelli di apprendimento automatico, la regressione generale e le reti neurali sono molto performanti. |
| |
Secondo l'esperto del CEA, l'accuratezza è buona e rivela alcuni problemi inaspettati. Abbiamo in programma di espandere i modelli su un database più ampio e di collaborare con Bradley Jones, magari scrivendo una pubblicazione congiunta. Grazie. |
