La progettazione degli esperimenti (DOE) è un metodo statistico che guida l'esecuzione degli esperimenti, li analizza per individuare le variabili rilevanti e ottimizza il processo o il fenomeno oggetto di indagine. L'utilizzo della DOE nello sviluppo di prodotti può portare a prodotti più facili ed economici da realizzare, con prestazioni e affidabilità migliorate e tempi di progettazione e sviluppo più brevi.
Oggigiorno, l'apprendimento automatico (ML) è ampiamente adottato come strumento di analisi dei dati grazie alla crescente disponibilità di set di dati ampi e complessi. Tuttavia, non tutte le applicazioni possono permettersi di gestire grandi quantità di dati. Ad esempio, nei settori farmaceutico e chimico, i set di dati sperimentali sono in genere di piccole dimensioni a causa dei vincoli di costo e del tempo necessario per generare dati preziosi. Ciononostante, l'integrazione dell'apprendimento automatico nella progettazione sperimentale si è dimostrata un modo efficace per ottimizzare la formulazione in un set di dati di piccole dimensioni, che può essere raccolto in modo più economico e veloce.
Questa presentazione è suddivisa in tre parti. In primo luogo, viene brevemente riassunta la letteratura relativa alla progettazione sperimentale assistita dall'apprendimento automatico. Successivamente, viene presentato un caso di adesivo per illustrare l'efficienza della combinazione di progettazione sperimentale e apprendimento automatico per ridurre il numero di esperimenti necessari per identificare lo spazio di progettazione con un pacchetto catalizzatore ottimizzato. Nella terza parte, relativa a un'applicazione di sigillante industriale, utilizziamo i dati della superficie di risposta per confrontare l'errore di predizione del modello RSM con modelli di vari algoritmi di apprendimento automatico (RF, SVR, Lasso, SVEM e XGBoost) utilizzando dati di convalida eseguiti all'interno e all'esterno dello spazio di progettazione.
Salve, sono Stone Cheng di Henkel Corporation. La mia presentazione di oggi verterà sulla progettazione sperimentale assistita dall'apprendimento automatico per l'ottimizzazione delle formulazioni. Nell'ordine del giorno, discuterò brevemente dell'apprendimento automatico e della sua associazione con le applicazioni del Dipartimento dell'Energia (DOE). Questa associazione sarà illustrata in due casi di studio. Il Caso 1 riguarda l'uso dell'apprendimento attivo per trovare uno spazio di progettazione. Il Caso 2 riguarda l'uso dell'apprendimento automatico per migliorare le prestazioni previste dal Dipartimento dell'Energia (DOE).
La mia azienda, Henkel. È un'azienda chimica da 22 miliardi di dollari. Abbiamo due divisioni aziendali. Una è il marchio consumer che comprende prodotti per il bucato, la casa e la cura della bellezza. L'altra è il gruppo dedicato alle tecnologie adesive, di cui faccio parte. Siamo leader nel mercato globale degli adesivi, servendo 800 settori industriali con oltre 20.000 prodotti.
L'apprendimento automatico è un argomento in forte espansione, come illustrato da molta letteratura di revisione pubblicata negli ultimi 4 anni, che copre un'ampia gamma di applicazioni industriali, tra cui metodologia, farmaceutica, chimica e molta stampa 3D, nonché l'uso nella qualità, nell'innovazione e nella produzione.
Il tipico apprendimento automatico utilizza grandi set di dati, il che è l'opposto della pratica DOE in cui si desidera apprendere il più possibile con il minor numero di esecuzioni. Oggigiorno, in generale, il DOE viene utilizzato insieme al machine learning in due modi, come illustrato in questo articolo di revisione del 2021. Da un lato, il machine learning viene utilizzato per analizzare i dati DOE. Dall'altro, si chiama apprendimento attivo, in cui i risultati della fase di modellazione del machine learning vengono utilizzati per suggerire le successive configurazioni sperimentali. Nella mia presentazione, ho esempi di entrambi i casi.
Nel Caso 1, si tratta di un DOE di apprendimento automatico guidato da target per studiare lo spazio di progettazione e l'ottimizzazione della formulazione dell'adesivo. "Guidato da target" è un termine sofisticato. In questo caso, verrà anche inteso come apprendimento supervisionato. Nel Caso 1, dobbiamo migliorare la stabilità dell'adesivo incorporando due additivi stabilizzanti nella formulazione. La stabilità è monitorata da due risposte: una è il flusso, l'altra è per il mantenimento dell'adesione.
Ora, la chimica è una novità per Henkel e anche per questa chimica e ha deciso di impostare l'intervallo iniziale dell'additivo 1 tra 0,1 e 0,5 e poi da 0,5 a 3 per l'additivo 2. La chimica ha utilizzato un fattore alla volta e vari metodi DOE tra cui fattoriale, RSM e riempimento dello spazio, cercando di trovare lo spazio di progettazione che possa soddisfare entrambe le specifiche target.
Delle 22 prove, la chimica ne ha identificate 2 che soddisfano sia il requisito di flusso che quello di adesione. La domanda è: esiste un modo più efficiente per identificare lo spazio di progettazione?
Il nostro approccio consiste nel migliorare l'efficienza della progettazione delle formulazioni, che prevede due fasi. Nella fase 1, si utilizza l'apprendimento attivo per identificare lo spazio di progettazione. Nella fase 2, si utilizza una modellazione predittiva primaria per l'ottimizzazione dell'adesivo. Nella fase 1, la progettazione dello spazio di alimentazione prevede 5 prove iniziali. Successivamente, entrambe le risposte vengono modellate attraverso la regressione SVR e il supporto vettoriale.
Quindi, a partire dal modello, è stato generato il grafico di controllo e sovrapposto per mostrare un'area bianca desiderata che soddisfasse entrambe le specifiche. Successivamente, il disegno del riempimento dello spazio è stato ampliato in base a questa regione suggerita dal grafico del contorno di sovrapposizione. Questo è considerato un ciclo.
Questo ciclo di fasi viene ripetuto altre due volte per raggiungere un totale di 15 esecuzioni. Nella fase 2, abbiamo selezionato manualmente lo spazio di progettazione per la modellazione e anche l'esecuzione utilizzata per la convalida. Questo per i passaggi 5, 6 e 7, che prevedono l'input di dati chimici. Questo è ciò che chiamiamo "fasi guidate da obiettivi".
JMP Space Filling Design offre sette opzioni per la selezione delle posizioni di esecuzione. Ecco un esempio per un sistema a due fattori. Utilizzo l'ipercubo latino poiché è comunemente utilizzato nella letteratura scientifica. Il funzionamento della fase 1 o del ciclo 1 è illustrato qui. Il numero 1 mostra i dati di esecuzione e la colonna di previsione SVM. Il numero 2 mostra l'adattamento del modello SVM per entrambe le risposte. Il numero 3 mostra il grafico di contorno del modello.
Il numero 4 è la sovrapposizione dei due diagrammi di contorno, la cui area bianca soddisfa l'obiettivo di progettazione di entrambe le risposte. La punta dell'area bianca visibile in questa lente d'ingrandimento è un nuovo limite superiore di progettazione che viene utilizzato nel passaggio 5 per ampliare il progetto specifico e richiedere altre 5 esecuzioni.
Nella fase 2 di apprendimento attivo, ciclo 2, abbiamo ora una corsa di 10 punti utilizzata per la modellazione. Seguendo lo stesso processo della fase 1, viene suggerito un nuovo limite di progettazione, appositamente progettato per la fase 3. Questa è la diapositiva dell'ultima fase, numero 3, fase 3, in cui abbiamo un totale di 15 punti dati per l'ulteriore modellazione.
Il numero 13 è il riepilogo dello spazio di progettazione a destra e della mappa di risposta a sinistra, dove la regione in alto a sinistra rappresenta il progetto target che mappa sia l'adesione che il requisito di flusso. I dati in ogni fase sono codificati a colori: blu per la fase 1, rosso per la fase 2 e verde per la fase 3. L'esecuzione che ha soddisfatto entrambi gli obiettivi di progettazione è mostrata nel cerchio pieno, mentre l'altra è il cerchio vuoto in cui una o entrambe le risposte falliscono.
Delle 3 fasi di 15 esecuzioni totali, 5 soddisfano l'obiettivo di progettazione, ovvero un'efficienza di circa il 33%. Questo risultato è molto migliore rispetto a 2 esecuzioni su 22 nell'approccio DOE di apprendimento non attivo precedentemente discusso. Tale efficienza è solo del 9%. Il fatto che siano necessarie solo 10 esecuzioni di apprendimento automatico, ovvero combinando la fase 1 e la fase 2, e un'esecuzione DOE di 22 esecuzioni per trovare tre o due esecuzioni target accettate, suggerisce che l'apprendimento attivo abbia migliorato l'efficienza di almeno due volte.
In una modellazione predittiva, se un set di dati contiene più esecuzioni che soddisfano le specifiche target, è probabile che abbia prestazioni migliori. Abbiamo detto che ci aspettavamo un approccio di apprendimento attivo per ottenere risultati migliori in termini di anno o posizione, poiché ne ho cinque in uno spazio e solo due nel DOE standard. Questo esempio di apprendimento attivo ha solo 15 esecuzioni e vogliamo evitare qualsiasi potenziale valore anomalo che possa distorcere i dati.
Abbiamo deciso di alterare le esecuzioni che non soddisfano entrambi gli obiettivi di progettazione, ovvero le esecuzioni 1.2 e 1.3. Con questa modifica, nel nostro spazio di modellazione sono presenti solo 13 esecuzioni, mostrate in questo triangolo rosso. Nella convalida del modello, vogliamo verificare quanto sia buona la previsione dei modelli in una regione in cui entrambi gli obiettivi di progettazione vengono soddisfatti.
Non siamo interessati alla previsione sul bordo esterno. Selezioniamo il punto di rilevamento nello spazio di progettazione desiderato. Questi sono contrassegnati dai punti arancioni qui, e un punto vicino al confine, che corrisponde a 3,2 esecuzioni qui. In questo modo, ci sono 10 esecuzioni come set di addestramento e poi 3 esecuzioni come set di convalida.
La decisione di Chemistry nella selezione dello spazio modello e l'esecuzione della validazione sono guidate dall'obiettivo. Entrambi i passaggi, insieme all'argomento nella progettazione specifica, li chiamiamo fase guidata dall'obiettivo. Qui duplico la colonna di risposta in R10. Con l'esecuzione della validazione, i dati sono stati rimossi. Questa colonna viene utilizzata per il confronto con il modello di apprendimento automatico, che ora offre un'opzione di validazione per l'ottimizzazione dei parametri. Ecco l'elenco dei modelli di apprendimento automatico che utilizzano questo modello di predizione.
Possiamo applicare la colonna di convalida in tutti i modelli tranne due: uno è la regressione del processo gaussiano e l'altro è la rete neurale SVEM offerta da Predictum Inc. Il modello di ciascun algoritmo è stato eseguito e la loro formulazione prevista è salvata nella colonna proprio qui.
Il confronto tra i modelli è stato effettuato in due modi: uno utilizzando la piattaforma JMP Model Comparison e l'altro calcolando personalmente l'errore quadratico medio. Per farlo, ho forzato l'inserimento della colonna della formulazione della previsione e poi ho cancellato una colonna dell'errore quadratico medio. Invece di 18, il risultato di JMP Model Comparison è sulla mia sinistra e i miei calcoli sulla destra. Confrontando i dati nei riquadri rosso e verde in entrambe le tabelle, ho confermato la correttezza del mio calcolo dell'errore quadratico medio.
Con la validazione del modello, se guardiamo la tabella a destra, con la validazione del modello, ci sono i tre principali algoritmi di apprendimento automatico con l'errore quadratico medio più basso (RME) qui, i primi tre qui. Rete neurale potenziata e SVM potenziata e poi il modello RSM, sono in ordine. Ma senza la validazione per aiutare a sintonizzare l'iperparametro, la rete neurale potenziata e la SVM potenziata, mostrano un errore quadratico medio più elevato rispetto alla loro controparte: 1,7 qui e 0,27 o 0,936 lì.
Tuttavia, il Gen_R del modello SVEM_Lasso, mostrato nel cerchio blu qui, non sembra essere influenzato molto dalla presenza o meno di una convalida: 1,397 contro 1,427. Anche senza convalida, il GPR, la regressione di elaborazione gaussiana e la successiva previsione dell'SVEM qui, sempre tramite rete neurale, non hanno una previsione di adesione migliore rispetto agli altri modelli, nonostante l'SVEM fosse fortemente consigliato per il piccolo set di dati, che in questo caso è un piccolo set di dati.
In sintesi, viene illustrato un esempio di apprendimento attivo con focus guidato dal target per l'adesione. Un progetto di riempimento dello spazio assistito dall'apprendimento automatico SVM viene utilizzato per identificare lo spazio di progettazione in tre iterazioni. L'apprendimento attivo mostra un'efficienza doppia rispetto all'utilizzo del metodo non attivo nell'identificazione dello spazio di progettazione.
Mostriamo che vengono confrontati vari modelli di apprendimento automatico e alcuni si dimostrano migliori, con una previsione migliore rispetto al modello dei minimi quadrati. La fase guidata dagli obiettivi coinvolge tre aree elencate qui. Il chimico ha supervisionato queste fasi con l'obiettivo di migliorare l'apprendimento attivo e la previsione per un piccolo set di dati. In questo caso, viene attualmente illustrata la capacità di previsione avanzata di JMP. Questo è il caso numero 1.
Passiamo al caso numero 2. Applichiamo l'apprendimento automatico per analizzare i dati RSM DOE dall'applicazione del sigillante e ottenere una migliore capacità di previsione. Ecco il contesto. In questo caso, il caso è correlato a un sigillante con 5 ingredienti chiave e 3 risposte. Il sigillante è stato ottimizzato con un design composito centrale a facce centrate su 28 run. Una delle risposte Y3 ha un ragionevole aggiustamento R² di 0,86 e un errore quadratico medio di 7,9.
Questa risposta Y3 ottimizzata è in realtà vicina al limite del limite target. I chimici fanno due cose. Primo, aggiungono quattro esecuzioni alle 28, vincendo la regione fattoriale del DOE. Secondo, aggiungono sei punti stella per coprire uno spazio di progettazione più ampio.
Poi il cliente ha modificato l'obiettivo del progetto. Il chimico è stato costretto a modificare il carico degli ingredienti e ad aggiungere 10 prove nella speranza di raggiungere il nuovo obiettivo di progettazione. Poiché queste 10 prove si discostano notevolmente dalle 20 prove originali, nello stesso spazio, sono considerate esterne allo spazio di progettazione. Queste sono le 10 prove qui. Le quattro all'interno del composito centrale e le sei punte a stella target sono proprio qui.
Il nostro obiettivo è applicare l'apprendimento automatico a questo set di dati RSM per comprendere l'efficacia di vari modelli di apprendimento automatico nel testare predittivamente questo set di dati. Questi set di dati di test si trovano all'interno, vicino o all'esterno dello spazio di progettazione, ovvero i tre set di dati qui riportati.
Ecco il modello RSM con R² e quindi l'errore quadratico medio evidenziato. Dopo la riduzione del termine del modello, si evidenziano tre effetti principali, X2, X3 e X4, e due interazioni tra i fattori X2, X5 e un effetto quadratico di X1. Tutti questi effetti risultano significativi.
I nostri processi di apprendimento automatico si svolgono in due fasi. Innanzitutto, viene eseguito uno screening del modello con una validazione incrociata a 7.000 volte per una rapida analisi delle prestazioni del modello. Successivamente, per il metodo di apprendimento automatico selezionato, eseguiamo l'ottimizzazione degli iperparametri per migliorare la previsione. Per la validazione, utilizziamo due metodi nella piattaforma JMP Model Comparison. Uno è la validazione fissa con una suddivisione 75/25, e l'altro è la validazione incrociata a 7.000 volte.
Nella fase 2, si prevede il test di un set di dati non ancora visto. Il set di dati di test è stato aggiunto alla tabella JMP. I dati si trovano all'interno, in prossimità e all'esterno dello spazio di progettazione originale di 28 esecuzioni e la relativa colonna di formulazione della previsione viene salvata e quindi sovrapposta. Viene quindi creata la colonna dell'errore quadratico medio per il confronto finale del modello.
I risultati dello screening del modello JMP sono mostrati qui, eseguito aggiungendo interazioni bidirezionali e opzioni quadratiche, nonché selezionando la convalida incrociata a 7 K-fold. La messa a punto di ciascun modello è stata eseguita selezionando e cliccando su "Esegui selezione". La messa a punto e il boosting degli iperparametri vengono eseguiti se sono disponibili opzioni di perdita. Ogni formula di previsione del modello è impostata in una colonna della tabella. Per la rete neurale, viene utilizzato il relativo componente aggiuntivo per la messa a punto dei parametri. In questo componente aggiuntivo, scegliamo i tre protocolli. Il protocollo numero 2 è per l'impostazione a 2 livelli, mentre i numeri 12 e 16 sono per l'impostazione a un livello.
Ecco la mia tabella JMP. La Sezione 1 contiene i dati originali di RSM di 28 esecuzioni e la risposta Y3. La Sezione 2 contiene le due colonne di convalida per le quali vogliamo effettuare un confronto tra i modelli. La Sezione 3 contiene la colonna di formulazione predittiva salvata per ciascun modello. La Sezione 4 contiene il set di dati di test, composto da tre set di dati di test. Il numero 5 contiene i risultati delle previsioni, provenienti da ciascun modello di apprendimento automatico.
In un confronto di modelli, siamo curiosi di conoscere l'effetto del metodo di convalida, poiché ci sono differenze nel numero di set di training, nel set di validazione e nel processo di media. Con la suddivisione 75/25, la convalida fissa prevede 21 esecuzioni per il training e 7 esecuzioni per la convalida. Nella convalida incrociata, viene calcolata la media di 7 dati K-fold e ogni fold utilizza 24 esecuzioni per il training e 4 esecuzioni per la convalida. Se osserviamo l'output con la convalida fissa, JMP produrrà direttamente una tabella da utilizzare. Tuttavia, per la convalida dei costi K-fold, è necessario elaborare i dati.
JMP genera sette tabelle, separate dal numero di cartella. Utilizziamo uno script chiamato "Make Combined Data Table" per unire tutte e sette le tabelle in un'unica tabella. Le statistiche medie possono quindi essere create in una piattaforma tabellare, qui per il confronto.
Ecco il riepilogo del confronto dei modelli a sinistra. Si tratta di una validazione fissa che utilizza una validazione fissa. A destra, si utilizza questa tabella consolidata da una validazione incrociata K-fold. Per semplificare il confronto, utilizziamo un generatore di grafici per mostrare il risultato. In questo grafico a barre, l'errore quadratico medio si trova sulla Y, mentre il modello si trova sulla X. Il nome del modello con un trattino finale indica che il parametro del modello è stato ottimizzato. Quello con la B indica che il modello è stato potenziato.
L'errore quadratico medio della validazione fissa in blu è in generale più elevato della validazione incrociata K-fold in rosso. È mostrato qui. Il modello RSM è mostrato a sinistra. Esistono diversi modelli di apprendimento automatico che presentano un errore di predizione inferiore a quello RSM. Sono contrassegnati con frecce verdi e sono XGBoost, i due modelli SVM, due reti neurali e una rete neurale boosted. Sono ordinati in base al valore dell'errore quadratico medio.
Questa conclusione si basa sull'esecuzione del DOE 28, ciascuna delle quali viene utilizzata per l'addestramento o per la convalida. Le esecuzioni per la convalida contribuiscono a ottimizzare gli iperparametri del modello per una migliore previsione. La reale capacità predittiva del modello verrà testata utilizzando esecuzioni non utilizzate né nell'addestramento né nella convalida, come verrà illustrato di seguito.
La seconda fase del machine learning consiste nel testare il modello utilizzando i dati non visualizzati. Questi tre set di dati sono stati copiati in una tabella JMP proprio qui, e il valore operativo è stato automaticamente visualizzato nella colonna di formulazione della previsione. L'intera colonna di formulazione è stata inserita in una nuova tabella. È stata inoltre creata una colonna di errore quadratico medio della calcolatrice. Dalla tabella Stack, il tablet e il generatore di grafici vengono utilizzati per illustrare la capacità di test del modello nelle due diapositive successive.
Diamo un'occhiata alle prestazioni del modello per il set di dati Inside e poi per quello Star, che è vicino. Ci sono rispettivamente 4 e 6 run. Come si vede, si tratta di una tabella evidenziata qui a destra o del grafico a sinistra, che rappresenta quest'area. Ci sono 9 run nel set di dati Inside, evidenziati qui, che mostrano una previsione simile con un errore quadratico medio compreso tra 5,6 e 7,7.
Quindi, per il set di dati di test delle stelle, proprio qui, vicino allo spazio di progettazione. Ci sono sette modelli con un errore quadratico medio compreso tra 18,2 e 21,7, con una media di 20,3. XGBoost e poi questo SVM sintonizzato, indicato da una freccia verde, mostrano i migliori risultati del DOE. Sono i migliori nel set di dati del DOE, che è questo. Questo è solo un DOE, mettilo intorno al set di dati del DOE. Sono i migliori rispetto all'RSM, ovviamente, ma hanno un errore di predizione più elevato.
Se osserviamo questo qui di fronte o questo qui di fronte, mostrano un errore di predizione maggiore rispetto all'RSM in alto sia per il set di dati interno che per il set di dati stellari. È un'indicazione di overfitting. Ma nel complesso, come evidenziato dalla freccia blu, questo, un singolo strato su rete neurale potenziata e sintonizzata, ha ottenuto i risultati migliori sia per il set di dati DOE, sia per il set di dati di test interno, sia per il set di dati stellari qui. Questo è il migliore, come potete vedere dalla tabella o dal grafico mostrato qui.
Per il grafico a sinistra, stiamo ora esaminando il set di dati di test al di fuori dello spazio di progettazione. Per il grafico a sinistra, abbiamo tracciato l'osservazione e la previsione sull'asse y. Notare l'ID della sessione di test qui per tutti e tre i set di dati di test. Il rosso è l'osservazione e il blu è la previsione. Il set di dati di test esterno ha il punto a destra della linea tratteggiata verde qui.
I quattro modelli evidenziati hanno funzionato molto bene. Sono l'RSM e i due G_R forward con Pruned o SVEM. Il quarto è questo, la rete neurale sintonizzata a due strati. Questi quattro hanno funzionato molto bene. Ci sono alcuni modelli che hanno una predizione piatta o molto, molto scarsa, e questo è il modello SVM.
Poi, sulla rete neurale sintonizzata, questo e questo, e poi un metodo basato sulle decisioni come XGBoost o questa foresta bootstrap. Se consideriamo tutti e quattro gli scenari di test, ovvero il set di dati DOE e poi tre set di dati di test, poi il modello RSM e questo modello G_R Pruned Forward, questi due modelli. Naturalmente, hanno le migliori prestazioni di previsione bilanciate in tutti e quattro i diversi scenari, proprio qui.
Dobbiamo prendere questi risultati con cautela. Non dovrebbero essere generalizzati. Sono caratteristici specificamente di questa risposta, Y3. Ciononostante, questa è una buona informazione per un chimico per apprendere questa risposta Y3. Ciò significa che il modello RSM potrebbe potenzialmente essere utilizzato per prevedere i dati al di fuori dello spazio di progettazione in circostanze particolari, come quando i progetti sono sottoposti a vincoli di tempo severi e non si hanno risorse per eseguire ulteriori run, in tal caso si potrebbe considerare di utilizzare RSM per effettuare la previsione nello spazio al di fuori di questo spazio DOE. Naturalmente, le run di conferma sono assolutamente necessarie in questa seconda fase.
In sintesi, per il set di dati DOE e due set di dati di test eseguiti all'interno e in prossimità dello spazio di progettazione, osserviamo che diversi modelli di apprendimento automatico hanno prestazioni migliori di RSM. Il migliore è la rete neurale boosted non sintonizzata a un livello. Per il set di dati di test al di fuori dello spazio di progettazione, ci sono quattro modelli che hanno ottenuto risultati molto buoni. Si tratta di RSM e due metodi forward Gen_Reg e anche questa rete neurale sintonizzata a due livelli.
Considerando tutti e quattro gli scenari, RSM e il modello Gen_Reg pruned forward risultano i migliori in assoluto. Come illustrato in questi due casi di studio, è chiaro che l'apprendimento automatico aggiunge ulteriori funzionalità al DOE tradizionale per una formulazione efficace.
Con questo, vorrei ringraziare il mio collega, il Dott. Dai, e poi il Sig. Du per la loro collaborazione su questi due casi di studio e sul sistema di gestione AMI di Henkel, e anche il team di supporto JMP per Henkel, composto da Nick, Jon e Mark, per l'eccellente formazione e supporto. Grazie per aver ascoltato e guardato questo video.
