Il funzionamento dei semiconduttori sta affrontando sfide nella previsione delle prestazioni di un dispositivo durante l'intera fase di fabbricazione. Questa mancanza di prevedibilità ha comportato una riduzione della resa e un aumento dei costi. Questo progetto dimostrerà come stabilire un modello predittivo di dati di metrologia in linea (3 variabili di risposta (Y) e oltre 300 variabili predittive (X), con un set di dati di circa 400 punti dati) per prevedere le prestazioni del dispositivo.
Abbiamo utilizzato la piattaforma multivariata JMP per valutare la complessità del progetto: (1) concorrenza YY relativamente più debole, (2) forte causalità YX e (3) forte dipendenza multicollinearità XX. Sia gli algoritmi standard dei minimi quadrati che quelli stepwise hanno mostrato un grave rischio di overfitting se si considerano tutti gli oltre 300 predittori. Sono state utilizzate tre moderne tecniche di riduzione dimensionale del data mining per selezionare i pochi X vitali per continuare la modellazione RSM: (1) Partizioni, (2) Neurali, (3) Screening dei predittori. Limitato al software JMP standard, lo Screening dei predittori che utilizza l'algoritmo Random Forest risolve efficacemente i problemi di partizione ricorsiva e fornisce un modello di contributo più uniforme. Sulla base della classificazione dei predittori dello Screening dei predittori, abbiamo eseguito un modello ibrido per combinare i modelli Fit Model, Neural, Partition e Ensemble per prevedere le prestazioni del dispositivo. Abbiamo inoltre implementato iterazioni di combinazione ricorsive e stabilito un criterio di arresto per garantire uno sviluppo efficiente del modello.
Questo progetto JMP ci ha permesso di migliorare le nostre capacità predittive e di estrarre informazioni preziose per la progettazione del dispositivo. Il tempo di sviluppo di nuovi prodotti può essere significativamente ridotto grazie a un modello predittivo affidabile.
Ciao a tutti. Sono Chen-Chih Hsu. Sono un ingegnere di processo presso Applied Materials. Oggi presenterò un approccio basato su Hybrid Predictor Screening e Lest Square RSM. La presentazione è frutto della collaborazione tra Charles e me.
Il settore dei semiconduttori sta affrontando alcune sfide nel prevedere le prestazioni del dispositivo durante l'intero processo di fabbricazione. Questa mancanza di prevedibilità ha comportato una riduzione della resa e un aumento dei costi. Per affrontare questo problema, la motivazione alla base di tutto ciò è lo sviluppo di un modello statistico per prevedere le prestazioni del dispositivo, che rappresenta la nostra Y, basato sui nostri dati di metrologia in linea, che rappresentano la nostra X. Nel processo di fabbricazione, eseguiamo misurazioni di deposizione, litografia, bordo e alcune misurazioni di metrologia in linea.
Se riusciamo a costruire un modello per prevedere il nostro Y, possiamo fornire un feedback ai modelli precedenti per monitorare eventuali cambiamenti nel processo, in modo da migliorare il controllo qualità, aumentare la resa e persino ottimizzare l'intero flusso di lavoro. Nel nostro set di dati, abbiamo tre risposte e circa 300 predittori. Tra tutti questi predittori, abbiamo... Ce ne sono alcuni... Per ogni risposta, abbiamo circa 200 predittori per ogni risposta. Tra tutti questi predittori, ci sono alcuni predittori indipendenti per ogni Y, e ci sono anche alcuni predittori condivisi tra tutti gli Y. Come potete vedere, questo è un modello molto complicato.
In questo rapporto, vogliamo esplorare diverse questioni chiave. Ad esempio, vogliamo capire perché Y1 e Y2 mostrano correlazioni più elevate. Inoltre, vogliamo anche conoscere la relazione tra Y e X, in modo da poter ottimizzare le prestazioni del nostro dispositivo. Tutte queste domande sono molto importanti per avere una comprensione completa di questo progetto. Trattandosi di un modello complesso, utilizziamo innanzitutto un approccio multivariabile per verificare la relazione tra YY, YX e XX.
Se osserviamo la relazione tra le YY, possiamo vedere, sulla base di questo grafico multivariabile, che hanno fondamentalmente una relazione positiva. Per queste Y, non sono in competizione tra loro, il che è ragionevole perché nel nostro progetto, il nostro obiettivo è aumentare tutte e tre le Y contemporaneamente. Inoltre, poiché per ogni Y ci sono alcuni predittori indipendenti che controllano ciascuna Y, è meno probabile che interferiscano tra loro. Questo progetto è auspicabile perché ci offre prestazioni migliori del dispositivo.
Ora possiamo esaminare la relazione causale YX. Osservando la colonna più a sinistra, si può notare che la relazione YX è molto forte e che esiste una relazione lineare tra Y e X. Idealmente, grazie a questa relazione, dovremmo essere in grado di costruire un modello basato su tutte le X per prevedere la nostra Y.
Ora possiamo analizzare la dipendenza da XX. Si può notare che, confrontando tutti i valori di X, alcune relazioni tra gli XX sono molto forti. Sono molto lineari. Tuttavia, alcuni non lo sono molto... Per gli altri, la relazione non è significativa quanto quella lineare qui. Questo indica che il nostro XX presenta gravi problemi di multicollinearità. Sarà molto difficile determinarne l'effetto per ciascun predittore. La nostra soluzione è condurre ulteriori ricerche per capire perché alcuni degli X presentano problemi di multicollinearità. Inoltre, quando costruiamo un modello, dobbiamo rimuovere i termini meno significativi ed eseguire una validazione del modello.
All'inizio del mio approccio, utilizzo questo modello quadrato per inserire tutti i miei predittori nel mio modello di adattamento, e possiamo osservare come risponderà il mio YY. Tuttavia, incontriamo diverse sfide. La prima è che se prendiamo come esempio Y1, quando adattiamo il modello con tutti i predittori, riscontriamo un problema di overfitting perché l'R-quadrato è maggiore dell'R-quadrato corretto di oltre il 10%.
Il secondo problema è la multicollinearità. Come ho accennato in precedenza, nella relazione XX con alcuni termini X osserviamo una relazione lineare molto marcata. Se osserviamo il termine VIF nella tabella delle stime dei parametri, possiamo vedere che per alcuni dei predittori il VIF è molto elevato, quindi questo non è auspicabile.
Il prossimo punto è che osserviamo anche un'interazione molto forte nel nostro modello, perché se guardiamo il report di sintesi, possiamo sommare l'effetto principale e l'effetto totale. Per questo, la differenza tra l'effetto principale e l'effetto totale sarà l'effetto di interazione. Ma in base a questo modello, l'interazione è superiore al 36%. Ciò dimostra anche che abbiamo una forte interazione in questo modello. Ora, a causa dell'interazione, cerco anche di includere tutti i predittori nel modello R-quadrato, considerando anche tutti i termini di interazione. Ma JMP mi restituisce un messaggio di errore perché non abbiamo una diminuzione di libertà sufficiente.
Qui, elenco il numero di predittori e la diminuzione di libertà di cui avevamo bisogno per costruire un modello. Ad esempio, considerando la nostra Y, abbiamo circa 200 predittori. Se vogliamo considerare l'intercetta, l'effetto principale, i termini quadratici e i termini di interazione, abbiamo bisogno di circa 20.000 gradi di libertà per considerare tutte le interazioni e costruire un modello RSM, il che non è fattibile nel mio set di dati.
Considerando il numero totale di dati e il predittore, sembra ragionevole selezionare circa 20 predittori per la nostra analisi, perché se riusciamo a ridurre i nostri predittori a circa 20, abbiamo bisogno solo di circa 250 punti dati per costruire un modello. A causa di tutte queste sfide, dobbiamo passare al data mining e identificare i predittori chiave per un modello migliore. Nell'analisi JMP, il mio approccio si concentrerà principalmente sulla ricerca di un modello migliore con un set per R-quadrato corretto, sebbene RMSC, non vogliamo alcun problema di overfitting e vogliamo che questo modello sia stabile. Dobbiamo anche identificare i predittori chiave per la semplificazione del modello. Ho provato tre diverse analisi in questo caso.
Il primo è che utilizziamo un metodo neurale. Si tratta di un metodo di apprendimento automatico perché può considerare effetti non lineari e di interazione. Neural mi fornisce il modello e i predittori chiave. In secondo luogo, ho anche provato un metodo di partizione, che utilizza un approccio ad albero decisionale per classificare i predittori e trovare il modo migliore per prevedere la risposta. Può anche fornirmi modelli e predittori chiave. Il terzo è che ho utilizzato il Predictor Screening. Ho utilizzato l'approccio Random Forest per identificare i predittori forti e sensibili. Ma con questo metodo, possiamo trovare solo i predittori chiave senza fornire un modello.
L'altro argomento di cui voglio parlare è che possiamo comunque risolvere un modello complesso senza usare JMP Pro. JMP Pro utilizza l'intelligenza artificiale e offre analisi più avanzate, tra cui modellazione avanzata, confronto tra modelli, selezione e convalida incrociata dei modelli. Tuttavia, mentre utilizziamo JMP, non disponiamo di questa capacità. Per superare questa limitazione, possiamo utilizzare un approccio diverso. Ad esempio, possiamo usare il modello ibrido per combinare il Predictor Screening e diversi metodi di modellazione. Possiamo anche confrontare manualmente ogni modello, e anche il modello Ensemble può essere utilizzato con il nostro modello attuale per creare un modello migliore. Per la convalida incrociata, possiamo anche provare a usare JMP, con JSL Scripting dedicato, ma questa parte non sarà trattata in questo report.
Bene, diamo un'occhiata alla mia prima analisi del modello predittivo. Iniziamo con l'analisi della rete neurale. In questa analisi, uso anche Y1 come esempio. Qui, utilizziamo KFold con K=5 e Hidden Nodes=20, perché include la convalida incrociata per migliorare la stabilità e ridurre l'overfitting del modello neurale. Ma poiché il metodo neurale è molto... Utilizza un modello matematico molto complesso, quindi l'ho ripetuto cinque volte e i risultati sono molto diversi.
Come questi tre punti salienti qui. Potete vedere che le differenze tra il set di training e il set di validazione sono molto diverse. Questo ci dice che questo modello non è stabile e potremmo avere problemi di overfitting. Anche a volte, ad esempio, questa Y può darci un R-quadrato elevato e un overfitting basso. Eseguendo il modello neurale più volte, sappiamo che la maggior parte del modello neurale incontrerà problemi di overfitting, e questo è ora molto stabile per applicare il modello neurale al nostro set di dati.
Inoltre, possiamo utilizzare il Prediction Profiler per classificare l'importanza dei diversi predittori, e mostra che l'effetto di interazione è pari a circa l'85% del modello, indicando che abbiamo una relazione fortemente non lineare tra i predittori e la risposta. Inoltre, i primi quattro predittori mostrano un effetto totale simile, il che renderà molto difficile per noi ottimizzare il modello. Inoltre, l'effetto totale è maggiore dell'effetto principale. Ciò dimostra che abbiamo un'interazione molto forte perché dietro questo modello c'è una trasformazione matematica molto pesante. In conclusione, il metodo neurale non è adeguato per identificare i predittori chiave a causa della sua instabilità e del suo overfitting.
La nostra successiva analisi prevede l'utilizzo delle partizioni. Le partizioni utilizzano un approccio di classificazione binaria ad albero per categorizzare i predittori e trovare il modello migliore per le previsioni. Nella mia analisi, utilizzo una porzione di convalida pari a 0,2. Rispetto al risultato del modello neurale, l'R-quadrato è simile, ma se si osserva la classificazione di questi predittori, i primi sei predittori contribuiscono a circa l'80% della varianza, e anche il primo predittore è quello che contribuisce maggiormente. Poiché utilizzando questo metodo di partizione, la maggior parte delle risorse viene allocata al primo, la porzione rimanente degli altri predittori diminuisce.
Data l'instabilità che abbiamo appena osservato nel modello neurale, eseguiamo anche più esecuzioni. Osserviamo ancora valori di R-quadrato molto diversi tra ogni training e il set di validazione. Quindi, questo modello non è ancora adeguato per identificare i predittori chiave a causa della sua instabilità e del suo overfitting.
Dai nostri risultati precedenti, questo è un breve riassunto per confrontare il modello dei minimi quadrati, la rete neurale e le partizioni. Si può notare che per ciascun modello, ad esempio il minimo quadrato standard, si ha un R-quadrato più elevato, ma si soffre ancora di un problema di overfitting e di una forte multicollinearità. Questo metodo considera solo l'effetto principale. Anche per il modello neurale e le partizioni si riscontra un problema di overfitting, e non sono stabili, ed entrambi i metodi non riescono a trovare i predittori chiave. Dobbiamo considerare un altro modello per trovare i predittori chiave.
Bene, quindi dallo studio precedente, sapevamo che un nuovo ruolo nella partizione non era adeguato per il nostro modello. Quindi, abbiamo utilizzato un Predictor Screening. Abbiamo utilizzato il metodo di partizione Bootstrap Random Forest. Questo metodo utilizza un albero decisionale multiplo per migliorare la stabilità selezionando un numero diverso di predittori e predittori casuali.
Quando ho impostato questo modello, ho utilizzato 5.000 alberi perché possono fornire un modello più stabile. Quando ho eseguito questa analisi, ho impiegato circa 15 minuti per il calcolo, un tempo ancora accettabile per la mia analisi. Una volta ottenuta la classificazione di questi predittori, volevamo anche sapere qual è il numero ottimale di predittori da utilizzare. Quindi, abbiamo creato un grafico delle porzioni cumulative per visualizzare il contributo cumulativo dei predittori.
Ad esempio, se scegliamo 23 predittori, possiamo coprire circa il 60% del contributo, mentre se ne scegliamo 75, possiamo coprirne circa l'80%. Questo è in linea con il principio di Pareto del 20-80%. Poiché l'obiettivo principale del mio progetto è ridurre significativamente la complessità del modello, ho scelto di utilizzare i 23 predittori per la mia analisi. In JMP, la funzionalità di screening dei predittori può solo aiutarci a identificare i parametri importanti senza fornire un modello. Per ovviare a questa limitazione, utilizziamo un modello ibrido per combinare lo screening dei predittori e il modello di adattamento per simulare l'algoritmo Random Forest in JMP Pro. Il risultato di questo modello ibrido dimostra che non abbiamo problemi di overfitting.
Inoltre, se si osserva il VIF, sebbene vi siano ancora alcuni valori superiori a 10, si può notare che la maggior parte dei predittori che utilizziamo sono inferiori a 10. Per comprendere meglio perché alcuni dei nostri termini mostrano ancora un VIF più elevato, eseguiamo un'analisi delle variabili cluster su questi termini con VIF elevato. Dopo l'analisi, tutti questi predittori possono essere suddivisi in due gruppi.
Per il primo, sono evidenziati in arancione qui, e il secondo gruppo è evidenziato in blu qui. Rivediamo che, quando riesaminiamo i nostri dati [inudibile 00:21:10], tutti i predittori del primo cluster hanno un CD simile. Tutti e tre questi qui hanno un altro CD. Questo ci dice che quando creiamo il modello, in realtà non abbiamo bisogno di includere tutti questi predittori nel nostro modello. Poiché in questo gruppo sono altamente correlati, dobbiamo sceglierne solo uno da includere nel nostro modello, e per questo gruppo, dobbiamo includerne solo uno nel nostro modello.
Sulla base della precedente analisi della variabile cluster, siamo stati in grado di ridurre i 23 predittori iniziali a circa 18. Successivamente, tutti i termini VIF saranno inferiori a 10. Inoltre, poiché abbiamo ridotto significativamente il numero totale di predittori da circa 200 a 18, ora possiamo considerare l'interazione bidirezionale. Questo risultato mostra che per il nostro modello ibrido 2, considerando l'interazione bidirezionale, si può notare un miglioramento di R-quadrato di circa il 20% rispetto al solo modello a effetto principale. Inoltre, questo modello ibrido, per quanto riguarda la disposizione generale, ha superato il precedente metodo neurale e di partizione. Ottimizzando le variabili predittive e considerando l'interazione bidirezionale, abbiamo ottenuto un modello più raffinato e migliorato.
Successivamente, sulla base di quanto appreso in precedenza dalla metodologia, possiamo applicare tutto questo apprendimento a Y2 e Y3. Nel complesso, si può osservare che, utilizzando il modello ibrido per combinare il modello di screening predittivo e il modello di adattamento, per queste tre risposte possiamo ridurre i predittori di circa il 90% rispetto al set di dati originale. Inoltre, tutti i valori di R-quadrato sono ancora accettabili, attestandosi intorno al 70-80%. Dopo aver ridotto i predittori, non abbiamo più problemi di overfitting e VIF.
Il mio prossimo passo è confrontare i diversi modelli, incluso l'utilizzo del Predictor Screening combinato con il modello neurale e del Predictor Screening combinato con il modello di partizione. Come potete vedere, per il modello neurale, considerando tutti i predittori nella diapositiva precedente, si evidenzia un grave problema di overfitting; tuttavia, se confrontiamo questo modello ibrido con Predictor Screening e il modello neurale, sebbene sussista ancora qualche problema di overfitting, confrontando il modello neurale con tutti i predittori, il problema di overfitting è minore. Mentre per il modello di partizione con gli altri predittori e questo modello ibrido con Predictor Screening e il modello di partizione, non osserviamo grandi miglioramenti utilizzando questo metodo.
Il mio prossimo passo è confrontare tutti questi diversi modelli. Qui, elenco tutti i modelli che abbiamo per ora. Abbiamo il modello dei minimi quadrati e abbiamo diversi modelli ibridi, che combinano il Predictor Screening con il Neural, il Predictor Screening con le Partizioni e il Predictor Screening con il Least Square e la loro interazione. Potete vedere che per questo modello ibrido, ci sono R-quadrati, ci servono solo circa 18 predittori e abbiamo anche un R-quadrato accettabile. Ma anche nel complesso, per tutti questi modelli ibridi, anche questo modello ibrido ha un Least Square R-quadrato elevato e un Least Square Adjusted R-quadrato elevato. Ma questo significa che usando questo modello possiamo sempre ottenere risultati migliori rispetto agli altri modelli?
Qui elenco due esempi. In questo esempio, confronto i modelli Hybrid Neural, Hybrid Partition e Hybrid Least Square con i nostri dati reali, che rappresentano la nostra risposta. Per questo esempio, se seleziono questo punto dati, potete vedere la previsione corrispondente per questi tre modelli. In realtà, il modello Hybrid Neural mi fornisce un valore più vicino rispetto al nostro risultato reale. Ma prendete questo come un altro esempio. Se scelgo questo punto dati e questi tre tassi sono la previsione corrispondente per ciascun modello, potete vedere che, in questo caso, il modello Hybrid Least Square mi fornirà una previsione migliore.
Mi chiedevo: possiamo combinare tutti questi modelli per migliorare ulteriormente le nostre previsioni? Questa è una funzionalità di JMP Pro che ho trovato tramite questo link. Queste funzionalità introducono un concetto chiamato modellazione Ensemble, noto anche come "Modello del Modello". L'idea è che possiamo selezionare più modelli ad alte prestazioni per costruire un modello Ensemble. Sono ispirato dal potenziale del modello Ensemble e sono interessato a esplorarne l'applicazione sul mio attuale set di dati. Seguendo la stessa metodologia, vorrei sapere se è possibile creare un modello combinato utilizzando JMP.
Attualmente, abbiamo tre diversi modelli ibridi, come ho già mostrato in precedenza. Per applicare la metodologia del modello Ensemble, utilizziamo approcci diversi per combinare questi tre modelli. Questo include il modello 5. Vogliamo utilizzare l'algoritmo di media, quindi calcoliamo la media di tutti e tre i modelli attuali che abbiamo. Il modello 6 è l'algoritmo ponderato. Per ogni modello, gli assegneremo un peso diverso per vedere se possiamo ottenere un modello migliore. Anche il modello utilizzerà l'algoritmo neurale per combinare questi tre modelli. Per il modello 8, utilizzeremo l'algoritmo di partizione per combinare tutti e tre questi modelli.
Questa tabella riassume la media di una risposta, l'RMSE, l'R-quadrato, l'R-quadrato corretto e il rischio potenziale. Se utilizziamo questo grafico per visualizzare la tabella, possiamo vedere che per questi dati qui è la media di questa risposta e l'intervallo sarà il nostro RMSE. Classifico i modelli dell'R-quadrato corretto dal più alto al più basso utilizzando diversi schemi di colori. Possiamo vedere che utilizzando il modello sette, se combiniamo tutti questi tre modelli con un algoritmo neurale, possiamo ottenere l'R-quadrato corretto di base e anche il più piccolo RMSE.
In conclusione, la nostra ricerca sull'approccio ibrido dello screening predittivo e della modellazione dei minimi quadrati può fornirci... Possiamo costruire un modello con una riduzione dei predittori di circa il 90%. Sulla base di questo modello, possiamo comprendere la combinazione YY positiva, possiamo anche co-ottimizzare YX e possiamo anche ridurre la dipendenza XX. Durante lo sviluppo dei diversi modelli ibridi e del modello ensemble, abbiamo costruito diversi modelli per prevedere anche le prestazioni del dispositivo.
Guardando al futuro, abbiamo alcune opportunità per il nostro lavoro futuro. Possiamo utilizzare il Predictor Screening per confrontare tutte le differenze di ranking tra diversi modelli. Inoltre, possiamo provare a utilizzare l'iterazione ricorsiva di combinazione di conduzione e determinare i criteri di arresto. Vogliamo anche integrare la Dashboard o lo Script di Gruppo per riassumere e confrontare tutti i KPI critici del modello.
Vorrei anche ringraziare il mio mentore, Charles, per avermi seguito e fornito un notevole supporto tecnico per questo progetto. Vorrei anche ringraziare il team PPB del CTO di Applied Materials per il loro prezioso supporto nella raccolta di tutti i dati. Questo è tutto per la mia presentazione di oggi. Grazie.
