L'industrie des semi-conducteurs est confrontée à des difficultés pour prédire les performances d'un dispositif tout au long de sa fabrication. Ce manque de prévisibilité entraîne une baisse des rendements et une augmentation des coûts. Ce projet vise à démontrer comment établir un modèle prédictif à partir de données de métrologie en ligne (3 variables de réponse (Y) et plus de 300 variables explicatives (X), avec un ensemble de données d'environ 400 points) afin de prédire les performances du dispositif.
Nous avons utilisé la plateforme multivariée JMP pour évaluer la complexité du projet : (1) une concurrence YY relativement faible, (2) une forte causalité YX et (3) une forte multicolinéarité XX. Les algorithmes des moindres carrés et pas à pas ont tous deux montré un risque important de surapprentissage en considérant plus de 300 prédicteurs. Trois techniques modernes de réduction de dimensionnalité issues du forage de données ont été utilisées pour sélectionner les quelques variables X essentielles afin de poursuivre la modélisation RSM : (1) le partitionnement, (2) l’approche neuronale et (3) le criblage des prédicteurs. Limité au logiciel JMP standard, le criblage des prédicteurs utilisant l’algorithme Random Forest a permis de résoudre efficacement les problèmes de partitionnement récursif et d’obtenir une contribution plus uniforme. Sur la base du classement des prédicteurs obtenu par le criblage, nous avons exécuté un modèle hybride combinant le modèle d’ajustement, l’approche neuronale, le partitionnement et le modèle d’ensemble pour prédire les performances du dispositif. Nous avons également implémenté des itérations de combinaison récursives et établi un critère d’arrêt pour garantir un développement efficace du modèle.
Ce projet JMP nous a permis d'améliorer nos capacités de prédiction et d'obtenir des informations précieuses pour la conception du dispositif. Le cycle de développement de nouveaux produits peut être considérablement réduit grâce à un modèle prédictif fiable.
Bonjour à tous. Je suis Chen-Chih Hsu, ingénieur de procédés chez Applied Materials. Aujourd'hui, je vais vous présenter une approche hybride de sélection de prédicteurs et de méthodologie de surface de réponse (RSM) par la méthode des moindres carrés. Cette présentation est le fruit d'une collaboration entre Charles et moi-même.
L'industrie des semi-conducteurs est confrontée à des difficultés pour prédire les performances des dispositifs tout au long du processus de fabrication. Ce manque de prévisibilité entraîne une baisse des rendements et une augmentation des coûts. Pour remédier à ce problème, l'objectif est de développer un modèle statistique permettant de prédire les performances des dispositifs (notre variable Y) à partir de nos données de métrologie en ligne (notre variable X). Le processus de fabrication comprend les étapes de dépôt, de lithographie, de traitement des bords et des mesures de métrologie en ligne.
Si nous parvenons à construire un modèle prédictif de notre variable Y, nous pourrons fournir un retour d'information aux modèles précédents afin de détecter tout changement de processus. Ainsi, nous pourrons améliorer le contrôle qualité, augmenter le rendement et optimiser l'ensemble du processus. Notre jeu de données comprend trois variables de réponse et environ 300 prédicteurs. Parmi ces prédicteurs, nous avons… Pour chaque variable de réponse, nous disposons d'environ 200 prédicteurs. Certains prédicteurs sont indépendants pour chaque Y, tandis que d'autres sont communs à toutes les variables de Y. Comme vous pouvez le constater, il s'agit d'un modèle très complexe.
Tout au long de ce rapport, nous souhaitons explorer plusieurs questions clés. Par exemple, nous voulons comprendre pourquoi Y1 et Y2 présentent des corrélations plus élevées. De plus, nous voulons également connaître la relation entre Y et X afin d'optimiser les performances de notre dispositif. Toutes ces questions sont essentielles pour une compréhension globale de ce projet. Étant donné la complexité du modèle, nous utilisons dans un premier temps une approche multivariée pour examiner la relation entre YY, YX et XX.
Si l'on examine la relation entre les YY, on constate, d'après ce graphique multivarié, qu'elles sont globalement positives. Ces Y ne sont pas en concurrence, ce qui est logique puisque notre objectif est d'augmenter simultanément ces trois Y. De plus, chaque Y est contrôlé par des prédicteurs indépendants, ce qui réduit le risque d'interférences. Cette conception est avantageuse car elle permet d'obtenir de meilleures performances du dispositif.
Ensuite, nous pouvons examiner la causalité YX. Comme vous pouvez le constater dans la colonne la plus à gauche, la corrélation YX est très forte et il existe une relation linéaire entre Y et X. Idéalement, grâce à cette corrélation, nous devrions pouvoir construire un modèle à partir de toutes les valeurs de X afin de prédire Y.
Nous pouvons maintenant examiner la dépendance XX. Vous remarquerez que, lors de la comparaison de toutes les valeurs X, certaines relations entre les XX sont très fortes, voire linéaires. Cependant, d'autres sont moins significatives. Pour d'autres encore, la relation est moins linéaire. Cela indique un problème important de multicolinéarité au sein de nos XX. Il sera très difficile de déterminer l'effet de chaque prédicteur. Pour y remédier, nous allons approfondir nos recherches afin de comprendre l'origine de ce problème de multicolinéarité. De plus, lors de la construction du modèle, nous devrons supprimer les termes les moins significatifs et procéder à une validation du modèle.
Au début de ma démarche, j'utilise ce modèle carré pour intégrer tous mes prédicteurs dans mon modèle d'ajustement, ce qui nous permet d'observer la réaction de YY. Cependant, plusieurs difficultés apparaissent. Prenons par exemple Y1 : lors de l'ajustement du modèle avec tous les prédicteurs, on constate un surapprentissage, car le R² est supérieur de plus de 10 % au R² ajusté.
Le second problème est la multicolinéarité. Comme je l'ai mentionné précédemment, la relation XX avec certains termes X présente une corrélation linéaire très forte. Si l'on examine le facteur d'impact relatif (VIF) dans le tableau des estimations des paramètres, on constate que pour certains prédicteurs, le VIF est très élevé, ce qui est problématique.
Ensuite, nous observons une interaction très forte dans notre modèle. En effet, si l'on consulte le rapport de synthèse, on peut additionner l'effet principal et l'effet total. La différence entre l'effet principal et l'effet total correspond à l'effet d'interaction. Or, dans ce modèle, l'interaction dépasse 36 %, ce qui indique une forte interaction. Par conséquent, en raison de cette interaction, j'ai tenté d'inclure tous les prédicteurs dans le modèle R², en tenant compte également de tous les termes d'interaction. Cependant, JMP m'a renvoyé un message d'erreur indiquant un nombre insuffisant de degrés de liberté.
Je présente ici le nombre de prédicteurs et la diminution du degré de liberté nécessaire à la construction d'un modèle. Par exemple, pour notre variable Y, nous avons environ 200 prédicteurs. Si nous voulons prendre en compte l'ordonnée à l'origine, l'effet principal, les termes quadratiques et les termes d'interaction, il nous faudrait environ 20 000 degrés de liberté pour considérer toutes les interactions et construire un modèle RSM, ce qui est impossible avec mon jeu de données.
Compte tenu du nombre total de données et de prédicteurs, il semble raisonnable de sélectionner une vingtaine de prédicteurs pour notre analyse. En effet, en réduisant le nombre de prédicteurs à une vingtaine, nous n'aurons besoin que d'environ 250 points de données pour construire un modèle. Face à ces difficultés, nous devons recourir à l'exploration de données afin d'identifier les prédicteurs clés pour un modèle plus performant. Dans l'analyse JMP, mon approche visera principalement à trouver un meilleur modèle avec un R² ajusté optimal. Bien que le RMSC soit faible, nous voulons éviter tout surapprentissage et garantir la stabilité du modèle. Il est également nécessaire d'identifier les prédicteurs clés pour simplifier le modèle. J'ai testé trois analyses différentes.
Premièrement, j'ai utilisé une méthode neuronale. Cette méthode d'apprentissage automatique prend en compte les effets non linéaires et d'interaction. Elle me fournit le modèle et les prédicteurs clés. Deuxièmement, j'ai également testé une méthode de partitionnement, qui utilise une approche par arbre de décision pour classifier les prédicteurs et trouver la meilleure façon de prédire la réponse. Elle me fournit également des modèles et des prédicteurs clés. Troisièmement, j'ai utilisé le filtrage des prédicteurs. J'ai utilisé l'approche des forêts aléatoires pour identifier les prédicteurs les plus performants et les plus sensibles. Cependant, cette méthode ne permet d'identifier que les prédicteurs clés, sans fournir de modèle.
L'autre point que je souhaite aborder est la possibilité de résoudre des modèles complexes sans utiliser JMP Pro. En effet, JMP Pro exploite l'IA et offre des analyses plus avancées, notamment la modélisation avancée, la comparaison, la sélection et la validation croisée de modèles. Or, JMP ne propose pas ces fonctionnalités. Pour pallier cette limitation, différentes approches sont possibles. Par exemple, un modèle hybride peut être utilisé pour combiner le filtrage des prédicteurs et différentes méthodes de modélisation. Il est également possible de comparer manuellement chaque modèle, ou encore d'utiliser un modèle d'ensemble avec notre modèle actuel afin d'en construire un plus performant. Concernant la validation croisée, il est également possible d'utiliser JMP et ses scripts JSL, mais ce point ne sera pas traité dans ce rapport.
Bien, examinons donc ma première analyse du modèle prédictif. Nous commençons par l'analyse du réseau de neurones. Dans cette analyse, j'utilise également Y1 comme exemple. Ici, nous utilisons la validation croisée K-Fold avec K=5 et 20 nœuds cachés, car elle inclut une validation croisée qui améliore la stabilité et réduit le surapprentissage du modèle neuronal. Cependant, comme la méthode neuronale est très complexe et utilise un modèle mathématique très élaboré, j'ai effectué cinq itérations, et les résultats sont très différents.
Comme le montrent ces trois points importants, on constate des différences significatives entre l'ensemble d'entraînement et l'ensemble de validation. Cela indique que le modèle est instable et qu'il existe un risque de surapprentissage. Même parfois, par exemple pour cette valeur de Y, on peut obtenir un R² élevé avec un faible surapprentissage. En exécutant le modèle neuronal à plusieurs reprises, nous savons que la plupart des modèles neuronaux présentent un risque de surapprentissage, ce qui nous permet désormais d'appliquer le modèle neuronal à notre ensemble de données de manière plus stable.
De plus, l'outil de profilage des prédictions nous permet de classer l'importance des différents prédicteurs. Il révèle que l'effet d'interaction représente environ 85 % du modèle, ce qui indique une relation très non linéaire entre les prédicteurs et la réponse. Par ailleurs, les quatre prédicteurs les plus importants présentent un effet total similaire, ce qui compliquera considérablement l'optimisation du modèle. De plus, l'effet total est supérieur à l'effet principal. Cela témoigne d'une forte interaction, due à la complexité des transformations mathématiques sous-jacentes au modèle. En conclusion, la méthode neuronale s'avère inadéquate pour identifier les prédicteurs clés en raison de son instabilité et de son surapprentissage.
Notre analyse suivante utilise la méthode des partitions. Cette méthode emploie une approche de classification binaire arborescente pour catégoriser les prédicteurs et identifier le modèle le plus performant pour les prédictions. Dans mon analyse, j'utilise une partie de validation de 0,2. Comparé au modèle neuronal, le coefficient de détermination (R²) est similaire, mais si l'on observe le classement des prédicteurs, on constate que les six prédicteurs les plus importants expliquent environ 80 % de la variance, et que le premier prédicteur y contribue le plus. En effet, avec cette méthode de partitionnement, la plupart des ressources sont allouées au premier prédicteur, ce qui réduit la contribution des autres.
Compte tenu de l'instabilité du modèle neuronal, nous avons effectué plusieurs exécutions. Malgré cela, les valeurs de R² restent très différentes entre chaque ensemble d'entraînement et de validation. Par conséquent, ce modèle demeure inadapté à l'identification des prédicteurs clés en raison de son instabilité et de son surapprentissage.
D'après nos résultats précédents, voici un bref résumé comparant le modèle des moindres carrés, le réseau de neurones et la méthode des partitions. On constate que chaque modèle, y compris le modèle des moindres carrés standard, présente un coefficient de détermination (R²) plus élevé, mais souffre toujours de surapprentissage et d'une forte multicolinéarité. Cette méthode ne prend en compte que l'effet principal. Pour le réseau de neurones et la méthode des partitions, on observe également un surapprentissage ; ces méthodes sont instables et ne permettent pas d'identifier les prédicteurs clés. Il est donc nécessaire d'envisager d'autres modèles pour les trouver.
D'après l'étude précédente, nous savons qu'un nouveau rôle dans la partition n'est pas adapté à notre modèle. Nous avons donc procédé à une sélection de prédicteurs. Nous avons utilisé la méthode de partitionnement par forêt aléatoire Bootstrap. Cette méthode utilise plusieurs arbres de décision pour améliorer la stabilité en sélectionnant un nombre variable de prédicteurs, y compris des prédicteurs aléatoires.
Lors de la configuration de ce modèle, j'ai utilisé 5 000 arbres afin d'obtenir un modèle plus stable. L'exécution de cette analyse a pris environ 15 minutes, ce qui reste acceptable. Une fois le classement des prédicteurs établi, nous cherchons également à déterminer le nombre optimal de prédicteurs à utiliser. Nous avons donc créé un graphique de contribution cumulée pour visualiser la contribution globale des prédicteurs.
Par exemple, avec 23 prédicteurs, nous couvrons environ 60 % de la contribution, et avec 75 prédicteurs, environ 80 %. Ceci est conforme au principe de Pareto (20 à 80 %). L'objectif principal de mon projet étant de réduire significativement la complexité du modèle, j'ai opté pour 23 prédicteurs dans mon analyse. Dans JMP, la fonction de sélection des prédicteurs permet uniquement d'identifier les paramètres importants, sans fournir de modèle. Pour pallier cette limitation, nous utilisons un modèle hybride combinant la sélection des prédicteurs et l'ajustement du modèle afin de simuler l'algorithme Random Forest dans JMP Pro. Les résultats de ce modèle hybride montrent l'absence de surapprentissage.
De plus, si l'on examine le VIF, on constate que, bien que certains VIF soient supérieurs à 10, la plupart des prédicteurs utilisés ont un VIF inférieur à 10. Afin de mieux comprendre pourquoi certains termes présentent un VIF élevé, nous avons effectué une analyse de regroupement par variables sur ces termes. Après cette analyse, tous ces prédicteurs peuvent être divisés en deux groupes.
Le premier groupe est surligné en orange, et le second en bleu. En réexaminant nos données [inaudible 00:21:10], on constate que tous les prédicteurs du premier groupe présentent une CD similaire. Les trois autres, en revanche, ont chacun une CD différente. Cela indique que, lors de la modélisation, il n'est pas nécessaire d'inclure tous ces prédicteurs dans notre modèle. Étant donné que les prédicteurs de ce groupe sont fortement corrélés, un seul suffit.
Suite à l'analyse précédente de la variable de cluster, nous avons pu réduire le nombre de prédicteurs initiaux de 23 à environ 18. Dès lors, tous les termes VIF sont inférieurs à 10. De plus, la réduction significative du nombre total de prédicteurs, d'environ 200 à 18, nous permet de prendre en compte l'interaction à deux facteurs. Les résultats montrent que, pour notre modèle hybride 2 intégrant cette interaction, le R² est amélioré d'environ 20 % par rapport au modèle basé uniquement sur les effets principaux. Ce modèle hybride surpasse également les méthodes neuronales et de partitionnement précédentes. L'optimisation des variables prédictives et la prise en compte de l'interaction à deux facteurs nous ont permis d'obtenir un modèle plus précis et performant.
Ensuite, en nous appuyant sur les enseignements tirés de la méthodologie précédente, nous pouvons les appliquer aux années 2 et 3. Globalement, l'utilisation du modèle hybride, combinant la sélection des prédicteurs et l'ajustement du modèle, permet de réduire d'environ 90 % le nombre de prédicteurs par rapport à l'ensemble de données initial pour ces trois réponses. De plus, les coefficients de détermination (R²) restent acceptables, se situant entre 70 et 80 %. Après cette réduction, aucun problème de surapprentissage ni de VIF n'a été constaté.
L'étape suivante consiste à comparer différents modèles, notamment en utilisant le filtrage des prédicteurs combiné au modèle neuronal, et le filtrage des prédicteurs combiné au modèle de partitionnement. Comme vous pouvez le constater sur la diapositive précédente, le modèle neuronal, en considérant tous les prédicteurs, présente un surapprentissage important. En revanche, si l'on compare le modèle hybride (avec filtrage des prédicteurs et le modèle neuronal), le surapprentissage persiste, mais il est moindre lorsqu'on compare le modèle neuronal avec l'ensemble des prédicteurs. Quant au modèle de partitionnement avec les autres prédicteurs, comparé au modèle hybride (avec filtrage des prédicteurs et partitionnement), l'amélioration est minime.
L'étape suivante consiste à comparer tous ces différents modèles. Voici la liste des modèles dont nous disposons actuellement : le modèle des moindres carrés et plusieurs modèles hybrides. Ces derniers combinent le filtrage des prédicteurs avec un réseau neuronal, le filtrage des prédicteurs avec des partitions, et le filtrage des prédicteurs avec les moindres carrés et leur interaction. On constate que pour ce modèle hybride, un R² acceptable est obtenu avec seulement 18 prédicteurs. De plus, ce modèle hybride présente un LRS élevé et un LRS ajusté élevé. Cela signifie-t-il pour autant que ce modèle sera toujours plus performant que les autres ?
Voici deux exemples. Dans le premier, je compare les modèles Hybrid Neural, Hybrid Partition et Hybrid Least Square avec nos données réelles, qui correspondent à notre réponse. Si je sélectionne ce point de données, vous pouvez observer les prédictions correspondantes des trois modèles. Le modèle Hybrid Neural donne une valeur plus proche de notre résultat réel. Prenons un autre exemple : si je sélectionne ce point de données, les trois valeurs de prédiction correspondantes pour chaque modèle montrent que le modèle Hybrid Least Square offre une meilleure prédiction.
Je me demande s'il est possible de combiner tous ces modèles pour améliorer nos prédictions. J'ai découvert cette fonctionnalité de JMP Pro via ce lien. Elle introduit le concept de modélisation d'ensemble, aussi appelée « modèle de modèles ». L'idée est de sélectionner plusieurs modèles performants pour construire un modèle d'ensemble. Le potentiel de ce modèle m'enthousiasme et je souhaite explorer son application à mon jeu de données actuel. En suivant la même méthodologie, je voudrais savoir s'il est possible de créer un modèle combiné avec JMP.
Actuellement, nous disposons de trois modèles hybrides différents, comme je l'ai montré précédemment. Pour appliquer la méthodologie des modèles d'ensemble, nous utilisons différentes approches afin de combiner ces trois modèles. Cela concerne notamment le modèle cinq. Nous allons utiliser l'algorithme de moyenne, c'est-à-dire calculer la moyenne des trois modèles actuels. Le modèle six utilise l'algorithme de pondération. À chaque modèle, nous attribuerons un poids différent afin de déterminer si nous pouvons obtenir un meilleur modèle. Le modèle huit utilisera également l'algorithme neuronal pour combiner ces trois modèles. Enfin, pour le modèle huit, nous utiliserons l'algorithme de partitionnement afin de combiner ces trois modèles.
Ce tableau récapitule la moyenne de la réponse, l'erreur quadratique moyenne (RMSE), le coefficient de détermination (R²), le R² ajusté et le risque potentiel. Ce graphique permet de visualiser ces données : la moyenne de la réponse est indiquée ici et l'étendue correspond à la RMSE. Les modèles de R² ajusté sont classés du plus élevé au plus bas à l'aide d'un code couleur. On constate que le modèle sept, combiné aux trois autres par un algorithme neuronal, permet d'obtenir le R² ajusté le plus élevé et la RMSE la plus faible.
En conclusion, nos recherches sur l'approche hybride de sélection des prédicteurs et de modélisation par les moindres carrés nous permettent de construire un modèle réduisant d'environ 90 % le nombre de prédicteurs. Ce modèle nous permet de comprendre la combinaison YY positive, d'optimiser conjointement YX et de réduire la dépendance XX. Le développement de plusieurs modèles hybrides et d'un modèle d'ensemble nous a également permis de construire divers modèles prédictifs des performances des dispositifs.
Pour l'avenir, plusieurs pistes s'offrent à nous. Nous pouvons utiliser le filtrage des prédicteurs pour comparer les différences de classement entre les différents modèles. Nous pouvons également envisager une approche itérative récursive combinant plusieurs modèles afin de déterminer les critères d'arrêt. Enfin, nous souhaitons intégrer un tableau de bord ou un script de groupe pour synthétiser et comparer les indicateurs clés de performance (KPI) des modèles.
Je tiens également à remercier mon mentor, Charles, pour son encadrement et son précieux soutien technique tout au long de ce projet. Je remercie aussi l'équipe PPB du CTO d'Applied Materials pour son aide précieuse dans la collecte des données. Voilà qui conclut ma présentation d'aujourd'hui. Merci.
