Lorsque vous analysez des données, quelle est la première étape ?
Souhaitez-vous utiliser le puissant générateur de graphiques interactif JMP (Graph Builder) pour l'analyse visuelle ?
Ou utiliser la plate-forme de distribution (distribution) de JMP pour effectuer une analyse des statistiques narratives ?
Ou utiliser les divers outils de modélisation prédictive de JMP pour trouver le modèle prédictif le plus approprié ?
Bien qu'il s'agisse de fonctions JMP bien connues, comme première étape de l'utilisation de l'analyse JMP, en plus des plates-formes mentionnées ci-dessus, vous pouvez envisager d'utiliser Explorer les valeurs aberrantes (explorer les valeurs aberrantes) et Explorer les valeurs manquantes (explorer les valeurs manquantes) Plate-forme, nettoyez et organisez vos informations.
Vous pensez peut-être qu'il est compréhensible d'explorer les valeurs manquantes. Après tout, il est raisonnable de supprimer d'abord les valeurs nulles pour une analyse ultérieure. Mais pourquoi devez-vous également exclure les valeurs aberrantes ? Si ces valeurs aberrantes sont représentatives de la population de données, cela affectera-t-il notre analyse ? De plus, les valeurs aberrantes sont difficiles à capter, ne pouvons-nous pas d'abord ignorer cet effet ?
Pour clarifier ces questions, nous devons savoir ce qu'est une valeur aberrante.
Quelles sont les valeurs aberrantes ?
Discutons d'abord de la situation unidimensionnelle et générons au hasard 1000 valeurs de la distribution normale standard Nor (0, 1), comme le montre la figure 1, où les points marqués en rouge sont des valeurs aberrantes au-delà de la plage de [- 4,4], tels que la probabilité d'occurrence est de 0,0063 %, ce qui est une très faible probabilité, nous considérons donc les points qui se produisent dans une si petite zone de probabilité comme des valeurs aberrantes.
Figure 1 Carte de points de distribution normale générée aléatoirement
Ensuite, nous examinons la situation de deux variables, en utilisant l'analyse du générateur de graphes, que les points de données aient ou non la même moyenne et la même variance entre les deux variables (X2 vs. X1) ou avec des moyennes et variances différentes (X3 vs. X1), comme le montre la figure 2 ci-dessous, nous pouvons voir à l'œil nu que ces points aberrants (points rouges) semblent avoir une tendance différente des autres points et sont éloignés du point du centre de données.
Figure 2 (à gauche) 2 variables ont le même nuage de points de moyenne et de variance (à droite) 2 variables ont un nuage de points de moyenne et de variance différents
Et lorsqu'il existe une forte corrélation entre les deux variables, on peut également constater que certaines valeurs aberrantes sont éloignées d'autres points d'échantillonnage (points rouges sur la figure 3). De plus, en utilisant la fonction histogram boarder de la plateforme Fit Y by X pour observer la distribution des deux variables (Figure 3), nous avons constaté que si nous nous concentrons uniquement sur une seule variable, nous ne pourrons pas détecter certaines valeurs aberrantes, comme le montre la figure ci-dessous, qui est également un Un bon exemple montre que lorsque nous considérons les valeurs aberrantes multivariées, nous capterons certaines valeurs aberrantes potentielles et éviterons les erreurs de jugement en observant et en contrôlant uniquement une seule variable. Heureusement, JMP fournit une telle plate-forme d'observation des valeurs aberrantes multivariées.
Figure 3 Nuage de points avec forte corrélation entre deux variables
À ce stade, nous pouvons comprendre le concept de valeurs aberrantes, qui consiste à trouver des points plus éloignés du centre de l'échantillon que les autres points de l'échantillon, ou lorsque l'emplacement du point ne correspond pas à la "tendance" globale de l'échantillon. Fait intéressant, les valeurs aberrantes ne représentent pas des points problématiques, mais représentent un écart par rapport aux autres échantillons sans la même "tendance". Par conséquent, les valeurs aberrantes peuvent représenter des personnages problématiques dans une bonne société, ou elles peuvent représenter un flux propre dans une ville méchante, selon la provenance de vos échantillons.
Faire bon usage de JMP pour analyser les données WAT et résoudre les problèmes de traitement des semi-conducteurs
Cela dit, nous utilisons les données d'un test électrique de fabrication de semi-conducteurs à titre d'illustration.
Les paramètres des composants de la fabrication de plaquettes semi-conductrices ont leurs caractéristiques électroniques correspondantes, de sorte que la qualité du processus correspondant peut être déduite à travers les résultats des tests électriques de ces paramètres. Les fonderies de plaquettes appellent généralement le test des paramètres électriques WAT (Wafer Acceptance Test), et leurs clients doivent vérifier les données du test WAT pour confirmer la qualité de fabrication. Dans l'étape de R&D du nouveau procédé, il est nécessaire de collecter une grande quantité de données WAT pour résoudre les problèmes de procédé ou trouver la configuration optimale des facteurs.
Nous utilisons un ensemble de données WAT simples comme démonstration, qui contient des données de paramètres d'observation 10. Lorsque nous analysons directement les données de la ligne de production 3, nous pouvons utiliser la fonction Analyser> Distribution pour créer l'histogramme correspondant et la boîte à moustaches pour voir si s'il y a un écart. Valeurs de groupe, comme le montre la figure 4 (à gauche), la ligne rouge sur la boîte des valeurs aberrantes marque la zone la plus concentrée couvrant 50 %, à partir de laquelle nous pouvons trouver que les données sont concentrées dans la section médiane. De même, vous pouvez également utiliser la fonction d'histogramme de Graph Builder pour terminer le dessin de l'histogramme, comme illustré à la figure 4 (à droite).
Figure 4 (à gauche) Histogramme de la plate-forme Distribution ; boîte à moustaches des valeurs aberrantes (à droite) Boîte à moustaches du générateur de graphes
Selon le test de valeur aberrante de la plage quantile, nous avons constaté qu'il existe une valeur aberrante (point rouge) dans le paramètre 1. Utilisez la fonction Valeurs aberrantes de la plage quantile dans la plate-forme Analyze>Screening>Explore Outliers de JMP pour trouver sa valeur aberrante (Figure 5), et des actions telles que car le marquage, l'exclusion et le traitement des données comme des valeurs manquantes peuvent être effectués.
Dans le même temps, vous pouvez également ajuster les règles de jugement des valeurs aberrantes. Vous pouvez ajuster la valeur du centile de queue (Quantile de queue) et son multiple (Q), et utiliser le test de valeur aberrante IQR commun. La limite supérieure est Q3 + 1,5*. IQR, la limite supérieure Prenant Q1-1.5*IQR comme exemple, Tail Quantile est 0.25, et Q est 1.5. Et lorsque vos données ne sont pas conformes à la distribution normale, vous pouvez envisager d'utiliser Robust Fit Outliers comme plate-forme de dépistage des valeurs aberrantes.
Figure 5 Quantile Range Outliers dans la plate-forme Explore Outliers
Mais lorsque nous l'examinons plus en détail et incluons les données de toutes les lignes de production, vous constaterez que la ligne de production 3 a un résultat de test de paramètre 1 plus élevé, comme le montre la figure 6. La valeur aberrante d'origine de 8,01 sur la ligne de production 3 est plus en ligne avec la plupart des données Cependant, les valeurs aberrantes réelles sont converties aux trois valeurs les plus élevées de la ligne de production 3 (points rouges sur la figure 6). Ce résultat fait également écho à l'importance de la source des échantillons susmentionnés. représenter la population maternelle est essentiel pour un dépistage correct Les valeurs aberrantes jouent un rôle central.
Figure 6 Boîte à moustaches de toutes les lignes de production
Lors de la prise en compte de l'influence de tous les paramètres et de la recherche de valeurs aberrantes sous l'influence de tous les paramètres, JMP fournit également des fonctions Robust PCA Outliers ou K Nearest Neighbor Outliers que vous pouvez utiliser. Vous pouvez trouver ces deux plates-formes fonctionnelles sous Analyser> Dépistage> Explorer les valeurs aberrantes Ici, utilisez la plate-forme K Nearest Neighbor Outliers pour trouver des valeurs aberrantes et utilisez le composite pour sélectionner des points d'échantillonnage avec des distances plus élevées et les marquer comme des valeurs aberrantes (Figure 7).
Figure 7 Carte de distance K Nearest Neighbor Outliers sous la plate-forme
En confirmant la position de distribution de ces points de données sélectionnés comme valeurs aberrantes sur chaque paramètre par le générateur de graphiques, on peut constater que tous les points n'appartiennent pas aux valeurs aberrantes d'un seul paramètre (tels que les points de données 290, 295, 296, 297, 298 , 299 ), ce résultat est également cohérent avec la plate-forme de dépistage des valeurs aberrantes multivariées de JMP mentionnée ci-dessus, qui peut capturer de nombreux points problématiques potentiels qui sont ignorés dans l'observation de variables uniques (Figure 8).
La figure 8 utilise Boxplot pour comparer la distribution des valeurs aberrantes sur les variables
Supprimez les valeurs aberrantes et créez des modèles prédictifs plus précis
Nous savons que JMP dispose d'une bonne plate-forme qui peut nous aider à filtrer les valeurs aberrantes, mais quel sera l'impact de ne pas filtrer les valeurs aberrantes ? Pour simplifier, regardons d'abord l'impact des valeurs aberrantes entre les deux paramètres.
Nous observons la valeur R-carré estimée par la formule de régression de l'effet secondaire entre le paramètre de premier niveau et le deuxième paramètre des données WAT. Avant de supprimer les valeurs aberrantes filtrées, la valeur R-carré est de 0,602, comme le montre la figure 9 ( a), et après suppression des valeurs aberrantes, la valeur R-carré est passée à 0,740, comme le montre la figure 9(b), ce qui montre que la suppression des valeurs aberrantes peut construire un modèle plus précis avec un écart plus petit dans les valeurs estimées.
Lorsque nous utilisons ces paramètres pour construire des résultats de prévision, tels que des prévisions de taux de rendement ou des prévisions de test CP/FT, nous pouvons détecter les défauts plus efficacement, réduire les coûts et augmenter les avantages.
Figure 9 (a) Estimation par régression quadratique sans valeurs aberrantes supprimées (b) Estimation par régression quadratique avec suppression des valeurs aberrantes
Effectuez ensuite un zoom avant et examinez tous les paramètres, puis utilisez ces paramètres pour prédire les résultats de la valeur Bin suivants afin de trouver les facteurs clés. Et trouvez la meilleure valeur de paramètre de facteur sous le paramètre de minimisation de la valeur Bin. De la même manière, nous envisageons d'abord de ne pas supprimer les valeurs aberrantes pour trouver le modèle de régression le plus approprié.En utilisant la plate-forme de modèle Fit, nous obtenons un modèle de régression avec un R-carré d'environ 0,971, comprenant de nombreux éléments d'effet de facteur, parmi lesquels nous pouvons voir beaucoup L'effet du terme d'interaction est plus fort que l'effet principal, qui semble être plus chaotique, et en observant le Résiduel par Row Plot, on peut constater que l'écart entre les échantillons sélectionnés comme valeurs aberrantes est relativement important (Figure 10).
Figure 10 Régression R-carré, Résiduel par diagramme en ligne et éléments d'effet de facteur affectés sans supprimer les valeurs aberrantes
L'étape suivante consiste à supprimer les valeurs aberrantes et à refaire une estimation de régression. Nous avons constaté que non seulement le R-carré a augmenté à 0,999, mais que les facteurs clés ont également été réduits à quatre éléments d'effet de facteur. une différence significative a été trouvée dans l'échantillon (Figure 11). Les résultats prédits selon cette formule de régression seront également plus précis, évitant les mauvais jugements.
Figure 11. La formule de régression des valeurs aberrantes R-carré, Résiduel par graphique en ligne et les éléments d'effet de facteur concernés ne sont pas supprimés
Collectez un peu plus de données pour effectuer des tests de suivi de l'exactitude de la formule de régression. Nous pouvons comparer la valeur estimée de la formule de régression avec la valeur réelle de Bin sous la plate-forme Analyze>Fit Y by X. Les nouvelles données peuvent toujours avoir un très bon niveau. R-carré a une précision de 0,999 et aucun point particulier n'a une variance excessive.
Figure 12 Comparaison de la valeur estimée de la formule de régression et de la valeur Bin réelle
Avec la plate-forme Explore Outliers de JMP, nous pouvons facilement et rapidement éliminer les valeurs aberrantes, en évitant l'influence des valeurs aberrantes pour mal évaluer la corrélation entre les facteurs ou faire de mauvaises prédictions de modèle, conduisant à de mauvaises estimations et décisions. En tant qu'avant-poste d'analyse, La plate-forme Explore Outliers de JMP peut traiter différents scénarios, qu'ils soient univariés ou multivariés, que les données soient normales, et peut proposer une plate-forme appropriée pour aider les utilisateurs à trouver des valeurs aberrantes et à atteindre rapidement l'objectif de nettoyage des données. .
Lecture étendue :
Comment créer une carte de plaquettes dans JMP en 30 secondes (anglais)
Analyse d'images et de tranches à l'aide de l'analyse de données fonctionnelles
Inscrivez-vous au 11/26 Semiconductor Symposium
>> à travers Que diriez-vous de JMP Permettre aux utilisateurs d'obtenir rapidement et efficacement des combinaisons de paramètres optimisées, améliorant ainsi le rendement de la ligne de production et augmentant la production ? Inscrivez-vous au 11/26 Semiconductor Symposium, apprendre à être gentil Utilisez JMP pour l'analyse WAT afin d'améliorer le rendement du processus et d'exploiter les facteurs clés.
>> S'inscrire maintenant
