Lorsque vous analysez les données, quelle est la première étape ?
Utilisez-vous le puissant générateur de graphiques interactif JMP pour l'analyse visuelle ?
Ou utiliser la plate-forme Distribution de JMP pour effectuer des analyses statistiques narratives ?
Ou utiliser les différents outils de modélisation prédictive de JMP pour trouver le modèle prédictif le plus approprié ?
Bien qu'il s'agisse de toutes les fonctionnalités JMP populaires, en plus des plates-formes ci-dessus, vous pouvez envisager d'utiliser Explorer les valeurs aberrantes et Explorer les valeurs manquantes comme première étape de l'utilisation de l'analyse JMP. ) Plate-forme, nettoyez et organisez vos informations.
Peut-être pensez-vous qu'il est compréhensible d'explorer la valeur manquante, après tout, il est plus raisonnable que l'analyse suivante coupe d'abord la valeur nulle. Mais pourquoi devons-nous exclure les valeurs aberrantes ? Si ces valeurs aberrantes représentent l'état de la matrice de données, cela affectera-t-il notre analyse ? De plus, les valeurs aberrantes sont difficiles à détecter, ne pouvons-nous pas d'abord ignorer cet effet ?
Pour clarifier ces problèmes, nous devons savoir ce que sont les valeurs aberrantes.
Qu'est-ce qu'une valeur aberrante ?
Discutons d'abord de la situation unidimensionnelle et générons au hasard 1 000 valeurs Nor(0, 1) de distribution normale standard, comme le montre la figure 1. Les points rouges sont marqués comme des valeurs aberrantes au-delà de la plage de [-4,4]. d'occurrence est de 0,0063 %, ce qui est une très faible probabilité, de sorte que le point qui se produit dans une zone de probabilité aussi faible est considéré comme une valeur aberrante.
Figure 1 Une carte de points de distribution normale générée aléatoirement
Ensuite, nous examinons la situation de deux variables, en utilisant Graph builder pour analyser, que les points de données aient la même moyenne et la même variance entre les deux variables (X2 vs. X1) ou ont une moyenne et une variance différentes (X3 vs. X1), comme le montre la figure 2 ci-dessous, nous pouvons voir à l'œil nu que ces valeurs aberrantes (points rouges) semblent avoir une tendance différente des autres points et sont loin du point central des données.
Figure 2 (à gauche) Nuage de points de 2 variables avec la même moyenne et la même variance (à droite) Nuage de points de 2 variables avec une moyenne et une variance différentes
Lorsqu'il existe une forte corrélation entre les deux variables, on peut également constater que la distance entre certaines valeurs aberrantes et d'autres points d'échantillonnage est plus grande (point rouge sur la figure 3). De plus, en utilisant la fonction histogramme boarder de la plate-forme Fit Y by X pour observer la distribution des deux variables (Figure 3), nous avons constaté que si nous nous concentrons sur une seule variable, nous ne pourrons pas détecter certaines valeurs aberrantes. Comme le montre la figure ci-dessous, il s'agit également d'un Un bon exemple montre que lorsque nous considérons les valeurs aberrantes de plusieurs variables, nous attraperons certaines valeurs aberrantes potentielles pour éviter l'erreur de juger de n'observer et de contrôler qu'une seule variable. Heureusement, JMP fournit une telle plate-forme d'observation des valeurs aberrantes multivariées.
Figure 3 Nuage de points avec forte corrélation entre deux variables
À ce stade, nous pouvons comprendre le concept de valeurs aberrantes, qui consiste à trouver des points plus éloignés du centre de l'échantillon que les autres points d'échantillon, ou lorsque l'emplacement du point ne correspond pas à la "tendance" globale de l'échantillon. . Fait intéressant, les valeurs aberrantes ne représentent pas des points problématiques, mais représentent plutôt des écarts avec d'autres échantillons sans la même « tendance ». Par conséquent, les valeurs aberrantes peuvent représenter des personnes problématiques dans une bonne société, ou elles peuvent représenter un flux clair dans la ville maléfique, selon la provenance de votre échantillon.
Faire bon usage de JMP pour analyser les données WAT et résoudre les problèmes de processus des semi-conducteurs
Cela dit, nous utilisons des données de test électrique de fabrication de semi-conducteurs à titre d'illustration.
Les paramètres des composants de la fabrication des plaquettes semi-conductrices ont leurs caractéristiques électroniques correspondantes. Par conséquent, la qualité du processus correspondant peut être déduite des résultats des tests électriques de ces paramètres. Les fonderies de plaquettes appellent généralement les tests de paramètres électriques appelés WAT (Wafer Acceptance Test), et leurs clients doivent examiner les données de test WAT pour confirmer la qualité de fabrication. Dans la nouvelle étape de développement de processus, il est nécessaire de collecter une grande quantité de données WAT pour résoudre les problèmes de processus ou trouver la configuration de facteur optimale.
Nous utilisons un ensemble de données WAT simples comme démonstration, qui contient des données de paramètres d'observation 10. Lorsque nous analysons directement les données de la ligne de production 3, à l'aide de la fonction Analyse> Distribution, nous pouvons créer l'histogramme correspondant et la boîte à moustaches aberrantes pour observer si La valeur du groupe, comme illustré à la figure 4 (à gauche), la ligne rouge sur la zone aberrante marque la zone la plus concentrée couvrant 50 %, à partir de là, nous pouvons constater que les données sont concentrées dans la section centrale. De même, vous pouvez également utiliser la fonction d'histogramme de Graph Builder pour terminer le dessin de l'histogramme, comme le montre la figure 4 (à droite).
Figure 4 (à gauche) Histogramme de la plate-forme de distribution ; Boîte à moustaches aberrantes (à droite) Boîte à moustaches du générateur de graphiques
Selon le test des valeurs aberrantes de la plage quantile, nous avons constaté qu'il existe une valeur aberrante (point rouge) dans le paramètre 1. Les valeurs aberrantes peuvent être trouvées en utilisant la fonction Valeurs aberrantes de la plage quantile dans la plate-forme Analyse>Dépistage>Explorer les valeurs aberrantes de JMP (Figure 5) , et Vous pouvez marquer, exclure et traiter les données comme des valeurs manquantes.
Dans le même temps, vous pouvez également ajuster les règles de détermination des valeurs aberrantes, vous pouvez ajuster la valeur du quantile de queue (Quantile de queue) et son multiple (Q), avec le test de valeur aberrante IQR commun, la limite supérieure est Q3 + 1,5 * IQR, la limite supérieure Prenez Q1-1,5*IQR comme exemple, le quantile de queue est de 0,25 et Q est de 1,5. Et lorsque vos données sont moins conformes à la distribution normale, vous pouvez envisager d'utiliser Robust Fit Outliers comme plate-forme de filtrage des valeurs aberrantes.
Figure 5 Valeurs aberrantes de la plage de quantiles dans la plate-forme Explore Outliers
Mais lorsque nous considérons de manière plus complète et incluons les données de toutes les lignes de production, vous constaterez que la ligne de production 3 a un résultat de test du paramètre 1 plus élevé, comme le montre la figure 6. La valeur aberrante d'origine de 8,01 sur la ligne de production 3 est plus cohérente avec la plupart des données. Les valeurs aberrantes réelles sont converties en les trois valeurs les plus élevées de la ligne de production trois (points rouges sur la figure 6). Ce résultat fait également écho à l'importance de la source des échantillons susmentionnés et à l'accès étendu à les données maternelles représentatives sont correctes pour le dépistage Les valeurs aberrantes jouent un rôle central.
Figure 6 Box plot de toutes les lignes de production
Lors de l'examen de l'influence de tous les paramètres et de la recherche de valeurs aberrantes sous l'influence de tous les paramètres, JMP propose également des fonctions Robust PCA Outliers ou K Nearest Neighbor Outliers que vous pouvez utiliser. Vous pouvez trouver ces deux plates-formes fonctionnelles sous Analyse> Dépistage> Explorer les valeurs aberrantes. Ici, utilisez la plate-forme K Nearest Neighbor Outliers pour trouver les valeurs aberrantes et utilisez un composé pour sélectionner des points d'échantillon avec des distances plus élevées et les marquer comme valeurs aberrantes (Figure 7).
Figure 7 : Carte des distances sous la plate-forme K Nearest Neighbour Outliers
En utilisant Graph builder pour confirmer la position de distribution des points de données sélectionnés comme valeurs aberrantes sur chaque paramètre, il peut être constaté que tous les points n'appartiennent pas aux valeurs aberrantes d'un seul paramètre (tels que les points de données 290, 295, 296, 297, 298) . , 299), ce résultat est également le même que celui mentionné ci-dessus.Avec la plate-forme de dépistage des valeurs aberrantes multivariées de JMP, de nombreux problèmes potentiels qui sont ignorés lors de l'observation d'une variable univariée peuvent être détectés (Figure 8).
Figure 8 Utilisez Boxplot pour comparer la distribution des valeurs aberrantes sur les variables
Supprimer les valeurs aberrantes et construire un modèle de prédiction plus précis
Nous savons que JMP dispose d'une bonne plate-forme pour nous aider à filtrer les valeurs aberrantes, mais quel impact cela aura-t-il si nous ne filtrons pas les valeurs aberrantes ? Pour simplifier la complexité, examinons d'abord l'influence des valeurs aberrantes entre les deux paramètres.
Nous observons la valeur R-carré estimée par la régression d'effet de second ordre entre le paramètre de premier niveau et le deuxième paramètre des données WAT. Avant de supprimer les valeurs aberrantes filtrées, la valeur R-carré est de 0,602, comme le montre la figure 9( a) , Et après avoir supprimé les valeurs aberrantes, la valeur R carré s'élève à 0,740, comme le montre la figure 9(b), qui montre que la suppression des valeurs aberrantes peut construire un modèle plus précis avec une valeur estimée plus petite.
Lorsque nous utilisons ces paramètres pour construire des résultats de prédiction, tels que l'estimation de rendement ou l'estimation de test CP/FT, nous pouvons détecter les défauts plus efficacement, réduire les coûts et augmenter les avantages.
Figure 9 (a) Estimation par régression quadratique sans suppression des valeurs aberrantes (b) Estimation par régression quadratique avec suppression des valeurs aberrantes
Ensuite, effectuez un zoom avant et examinez tous les paramètres, puis utilisez ces paramètres pour estimer les résultats de valeur Bin suivants afin de trouver les facteurs clés. Et trouvez la valeur de paramètre de facteur optimale sous le paramètre de minimisation de la valeur Bin. De même, nous envisageons d'abord de ne pas supprimer les valeurs aberrantes et de trouver le modèle de régression le plus approprié.En utilisant la plate-forme de modèle Fit, nous obtenons un modèle de régression R-carré d'environ 0,971, qui contient de nombreux termes d'effet de facteur, et beaucoup d'entre eux peuvent être vus. l'effet à terme est plus fort que l'effet principal, ce qui semble plus déroutant, et en observant le graphique résiduel par ligne, nous pouvons constater que les écarts dans les échantillons sélectionnés comme valeurs aberrantes sont relativement importants (figure 10).
La figure 10 ne supprime pas la formule de régression des valeurs aberrantes R-carré, le graphique résiduel par ligne et les termes d'effet des facteurs d'influence
L'étape suivante consiste à supprimer les valeurs aberrantes et à effectuer à nouveau une estimation par régression. Nous avons constaté que non seulement le R carré est passé à 0,999, mais que le facteur clé a également été réduit à quatre termes d'effet de facteur. différence significative Échantillon (Figure 11). Le résultat prédit basé sur cette formule de régression sera plus précis et évitera de porter des jugements erronés.
La figure 11 ne supprime pas la formule de régression des valeurs aberrantes R-carré, le graphique résiduel par ligne et le terme d'effet du facteur d'influence
Collectez un peu plus de données pour tester ultérieurement l'exactitude de la régression.Nous pouvons comparer la valeur estimée de la régression avec la valeur réelle de Bin sous la plate-forme Analyse>Ajuster Y par X. Les nouvelles données peuvent toujours avoir un bon niveau. R-carré a une précision de 0,999, et il n'y a pas de points spéciaux avec des différences excessives.
Figure 12 Comparaison de la valeur estimée de la formule de régression et de la valeur réelle de Bin
Avec la plate-forme Explore Outliers de JMP, nous pouvons éliminer facilement et rapidement les valeurs aberrantes, éviter d'être affecté par les valeurs aberrantes et éviter la corrélation entre les facteurs d'erreur de jugement ou les prédictions de modèle erronées, entraînant des estimations et des décisions erronées. En tant qu'avant-poste d'analyse, La plate-forme Explore Outliers de JMP peut fournir une plate-forme appropriée pour aider les utilisateurs à trouver les valeurs aberrantes et à atteindre rapidement l'objectif de nettoyage des données pour différents scénarios, que les données soient normales ou non pour des variables uniques ou multiples. .
Yan Shen lisant :
Comment faire une carte de plaquettes dans JMP en 30 secondes (Anglais)
Analyse d'images et de plaquettes à l'aide de l'analyse de données fonctionnelles
Inscrivez-vous au séminaire 11/26 sur les semi-conducteurs
>> Par Que diriez-vous de JMP Permettre aux utilisateurs d'obtenir rapidement et efficacement des combinaisons de paramètres optimisées, augmentant ainsi le rendement de la ligne de production et la production ? Inscrivez-vous au séminaire 11/26 Semiconductor, Comprendre comment être gentil Utilisez JMP pour effectuer une analyse WAT afin d'améliorer le rendement du processus et d'identifier les facteurs clés.
>> S'inscrire maintenant
