Was ist der erste Schritt bei der Datenanalyse?
Möchten Sie den leistungsstarken interaktiven JMP Graph Builder (Graph Builder) für die visuelle Analyse verwenden?
Oder nutzen Sie die Distributionsplattform von JMP, um narrative Statistikanalysen durchzuführen?
Oder nutzen Sie die vielfältigen Vorhersagemodellierungstools von JMP, um das am besten geeignete Vorhersagemodell zu finden?
Obwohl es sich dabei um bekannte JMP-Funktionen handelt, sollten Sie als ersten Schritt bei der Verwendung der JMP-Analyse zusätzlich zu den oben genannten Plattformen die Verwendung von Explore Outliers (Ausreißer untersuchen) und Explore Missing Values (fehlende Werte untersuchen) in Betracht ziehen. Plattform, bereinigen und organisieren Sie Ihre Informationen.
Vielleicht halten Sie es für verständlich, fehlende Werte zu untersuchen. Schließlich ist es sinnvoll, zunächst Nullwerte für die spätere Analyse abzuschneiden. Aber warum müssen Sie auch Ausreißer ausschließen? Wenn solche Ausreißer repräsentativ für die Datenpopulation sind, hat das Auswirkungen auf unsere Analyse? Darüber hinaus sind Ausreißer schwer zu erfassen. Können wir diesen Effekt nicht zunächst ignorieren?
Um diese Fragen zu klären, müssen wir wissen, was ein Ausreißer ist.
Was sind Ausreißer?
Lassen Sie uns zunächst die eindimensionale Situation diskutieren und zufällig 1000 Werte der Standardnormalverteilung Nor (0, 1) generieren, wie in Abbildung 1 dargestellt, wobei die rot markierten Punkte Ausreißer außerhalb des Bereichs von [- 4,4], so Die Eintrittswahrscheinlichkeit beträgt 0,0063 %, was eine sehr kleine Wahrscheinlichkeit ist, daher betrachten wir Punkte, die in einem so kleinen Wahrscheinlichkeitsbereich auftreten, als Ausreißer.
Abbildung 1 Zufällig generierte Normalverteilungspunktkarte
Dann betrachten wir die Situation zweier Variablen mithilfe der Graph Builder-Analyse, unabhängig davon, ob die Datenpunkte den gleichen Mittelwert und die gleiche Varianz zwischen den beiden Variablen aufweisen (X2 vs. X1) oder mit unterschiedlichen Mittelwerten und Varianzen (X3 vs. X1), wie in Abbildung 2 unten dargestellt, können wir mit bloßem Auge erkennen, dass diese Ausreißer (rote Punkte) einen anderen Trend zu haben scheinen als andere Punkte und weit vom Zentrum der Daten entfernt sind.
Abbildung 2 (links) 2 Variablen haben das gleiche Mittelwert- und Varianz-Streudiagramm (rechts) 2 Variablen haben unterschiedliche Mittelwert- und Varianz-Streudiagramm
Und wenn eine starke Korrelation zwischen den beiden Variablen besteht, kann man auch feststellen, dass einige Ausreißer weit von anderen Stichprobenpunkten entfernt sind (rote Punkte in Abbildung 3). Darüber hinaus haben wir bei der Verwendung der Histogramm-Grenzfunktion der Fit Y by X-Plattform zur Beobachtung der Verteilung zweier Variablen (Abbildung 3) festgestellt, dass wir einige Ausreißer, wie z Wie in der folgenden Abbildung gezeigt, ist dies auch ein gutes Beispiel. Es zeigt, dass wir bei der Betrachtung multivariater Ausreißer einige potenzielle Ausreißer erkennen und Fehleinschätzungen vermeiden können, wenn wir nur eine einzelne Variable beobachten und steuern. Glücklicherweise bietet JMP eine solche multivariate Ausreißer-Beobachtungsplattform.
Abbildung 3 Streudiagramm mit starker Korrelation zwischen zwei Variablen
An diesem Punkt können wir das Konzept der Ausreißer verstehen, das darin besteht, Punkte zu finden, die weiter von der Mitte der Stichprobe entfernt sind als andere Stichprobenpunkte, oder bei denen die Position des Punktes nicht mit dem Gesamttrend der Stichprobe übereinstimmt. Interessanterweise stellen Ausreißer keine problematischen Punkte dar, sondern stellen eine Lücke zu anderen Stichproben ohne denselben „Trend“ dar. Daher können Ausreißer problematische Charaktere in einer guten Gesellschaft oder einen sauberen Strom in einer bösen Stadt darstellen, je nachdem, woher Ihre Proben kommen.
Nutzen Sie JMP sinnvoll, um WAT-Daten zu analysieren und Halbleiterprozessprobleme zu lösen
Zur Veranschaulichung verwenden wir jedoch elektrische Testdaten für die Halbleiterfertigung.
Die Komponentenparameter der Halbleiterwaferherstellung haben ihre entsprechenden elektronischen Eigenschaften, sodass aus den Ergebnissen der elektrischen Prüfung dieser Parameter Rückschlüsse auf die Qualität des entsprechenden Prozesses gezogen werden können. Wafer-Gießereien nennen den elektrischen Parametertest im Allgemeinen WAT (Wafer Acceptance Test), und ihre Kunden müssen die WAT-Testdaten überprüfen, um die Fertigungsqualität zu bestätigen. In der neuen Prozess-F&E-Phase ist es notwendig, eine große Menge an WAT-Daten zu sammeln, um Prozessprobleme zu lösen oder die optimale Faktorkonfiguration zu finden.
Zur Demonstration verwenden wir einen Satz einfacher WAT-Daten, der 10 Beobachtungsparameterdaten enthält. Wenn wir die Daten der Produktionslinie 3 direkt analysieren, können wir mit der Funktion „Analysieren“> „Verteilung“ das entsprechende Histogramm und den Ausreißer-Boxplot erstellen, um festzustellen, ob Es gibt Abweichungen. Gruppenwerte, wie in Abbildung 4 (links) dargestellt, markiert die rote Linie im Ausreißerfeld den Bereich mit der höchsten Konzentration, der 50 % abdeckt, woraus wir entnehmen können, dass die Daten im mittleren Abschnitt konzentriert sind. In ähnlicher Weise können Sie auch die Histogrammfunktion von Graph Builder verwenden, um die Zeichnung des Histogramms abzuschließen, wie in Abbildung 4 (rechts) dargestellt.
Abbildung 4 (links) Histogramm der Verteilungsplattform; Ausreißer-Boxplot (rechts) Boxplot des Graph Builders
Gemäß dem Quantilbereichs-Ausreißertest haben wir festgestellt, dass es in Parameter 1 einen Ausreißer (roter Punkt) gibt. Verwenden Sie die Funktion Quantilbereichs-Ausreißer in der JMP-Plattform „Analysieren > Screening > Ausreißer erkunden“, um den Ausreißer zu finden (Abbildung 5) und entsprechende Aktionen durchzuführen B. Daten markieren, ausschließen und als fehlende Werte behandeln.
Gleichzeitig können Sie auch die Regeln für die Beurteilung als Ausreißer anpassen. Sie können den Endperzentilwert (Tail Quantile) und sein Vielfaches (Q) anpassen und den allgemeinen IQR-Ausreißertest verwenden. Die Obergrenze ist Q3+1,5* IQR, die Obergrenze. Am Beispiel von Q1-1,5*IQR beträgt das Schwanzquantil 0,25 und Q 1,5. Und wenn Ihre Daten nicht der Normalverteilung entsprechen, können Sie Robust Fit Outliers als Ausreißer-Screening-Plattform verwenden.
Abbildung 5 Quantilbereichsausreißer in der Plattform „Explore Outliers“.
Wenn wir es jedoch umfassender betrachten und die Daten aller Produktionslinien einbeziehen, werden Sie feststellen, dass Produktionslinie 3 ein höheres Testergebnis für Parameter 1 aufweist, wie in Abbildung 6 dargestellt. Der ursprüngliche Ausreißerwert von 8,01 für Produktionslinie 3 liegt eher in Linie mit den meisten Daten Die tatsächlichen Ausreißer werden jedoch in die drei höchsten Werte der Produktionslinie 3 (rote Punkte in Abbildung 6) umgewandelt. Dieses Ergebnis spiegelt auch die Bedeutung der Quelle der oben genannten Proben wider. Umfangreiche Datenerfassung, die möglich ist Die Darstellung der Mutterpopulation ist für das korrekte Screening von entscheidender Bedeutung. Ausreißer spielen eine entscheidende Rolle.
Abbildung 6 Boxplot aller Produktionslinien
Wenn Sie den Einfluss aller Parameter berücksichtigen und Ausreißer unter dem Einfluss aller Parameter finden, stellt JMP auch die Funktionen Robust PCA Outliers oder K Nearest Neighbor Outliers zur Verfügung. Sie finden diese beiden Funktionsplattformen unter Analysieren > Screening > Ausreißer untersuchen. Verwenden Sie hier die Plattform „K Nearest Neighbor Outliers“, um Ausreißer zu finden, und verwenden Sie Composite, um Stichprobenpunkte mit größeren Abständen auszuwählen und sie als Ausreißer zu markieren (Abbildung 7).
Abbildung 7 K-Entfernungskarte „Ausreißer des nächsten Nachbarn“ unter der Plattform
Durch die Bestätigung der Verteilungsposition dieser vom Graph Builder als Ausreißer für jeden Parameter ausgewählten Datenpunkte kann festgestellt werden, dass nicht alle Punkte zu Ausreißern eines einzelnen Parameters gehören (z. B. Datenpunkte 290, 295, 296, 297, 298, 299). ) stimmt dieses Ergebnis auch mit der oben erwähnten multivariaten Ausreißer-Screening-Plattform von JMP überein, die viele potenzielle Problempunkte erfassen kann, die bei der Beobachtung einzelner Variablen ignoriert werden (Abbildung 8).
Abbildung 8 verwendet Boxplot, um die Verteilung von Ausreißern auf Variablen zu vergleichen
Entfernen Sie Ausreißer und erstellen Sie genauere Vorhersagemodelle
Wir wissen, dass JMP über eine gute Plattform verfügt, die uns beim Herausfiltern von Ausreißern helfen kann, aber welche Auswirkungen hat es, wenn wir Ausreißer nicht herausfiltern? Schauen wir uns zur Vereinfachung zunächst die Auswirkung von Ausreißern zwischen den beiden Parametern an.
Wir beobachten den R-Quadrat-Wert, der durch die Regressionsformel des Sekundäreffekts zwischen dem Parameter der ersten Ebene und dem zweiten Parameter der WAT-Daten geschätzt wird. Vor dem Entfernen der gescreenten Ausreißer beträgt der R-Quadrat-Wert 0,602, wie in Abbildung 9 dargestellt ( a) und nach dem Entfernen von Ausreißern stieg der R-Quadrat-Wert auf 0,740, wie in Abbildung 9(b) dargestellt, was zeigt, dass durch das Entfernen von Ausreißern ein genaueres Modell mit einer kleineren Lücke in den geschätzten Werten erstellt werden kann.
Wenn wir diese Parameter verwenden, um Prognoseergebnisse zu erstellen, wie z. B. Ertragsprognosen oder CP/FT-Testprognosen, können wir Fehler effektiver erkennen, Kosten senken und den Nutzen steigern.
Abbildung 9 (a) Quadratische Regressionsschätzung ohne entfernte Ausreißer (b) Quadratische Regressionsschätzung mit entfernten Ausreißern
Zoomen Sie dann hinein, berücksichtigen Sie alle Parameter und verwenden Sie diese Parameter, um die nachfolgenden Bin-Wert-Ergebnisse vorherzusagen und die Schlüsselfaktoren zu finden. Und finden Sie den besten Faktoreinstellungswert unter der Einstellung zur Minimierung des Bin-Werts. Auf die gleiche Weise überlegen wir zunächst, keine Ausreißer zu entfernen, um das am besten geeignete Regressionsmodell zu finden. Mithilfe der Fit-Modellplattform erhalten wir ein Regressionsmodell mit einem R-Quadrat von etwa 0,971, das viele Faktor-Effekt-Elemente enthält, und viele davon Sie können sehen, dass der Effekt des Interaktionsterms stärker ist als der Haupteffekt, der chaotischer zu sein scheint. Wenn Sie das Residuum-nach-Zeilen-Diagramm betrachten, können Sie feststellen, dass die Lücke zwischen den als Ausreißer gescreenten Stichproben relativ groß ist (Abbildung 10).
Abbildung 10 Regressions-R-Quadrat, Residuum nach Zeilendiagramm und betroffene Faktoreffektelemente ohne Entfernung von Ausreißern
Der nächste Schritt besteht darin, die Ausreißer zu entfernen und erneut eine Regressionsschätzung durchzuführen. Wir haben festgestellt, dass nicht nur das R-Quadrat auf 0,999 gestiegen ist, sondern auch die Schlüsselfaktoren auf vier Faktoreffektelemente reduziert wurden. Beobachtung des Residuums nach Zeilendiagramm, Nr Es wurde ein signifikanter Unterschied in der Probe festgestellt (Abbildung 11). Die anhand dieser Regressionsformel vorhergesagten Ergebnisse werden außerdem genauer sein, wodurch Fehlurteile vermieden werden.
Abbildung 11. Die Ausreißer-Regressionsformel R-Quadrat, Residuen-nach-Zeilen-Diagramm und die betroffenen Faktoreffektelemente werden nicht entfernt
Sammeln Sie etwas mehr Daten, um die Genauigkeit der Regressionsformel weiter zu testen. Wir können den geschätzten Wert der Regressionsformel mit dem tatsächlichen Bin-Wert unter der Plattform „Analysieren > Y nach X anpassen“ vergleichen. Die neuen Daten können immer noch habe ein sehr gutes Niveau. Das R-Quadrat hat eine Genauigkeit von 0,999 und kein bestimmter Punkt weist eine übermäßige Varianz auf.
Abbildung 12 Vergleich des geschätzten Werts der Regressionsformel und des tatsächlichen Bin-Werts
Mit der Explore Outliers-Plattform von JMP können wir Ausreißer einfach und schnell eliminieren und so den Einfluss von Ausreißern vermeiden, die Korrelation zwischen Faktoren falsch einschätzen oder falsche Modellvorhersagen treffen, was zu falschen Schätzungen und Entscheidungen führt. Als Außenposten für die Analyse, Die Explore Outliers-Plattform von JMP kann verschiedene Szenarien abdecken, ob univariat oder multivariat, ob die Daten normal sind, und kann eine geeignete Plattform vorschlagen, um Benutzern dabei zu helfen, Ausreißer zu finden und den Zweck der Datenbereinigung schnell zu erreichen .
Erweiterte Lektüre:
So erstellen Sie eine Wafer-Map in JMP in 30 Sekunden (Englisch)
Bild- und Waferanalyse mittels funktionaler Datenanalyse
Melden Sie sich für das Halbleitersymposium am 26.11. an
>> durch Wie wäre es mit JMP? Benutzern ermöglichen, schnell und effektiv optimierte Parameterkombinationen zu erhalten und so die Ausbeute der Produktionslinie zu verbessern und den Output zu steigern? Melden Sie sich für das Halbleitersymposium am 26.11. an. Lerne, freundlich zu sein Verwenden Sie JMP für die WAT-Analyse, um die Prozessausbeute zu verbessern und Schlüsselfaktoren zu ermitteln.
>> jetzt registrieren
