データを分析するとき、最初のステップは何ですか？
視覚的な分析に強力なインタラクティブJMPグラフビルダーを使用していますか？
または、JMPの配布プラットフォームを使用してナラティブ統計分析を行いますか？
または、JMPのさまざまな予測モデリングツールを使用して、最も適切な予測モデルを見つけますか？
これらはすべて人気のあるJMP機能ですが、JMP分析を使用する最初のステップとして、上記のプラットフォームに加えて、外れ値の探索と欠落値の探索の使用を検討することをお勧めします。）プラットフォーム、情報のクリーンアップと整理。
不足している値を調査することは理解できると思うかもしれませんが、結局のところ、後続の分析では最初にnull値をカットする方が合理的です。しかし、なぜ外れ値を除外する必要があるのでしょうか。そのような外れ値がデータマトリックスのステータスを表す場合、それは分析に影響しますか？さらに、外れ値を見つけるのは難しいので、最初にこの影響を無視することはできませんか？
これらの問題を明確にするには、外れ値が何であるかを知る必要があります。
外れ値とは何ですか？
最初に1次元の状況について説明し、図1に示すように、1000個の標準正規分布Nor（0、1）値をランダムに生成しましょう。赤い点は[-4,4]の範囲を超える外れ値としてマークされます。確率発生率は0.0063％と非常に小さい確率であるため、このような小さい確率領域で発生する点は外れ値と見なされます。
図1ランダムに生成された正規分布ポイントマップ
次に、グラフビルダーを使用して、データポイントの平均と分散が2つの変数間で同じであるかどうかに関係なく、2つの変数の状況を調べます（X2と。 X1）または異なる平均と分散を持っている（X3対。 X1）、下の図2に示すように、これらの外れ値（赤い点）は他の点とは異なる傾向を示し、データの中心点から遠く離れていることが肉眼でわかります。
図2（左）平均と分散が同じ2つの変数の散布図（右）平均と分散が異なる2つの変数の散布図
2つの変数の間に強い相関関係がある場合、一部の外れ値と他のサンプルポイント間の距離が大きいこともわかります（図3の赤い点）。さらに、Fit Y by Xプラットフォームのヒストグラムボーダー関数を使用して2つの変数の分布を観察すると（図3）、1つの変数のみに焦点を当てると、一部の外れ値を検出できないことがわかりました。次の図に示すように、これも良い例です。複数の変数の外れ値を検討するときに、単一の変数のみを監視および制御するという誤解を避けるために、いくつかの潜在的な外れ値をキャッチすることを示しています。幸いなことに、JMPはそのような多変数外れ値観測プラットフォームを提供します。
図32つの変数間に強い相関がある散布図
この時点で、他のサンプルポイントよりもサンプルの中心から遠いポイント、またはポイントの位置がサンプルの全体的な「傾向」と一致しないポイントを見つけるという外れ値の概念を理解できます。 。興味深いことに、外れ値は問題のあるポイントを表すのではなく、同じ「傾向」のない他のサンプルとのギャップを表します。したがって、外れ値は、サンプルの出所に応じて、良い社会の問題のある人々を表す場合もあれば、邪悪な都市の明確な流れを表す場合もあります。
JMPを活用してWATデータを分析し、半導体プロセスの問題を解決します
そうは言っても、例として半導体製造の電気テストデータを使用します。
半導体ウェーハ製造の部品パラメータは、対応する電子特性を持っているため、これらのパラメータの電気的試験の結果から、対応するプロセスの品質を推測することができます。ウェーハファウンドリは通常、WAT（Wafer Acceptance Test）と呼ばれる電気的パラメータテストと呼ばれ、顧客は製造品質を確認するためにWATテストデータを確認する必要があります。新しいプロセス開発段階では、プロセスの問題を解決したり、最適な要素構成を見つけたりするために、大量のWATデータを収集する必要があります。
デモンストレーションとして、10個の観測パラメータデータを含む一連の単純なWATデータを使用します。[分析]> [分布]機能を使用して生産ライン3のデータを直接分析すると、対応するヒストグラムと外れ値の箱ひげ図を作成して、偏差があります。図4（左）に示すように、外れ値ボックスの赤い線は50％をカバーする最も集中した領域を示し、ここからデータが中央のセクションに集中していることがわかります。同様に、図4（右）に示すように、グラフビルダーのヒストグラム関数を使用してヒストグラムの描画を完了することもできます。
図4（左）配布プラットフォームのヒストグラム;外れ値の箱ひげ図（右）グラフビルダーの箱ひげ図
Quantile Range Outlierテストによると、パラメーター1に外れ値（赤い点）があることがわかりました。外れ値は、JMPの[分析]> [スクリーニング]> [外れ値の探索]プラットフォームの[QuantileRange Outliers]機能を使用して見つけることができます（図5）。 、およびデータを欠落値としてマーク、除外、および処理できます。
同時に、外れ値を決定するためのルールを調整することもできます。一般的なIQR外れ値テストでは、テール分位値（Tail Quantile）とその倍数（Q）を調整できます。上限はQ3 + 1.5 * IQRです。上限Q1-1.5 * IQRを例にとると、テール分位数は0.25、Qは1.5です。また、データが正規分布と一致していない場合は、ロバストフィット外れ値を外れ値スクリーニングプラットフォームとして使用することを検討できます。
図5ExploreOutliersプラットフォームの分位範囲外れ値
しかし、より包括的に検討し、すべての生産ラインのデータを含めると、図6に示すように、生産ライン3のパラメーター1のテスト結果が高くなることがわかります。生産ライン3の元の外れ値8.01は、ほとんどのデータ。実際の外れ値は、生産ライン3の3つの最高値に変換されます（図6の赤い点）。この結果は、前述のサンプルのソースの重要性と、代表的な母体データはスクリーニングに適しています外れ値は極めて重要な役割を果たします。
図6すべての生産ラインの箱ひげ図
すべてのパラメーターの影響を考慮し、すべてのパラメーターの影響下で外れ値を見つける場合、JMPは、使用できるロバストPCA外れ値またはK最近傍外れ値関数も提供します。これらの2つの機能プラットフォームは、[分析]> [スクリーニング]> [外れ値の探索]にあります。ここでは、K最近傍外れ値プラットフォームを使用して外れ値を見つけ、複合を使用して距離の長いサンプルポイントを選択し、外れ値としてマークします（図7）。
図7：K最近傍外れ値プラットフォームでの距離マップ
グラフビルダーを使用して、各パラメーターの外れ値として選択されたデータポイントの分布位置を確認すると、すべてのポイントが単一のパラメーター（データポイント290、295、296、297、298など）の外れ値に属しているわけではないことがわかります。 。、299）、この結果も上記と同じです。JMPの多変量外れ値スクリーニングプラットフォームを使用すると、単変量の観測では無視される多くの潜在的な問題を捉えることができます（図8）。
図8Boxplotを使用して、変数の外れ値の分布を比較します
外れ値を削除し、より正確な予測モデルを構築します
JMPには外れ値を除外するのに役立つ優れたプラットフォームがあることはわかっていますが、外れ値を除外しないとどのような影響がありますか？ 複雑さを単純化するために、最初に2つのパラメーター間の外れ値の影響を見てみましょう。
WATデータの第1レベルパラメーターと第2パラメーターの間の2次効果回帰によって推定された決定係数値を観察します。フィルター処理された外れ値を削除する前の決定係数値は、図9（に示すように0.602です。 a）、そして、図9（b）に示すように、外れ値を削除した後、R二乗値は0.740に上昇します。これは、外れ値を削除すると、より小さな推定値でより正確なモデルを構築できることを示しています。
これらのパラメータを使用して、歩留まりの見積もりやCP / FTテストの見積もりなどの予測結果を作成すると、欠陥をより効果的に検出し、コストを削減し、メリットを増やすことができます。
図9（a）外れ値を削除しない2次回帰推定（b）外れ値を削除した2次回帰推定
次に、ズームインしてすべてのパラメーターを検討し、これらのパラメーターを使用して後続のビン値の結果を推定し、主要な要因を見つけます。そして、ビン値を最小化する設定の下で最適な因子設定値を見つけます。同様に、最初に外れ値を削除しないことを検討し、最適な回帰モデルを見つけます。Fitモデルプラットフォームを使用すると、約0.971の回帰モデルR-squareが得られます。これには、多くの因子効果項が含まれており、それらの多くを見ることができます。項効果は、より混乱しているように見える主効果よりも強く、行プロットによる残差を観察すると、外れ値として選択されたサンプルのギャップが比較的大きいことがわかります（図10）。
図10は、外れ値回帰式R-square、残差平方和、および影響因子効果項を削除していません。
次のステップは、外れ値を削除して回帰推定を再度実行することです。決定係数が0.999に上昇しただけでなく、主要な因子も4つの因子効果項に減少したことがわかりました。行プロットによる残差の観察では、有意差。サンプル（図11）。この回帰式に基づく予測結果はより正確になり、誤った判断をすることを回避します。
図11は、外れ値回帰式R-square、残差平方和、および影響因子効果項を削除していません。
回帰の精度を後でテストするために、もう少しデータを収集します。回帰の推定値を、Analyze> Fit Y byXのプラットフォームで実際のビン値と比較できます。新しいデータは依然として良好な基準を持つことができます。決定係数の精度は0.999であり、過度の違いがある特別な点はありません。
図12回帰式の推定値と実際のビン値の比較
JMPのExploreOutliersプラットフォームを使用すると、外れ値を簡単かつ迅速に排除し、外れ値の影響を受けたり、誤判定要因間の相関を回避したり、誤ったモデル予測を行ったりして、誤った推定や決定につながることを回避できます。分析の前哨基地として、 JMPのExploreOutliersプラットフォームは、データが単一変数または複数変数の正規分布であるかどうかに関係なく、ユーザーが外れ値を見つけて、さまざまなシナリオのデータクレンジングの目的を迅速に達成するのに役立つ適切なプラットフォームを提供できます。 。
ヤンシェン読書：
JMPで30秒でウェーハマップを作成する方法（英語）
機能データ分析を使用した画像およびウェーハ分析
11/26半導体セミナーにサインアップする
>>使ってJMPはどうですかユーザーが最適化されたパラメーターの組み合わせを迅速かつ効果的に取得できるようにして、それによって生産ラインの歩留まりと生産量を増やしますか？ 11/26半導体セミナーにサインアップしてください。親切になる方法を理解するJMPを使用してWAT分析を実行し、プロセスの歩留まりを向上させ、重要な要素を掘り下げます。
>>今すぐ登録
