半導体データでは、電気的短絡に遭遇するプローブ測定値が分布のはるかに外側にある測定値を示すことは一般的です。外れ値 。平均値が同じであることをテストすると、これらの範囲外の値は標準偏差の見積もりを拡張します。 [シグマ]。 標準偏差は各点の予測値からの距離の2乗を使用して推定されるため、範囲外の値は標準偏差の推定値に非常に大きな影響を与えます。膨らんだ分散推定値のために、それらはまた、通常、平均の検定の感度を低くし、その結果、より重要度の低いp値が大きくなります。
幸い、これらの外れ値を補正する方法があります。堅牢な方法 。私たちが好むロバストな方法はフーバーM推定量 。基本的に、これは、平均がポイントから2シグマよりも遠い場合、それらが偏りの二乗ではなく絶対値として敏感になるようにそれらが重み付けされるような平均とシグマを推定します。
ロバストな方法は計算がより高価です。Huber-M推定量は、推定値と検定値を取得するためにデータを何度も繰り返し処理する反復方法です。しかし、現在は高速のコンピュータを使用しているので、ほとんどの場合、頑健な見積もりを考慮しないことに対する言い訳はありません。
私は生産データのロット間のバラツキ、118変数すべてにしっかりとフィットしました。左側はロバストなLogWorthと非ロバストなLogWorthの関係です。45度の線は、それらが等しい場所です。それらはほぼ等しく、すべての点が線の近くにあります。データは異常値に感染しておらず、正常に動作しているようです。
しかし、設計変更データでは、右側の対応するプロットの384個すべての応答で、LogWorthが非常に重要であり、頑健に推定した場合、それらのほとんどは非常に異なります。堅牢に行われると、ほとんどのテストははるかに重要になります。
頑強なテストが重要であるが非頑健なテストは重要でないテストの1つを選びましょう。
非ロバストANOVA p値は.1007、ロバストANOVA p値は5.98E-16です。それだけでなく、頑健ではない場合、「新規」の平均値は大きくなります。しかし、堅牢なバージョンでは、Oldグループ内のすべての異常値の重みを低くすると、「old」の平均は大きくなり、逆の順序になります。（堅牢でない手段は緑色の線、堅牢な手段はラベンダーです）。頑健に見積もった場合、テストが必ずしもそれほど重要になるとは限りません。この例の387のテストでは、それらのうちの138がロバストなテストより非ロバストなテストを持っています。
その教訓は、データが正しく動作していることがわからない限り、頑健な推定値を使用するようにしてください。そうでなければ、標準的な（堅牢でない）方法では検出できない本当の違いに目がくらんでしまう危険があります。
JMP 11 分布、一方向、2変量、応答スクリーニング、およびフィットモデル - 応答スクリーニングのパーソナリティなど、多くの新しい場所で堅牢なHuber Mメソッドがあります。
注意： これはの一部です大きな統計 John Sallによる一連のブログ投稿。彼のすべてを読むビッグ統計の投稿 。
