En los datos de semiconductores, es común que las mediciones de sonda que encuentran un cortocircuito eléctrico exhiban mediciones que están lejos en la distribución, es decir, son valores atípicos . Cuando probamos que los medios son los mismos, estos valores externos inflan nuestra estimación de la desviación estándar [sigma]. Recuerde que la desviación estándar se estima utilizando las distancias cuadradas de cada punto a partir de su valor predicho y, por lo tanto, los valores remotos lejanos tienen un efecto desproporcionadamente grande en la estimación de la desviación estándar. Debido a la estimación de la varianza inflada, también suelen hacer pruebas de medios menos sensibles, lo que da como resultado valores p más grandes y menos significativos.
Afortunadamente, existen métodos para compensar estos valores atípicos: métodos robustos . El método robusto que nos gusta es el Estimador Huber M . Básicamente, esta estimación significa un sigma y un sigma tal que cuando los puntos están más alejados que dos sigma de la media, tienen una ponderación descendente, de modo que los cálculos son sensibles como el valor absoluto, en lugar del cuadrado de la desviación.
Los métodos robustos son más caros de calcular. El estimador Huber-M es un método iterativo que recorre los datos muchas veces para obtener estimaciones y pruebas. Pero ahora tenemos computadoras rápidas, por lo que no hay excusas en la mayoría de los casos para no considerar estimaciones sólidas.
Hice un ajuste sólido en la variación lote a lote en los datos de producción, todas las 118 variables. A la izquierda está la relación de la robusta LogWorth por la no robusta LogWorth. La línea de 45 grados es donde son iguales. Son bastante iguales, con todos los puntos cerca de la línea. Los datos parecen estar bien educados, no infectados por valores atípicos.
Pero en los datos de cambio de ingeniería, todas las 384 respuestas, en el gráfico correspondiente a la derecha, los LogWorth son muy importantes, y la mayoría de ellos son muy diferentes cuando se estiman de manera sólida. La mayoría de las pruebas son mucho más significativas cuando se realizan de manera robusta.
Escojamos una de las pruebas donde la prueba robusta es significativa, pero la no robusta no lo es.
El valor p de ANOVA no robusto es .1007, y el valor p de ANOVA no es 5.98E-16, muy diferente. No solo eso, sino que cuando no se ajusta de forma robusta, la media para "nuevo" es mayor. Sin embargo, para la versión robusta, al minimizar los valores atípicos en el grupo Old, la media para "old" es mayor, en el orden opuesto. (Los medios no robustos son líneas verdes, los robustos lavanda). Resulta que las pruebas no siempre son más significativas cuando se estiman sólidamente; en las 387 pruebas en este ejemplo, 138 de ellas tienen pruebas robustas menos significativas que no robustas.
La lección es que, a menos que sepamos que los datos se comportan bien, deberíamos intentar usar estimaciones sólidas. De lo contrario, corremos el riesgo de ser cegados a las diferencias reales que los métodos estándar (no robustos) no detectan.
JMP 11 tiene métodos robustos de Huber M en muchos lugares nuevos: Distribución, Oneway, Bivariate, Screening de respuesta y Modelo de ajuste - Personalidad de Screening de respuesta.
Nota: Esto es parte de un Grandes estadisticas Serie de publicaciones del blog de John Sall. Leer todo su Grandes publicaciones de estadísticas .
