In Halbleiterdaten ist es für Sondenmessungen, die auf einen elektrischen Kurzschluss stoßen, üblich, Messungen zu zeigen, die weit außerhalb der Verteilung liegen, dh es sind Messungen Ausreißer . Wenn wir testen, dass diese Mittel gleich sind, erhöhen diese äußeren Werte unsere Schätzung der Standardabweichung [Sigma]. Denken Sie daran, dass die Standardabweichung anhand der quadratischen Abstände jedes Punkts von seinem vorhergesagten Wert geschätzt wird. Daher haben weit entfernte Werte einen unverhältnismäßig großen Einfluss auf die Standardabweichungsschätzung. Aufgrund der überhöhten Varianzschätzung führen sie normalerweise auch Tests mit weniger empfindlichen Mitteln durch, was zu größeren, weniger signifikanten p-Werten führt.
Zum Glück gibt es Methoden, um diese Ausreißer zu kompensieren: robuste Methoden . Die robuste Methode, die wir mögen, ist die Huber M Estimator . Grundsätzlich bedeutet dies ein Mittel und ein Sigma, so dass, wenn Punkte weiter als zwei Sigma vom Mittelwert entfernt sind, diese gewichtet werden, sodass die Berechnungen als absoluter Wert und nicht als Quadrat der Abweichung empfindlich sind.
Robuste Methoden sind in der Berechnung teurer. Der Huber-M-Schätzer ist eine iterative Methode, die die Daten viele Male durchläuft, um Schätzungen und Tests zu erhalten. Aber wir haben jetzt schnelle Computer, so dass es in den meisten Fällen keine Entschuldigung gibt, robuste Schätzungen nicht zu berücksichtigen.
Ich habe eine robuste Anpassung an die Los-zu-Los-Variation der Produktionsdaten vorgenommen, alle 118 Variablen. Auf der linken Seite ist die Beziehung zwischen dem robusten LogWorth und dem nicht robusten LogWorth zu sehen. Die 45-Grad-Linie ist dort, wo sie gleich sind. Sie sind ziemlich gleich, alle Punkte befinden sich in der Nähe der Linie. Die Daten scheinen sich gut zu benehmen und nicht durch Ausreißer infiziert zu sein.
In den Änderungsdaten zu den Konstruktionsänderungen sind jedoch alle 384 Antworten, in der entsprechenden Abbildung rechts, die LogWorths von erheblicher Bedeutung, und die meisten von ihnen sind sehr unterschiedlich, wenn sie stark geschätzt werden. Die meisten Tests sind weitaus wichtiger, wenn sie robust durchgeführt werden.
Wählen wir einen der Tests aus, bei denen der robuste Test von Bedeutung ist, der nicht robuste Test jedoch nicht.
Der nicht robuste ANOVA-p-Wert ist .1007 und der robuste ANOVA-p-Wert ist 5,98E-16 - sehr unterschiedlich. Nicht nur das, aber wenn es nicht robust ist, ist der Mittelwert für "neu" größer. Bei der robusten Version, bei der alle Ausreißer in der Old-Gruppe heruntergewichtet werden, ist der Mittelwert für "alt" größer, die umgekehrte Reihenfolge. (Die nicht robusten Mittel sind grüne Linien, die robusten Lavendel). Es hat sich herausgestellt, dass Tests nicht immer signifikanter werden, wenn sie stark geschätzt werden. In den 387 Tests dieses Beispiels haben 138 von ihnen robuste Tests, die weniger bedeutsam als nicht robust sind.
Die Lektion ist, dass wir, wenn wir nicht wissen, dass sich die Daten gut benehmen, robuste Schätzungen verwenden sollten. Andernfalls besteht die Gefahr, dass wir von echten Unterschieden geblendet werden, die von Standardmethoden (nicht robust) nicht erkannt werden.
JMP 11 verfügt über robuste Huber M-Methoden an vielen neuen Stellen: Distribution, Oneway, Bivariate, Response Screening und Fit Model - Response Screening.
Hinweis: Dies ist Teil eines Große Statistiken Serie von Blogbeiträgen von John Sall. Lesen Sie alle seine Große Statistikbeiträge .
