Nei dati a semiconduttore, è comune per le misurazioni della sonda che incontrano un cortocircuito elettrico per esibire misurazioni che sono molto distanti nella distribuzione, cioè, sono valori anomali . Quando testiamo che i mezzi sono gli stessi, questi valori marginali gonfiano la nostra stima della deviazione standard [sigma]. Ricorda che la deviazione standard viene stimata utilizzando le distanze quadrate di ogni punto dal suo valore previsto, e quindi i valori di distanza estrema hanno un effetto sproporzionato sulla stima della deviazione standard. A causa della stima della varianza inflazionata, di solito effettuano anche test di medie meno sensibili, con conseguente maggiore p-value meno significativo.
Fortunatamente, ci sono metodi per compensare questi valori anomali: metodi robusti . Il metodo robusto che ci piace è il Huber M Estimator . Fondamentalmente, questa stima significa e un sigma tale che quando i punti sono più distanti di due sigma dalla media, essi vengono diminuiti in modo che i calcoli siano sensibili come il valore assoluto, piuttosto che il quadrato della deviazione.
I metodi robusti sono più costosi da calcolare. Lo stimatore di Huber-M è un metodo iterativo che scorre più volte i dati per ottenere stime e test. Ma ora abbiamo computer veloci, quindi nella maggior parte dei casi non ci sono scuse per non considerare stime robuste.
Ho fatto un ottimo adattamento alla variazione da lotto a lotto sui dati di produzione, tutte le 118 variabili. A sinistra c'è il rapporto tra il robusto LogWorth e il LogWorth non robusto. La linea a 45 gradi è dove sono uguali. Sono abbastanza uguali, con tutti i punti vicino alla linea. I dati sembrano ben educati, non infettati da valori anomali.
Ma nei dati di modifica dell'ingegneria, tutte le 384 risposte, nel diagramma corrispondente a destra, i LogWorth sono molto significativi e la maggior parte di essi sono molto diversi se stimati in modo robusto. La maggior parte dei test è molto più significativa se eseguita in modo robusto.
Scegliamo uno dei test in cui il test robusto è significativo, ma il non robusto non lo è.
Il p-value ANOVA non robusto è .1007, e il robusto valore p ANOVA è 5.98E-16 - molto diverso. Non solo, ma quando si adatta in modo non robusto, la media per "nuovo" è più grande. Ma per la versione robusta, la ponderazione verso il basso di tutti quei valori anomali nel vecchio gruppo, la media per "vecchio" è più grande, l'ordine opposto. (I mezzi non robusti sono linee verdi, quelli robusti lavanda). Risulta che i test non sempre diventano più significativi se stimati in modo robusto; nei 387 test in questo esempio, 138 di questi hanno test robusti meno significativi di quelli non robusti.
La lezione è che, se non sappiamo che i dati sono ben educati, dovremmo provare a utilizzare stime affidabili. Altrimenti, rischiamo di essere accecati dalle vere differenze che i metodi standard (non robusti) non rilevano.
JMP 11 ha solidi metodi di Huber M in molte nuove posizioni: Distribuzione, Oneway, Bivariata, Screening delle risposte e Modello di adattamento - Personalità di Screening delle risposte.
Nota: Questo fa parte di a Grandi statistiche serie di post sul blog di John Sall. Leggi tutti i suoi Messaggi di statistiche grandi .
