<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />
CIAO,
Attualmente non vedo l'ora di trovare un modo per eliminare automaticamente i valori anomali da una distribuzione.
Mi chiedevo se qualcuno avrebbe uno script per eseguire il test Q di Dixon su una tabella dati JMP.
Grazie in anticipo,
Girolamo
Grazie per aver utilizzato il nostro script. Sono felice che sia utile Uno dei tanti motivi per cui File Exchange è quello di fornire strumenti utili che integrano JMP. Se desideri che questo test anomalo sia integrato in JMP, visita la Lista dei desideri di JMP qui nella Comunità JMP e richiedilo. Potresti cercarlo prima (io non l'ho fatto) e se trovi una richiesta del genere già inviata, votala per aumentarne le possibilità.
Non ero a conoscenza dell'articolo che hai citato (Rorabacher 1991), quindi non è stato la base per la mia sceneggiatura. Ho usato una delle fonti da lui citate, però. Ho usato Bartlett e Lewis (1994), anche se un'edizione più recente di quella usata da Rorabacher. Sono d'accordo con lui che tali test sono importanti e possono essere utili. Vorrei che a più scienziati venisse insegnato cosa significano e come usarli correttamente. Generalmente vedo un comportamento che alcuni hanno chiamato "pesca del valore p" in cui i test vengono applicati finché uno di essi non è "statisticamente significativo". Questo comportamento è particolarmente diffuso nei test anomali.
I test sono stati sviluppati e rivisitati per molti decenni. I miglioramenti nelle tecniche informatiche e nella teoria statistica avvantaggiano i metodi più vecchi, quindi tutti ne traiamo beneficio.I test sono oggettivi ma si basano su scelte soggettive:
- Qual è la dimensione minima di un campione per testare ragionevolmente i valori anomali?
- Quale rischio di errore di tipo I e di errore di tipo II sono disposto a correre?
- Quanto bene sono soddisfatte le ipotesi del test?
- Quanto bene posso determinare se le ipotesi sono soddisfatte?
- Quale test dovrei usare? Cioè, qual è la mia convinzione riguardo allo specifico processo di contaminazione in atto su questi dati?
Per quanto riguarda i tuoi problemi specifici, hai detto: " Il primo problema è che i valori critici nello script sembrano riferirsi al test a una coda, o in realtà al CL del 90% quando si sceglie l'opzione 0,05. Per favore riferisci a Rorabacher per l'elenco dei valori critici, in particolare per il caso del CL 95%. "
Ho esaminato attentamente lo script e ho confermato che utilizza il set corretto di valori critici sia per la confidenza al 95% che per quella al 99%. Ho testato ulteriormente gli esempi pubblicati che concordavano con il risultato della sceneggiatura.
Tieni inoltre presente che solo il primo test fornito dallo script ("Outlier superiore o inferiore") viene applicato correttamente come test bilaterale. Tutti gli altri test sono unilaterali, quindi raddoppiare l'alfa per questi test o utilizzare un intervallo di confidenza bilaterale non ha senso. Rorabacher sembra commettere questo errore a pagina 141. È importante essere chiari riguardo alle ipotesi nulla e alternativa in qualsiasi test o costruzione di qualsiasi intervallo di confidenza.
Hai detto, " Nell'esempio allegato, il valore 11,66 è chiaramente un valore anomalo. "
Vorrei che fosse così semplice e chiaro. Nei miei anni come chimico analitico, ho visto molti casi in cui avrei voluto definire un'osservazione un valore anomalo, ma sulla base di sole 3 osservazioni, tale definizione era ingiustificata. Come faccio a sapere che i due valori negativi non sono i valori anomali? La variazione casuale come quella osservata in un campione di una popolazione può fornire osservazioni sorprendenti ma comunque valide. La conoscenza precedente della popolazione potrebbe essere utilizzata per migliorare il test, ma questi test non utilizzano informazioni esterne al campione.
L'uso di un valore critico crea anche l'illusione che un'osservazione sia un valore anomalo o che non lo sia. Il fatto è che maggiore è la distanza utilizzata in uno qualsiasi di questi test, più forte è la prova. È un cambiamento continuo e non lineare nella convinzione.
Hai detto, " Il valore critico mostrato dallo script è Q0=1 dove in realtà dovrebbe essere 0,971 e rispetto al risultato del test Q=0,98 dovrebbe indicare un valore anomalo. "
Rorabacher sottolinea come nel corso dei decenni siano apparsi diversi valori critici, quindi non direi che "in effetti, dovrebbe essere 0,971". Ciascun autore ha presentato uno sforzo onesto per sviluppare valori critici basati su scelte soggettive come quelle sopra menzionate. Quel valore 0,971 rappresenta un'altra scelta soggettiva su questi test. Ribadisco la mia scelta della fonte del file q0 valori che utilizzo nello script. Ma puoi modificare lo script se preferisci invece i valori di Rorabacher. Uno dei vantaggi di uno script è che non è necessario attendere che gli sviluppatori JMP aggiungano o migliorino la funzionalità.
Ciao Marco,
Grazie per lo script per il test di Dixon, che è molto utile (vorrei che la possibilità di eseguire il test di Dixon diventasse una caratteristica standard di JMP). Stavo guardando questo script e, a meno che non mi manchi qualcosa, penso che potrebbero esserci due problemi.
Per dimostrarli ho utilizzato il test a due code (prima opzione della lista) con tre numeri come nell'esempio allegato.
Il primo problema è che i valori critici nello script sembrano riferirsi al test a una coda, o in realtà al CL del 90% quando si sceglie l'opzione 0,05. Per favore riferisci a Rorabacher per l'elenco dei valori critici, in particolare per il caso del CL 95%.
Nell'esempio allegato, il valore 11,66 è chiaramente un valore anomalo, che dovrebbe essere rilevato se si utilizza il test a una coda o quello a due code. Il valore critico mostrato dallo script è Q0=1 dove in realtà dovrebbe essere 0,971 e rispetto al risultato del test Q=0,98 dovrebbe indicare un valore anomalo.
Ancora una volta, grazie mille. Apprezzerò il tuo feedback.
Grazie Mark per lo script e per la guida utente dettagliata!
Ho una sceneggiatura quasi finita. Sto verificandone il funzionamento e i calcoli e aggiungendo altre tabelle di ricerca. Lo invierò allo scambio file nella comunità degli utenti JMP il prima possibile. Invierò anche una sceneggiatura che ho finito per il test di Grubb.
