<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />
Hallo,
Ich freue mich derzeit über eine Möglichkeit, Ausreißer aus einer Verteilung automatisch zu entfernen.
Ich habe mich gefragt, ob jemand ein Skript hätte, das den Dixon-Q-Test für eine JMP-Datentabelle ausführt.
Dank im Voraus,
Jérôme
Vielen Dank, dass Sie unser Skript verwenden. Ich bin froh, dass es nützlich ist. Einer der vielen Gründe für File Exchange ist die Bereitstellung nützlicher Tools, die JMP ergänzen. Wenn Sie diesen Ausreißertest in JMP integrieren möchten, besuchen Sie die JMP-Wunschliste hier in der JMP-Community und fordern Sie ihn an. Sie könnten zuerst danach suchen (das habe ich nicht) und wenn Sie feststellen, dass eine solche Anfrage bereits eingereicht wurde, dann stimmen Sie dafür, um ihre Chancen zu erhöhen.
Der von Ihnen zitierte Artikel (Rorabacher 1991) war mir nicht bekannt, daher war er nicht die Grundlage für mein Drehbuch. Ich habe jedoch eine der von ihm zitierten Quellen verwendet. Ich habe Bartlett und Lewis (1994) verwendet, allerdings eine neuere Ausgabe als Rorabacher. Ich stimme ihm zu, dass solche Tests wichtig sind und nützlich sein können. Ich wünschte, dass mehr Wissenschaftlern beigebracht würde, was sie bedeuten und wie man sie richtig nutzt. Ich sehe im Allgemeinen ein Verhalten, das manche als „p-Wert-Fischerei“ bezeichnen, bei dem Tests angewendet werden, bis einer von ihnen „statistisch signifikant“ ist. Dieses Verhalten tritt besonders häufig bei Ausreißertests auf.
Die Tests wurden über viele Jahrzehnte hinweg weiterentwickelt und immer wieder aufs Neue überprüft. Verbesserungen in den Computertechniken und der statistischen Theorie kommen älteren Methoden zugute, sodass wir alle davon profitieren.Die Tests sind objektiv, basieren aber auf subjektiven Entscheidungen:
- Was ist die Mindestgröße einer Stichprobe, um sinnvoll auf Ausreißer testen zu können?
- Welches Risiko eines Typ-I-Fehlers und eines Typ-II-Fehlers bin ich bereit, einzugehen?
- Wie gut werden die Annahmen des Tests erfüllt?
- Wie gut kann ich feststellen, wie gut die Annahmen erfüllt sind?
- Welchen Test soll ich verwenden? Was glaube ich also über den spezifischen Kontaminationsprozess, der auf diese Daten abläuft?
Zu Ihren spezifischen Problemen sagten Sie: „ Das erste Problem besteht darin, dass sich die kritischen Werte im Skript scheinbar auf den einseitigen Test oder tatsächlich auf einen CL von 90 % beziehen, wenn die Option 0,05 gewählt wird. Bitte beziehen Sie sich auf Rorabacher insbesondere für die Liste der kritischen Werte für den Fall von 95 % CL. "
Ich habe das Skript sorgfältig überprüft und bestätigt, dass es die richtigen kritischen Werte für die 95-%- und 99-%-Konfidenz verwendet. Ich habe außerdem veröffentlichte Beispiele getestet, die mit dem Ergebnis des Skripts übereinstimmten.
Beachten Sie außerdem, dass nur der erste vom Skript bereitgestellte Test („Oberer oder unterer Ausreißer“) korrekt als zweiseitiger Test angewendet wird. Alle anderen Tests sind einseitig, daher ist es unsinnig, Alpha für diese Tests zu verdoppeln oder ein zweiseitiges Konfidenzintervall zu verwenden. Rorabacher scheint diesen Fehler auf Seite 141 zu machen. Es ist wichtig, sich bei jedem Test oder jeder Konstruktion eines Konfidenzintervalls über die Null- und Alternativhypothese im Klaren zu sein.
Du sagtest, " Im beigefügten Beispiel ist der Wert 11,66 eindeutig ein Ausreißer. "
Ich wünschte, es wäre so einfach und klar. In meinen Jahren als analytischer Chemiker habe ich viele Fälle gesehen, in denen ich eine Beobachtung als Ausreißer bezeichnen wollte, aber basierend auf nur drei Beobachtungen war eine solche Bezeichnung ungerechtfertigt. Woher weiß ich, dass die beiden negativen Werte keine Ausreißer sind? Zufällige Variationen, wie sie beispielsweise in einer Stichprobe einer Population beobachtet werden, können überraschende, aber dennoch gültige Beobachtungen liefern. Vorkenntnisse über die Bevölkerung könnten zur Erweiterung des Tests genutzt werden, diese Tests nutzen jedoch keine Informationen außerhalb der Stichprobe.
Die Verwendung eines kritischen Werts erzeugt auch die Illusion, dass eine Beobachtung ein Ausreißer ist oder kein Ausreißer ist. Tatsache ist, dass die Beweise umso aussagekräftiger sind, je größer die Entfernung ist, die bei einem dieser Tests verwendet wird. Es handelt sich um einen kontinuierlichen und nichtlinearen Glaubenswandel.
Du sagtest, " Der kritische Wert, den das Skript anzeigt, ist Q0=1, wobei er eigentlich 0,971 betragen sollte und im Vergleich zum Testergebnis Q=0,98 auf einen Ausreißer hinweisen sollte. "
Rorabacher weist darauf hin, wie unterschiedlich die kritischen Werte im Laufe der Jahrzehnte geworden sind, daher würde ich nicht sagen, dass „eigentlich 0,971 sein sollten“. Jeder Autor legte einen ehrlichen Versuch dar, kritische Werte zu entwickeln, die auf den oben genannten subjektiven Entscheidungen basierten. Dieser Wert von 0,971 stellt eine weitere subjektive Wahl dieser Tests dar. Ich bleibe bei meiner Wahl der Quelle q0 Werte, die ich im Skript verwende. Sie können das Skript jedoch gerne ändern, wenn Sie stattdessen die Werte von Rorabacher bevorzugen. Einer der Vorteile eines Skripts besteht darin, dass Sie nicht darauf warten müssen, dass JMP-Entwickler die Funktion hinzufügen oder verbessern.
Hallo Mark,
Vielen Dank für das Skript für den Dixon-Test, das sehr hilfreich ist (ich wünschte, die Möglichkeit, den Dixon-Test auszuführen, würde zu einer Standardfunktion von JMP werden). Ich habe mir dieses Skript angesehen und denke, es könnte zwei Probleme damit geben, es sei denn, ich übersehe etwas.
Um sie zu demonstrieren, habe ich den zweiseitigen Test (erste Option auf der Liste) mit drei Zahlen wie im beigefügten Beispiel verwendet.
Das erste Problem besteht darin, dass sich die kritischen Werte im Skript scheinbar auf den einseitigen Test oder tatsächlich auf einen CL von 90 % beziehen, wenn die Option 0,05 gewählt wird. Bitte beziehen Sie sich auf Rorabacher insbesondere für die Liste der kritischen Werte für den Fall von 95 % CL.
Im beigefügten Beispiel handelt es sich bei dem Wert 11,66 eindeutig um einen Ausreißer, der erkannt werden sollte, wenn entweder der einseitige oder der zweiseitige Test verwendet wird. Der kritische Wert, den das Skript anzeigt, ist Q0=1, wobei er eigentlich 0,971 betragen sollte und im Vergleich zum Testergebnis Q=0,98 auf einen Ausreißer hinweisen sollte.
Nochmals vielen Dank. Ich freue mich über Ihr Feedback.
Vielen Dank, Mark, für das Skript und die ausführliche Bedienungsanleitung!
Ich habe ein Drehbuch fast fertig. Ich überprüfe die Funktionsweise und Berechnungen und füge weitere Nachschlagetabellen hinzu. Ich werde es so schnell wie möglich an den Dateiaustausch in der JMP-Benutzergemeinschaft senden. Ich werde auch ein Skript einreichen, das ich für den Grubb-Test fertiggestellt habe.
