<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />
こんにちは、
私は現在、分布から外れ値を自動的に抽出する方法を期待しています。
JMP データ テーブルでディクソンの Q テストを実行するスクリプトを作成できる人がいるだろうかと考えていました。
前もって感謝します、
ジェローム
弊社のスクリプトをご利用いただきありがとうございます。 便利だと嬉しいです。 ファイル交換の多くの理由の 1 つは、JMP を補足する便利なツールを提供することです。 この外れ値テストを JMP に組み込みたい場合は、JMP コミュニティの JMP ウィッシュ リストにアクセスしてリクエストしてください。 まずは検索してみるとよいでしょう (私は検索しませんでした)。そのようなリクエストがすでに提出されているのを見つけた場合は、その可能性を高めるためにそれに投票してください。
私はあなたが引用した論文 (Rorabacher 1991) を知らなかったので、それは私の脚本の基礎ではありませんでした。 ただし、私は彼が引用した情報源の 1 つを使用しました。 私は Bartlett and Lewis (1994) を使用しましたが、Rorabacher が使用したものよりも新しい版です。 このようなテストは重要であり、役に立つ可能性があるという点で私も彼の意見に同意します。 もっと多くの科学者に、それらの意味と適切な使用方法を教えてほしいと思います。 一般に、いずれかのテストが「統計的に有意」になるまでテストが適用される、一部の人が「p 値フィッシング」と呼ぶ動作を目にします。 この動作は、外れ値テストで特に蔓延しています。
このテストは何十年にもわたって開発され、再検討されてきました。 コンピューティング技術と統計理論の改善は、古い手法に恩恵をもたらし、私たち全員が恩恵を受けます。テストは客観的に基づいていますが、主観的な選択に依存しています。
- 外れ値を合理的にテストするためのサンプルの最小サイズはどれくらいですか?
- タイプ I 過誤およびタイプ II 過誤のどのようなリスクを引き受けるつもりですか?
- テストの前提条件はどの程度満たされていますか?
- 仮定がどの程度満たされているかをどの程度判断できますか?
- どのテストを使用すればよいですか? つまり、これらのデータに作用している特定の汚染プロセスについて、私は何を信じているのでしょうか?
あなたの具体的な問題について、あなたはこう言いました。」最初の問題は、スクリプト内の臨界値が片側検定、つまり 0.05 オプションを選択した場合の実際には 90% の CL を参照しているように見えることです。 を参照してください。ロラバッハー特に重要な値のリストについては、 95% CL の場合。 」
スクリプトを注意深く確認し、95% と 99% の信頼度の両方で正しい臨界値のセットが使用されていることを確認しました。 スクリプトの結果と一致する公開された例をさらにテストしました。
また、スクリプトによって提供される最初のテスト (「上限外れ値または下限外れ値」) のみが両側テストとして正しく適用されることに注意してください。 他のすべての検定は片側であるため、これらの検定でアルファを 2 倍にしたり、両側信頼区間を使用したりすることはナンセンスです。 ロラバッハーは141ページでこの間違いを犯しているようだ。 信頼区間の検定または構築においては、帰無仮説と対立仮説について明確にすることが重要です。
あなたが言った、 "囲まれた例では、値 11.66 は明らかに外れ値です。 」
こんなにシンプルで明確だったらいいのにと思います。 分析化学者として働いていた頃、私はある観察を外れ値と呼びたいケースを数多く見てきましたが、わずか 3 つの観察に基づいてそのような判断は不当でした。 2 つの負の値が外れ値ではないことをどのように確認すればよいでしょうか? 母集団からのサンプルに見られるようなランダムな変動は、驚くべき、しかし依然として有効な観察を提供する可能性があります。 母集団に関する事前の知識を使用してテストを強化することもできますが、これらのテストではサンプルの外部の情報は使用されません。
臨界値を使用すると、観測値が外れ値であるか、または外れ値ではないという錯覚も生じます。 実際のところ、これらのテストで使用される距離が長いほど、証拠は強力になります。 それは信念の継続的かつ非線形的な変化です。
あなたが言った、 "スクリプトが示す臨界値は Q0=1 ですが、実際には 0.971 である必要があり、テスト結果と比較すると Q=0.98 が外れ値を示すはずです。 」
ロラバッカー氏は、数十年にわたってさまざまな臨界値がどのように現れてきたかを指摘しているため、私は「実際には 0.971 であるべきだ」とは言いません。 各著者は、上記のような主観的な選択に基づいた批判的価値観を開発するための誠実な努力を発表しました。 その値 0.971 は、これらのテストに関するもう 1 つの主観的な選択を表します。 私は情報源の選択を支持しますq0スクリプトで使用する値。 ただし、代わりに Rorabacher の値を使用したい場合は、スクリプトを変更してください。 スクリプトの利点の 1 つは、JMP 開発者が機能を追加または拡張するのを待つ必要がないことです。
こんにちは、マークさん
Dixon のテスト用のスクリプトはとても役に立ちます (Dixon テストを実行する機能が JMP の標準機能になることを願っています)。 このスクリプトを見ていたところ、何かが欠けていない限り、このスクリプトには 2 つの問題がある可能性があると思います。
それらを実証するために、囲まれた例のように 3 つの数値を使用した両側検定 (リストの最初のオプション) を使用しました。
最初の問題は、スクリプト内の臨界値が片側検定、つまり 0.05 オプションを選択した場合の実際には 90% の CL を参照しているように見えることです。 を参照してください。ロラバッハー特に重要な値のリストについては、 95% CL の場合。
囲まれた例では、値 11.66 は明らかに外れ値であり、片側検定または両側検定を使用する場合に検出されるはずです。 スクリプトが示す臨界値は Q0=1 ですが、実際には 0.971 である必要があり、テスト結果と比較すると Q=0.98 が外れ値を示すはずです。
改めて、本当にありがとうございました。 フィードバックをいただければ幸いです。
スクリプトと詳細なユーザー ガイドを提供してくれた Mark に感謝します。
Grubbs テストと Dixon Q テストの両方のスクリプトが、新しい JMP File Exchange で利用できるようになりました。
グラブスの異常値テスト
外れ値に対する Dixon Q 検定
脚本はほぼ完成しています。 その動作と計算を検証し、さらにルックアップ テーブルを追加しています。 できるだけ早く JMP ユーザーコミュニティのファイル交換に提出します。 完成したスクリプトも Grubb のテストに提出します。
