外れ値の除去こんにちは、Jmpチーム
約 5000 行を含む 5 つの列を分析する必要がある実稼働データ セットがあります。
そのうちの約 80% は外れ値でしたが、仕様限界内に収まっていました。
ここで、これらの 5 つの列をボックス プロットで比較して、日ごとの傾向を確認したいと思います。
この場合、外れ値があればすべて除去する必要がありますか、それとも比較のために残しておく必要がありますか?
基本的なデータ分析とモデリングデータのブレンドとクリーンアップデータの探索と視覚化Re: 外れ値の除去両方を試してオプションをテストしてみてはいかがでしょうか。行を外れ値としてマークする新しい列を作成し、それを視覚化で使用できます。場合によっては、データを積み重ねて、すべての外れ値ではなく単一の測定から外れ値を除外することもできます (幅の広いデータと高さのあるデータ)。
Re: 外れ値の除去こんにちは@Statexplorer : 正直に言うと、あなたの質問を読んだときに最初に思ったことは、「データの 80% が外れ値になるなんてあり得るの?」でした。
これについて説明していただけますか? 正規性に基づく何らかの「外れ値」テストを使用していて、80% が末端にある場合、データは正規分布しておらず、外れ値テストは適切ではありません。
申し訳ありませんが、「データの 80% は外れ値である」という概念が理解できません。つまり、外れ値は「異常な」観測値ですが、その 80% が「異常」であるのはなぜでしょうか?
Re: 外れ値の除去提案ありがとうございます。外れ値テストにIQR法を使用し、80%がデータ外れ値であるとしました。ボックスを見ると、ほとんどのポイントが外れ値でした。Re: 外れ値の除去こんにちは@Statexplorer : IQR 法はデータの正規性に基づいています。データの 80% が極端な場合、データは正規分布しておらず、その 80% は「外れ値」ではありません。概念的には、データの大部分は「異常」ではあり得ません (異常の定義による)。
では、非正規分布/裾が重い分布/歪んだ分布から外れ値をどのように識別するのでしょうか? これは非常に複雑な質問であり、簡単に答えることはできません。
データなどの詳細を共有していただければ、目的に合った解決策が見つかるかもしれません。
Re: 外れ値の除去こんにちは@Statexplorer : 質問に戻ります。データを削除することはありませんが、ボックス プロットを使用して「外れ値」を特定しないでください。そうは言っても、ボックス プロットはデータの視覚化に適したツールです。中央値、IQR、最小値と最大値が表示されます。したがって、傾向の点では、中央値と分散が時間の経過とともにどのように変化するかを視覚化できます。
Re: 外れ値の除去こんにちは翻訳者 、データが正規分布に従わず、非常に偏った分布である場合に外れ値を除去するにはどのような方法を使用すればよいですか。(この場合、外れ値のほとんどは USL と LSL の範囲内にあります)
外れ値の除去についてこんにちは@Statexplorer : ご質問のコンテキストを理解することが私たちにとって役立つかもしれません。なぜ外れ値を特定しようとしているのですか?
