外れ値検出こんにちは
外れ値を検出するための分類問題におけるニューラルネットワーク予測の残差を計算したい場合
残差を計算するにはどのような式を使用すればよいですか?
ソフトウェアはそれを実行しますか?
高度な統計モデリング予測モデリングと機械学習外れ値の検出についてこんにちは@maryam_nourmand さん
モデルを使用して連続数値を予測する場合、一部のモデルでは、赤い三角形をクリックして「列を保存」を選択し、「残差」を選択することで、データ テーブルに残差を直接保存できます。ニューラル ネットワークの場合は、手動で予測式をテーブルに保存し (赤い三角形、「数式の保存」または「高速数式の保存」)、数式を使用して新しい列「残差」を作成する必要があります。実際の値 - 予測値
赤い三角形をクリックすると、ニューラル ネットワーク プラットフォームに「予測による残差」グラフをプロットするオプションがすでにあることに注意してください。
モデルを使用してクラスを予測する場合、残差はありませんが、誤分類と計算された確率に関する情報は得られます。その後、これらの確率列を保存し (以前と同じオプション)、たとえば予測されたメイン クラスの確率をプロットして、分類確率しきい値を調整する必要があるかどうかを確認するなどして、エラーがどこにあるかを理解しようとすることができます。
分類モデルの評価に興味がある場合は、分類モデルのパフォーマンスを評価するのに役立つさまざまなプロットもあります: ROC 曲線、 リフト曲線、 混同行列など。
この回答がお役に立てば幸いです。
外れ値の検出についてしかし、ロジスティック回帰では残差を計算することができる。
それは一種の分類モデルでもある
偏差残差を計算する式の写真を添付します
分類問題にニューラルネットワークを使用するタイミングを知りたい
残余もどうやって計算すればいいのでしょうか?
外れ値の検出について実際、一般化線形モデルでは逸脱度を計算することができます: モデル選択と逸脱度の統計詳細
たとえば、JMP データセット「洗剤」では、「ブランド」をカテゴリ応答 Y として使用すると、逸脱残差を直接計算してデータテーブルに保存するオプションがあります。
逸脱度は、最大尤度によってモデル適合が達成される統計モデルの適合度に関する指標であり、異なる損失関数を使用する機械学習モデルには使用されない場合があります。 逸脱度 (統計) - Wikipedia
そのため、異なるフィッティング関数を使用する一部のモデルでは計算できない可能性があります。
外れ値の検出についてでは、機械学習モデルの統計モデルにおける残差の同等の概念とは何でしょうか?
しかし、機械学習モデルでは各クラスの確率があるので、それに対する残差も計算できるはずです。
外れ値検出について残差分析は、統計モデルにおいて予測性能を評価するだけでなく、正しい使用の背後にある仮定を検証するためにも使用されます: 回帰モデルの仮定 | 統計入門 | JMP
機械学習モデルでは、実際の関係が線形であることや、誤差が正規分布していることなどを前提としていないため、通常、それほど「厳密な」仮定はありません。
機械学習モデルの使用の背後にある大きな共通の仮定は、データが iid (独立かつ同一に分布) であるということです。その他の仮定は、特定のアルゴリズムの使用と、それがデータで学習する方法に関係しています。詳細については、こちらをご覧ください。
- https://www.kdnuggets.com/2021/02/machine-learning-assumptions.html
- 機械学習における帰納的バイアスシリーズ: https://mindfulmodeler.substack.com/p/from-theory-to-practice-inductive
どの分類モデルでも、データ ポイントが各クラスに属する確率を計算します。指定されたしきい値 (たとえば、バイナリ分類の場合は > 0.5) に基づいて、最も高いクラス確率に対応する予測クラスを出力します。予測確率を操作して視覚化すると、予測クラスの出力のしきい値をより適切に定義し、モデルがクラスを正しく区別しているかどうかを評価するのに役立ちます。
これらの予測確率を直接使用して、JMP で何らかの残差を計算するメトリックまたは方法があるかどうかはわかりません。
外れ値の検出について
これらの予測確率を直接使用してJMPで何らかの残差を計算する方法、またはJMP以外でこれらの予測確率を使用して残差を計算する方法を見つけた場合は、この投稿で教えてください。
ありがとう
外れ値の検出についてBrier スコアを計算することもできます。しかし、おそらく、具体的に何をしようとしているのかについてもう少し詳しく説明したほうがよいでしょう。分類モデルの精度を測定および評価する方法は多数あります。分類モデルは確率を生成し、各観察は正しく分類されるか、分類されないかのいずれかであるため、残差は最も直感的でない方法の 1 つであると私は考えています。誤った分類の確率が極端に高ければ高いほど、モデルは悪くなります (残差はそれを測定していると思いますが、それを見るにはもっと直感的な方法があると思います)。では、残差で何をしたいのですか?
外れ値検出について私のモデルがどの程度正確に応答を予測できるか確認したい
外れ値検出について問題を分類モデルとして説明しました。JMP は、各観測値の個別の結果の確率を計算します (検証を使用して、トレーニング データではなく検証データに重点を置くことをお勧めします)。これらの確率を使用して、Brier スコアなどの指標を計算したり、上記のさまざまな方法を使用してモデルの精度を測定したりできます。残差の意味や、残差に重点を置く理由がよくわかりません。分類モデルがバイナリで、応答 0 または 1 を予測するとします。モデルは確率 1 を生成します。確率は 0.6 とします。ここで、特定の観測値の実際の分類が 0 (または 1) であるとします。この観測値の「残差」を何と呼びますか。予測が正しい場合 (たとえば 1)、確率が 1 に近いほど、モデルは「優れている」ことになります。実際に 0 の場合、モデルの確率が 1 に近いほど、モデルは「劣っている」ことになります。 Brier スコアは、モデルの良さを測定するためによく使用される方法です (JMP が Brier スコアを計算するとは思えません。少なくとも私は見たことがありませんが、手動で計算するのは簡単なはずです)。また、AUC、誤分類率、AIC などはすべて、JMP がモデルの良さを測定するために簡単に提供している指標です。
しかし、「残差」に焦点を当てることは、「モデルが応答をどの程度正確に予測できるか」を判断するという目標を達成するための最も直感的な方法からはほど遠いものです。残差は、分類モデルではなく連続応答変数がある場合にそれを判断する自然な方法であり、JMP では、これらのタイプのモデルの残差を簡単に計算できます (列の保存の赤い三角形に組み込まれているか、ABS(実際-予測) を使用して列を作成します)。
