グループに属する確率をモデル化するための単純なロジスティック回帰の最良のアプローチと代替手段こんにちは
問題を解決するための適切なアプローチを選択するのに少し助けが必要です。
[-45 0] の間の任意の値を取ることができる連続変数 X があります。
12 個の異なるグループの X 値のデータセットがあります。以下のヒストグラムを参照してください。
私は 2 つのモデルを構築しようとしています:
1) 与えられた新しい X の値に対して、各グループに属する確率と最も可能性の高いグループを示すモデル。
2) 特定のグループに属すると想定される X の新しいエントリについて、このエントリがそのグループに属していない確率を示すモデル。
当初、少なくとも 1) についてはロジスティック回帰が最善のアプローチだと思っていましたが、2) については確信がありません。特に、たとえば K のような分布が非常に狭いグループの場合はそうです。
前もって感謝します！
高度な統計モデリング基本的なデータ分析とモデリング予測モデリングと機械学習Re: グループに属する確率をモデル化するための単純なロジスティック回帰の最良のアプローチと代替手段データ セットのサイズに応じて、決定木手法を検討してください。具体的には、ブートストラップ フォレスト (文献ではランダム フォレスト) です。
Re: グループに属する確率をモデル化するための単純なロジスティック回帰の最良のアプローチと代替手段@MikeD_Anderson さん、ありがとうございます。見てみましょう!
エントリは約 800 件ありますが、グループによっては観察数が 20 件未満のものもあります。
しかし、私は JMP (Pro ではない) しかアクセスできないため、連続予測式を使用した他の代替手段にも興味があります。ANN は機能しますか?
ありがとう
Re: グループに属する確率をモデル化するための単純なロジスティック回帰の最良のアプローチと代替手段こんにちは@KarlA026 。判別分析も試してみるといいかもしれません。
https://www.jmp.com/support/help/en/18.0/index.shtml#page/jmp/overview-of-the-discriminant-platform.shtml#
Re: グループに属する確率をモデル化するための単純なロジスティック回帰の最良のアプローチと代替手段@MRB3855 さん、ありがとうございます。ANN を使用すると、より良い結果が得られます。しかし、1 つの (連続) 予測子しかない場合、高度なツールを使用していると考えずにはいられません。
アプローチ 2) 分布モデルをグループ (正規分布またはその他) に適合させ、モデル式を予測式として使用するとどうなるでしょうか?
Re: グループに属する確率をモデル化するための単純なロジスティック回帰の最良のアプローチと代替手段こんにちは@KarlA026 ANN が LR より「優れている」というのはどういう意味ですか?
また、(2)に関しては、(1)のランダム性を反転しています。(1)では、グループはランダムです。(2)では、あなたの言い方では、Xはランダムです。そのため、DAを検討することをお勧めします。
「分布モデルをグループ（正規分布またはその他）に適合させ、モデル式を予測式として使用する」とはどういう意味かわかりません。詳しく説明していただけますか?
Re: グループに属する確率をモデル化するための単純なロジスティック回帰の最良のアプローチと代替手段@MRB3855と@MikeD_Andersonに感謝します
ANN の場合、X を使用してグループを予測すると、LDA よりも誤分類結果が少なくなります。これは、LDA が logit と同様のモデルを提供するだけで、非線形モデルを許可しないためです (グループ K の例の添付画像にあるプロファイラーの違いを参照してください)。
ご覧のとおり、ANN モデルのプロファイラーはグループ K の分布に近いです。分布を適合させるという私の提案は、あまり関係ないかもしれません。たとえば、正規分布モデルをグループ K に適合させようとしたとき、モデル式を新しい列として保存し、それを新しいエントリのインジケーター列として使用して、この新しいエントリがグループ K に属する確率を評価できました。
特定の固定 X 値に対して、そのポイントが特定のグループに属する確率を推定したいだけです。
これで理解できたと思います!
ありがとう！
Re: グループに属する確率をモデル化するための単純なロジスティック回帰の最良のアプローチと代替手段@MRB3855 、 @MikeD_Anderson 、
何かご意見はございますか? よろしくお願いします!
Re: グループに属する確率をモデル化するための単純なロジスティック回帰の最良のアプローチと代替手段こんにちは@KarlA026 : 残念ながら、私には良い解決策があるかどうかわかりません。また、上記のコメントの 1 つが見過ごされてしまった場合に備えて、以下に詳しく説明します。
上の数投稿で、私はこう言いました:
"そして、(2)に関しては、(1)のランダム性を反転しています。(1)では、グループはランダムです。(2)では、あなたの言い方では、Xはランダムです。
(1) ロジスティック回帰またはANNでは、Prob(Xの値が与えられた場合にグループに属する確率)を推定します。これは簡潔にするためにP(G|X)と書き、「Xが与えられた場合にグループに属する確率」と読みます。したがって、ここでは、グループはランダムな要素です。Xは固定されています(つまり、選択されています)。したがって、与えられた X に対して、各グループに属する確率を推定します。
(2) 「単に推定したい」ことはまったく異なります。問題の記述方法からすると、Prob(X がグループに属し、グループが与えられている) = Prob(X|G) を「X が特定のグループに属する確率」と読み替えて求めています。ここで、X はランダムで、グループは固定されています。つまり、X が特定のグループに属する確率はどれくらいでしょうか。ここでは、グループを選択し、X がそのグループに属する確率はどれくらいかを尋ねています。
P(G|X) は P(X|G) とは非常に異なります。これは、Prob(人 A は病気にかかっているが、人 A は病気の検査で陽性と判定された) が Prob(人 A は病気にかかっているが、人 A は病気の検査で陽性と判定された) と非常に異なるのと同じです。
全員の意見: 上部のプロットを見ると、x 値 (たとえば -30) を選択して、まっすぐ上に線を引いてみましょう。グループ M の -30 の左側の曲線の下の領域の割合が約 50% であることがわかります。グループ D の場合は約 20% などです。これは、「分布モデルをグループ (正規分布またはその他) に適合させ、モデル式を予測式として使用する」と言ったときに考えていたようなことですか?
Re: グループに属する確率をモデル化するための単純なロジスティック回帰の最良のアプローチと代替手段@MRB3855ご説明ありがとうございます。
私はそれを念頭に置いていたと思いますが、私が定式化したものはそれほど厳密ではありませんでした。
とにかく、P(G|X) または P(X|G) を評価/モデル化するために何をアドバイスしますか?
確かに、最後の段落で説明されている内容は、私が考えていた内容に近いようです。Re: グループに属する確率をモデル化するための単純なロジスティック回帰の最良のアプローチと代替手段こんにちは@KarlA026 : ここがよくわかりません。なぜ「特定の固定 X 値に対して、そのポイントが特定のグループに属する確率を推定する」必要があるのでしょうか? つまり、X をどのように観察するのでしょうか? X の正確な値は予測不可能ですか (おそらく、制御されていない変動源を持つプロセスの出力)、それとも X を自由に選択できますか? また、このモデルは、どのようなモデルであっても、実際にどのように使用されるのでしょうか? 詳細を教えていただけますか?
Re: グループに属する確率をモデル化するための単純なロジスティック回帰の最良のアプローチと代替手段@MRB3855ありがとう！
そこから始めるべきでした。X は、特定の分析を通じて得られる原材料の固有の材料特性です。グループは、この原材料の異なるサプライヤーです。
2 つのシナリオは次のケースに対応します。
1) サプライヤーが不明な材料があり、X に基づいて最も可能性の高いサプライヤー (グループ) を評価する必要があります。
2) 原材料のサプライヤーがサンプルを提供しており、この材料が実際にそのサプライヤーからのものである確率、または逆に、その材料がどこか他の場所から来ている確率を評価したいと考えています。これはすべて、図に示されている参照データベースのそのサンプルの X 値に基づいています。
お役に立てれば！Re: グループに属する確率をモデル化するための単純なロジスティック回帰の最良のアプローチと代替手段こんにちは@KarlA026 : はい、それは役に立ちます。ありがとうございます!
私が理解している限り、その考え方は、図のデータに基づいた確率モデルを構築することです。そのモデルを使用して、サンプルが各サプライヤーから来る確率をそれぞれ推定できます (材料特性 X の観測値に基づきます)。
ケース 1 (不明なサプライヤーからの材料): X を測定します。次に、X の観測値を取得したら、既に構築したモデル (ロジスティック/ANN/その他) に適用して、最も可能性の高いサプライヤー (最も確率の高いサプライヤー) を予測します。
ケース 2 (既知のサプライヤーからの材料): サプライヤーと X がわかっている場合、この材料がそのサプライヤーからのものである (またはそうでない) 確率は無関係です (ただし、上記のケース 1 と同様に計算できます)。例を挙げます。外を見ると雨が降っているとします。しかし、1 時間前に天気予報をチェックしたところ、今日の雨の確率は 10% と表示されていました。バイナリ予測の観点からは、モデルが間違っていたとしか言えません。ただし、確率の観点からは、モデルは間違っていません (雨の確率が 0% であるとは言っていません)。しかし、どちらにしても雨が降っています...確率は関係ありません。したがって、何かが発生したり、何かがわかったりすると、それに関連する確率はありません。あなたの場合、サプライヤーがわかれば、それに関連する確率はありません...ただし、(上記のケース 1 と同様に) 計算して、モデルの予測精度を確認することはできます。したがって、モデルがサプライヤー M を予測したが、実際にはサプライヤー F からのものであることがわかっている場合、予測の観点から言えることは、モデルが間違っていたということだけです。そうは言っても、サプライヤーを信用しない理由はありますか? たとえば、実際にはサプライヤー B からのサンプルをサプライヤー D から入手する可能性はありますか? もしそうなら、それは別の状況であり、簡単な解決策があります (サプライヤー D をこれ以上使用しないでください)。
Re: グループに属する確率をモデル化するための単純なロジスティック回帰の最良のアプローチと代替手段@MRB3855どうもありがとうございます!
ご質問にお答えします。はい、私たちのシナリオでは、一部の原材料は記載されているサプライヤーとは別のサプライヤーから来ている可能性がある（または別のソースと混合されている可能性がある）と想定しています。ここでの目的は、X に基づいて何らかの認証を取得することです。
また、ここでは予測子が 1 つしかないので、ANN は許容できる方法でしょうか? これは多変量の問題にのみ適用されるものだと常に思っていました。
Re: グループに属する確率をモデル化するための単純なロジスティック回帰の最良のアプローチと代替手段こんにちは@KarlA026 : なるほど。頑張ってください!
確かに、X = -5 で「サプライヤー D から」であれば、上記のグラフから判断すると非常に疑わしいでしょう。しかし、X = -24 の場合はどうでしょうか。その場合、複数のサプライヤーが存在する可能性はありますが、それらを正確に区別する能力はほとんどありません。一般的に、X だけでは適切な識別器にはならないと思います。おそらく、他の材料特性があるのでしょうか。
もちろん、ANN は問題ありません。純粋に統計的な観点から言えば、1 つの予測子を使用できない理由はないと思います。ただし、上で述べたように、測定している X は、一般に、グループを区別するのに十分ではありません。
