予測プロファイラーと望ましさの関数こんにちは、みんな、
JMPPro16.1.0。
私はPredictionProfilerを使用してモデルの調整の検証を行っていますが、望ましさの関数を「だまして」、実際には設計されていないことを実行する方法があるかどうか疑問に思っていました。 望ましさの標準設定では、最大化、ターゲットの一致、最小化、またはなしのオプションがあります。
モデルの調整プロセス中に、トレーニングと検証のためのR ^ 2値と、2つの間の差を記録します。 モデルの調整時に私が探していることの1つは、トレーニングと検証の両方でR ^ 2を最大化するだけでなく、2つの違いを最小化するパラメーター設定です。 たとえば、R^2トレーニングが0.7でR^2検証が0.25のモデルよりも、R^2トレーニングが0.4でR^2検証が0.35のモデルの方が適しています。 つまり、トレーニングセットと検証セットが互いに近ければ近いほど、私の状況では小さい方がパフォーマンスが向上する傾向があります。
問題は、予測プロファイラーでは、トレーニングと検証の両方のR ^ 2を設定して差を最大化および最小化すると、プロファイラーはトレーニングR^2が0.6および検証R^2が0.2程度になる設定を提案することです。 私が求めているものではありません。
プロファイラーに本当にやってもらいたいのは、大きなRを維持しながら差異を最小限に抑えるために、可能な限り大きくしながら、可能な限り互いに近いトレーニングと検証R^2に収束することです。 ^2の値。 残念ながら、重要度（0から1）や目標などを変更しても、私が求めているものは実際には達成されません。
プロファイラーにこのようなことをさせる方法のコツを誰かが知っているなら、それを知っておくのは素晴らしいことです。 または、それが不可能な場合は、プロファイラーに2つの応答を最大化（または最小化）しながら収束させようとするように指示できるのは、非常に優れた新機能かもしれません。
ありがとう！、
DS
分析Re：予測プロファイラーと望ましさの関数プロファイラー関数と望ましさ関数を正しく使用しています。 desiriability =（0,1）を使用するのは間違いではありませんが、最大化には1、差には2などの値を使用して、目的に近づくかどうかを確認してください。 関数（制限、重要性）の定義は、プロファイラーに何を求めているかを伝えるための鍵です。
とはいえ、あなたが望むものを手に入れることは保証されていません！
Re：予測プロファイラーと望ましさの関数R2の差が0.01であるか0.1であるかは気にしないと思いますが、しきい値を超えると徐々に気になります。 R2の差を、特定の値を下回るとフラットになり、その制限を超えると徐々に減少する式を作成するか、これを説明するために望ましさ関数を設定することができます。多変量モデルでは、T2メトリックを使用して後者を行うことがよくあります。以下のリンク先のビデオで16:30頃にスキップすると、この例を見ることができます。
多変量モデルの最適化：データ収集から最適条件およびスコアリングモデルまで（2021-US-45MP-927）
Re：予測プロファイラーと望ましさの関数望ましさのグラフの形状を変更して、差が大きいほどペナルティが大きいことを示すこともできます。 中央の値で線形である必要はありません。
注：関数グラフのプロットでクリック（windows）またはコマンドクリック（macOS）を制御し、さまざまなスキームを試している間に値をすばやく変更できます。 望ましさを変更せず、応答レベルのみを変更することをお勧めします。中心値を一方の端に向かって移動して、非線形にします。
Re：予測プロファイラーと望ましさの関数やあ@markbaileyと@ih 、
@markbailey 、あなたの最初の返事は「それを機能させる」ものでした。 残念ながら、これは自動化された最適化プロセスではないため、最適な条件を繰り返し見つけることはできません。 それでも、各応答の相対的な重要度を手動で変更するのは確かに簡単です。
あなたの提案と@ihの提案は、私が最終的にやりたいと思うことの線に沿っていることを証明しています。 望ましさの関数は手動で調整するだけです。手動で数値を変更するか、グラフ内の小さなボックスを移動します。 私の最終目標を達成するための、より自動化された、少し主観的な方法があればいいのにと思います。
@ih R2 Diffが0.01であるか0.1であるかは気にしないというのは部分的に正しいですが、R2 Diffが0.1で、トレーニングR2が0.8で、検証R2が0.7である場合は、R2よりもそれを優先します。トレーニングが0.31で、検証が0.3の場合、差分は0.01です。 実際には、私のデータセットは前者ではなく後者のように動作する傾向があります。2つのR2を0.8と0.7まで高くできたらいいのにと思います。
2つの提案を組み合わせると、いろいろと遊ぶことができます。ただ、主観的ではないことを願っています。
フィードバックをお寄せいただきありがとうございます！、
DS
