ガウス過程の警告メッセージ: 尤度推定アルゴリズムが収束しませんでしたJMPの専門家の皆様
最近、ラテン超方格法を用いて空間充填DOEを700回実行しました。その後、ガウス過程を用いてデータをフィッティングしました。「実測値と予測値のプロット」は非常に良好で、ほとんどのデータが45度線に沿って正確に並んでいます。しかし、次のような警告メッセージが表示されました。
警告: 尤度推定アルゴリズムが収束しませんでした。
ガウス過程モデルレポートを添付します。
調べてみたのですが、この警告メッセージに関するドキュメントやディスカッションは見つかりませんでした。
ご親切にご指導いただけませんか？
- このメッセージの原因は何ですか?
- このメッセージはどういう意味ですか?
- 結果は信頼できますか？信頼できない場合は、モデルを修正するにはどうすればよいですか？
ありがとう。
よろしくお願いします、
年
高度な統計モデリングコンテンツの編成データの探索と可視化実験計画法Re: Gaussian Process の警告メッセージ: 尤度推定アルゴリズムが収束しませんでしたairgap2 を削除するのはどうですか? その後、-2対数尤度はどのくらい変化し、予測はどのくらい変化しますか?
モデルの適合方法は最尤法です。 これは、サーフェス上で最大値を見つけようとする最適化手法です。 理想的には、推定値はサーフェスが頂点に達する場所です。 この警告メッセージが表示された場合、通常、アルゴリズムが上限に達したかどうか確信が持てないことを意味します。 必ずしもそうではないというわけではありません。 ここでは、モデルにほとんど寄与していない airgap2 のために、頂点に達していると思われますが、確かではありません。
Re: Gaussian Process の警告メッセージ: 尤度推定アルゴリズムが収束しませんでした迅速な返信ありがとうございます。 モデルのフィッティング方法についてもう少し詳しく教えてください。
私の DOE には 700 の処理があります。 処理ごとに、アルゴリズムが表面の最大値を見つけようとするということですか?
あなたが言及しているこの表面は何ですか？
ありがとうございました。
Re: Gaussian Process の警告メッセージ: 尤度推定アルゴリズムが収束しませんでしたあなたの場合の各治療は観察です。 700回の治療すべてがデータを形成します。 GP モデルは、与えられたパラメーターでデータを観測する確率の定義に基づいています。 この確率は、未知のパラメーターの関数です。 この関数を尤度関数と呼びます。 この関数は、パラメータで定義された座標系上のサーフェスとして視覚化できます。 したがって、表面は 1 つだけです。 最尤法は、このサーフェスで最も高い場所を特定しようとします。
これは、アクセス可能で厳密であると私が思う資料へのリンクです。最尤推定また、例 1-1 はスキップできます。
GP モデルの定義は次の場所にあります。 Gaussian Process Platform の統計的詳細大まかに言えば、GP モデルは、データが多変量正規分布からのものであると想定しています。 このような情報を使用して、尤度関数が定義されます。
Re: Gaussian Process の警告メッセージ: 尤度推定アルゴリズムが収束しませんでしたPeng さん、非常に有益な回答をありがとうございます。
差し支えなければ、予測式とジャックナイフの予測値の違いも教えていただけませんか？
予測による実際のプロットが、予測式によって予測された値ではなく、ジャックナイフの予測値に対して実際の値をプロットしたのはなぜですか?
また、ナゲットを使わなくても、予測式の予測値は実際のシミュレーションデータとまったく同じ？ これはどのように作動しますか？
GP予測の場合、予測分散プロファイル(要因計画DOEの「計画の評価」タブにあるもの)はどのように見えますか? ランダムですか？
GP モデルを検証する方法はありますか? 私は通常、数百の余分なポイントを実行し、元のデータセット (予測値 - シミュレーション値) と検証データセット (予測値 - シミュレーション値) の間の残差のテストと不等分散テストを行います。 このアプローチは GP モデルでも有効ですか?
ありがとうございました。
Re: Gaussian Process の警告メッセージ: 尤度推定アルゴリズムが収束しませんでした予測 (ナゲット フィッティングなし、すべてのデータを使用) は、対応する観測値と等しくなるはずです。 これがGPモデルの特徴です。 実際の値とこのタイプの予測値をプロットすると直線が得られ、新しいデータに対するモデルのパフォーマンスについてあまり洞察が得られません。 ジャックナイフ (ジャックナイフのリサンプリング) 予測は、その観測を除外することによって、各観測を予測します。 Jackknife GP モデルは、除外された 1 つを除いて、残りのすべての観測値に完全に適合します。 このアプローチにより、モデルが新しいデータに対してどのように機能するかについての洞察が得られます。 したがって、それらは異なります。
ナゲットがなければ、バニラ GP モデルに戻ります。 「これはどのように機能しますか」という言葉の意味がわかりません。 ナゲットでは、次の手法を検討することをお勧めします。リッジ回帰前述したように、モデルは多変量正規分布を仮定しており、タスクは共分散構造を把握することですが、リッジ手法のようなトリックがないと難しい場合があります。
私は DOE プラットフォームのアプリケーションに詳しくありません。 興味のある特定のレポートを取得する手順など、詳しく説明していただければ、さらにお手伝いできるかもしれません。 他のコミュニティ メンバーが回答できるかどうかを確認したい場合があります。 しばらく答えが見つからない場合は、その特定の質問について別のスレッドを開くことを検討してください。
GP モデルの検証についてよくわかりません。 しかし確かに、新しいデータでそのパフォーマンスを評価できます。 これを行う 1 つの方法は、新しい観測値が予測区間内にあるかどうかを確認することです。 これを行うには、予測式と分散式を保存してから、新しいデータを表の下部に追加します。 式は評価され、予測と分散が生成されます。 観測、その予測、その予測分散を使用すると、残りは z テストの演習になります。 そして、この文脈で等分散が関連しているかどうかはわかりません。
Re: Gaussian Process の警告メッセージ: 尤度推定アルゴリズムが収束しませんでした非常に有益な回答をありがとうございました。
モデルの検証に関して、まだいくつか質問があります。
元のデータセット (最初の 700 ポイント) と検証データセット (最後の 300 ポイント) を含む JMP ファイルを返信に添付しました。
通常、両方のデータセットの予測値と実際のシミュレーション結果の差を計算し、2 つのデータセットの差が同じ平均値を持つかどうかをテストします。 この特定のデータセットについて、t 検定は、2 つのデータセットの違いが統計的に異なるものではないことを示しています。
ただし、2 つのデータセットの予測分散式を使用して分散をテストする方法を試したところ、分散の平均が統計的に異なることがわかりました。
モデルの予測能力を検証するための正しいアプローチはどれですか?
ありがとうございました。
Re: Gaussian Process の警告メッセージ: 尤度推定アルゴリズムが収束しませんでした私は自分のアプローチの手順を詳しく説明しませんでした。 ここでは、あなたのデータを使用して説明します。
最初に新しい列を作成します
これは、予測される標準誤差です。
ここで、「6sigma」と呼ぶ別の列を作成します。 差の絶対値が6シグマ以内かどうかの指標列です。 はいは 1 を意味し、いいえは 0 を意味します。 トレーニング行の場合、missing を割り当てます。 列のタイプがカテゴリであることを確認してください。
ここで、検証行の除外を解除します。 その上でディストリビューションを実行します。
おおよそ 95% はいと思います。 これは、モデルがうまく機能していることを示しています。
Re: Gaussian Process の警告メッセージ: 尤度推定アルゴリズムが収束しませんでしたあなたのアプローチをさらに詳しく説明していただきありがとうございます。 それは素晴らしいことです。
JMPのif関数の解釈がよくわからないので教えてください。 「。」ですか？式の最初の行の -> の後? どういう意味ですか？
トレーニング行に「欠落」を割り当てる方法は?
あなたは、95% がモデルがうまく機能していることを示していると言います。 その判断基準は？
返信にモデル評価のファイルを添付していただけますか？
ありがとうございました。
Re: Gaussian Process の警告メッセージ: 尤度推定アルゴリズムが収束しませんでしたIF 関数に関する構文は、次の場所にあります。もしも. または、JMP スクリプト言語を学習することに挑戦している場合は、ここから始めることができます。スクリプトガイド.
私が示した If ステートメントは次のように読むことができます: 行番号が 700 以下の場合は欠損値を割り当て、それ以外の場合は差の絶対値が 3 標準誤差未満であるかどうかに応じて 1 または 0 を割り当てます。
つまり、この式は、予測誤差が 6 標準誤差の範囲内にあるかどうか、または 6 シグマと呼ぶかどうかを計算します。
モデルがうまくやっていると私が言ったことは主観的なものでした。 しかし、私は私が何を意味したかを説明するつもりです。 予測誤差が正規分布の場合、6 シグマは分布の中央部分を囲み、99% 以上の確率を保持します。 予測エラーが 99% 以上の確率でこのバケツに収まるようにしたいと考えています。 次に、モデルがその仕事をしていると言います。
この特定のデータの場合、検証セットは約 300 の観測であり、約 95% がこのバケットに分類されます。 悪いニュース？ 必ずしも。 99% の可能性についての私の前の声明は、テストできる検証データがもっとたくさんあることを前提としていたので、99% 以上の可能性を見たいと思っています。 わずか 300 回の観察で、95% は主観的な判断です。 80%、70%、60%と見えたら、ますます疑問がわきます。
リクエストに応じてファイルを添付します。
