通常のJMPでのモデルの予測能力のテストこんにちは。トレーニング データ セットに基づいてモデルを開発しました。テスト データ セットでモデルの予測能力をテストしたいと考えています。 通常の JMP でこれを行う方法はありますか? 私のモデルは連続効果とカテゴリ効果の両方で構成されています。モデルのパラメータを修正できる必要があると思います。 それとも、これが JMP Pro を入手するもう 1 つの理由になるでしょうか?
高度な統計モデリングデータの探索と視覚化品質およびプロセスエンジニアリングRe: 通常の JMP でのモデルの予測能力のテスト私も同意します。モデル内の変数の少なくとも 1 つは、トレーニング データ セットとテスト データ セットでは完全に異なる分布に従います (添付ファイルを参照。test=0 はトレーニング データに、test=1 はテスト データに等しい)。 傾向分析により、この変数のレベルが上方にシフトしていることがわかります。 理由はわかりませんが、これは調査する必要があります。
Re: 通常の JMP でのモデルの予測能力のテスト追加するだけです@P_Bartelさんのコメント ...元のデータセットが将来の状況を表していない場合、そのデータセットから作成されたモデルの機能は予測にはあまり役に立ちません。 これは何も学習しなかったという意味ではありませんが、モデルの予測可能性を向上させるために推論空間を拡張する必要があります (また、時間の経過とともにモデルの変更が必要になる場合もあります)。
Re: 通常の JMP でのモデルの予測能力のテストあなたが「後期」と言うとき...私がトレーニングセットに配置する観察のランダムな選択に至ったときの前提は、基本的にデータのコレクション全体が単一の研究母集団を代表しているという前提に基づいていました。 そして、あなたはこれをモデルの評価に関して喜んで引き受けました。 さて、「後で」と言うとき...この単一母集団の考えが真実であるとどれだけ喜んで仮定しますか? どちらのデータ セットにも観測値の数が少ないのは確かですが、K 分割の使用は相互検証の一種であり、比較的少数の観測値を使用して過学習モデルを作成および評価するのに役立ちます。
IMO、テストデータセット内の観測値が少ない場合でも...テストセットが予測/実際の結果にうまく適合していない場合、それは何かを示しています...あなたのモデルが将来を予測するのに特に効果的ではないことを示していますパフォーマンス。 つまり、ある意味では、テスト セットは失敗しているのではなく、トレーニング モデルの採用を福音として慎重に進めるようあなたに訴えているのです。
さらに、トレーニング モデルの診断をまったく共有していません...将来の観察のフィッティングに問題を引き起こすモデルにいくつかの問題がある可能性があります。 データや診断を共有していただけますか? この結果には何かヒントが隠されているかもしれません。
Re: 通常の JMP でのモデルの予測能力のテストありがとう。
私のトレーニング データセットは 95 個の観測値で構成されており、k 分割選択による段階的回帰を適用しました。 次に、5% の有意性制限を適用する通常の最小二乗法を使用してモデルをさらに縮小しました。 このアイデアは、(後の期間からの) 新しい観察セットをテスト データ セットとして使用することで、データがトレーニング データ セットとテスト データ セットにランダムに割り当てられないことを意味します。 この手順に問題があると思いますか?
あなたの手順を適用すると、テストデータテストのR二乗が非常に悪くなりました。問題は、テスト データ セットが小さすぎる (観測値が 20 個しかない) ことと、説明変数の値の範囲がトレーニング データ セットよりも狭いことだと思います。 このテスト データ セットを使用してモデルの予測能力を評価するのは実際には不可能であることがわかりました。
Re: 通常の JMP でのモデルの予測能力のテストモデルの作成にはどのプラットフォームが使用されましたか?
Re: 通常の JMP でのモデルの予測能力のテストあなたに質問が 1 つあります。できれば、「トレーニング」セットに含める観測値をランダムに選択したと思いますか? そうでない場合は、後戻りしてそこから始めます。 あなたがそうしたと仮定すると...
はい、トレーニング/検証/テストの構成を使用してモデルを評価したい場合は、これが一般に予測モデリング作業のベスト プラクティスです。 非常に効率的な複数モデルの評価を特に目的としたモデル比較プラットフォームやフォーミュラ デポ プラットフォームなど、非常に便利な機能が多数あります。
ただし、JMP Pro がないため、考慮すべき 2 つの簡単なアイデアを次に示します。 トレーニング データ セットを使用して構築したモデルを、「テスト」データ セットを含むデータ テーブル内の「予測値」またはそのような構成という名前の新しい列式に保存します。 これで、列に応答の予測が表示されるはずです。 ここで、「予測値」と応答の実際の値の Y x X のフィット プロットをプロットし、2 セットの応答の「適合度」を調べます。 モデルの適合プラットフォーム レポートの実際と予測のプロットを複製する以外は、グラフ上の x 軸と y 軸の制限を強制的に等しくします。 目を使って 45 度の線を見つけます...または、グラフ ビルダーで 45 度の線を重ね合わせます。
別のバリエーションは、実際の値から予測値を減算し、残差をヒストグラム形式でプロットすることです。
これらの手法はオーバーフィッティングを評価することはできません...しかし、厳密に予測に重点を置くのであれば...まあ、それが始まりです。
