予測モデリングとは、目的の結果を正確に予測するモデルを見つけることです。 たとえば、さまざまな要因に基づいて、特定の病気 (この場合は糖尿病) の 1 年後の進行を予測したいとします。 より具体的には、適切な介入ができるように、病気が進行する可能性が最も高い患者を特定したいと考えています。
私は持っているJMPプロ、そして、当てはめることのできる予測モデルがいくつかあることもわかっています。 たとえば、いくつか例を挙げると、回帰モデル、さまざまな種類のツリーベースのモデル、ニューラル ネットワークなどを当てはめることができます。 どのモデリング プラットフォームを使用すればよいですか? どのタイプのモデルが結果を最も正確に予測しますか? 特定のモデリング状況において、最適なモデルはデータに大きく依存します。すべての問題に対して最適に機能する 1 つのタイプのモデルはありません。
糖尿病のシナリオに最適なモデルを見つけるには、交差検証を使用して、考えられるすべてのモデルを一度に 1 つずつ当てはめることができます。 個々のモデルをデータ テーブルまたはフォーミュラ デポに保存し、モデル比較を使用して検証セット上のモデルのパフォーマンスを比較して、最適なモデルを選択できます。 または、モデルの最適な組み合わせを選択することもできます。 この方法でも十分な作業は完了しますが、少し作業が必要です。
JMP Pro 16 の新しいモデル スクリーニング プラットフォームにより、これがはるかに簡単になりました。 モデル スクリーニングは、最適な予測モデルを同時にフィッティング、比較、調査、選択し、展開するための効率的なワークフローを提供します。
説明のために、JMP サンプル データ ライブラリの糖尿病データを使用します。 応答、または結果変数は Y Binary で、低 (病気の進行が低い場合) と高の 2 つの値が考えられます。 予測因子、つまり因子は、年齢からブドウ糖までです。
[分析] > [予測モデリング] メニューから [モデル スクリーニング] を選択し、応答と因子を指定します。 Validation 列はデータをトレーニング セットと検証セットに分割するため、これをモデルの検証に使用します。
[モデル スクリーニング] ダイアログの上部を次に示します。
ダイアログの下部には、さまざまなフィッティングおよび相互検証オプションとともに、いくつかの異なるモデリング方法から選択できます。 XGBoost が利用可能な方法であることに注意してください。 XGBoost アドインからJMPユーザーコミュニティ。
デフォルトのモデルを使用しますが、双方向のインタラクションを追加し、結果を再現できるようにランダム シードを 11111 に設定します。
これらのデータに意味のあるモデルはすべて適合しており、いくつかの検証統計が提供されています。 モデルは一般化 RS2 乗の降順で並べ替えられますが、すべての検証統計で目立つモデルを見つけるには、[支配的な選択] をクリックします。
全体的に上位のモデルは、双方向の対話を備えた Neural Boosted モデルと Generalized Regression Lasso であることがわかります。
これらのモデルの分類を調べるには、上部の赤い三角メニューから [決定しきい値] を選択します。 このオプションは、選択したモデルの分類精度を比較するための豊富な情報を提供します。 上部のセクションには、各モデルの真分類と偽分類の内訳が表示されます。確率のしきい値を (スライダー ラインをドラッグするか、編集ボックスを使用して) 変更すると、カットオフごとに分類と分類誤差がどのように変化するかを確認できます。
下部セクションには、さまざまな分類グラフと指標を表示するタブがあります。 検証データの [メトリック] タブがここに表示されます。 このシナリオでは、糖尿病の進行率が最も高い可能性が最も高い患者を特定したいと考えています。 したがって、偽陰性率が最も低くなるモデルを見つけたいと考えています。 確率しきい値 0.42 では、一般化回帰モデルの偽陰性率は低くなりますが、他のモデルと比べて依然として低い偽陽性率を維持しています。
さて、このモデルを詳しく見ていきたいと思います。 モデル スクリーニングにより、これがシームレスに行われます。 「選択したものを実行」をクリックすると、選択したモデルを新しいウィンドウで簡単に実行できます。
または、モデル スクリーニングを終了せずに、ここに示すように詳細アウトラインで結果を直接確認できます。 モデル スクリーニングでは、一般化回帰で表示されるすべてのオプションにアクセスできます。 したがって、たとえば、ソリューション パスを操作したり、展開用のモデルを保存または公開したりできます。 他のモデルを実行して、モデルの精度がさらに向上するかどうかを確認することもできます。
ここではモデル スクリーニングのほんの表面に触れただけですが、この合理化されたワークフローが時間と労力を大幅に節約するのにどのように役立つかを理解していただければ幸いです。 モデル内の変数を指定し、近似したいモデルと検証方法を選択するだけで、残りの作業はモデル スクリーニングが行います。
JMP Pro での予測モデルのフィッティングと検証の詳細については、次のサイトを参照してください。主な機能ページ当社のウェブサイトで。
お客様の声
「過去数か月間、JMP Pro 16 ベータ版でモデル スクリーニングを使用してきましたが、それはすでに私のサンゴ礁予測モデリング研究に不可欠な部分となっています。 JMP Pro の以前のバージョン (例: JMP Pro 15 の「モデル比較」プラットフォーム) ではモデルを比較的簡単に比較できましたが、この新しいツールを使用すると、ユーザーは多くの異なるモデル (例: gen-reg、PLS、判別式、ニューラル ネットワークなど) を同じデータセットで使用します。 以前は数時間、場合によっては数日かかっていた作業が、今では数分 (または数秒) で完了できるようになりました。うわー、なんて素晴らしい機能でしょう！ これは間違いなくバージョン 15 から 16 への最大の改善に違いなく、他の多くの人も同じように感じるでしょう。」
- アンダーソン メイフィールド氏、米国海洋大気庁 (NOAA) およびマイアミ大学
ご質問ありがとうございます@sukrit2020 。 MAE は現在、モデル スクリーニング プラットフォームからは利用できません。
このプラットフォームで MAE を視覚化するにはどうすればよいですか?
やあ@mia_stephens追加の説明をありがとうございます。 これは、対象分野の専門知識、製品/ユーザーのアプリケーション、およびリスクに大きく依存するトレードオフの問題であることに私は同意します。グラフがどのようにこのトレードオフに達しているかがわかりますが、両方向に交差する軌跡の線は最初は少し混乱するかもしれません(増加方向の実線、減少方向の破線)。トピックのアイデアをウィッシュリストに追加します。@パトリックジュリアーノ
やあ@パトリックジュリアーノこれは比較的表面的な例であり、説明のためにしきい値として 0.42 に落ち着きました。 ここでの目標は、低い偽陽性率を維持しながら、低い偽陰性率をもたらすカットオフを見つけることでした。 しかし、許容可能なレートとは何でしょうか? これは、研究の状況や問題、および特定のタイプのエラーの「コスト」に大きく依存します。 特定の状況では、偽陰性率が高くなる場合は、偽陽性率が高くても受け入れてもよいかもしれません。グラフは、スイート スポットを見つけて 2 つのレートのバランスを取るのに役立ちます。
これは小さなデータセットであるため、結果はかなり詳細になります。 しかし、ここの 2 番目のグラフでは、ニューラル ブーストの偽陽性率が 0.45 または 0.5 あたりから急速に増加し始め、偽陰性率はその時点付近まで急速に低下し、ある程度横ばいになり始めていることがわかります。
「設定を記憶する」オプションを追加するというアイデアは魅力的です。 これを JMP ウィッシュリストに投稿してもよろしいでしょうか?
ありがとう！
ミア
@mia_stephensこれはとてもクールです。私は「決定しきい値」機能に興味を持っており、それをもう少しよく理解しようとしています。ここの例では、確率しきい値 0.42 が良い選択であると判断する際に、基本的に、高い曲線の誤分類数と確率しきい値の「交差点」(添付画像の黒丸で囲まれた点) を選択しましたか?偽陰性を最小限に抑えるため (偽陽性率をほぼ同じレベルに維持しながら?)
JMP 16 EA8 を使用し、モデル スクリーニング ダイアログでモデル フィッティング オプションとして「XGBoost」を指定したことを除いて、ほぼ同じセットアップを実行しました (同じランダム シードを 1111 に維持しました)。 
おそらく、ここで便利な機能の 1 つは、予測プロファイラー (リーチ保存設定のラジオ ボタンが生成される) で実行できるのと同様の方法で「設定を記憶する」ことです。これにより、さまざまな確率しきい値を簡単に切り替えて、直接確認できるようになります。興味のある特定のしきい値での効果を比較します。 サンプル画像を添付しました。
やあ@mannyuyはい、本当に時間の節約になります。
以前は基本的に同じことをしていましたが、一度に 1 つのモデル プラットフォームを使用していました。 とても時間がかかりました。 この新しい機能により、本当に時間が節約されます。 ありがとう！
