予測モデリングとは、関心のある結果を正確に予測するモデルを見つけることです。 たとえば、特定の病気（この場合は糖尿病）の1年後の進行を、いくつかの要因に基づいて予測したいとします。 具体的には、適切な介入ができるように、病気の進行が最も起こりやすい患者を特定したいと思います。
私は持っているJMP Pro、そして、私が当てはめることができるいくつかの可能な予測モデルがあることを私は知っています。 たとえば、回帰モデル、さまざまなタイプのツリーベースのモデル、またはニューラルネットワークを適合させることができます。 どのモデリングプラットフォームを使用する必要がありますか？ どのタイプのモデルが結果を最も正確に予測しますか？ どのようなモデリング状況でも、最適なモデルはデータに大きく依存します。すべての問題に最適なモデルは1つではありません。
糖尿病のシナリオに最適なモデルを見つけるために、交差検定を使用して、考えられるすべてのモデルを一度に1つずつ適合させることができます。 個々のモデルをデータテーブルまたはフォーミュラデポに保存し、モデル比較を使用して検証セットのモデルのパフォーマンスを比較し、最適なモデルを選択できます。 または、モデルの最適な組み合わせを選択できます。 この方法は仕事を成し遂げる以上のものですが、少しの作業が必要です。
現在、JMP Pro 16の新しいモデルスクリーニングプラットフォームにより、これがはるかに簡単になりました。 モデルスクリーニングは、最適な予測モデルの適合、比較、調査、選択、および展開を同時に行うための効率的なワークフローを提供します。
説明のために、JMPサンプルデータライブラリの糖尿病データを使用します。 応答または結果変数はYBinaryであり、2つの可能な値があります。Low（疾患の進行が低い場合）とHighです。 予測因子または因子は、AgethroughGlucoseです。
[分析]>[予測モデリング]メニューから[モデルのスクリーニング]を選択し、応答と要因を指定します。 [検証]列はデータをトレーニングセットと検証セットに分割するため、これをモデルの検証に使用します。
[モデルスクリーニング]ダイアログの上部を次に示します。
ダイアログの下部には、さまざまなフィッティングおよびクロス検証オプションとともに、選択できるいくつかの異なるモデリング方法があります。 XGBoostは利用可能な方法であることに注意してください。 XGBoostアドインからJMPユーザーコミュニティ。
デフォルトのモデルを使用しますが、双方向の相互作用を追加し、ランダムシードを11111に設定して、結果を再現可能にします。
これらのデータに意味のあるすべてのモデルが適合しており、いくつかの検証統計が提供されています。 モデルはGeneralizedRSquareの降順で並べ替えられますが、すべての検証統計で目立つモデルを見つけるには、[SelectDominant]をクリックします。
全体として、上位モデルは、双方向の相互作用を持つニューラルブーストおよび一般化回帰ラッソであることがわかります。
これらのモデルの分類を調べるために、上部の赤い三角形のメニューから[決定しきい値]を選択します。 このオプションは、選択したモデルの分類精度を比較するための豊富な情報を提供します。 上のセクションには、各モデルの真と偽の分類の内訳が表示されます。確率のしきい値を変更すると（スライダーラインをドラッグするか、編集ボックスを使用して）、カットオフごとに分類と分類エラーがどのように変化するかを確認できます。
下部のセクションには、さまざまな分類グラフとメトリックを示すタブがあります。 検証データの[メトリック]タブを次に示します。 このシナリオでは、糖尿病の進行率が最も高い可能性が最も高い患者を特定したいと思います。 そこで、偽陰性率が最も低くなるモデルを見つけたいと思います。 0.42の確率しきい値では、一般化回帰モデルの偽陰性率は低くなりますが、他のモデルと比較して偽陽性率は低く維持されます。
さて、このモデルを詳しく見てみたいと思うかもしれません。 モデルスクリーニングはこれをシームレスにします。 [選択したものを実行]をクリックすると、選択したモデルを新しいウィンドウで簡単に実行できます。
または、モデルスクリーニングを終了せずに、ここに示すように、詳細の概要で結果を直接確認できます。 モデルスクリーニングでは、一般化回帰で表示されるすべてのオプションにアクセスできます。 したがって、たとえば、ソリューションパスを操作したり、展開用にモデルを保存または公開したりできます。 他のモデルを実行して、モデルの精度をさらに向上させることができるかどうかを確認することもできます。
ここではモデルスクリーニングの表面に触れただけですが、この合理化されたワークフローが時間と労力の大幅な節約にどのように役立つかをご覧いただければ幸いです。 モデル内の変数を指定し、適合させたいモデルと検証方法を選択するだけで、あとはモデルスクリーニングが行います。
JMP Proでの予測モデルのフィッティングと検証の詳細については、次のURLにアクセスしてください。主な機能のページ私たちのウェブサイトで。
お客様の声
「ここ数か月、JMP Pro 16ベータでモデルスクリーニングを使用してきましたが、それはすでに私のサンゴ礁予測モデリング研究の不可欠な部分になっています。 以前のバージョンのJMPPro（JMP Pro 15の「モデル比較」プラットフォームなど）ではモデルをかなり簡単に比較できましたが、この新しいツールを使用すると、ユーザーはさまざまなモデル（gen-reg、PLSなど）を同時にテストすることがさらに簡単になります。同じデータセットを持つ判別式、ニューラルネットワークなど）。 かつては数時間または数日かかっていたことが、今では数分（または数秒）で実行できるようになりました。うわー、なんて素晴らしい機能でしょう！ これは確かにバージョン15から16への最大の改善であるに違いありません、そして私は他の多くの人が同じように感じると確信しています。」
-アンダーソンメイフィールド、米国海洋大気庁（NOAA）およびマイアミ大学
質問ありがとうございます@ sukrit2020 。 MAEは現在、モデルスクリーニングプラットフォームからは利用できません。
このプラットフォームでMAEを視覚化するにはどうすればよいですか？
やあ@mia_stephens追加の説明をありがとう！ これは、対象分野の専門知識と製品/ユーザーのアプリケーションおよびリスクに大きく依存するトレードオフの問題であることに同意します。グラフがこのトレードオフでどのようになっているのかがわかりますが、軌道の線が両方向に交差しているのは最初は少し混乱する可能性があります（増加する方向の実線、減少する方向の破線）。トピックのアイデアをウィッシュリストに追加します！@PatrickGiuliano
こんにちは@PatrickGiuliano 、これは比較的表面的な例であり、説明のためのしきい値として0.42に決めました。 ここでの目標は、低い偽陽性率を維持しながら、低い偽陰性率につながるカットオフを見つけることでした。 しかし、何が許容可能なレートを構成しますか？ これは、主に調査の状況や問題、および特定のタイプのエラーの「コスト」に依存します。 特定の状況では、より良い偽陰性率が得られる場合は、より高い偽陽性率を受け入れることをいとわないかもしれません。グラフは、2つのレートのバランスをとるために、スイートスポットを見つけるのに役立ちます。
これは小さなデータセットであるため、結果はかなりきめ細かくなります。 しかし、ここの2番目のグラフでは、ニューラルブーストの偽陽性率は約0.45または0.5後に急速に増加し始め、偽陰性率はその時点まで急速に低下し、やや横ばいになり始めていることがわかります。
「記憶された設定」オプションを追加するというアイデアは説得力があります。 これをJMPウィッシュリストに投稿していただけませんか？
ありがとう！
ミア
@mia_stephensこれは非常にクールです。「決定しきい値」機能に興味があり、もう少しよく理解しようとしています。ここでの例では、確率しきい値0.42が適切であると判断する際に、誤分類数と高曲線の確率しきい値（添付画像で黒で囲まれた点）の「交差点」を基本的に選択しましたか？偽陰性を最小限に抑えるため（偽陽性率をほぼ同じレベルに維持しながら？）
JMP 16 EA8を使用し、モデルスクリーニングダイアログでモデルフィッティングオプションとして「XGBoost」を指定したことを除いて、ほぼ同じセットアップを実行しました（1111で同じランダムシードを保持）。 
ここで役立つ機能の1つは、予測プロファイラー（保存された設定に到達するためのラジオボタンを生成する）で実行できるのと同様の方法で「設定を記憶」することです。これにより、さまざまな確率しきい値を簡単に切り替えて、/を直接表示できます。関心のある特定のしきい値での効果を比較します。 添付の画像例。
やあ@MannyUy 、はい、それはリアルタイムの節約になります！
以前は基本的に同じことをしていましたが、一度に1つのモデルプラットフォームを使用していました。 時間がかかりました。 この新機能は本当に時間を節約します。 ありがとうございました！
