756632_ja-JP

liliconcom

モデルスクリーニング：予測モデリングワークフローの合理化（2021-EU-30MP-781）

ミア・スティーブンス、SAS JMP 主席製品マネージャー

予測モデリングとは、対象となる結果を最も正確に予測するモデル、あるいはモデルの組み合わせを見つけることです。しかし、すべての問題（そしてデータ）が同じように作られているわけではありません。特定のシナリオには、複数の予測モデルが考えられますが、すべての問題に最適なモデルは存在しません。場合によっては回帰モデルが最も優れたパフォーマンスを発揮することもありますし、ツリーベースモデルやニューラルネットワークが最適な場合もあります。

最もパフォーマンスの高いモデルを探す際には、クロスバリデーションを用いて利用可能なモデルを一つずつ当てはめていくことになるでしょう。そして、個々のモデルをデータテーブルまたはフォーミュラデポに保存し、モデル比較を用いて検証セットにおけるモデルのパフォーマンスを比較することで、最適なモデルを選択するという方法もあります。JMP Pro 16の新しいモデルスクリーニングプラットフォームにより、このワークフローは効率化されました。この講演では、モデルスクリーニングを用いて、最もパフォーマンスの高い予測モデルを同時に当てはめ、検証、比較、探索、選択を行い、そして展開する方法を学びます。

自動生成されたトランスクリプト...

スピーカー	トランスクリプト
ミア・スティーブンス	モデルスクリーニング。
	予測モデリングの作業を行う場合、モデル スクリーニングが予測モデリングのワークフローを効率化するのに役立つことがわかります。
	そこで、この講演では、予測モデリングの概要と、JMP で使用できるさまざまな種類の予測モデルについて説明します。
	より広範な分析ワークフロー内の予測モデリング ワークフローについて説明し、モデル スクリーニングがこのワークフローの効率化にどのように役立つかを見ていきます。
	検証データを使用して競合モデルを比較するためのいくつかのメトリックについて説明し、JMP Pro の例をいくつか見ていきます。
	まず、予測モデリングについて、また予測モデリングとは何かについて少しお話ししましょう。
	おそらく回帰分析をご存知でしょう。回帰は説明モデルの一例です。回帰分析では、通常、モデルの構築に関心があります。
	応答Yを1つ以上のXの関数として表すモデルがあり、モデリングの目標は様々です。重要な変数を特定することに関心があるかもしれません。では、鍵となるX、つまり重要な入力変数は何でしょうか？
	たとえば、問題解決の設定で、問題に対処するために重点を置くべき点は何でしょうか?
	入力変数の関数として、平均的に応答がどのように変化するかを理解することに興味があるかもしれません。
	X の 1 単位の変化は、Y の 5 単位の変化に関連付けられます。したがって、これは古典的な説明モデリングであり、学校で統計学を学んだ場合は、おそらくこれが回帰について学ぶ方法です。
	一方、予測モデリングの目的は少し異なります。予測モデリングでは、将来の結果を正確に予測または分類することが目標です。
	したがって、応答が継続的である場合、次の観察、次の結果をできるだけ正確にまたは正確に予測できるようにする必要があります。
	回答がカテゴリカルな場合は、分類に関心があります。また、現在のデータを用いて、個人レベルで将来何が起こるかを予測することにも関心があります。
	様々なモデルを当てはめて比較したり、予測モデリングではより高度なモデルを使用したり、ニューラルネットワークなどの機械学習技術を使用したりすることも考えられます。
	これらのモデルの中には、解釈が容易ではないものもあり、設定可能な調整パラメータが多岐にわたるものも多くあります。その結果、予測モデリングでは過剰適合の問題が発生する可能性があります。
	過剰適合とは、必要以上に複雑なモデルを適合させることを意味します。
	したがって、予測モデリングでは通常、検証を使用しますが、使用できる検証の形式はいくつかあります。
	モデルの比較と選択には検証を使用しますが、基本的には過剰適合だけでなく不足適合からも保護します。
	アンダーフィッティングとは、必要なほど複雑でないモデルを当てはめてしまうことです。つまり、データの構造をきちんと捉えていないということです。
	さて、スライドの最後にある付録には、検証がなぜ重要であるかを説明するスライドがいくつか掲載されていますが、今回の講演では、予測モデルを適合させるときに検証を使用するという点に焦点を当てます。
	JMP Pro に適合できるモデルにはさまざまな種類があり、これは決してすべてを網羅したリストではありません。
	様々な種類の回帰モデルを当てはめることができます。連続的な応答がある場合は、線形回帰モデルを当てはめることができます。
	応答がカテゴリの場合はロジスティック回帰モデルですが、一般化線形モデルを適合し、ペナルティ回帰法を適用することもでき、これらはすべて適合モデル プラットフォームから取得できます。
	予測モデリングプラットフォームには多くのオプションがあり、ニューラルネット、ブースティング付きニューラルネット、層とノードの数が異なるなど、
	分類ツリーと回帰ツリー、さらに高度なツリーベースの方法、およびその他のいくつかのテクニック。
	また、多変量解析プラットフォームには予測モデリングのオプションもいくつかあります。判別分析などです。
	部分最小二乗法は、予測モデリングに使用できる2つの異なるモデルです。ちなみに、部分最小二乗法はフィットモデルからも利用できます。
	なぜこんなに多くのモデルがあるのでしょうか?
	予測モデルでは、どのモデルも
	あるいはモデリングの種類が常に最も効果的です。状況によってはニューラルネットワークが最適な場合もありますが、ニューラルネットワークは一般的にかなり…かなり優れたパフォーマンスを発揮します。
	しかし、他の場合には、より単純なモデルの方が実際には最適なパフォーマンスを発揮することがわかるかもしれません。そのため、データに最も適合し、最も正確に予測するモデルの種類は、主に応答だけでなく、データの構造にも基づいています。
	したがって、最も正確に適合するモデルや最も正確に予測するモデルを見つける前に、いくつかの異なるタイプのモデルを適合させてこれらのモデルを比較する必要があるかもしれません。
	より広範な分析ワークフローでは、解決しようとしている問題から始めて、データを収集し、準備し、データを探索します。
	予測モデリングは、分析とモデル構築の段階にあります。典型的な予測モデリングのワークフローは、モデルを適合させて検証を行うという流れになります。
	次に、その数式をデータ テーブルに保存するか、数式デポに公開します。
	そして別のモデルを当てはめてこれを繰り返すと、複数の異なるモデルを当てはめることができる。
	そして、これらのモデルを比較します。JMP Proでは、モデル比較プラットフォームを使用して、検証データにおけるモデルのパフォーマンスを比較し、最適なモデル、または最適な組み合わせモデルを選択して、モデルを展開できます。
	モデル スクリーニングの違いは、すべてのモデル フィッティングと比較、つまりこの選択が 1 つのプラットフォーム、つまりモデル スクリーニング プラットフォーム内で実行されることです。
	そこで、皆さんもよくご存知の例を使用します。コミュニティに投稿されたこれらのデータを使用したモデル スクリーニングに関するブログがあり、これは糖尿病のデータです。
	つまり、研究者はベースラインから 1 年後の病気の進行速度を予測したいというシナリオです。
	したがって、ベースライン測定が複数あり、2 つの異なるタイプの応答があります。
	応答 Y は定量的な尺度であり、連続的な尺度であるため、これは病気の進行速度です。次に、高いか低いかを示す 2 番目の応答である Y バイナリがあります。
	したがって、Y バイナリは、進行率が高いこと、または進行率が低いことを表すことができます。
	ここでの予測モデルの目標は、病気の進行率が最も高い患者を予測し、適切な処置を講じることである。
	これを防ぐためです。そこで、JMP Proでこれらの両方の回答にモデルを当てはめ、モデルスクリーニングを用いて同じモデルを当てはめる方法を見ていきます。
	JMP について説明する前に、予測モデルの比較方法について少しお話ししたいと思います。
	予測モデルを検証セットまたはテストセットで比較します。つまり、基本的には、トレーニングデータと呼ばれるデータのサブセットにモデルを適合させるということです。
	そして、そのモデルを保留されたデータ (通常、これを検証データと呼びます) に適合させて、モデルのパフォーマンスを確認します。
	連続的な応答がある場合は、誤差の尺度を使用できます。つまり、ルート平均二乗誤差 (RMSE) またはルート平均二乗誤差 (RASE) です。これが予測誤差の尺度になります。
	AAE、MAD、MAE は平均誤差の尺度であり、使用できる R 二乗尺度も異なります。
	カテゴリ別の回答を得るには、エラーや誤分類の尺度に注目することが多いです。
	ROC 曲線を調べたり、AUC (曲線の下の面積) や感度、特異度、偽陽性率、偽陰性率を調べたりすることにも興味があるかもしれません。
	F1 スコアと MCC (マシューズ相関係数)。
	それでは、JMP に切り替えましょう。
	これをしまっておいて、糖尿病のデータを開いてください。
	皆さんに見えるように、これを大きくしてみましょう。
	これがデータです。442人の患者に関する情報があり、ここでも連続変数Yがあります。これは1年後の疾患進行度合いを表します。まずYについて見ていきますが、2つ目の変数であるYバイナリーもあります。
	ベースライン情報を入手しました。
	列検証があります。つまり、モデルを適合させる際には、トレーニングデータのみを使用してモデルを適合させ、検証データを使用して、モデルの成長をいつ停止するかを判断し、モデルの適合度合いを実際にどの程度正確に測定するかを決定します。
	この列を作成するには、予測モデリングの下にモデル検証列と呼ばれるユーティリティがあります。
	これにより、検証列を構築するための多くのオプションが提供され、データをトレーニング検証とテスト セットに分割できるようになります。
	そして、ほとんどの場合、データをサブセットに分割するこの種の技術を使用すると、
	テストセットを用意することをお勧めします。テストセットがあれば、モデルの構築やモデルの成長を止めるために使用しなかったデータでモデルのパフォーマンスを評価できるため、今回のケースではテストセットがなくても、テストセットを用意することをお勧めします。
	では、反応を最も正確に予測するモデルを見つけたいとしましょう。ご覧の通り、選択肢は数多くあります。
	まずはフィットモデルから始めます。
	そして、これは通常、良い出発点となります。
	Yを応答変数、Xをモデル効果として回帰モデルを構築します。現時点では主効果のみを入力します。そして、検証列を追加します。
	ここでの適合モデルについては、デフォルトは標準最小二乗法になりますが、適合できるモデルにはさまざまな種類があります。
	単純に最小二乗モデルを実行します。
	ここでいくつか指摘しておきたいことがあります。ここにあるマーカー「V」に注目してください。
	モデルをトレーニング データに適合させましたが、検証データでモデルがどの程度うまく機能するかも確認したいので、V の付いたこれらのマーカーはすべて検証セット内の観測値です。
	検証があるため、ここにはクロス検証セクションがあり、トレーニング セットと検証セットの R 平方と RASE を調べることができます。
	そして、多くの場合、検証統計はトレーニング統計よりもいくらか悪く、その差が大きいほど、モデルが過剰適合または不足適合であることを示す指標として役立ちます。
	ここで、この講演の範囲を超えているもう 1 つの点について指摘したいと思います。それは、予測プロファイラーです。
	そして予測プロファイラー
	実はこれが、私がJMPを使い始めた理由の一つです。モデルを理解するための非常に強力な手段です。
	そしてXの値を変えて予測される反応がどうなるか見てみましょう。これは平均です。
	これらのモデルでは平均値を予測しています。しかし、総コレステロール、LDL、HDLのバンドが扇状に広がっていることに注目してください。これは、これらの領域にはデータが存在しないためです。
	新機能について簡単に触れておきたいのですが、これは今回の講演の範囲外です。これは外挿制御と呼ばれるものです。警告をオンにしてドラッグすると
	総コレステロールについては、外挿の可能性があると表示されています。これは、実際にはデータがない領域を予測しようとしていることを示しています。
	この外挿コントロールをオンにすると、このバー、この線が切り捨てられることに注意してください。つまり、基本的にその領域では予測ができないということです。モデルをフィッティングする場合は、これをチェックすることをお勧めします。非常に強力なツールです。
	さて、診断作業はすべて完了したとしましょう。このモデルを縮小し、結果を保存できるようにしたいと思います。
	ええと、これを行うにはいくつかの方法があります。赤い列に移動して列を保存し、予測式を保存します。
	これで、構築した線形モデルがデータテーブルに保存されます。バックグラウンドで確認できます。そして、このデータテーブルに新しい値を追加すると、自動的に応答が予測されます。
	しかし、モデルを別の形式で保存したい場合、そのためには、公開する必要があります。
	この数式を数式デポに出力します。数式デポは実際にはデータテーブルとは独立していますが、スクリプトをコピーして別のデータテーブルに貼り付け、新しいデータにスコアを付けることができます。
	あるいは、これを何らかの運用システム内に展開できるように、別の言語でコードを生成したい場合もあります。
	では、これを閉じます。これは一つのモデルに過ぎません。もっと複雑で洗練されたモデルを当てはめれば、より良いパフォーマンスが得られる可能性はあるでしょうか？
	別のモデルを当てはめるかもしれません。例えば…リコールを押します。パーソナリティを標準最小二乗法から一般化回帰法に変更するかもしれません。
	これにより、異なる応答分布を指定できます。ここでは「通常」を選択して「実行」をクリックします。
	これにより、異なるペナルティ法を適用したり、異なる変数選択手法を用いたりすることが可能になります。一般化回帰についてまだ調べていない方は、
	非常に強力で柔軟性の高い最新のモデリングプラットフォームです。「Go」をクリックします。このモデルを当てはめるとします
	このモデルを既に保存したモデルと比較できるようにしたいので、予測式をデータテーブルに保存します。これで、データテーブルの背景に別の列が追加されました。
	あるいはこれをまた公開したいかもしれない
	に
	式の詳細です。これで2つの異なるモデルができました。さらに進めていきます。これは一般化回帰のモデルの一つです。他にも様々な種類のモデルを当てはめることができます。
	予測モデリング メニューから予測モデル (ニューラル ネットワーク、パーティション、ブートストラップ フォレスト、ブースティング ツリーなど) を選択できます。
	さて、通常私がしなければならないのは、これらのモデルをすべて当てはめて、結果をデータテーブルか数式デポに保存することです。そして、それらを
	データテーブルでは、このモデル比較プラットフォームを使って、様々な競合モデルを比較できます。モデルは複数ある場合もありますが、ここでは2つだけです。
	実際にはモデルを指定する必要はなく、検証のみを指定すればいいのです。そして、私は検証をbyフィールドに入力するのが好きです。
	これで、トレーニングセットと検証セットの両方の適合統計が得られます。ここでは検証ステップの統計のみを見ていきます。これを参考に、最もパフォーマンスの高いモデルを選択します。
	私が注目しているのは、R2の値が高いこと、RASE（平均二乗誤差）の値が低いこと、そして平均絶対誤差が低いことです。そして、この2つのモデルの中では、この最小二乗回帰モデルが最も適しているように見えます。
	さて、すべての可能なモデルを当てはめようとすると、かなり時間がかかります。そこで、JMP Pro 16の新機能として、モデルスクリーニングと呼ばれるプラットフォームを導入しました。
	モデルのスクリーニングを開始すると、これまで見てきたように上部にダイアログが表示されるので、これに情報を入力します。
	そして、横に検証を追加しますが、複数の異なるモデルを選択し、これらの異なるモデルをすべて一度に適合させることができることがわかります。
	つまり、決定木、ブートストラップフォレスト、ブーストツリー、K 最近傍法、これらすべてのモデルを適合させることができます。
	そして、意味のないモデルは実行されません。連続応答ロジスティック回帰をオプションの1つとして選択すると、ロジスティック回帰モデルは実行されません。
	継続的な応答が得られます。ここにXGBoostというオプションもあることに注目してください。
	これが表示される理由は、アドインがあり、それがオープンソースライブラリを使用しているためです。このアドインをインストールすると（JMPユーザーコミュニティで入手可能です）、
	これは XGBoost と呼ばれ、JMP Pro でのみ機能しますが、このアドインをインストールすると、モデル スクリーニング ダイアログに自動的に表示されます。
	そこで、[OK] をクリックします。[OK] をクリックすると、各プラットフォームが起動されます。
	すると、すべての結果が1つのウィンドウにまとめられます。そこで「OK」をクリックしました。データはそれほど多くないので、非常に高速です。
	詳細の下には、適合された個々のモデルがすべて表示されています。これらのダイアログのいずれかを開くと、結果が表示され、メニューから追加のオプションにアクセスできます。
	詳細は伏せておきます。デフォルトでは、トレーニングデータの統計情報がレポートされますが、検証データの結果も表示されるので、R2乗とRASEを確認できます。
	デフォルトでは、RASE の最も低いものから順にソートされます。
	しかし、ここにはいくつかの小さなショートカット オプションがあります。最適なモデルを検索する場合、一部のモデルでは R 平方が最適で、他のモデルでは RASE の方が適している可能性があるので、[優位を選択] をクリックします。
	この場合、ニューラルブーストが選択されました。つまり、これらのモデルの中で、最も優れたモデルはニューラルブーストです。このモデルを詳しく見たい場合は、上の「ニューラル」の項目で詳細を見ることができます。
	または、単純に、選択したものを実行することもできます。
	これについては話しませんでしたが、ダイアログ ウィンドウにはランダム シードを設定するオプションがあります。
	ランダムシードを設定すると、ここで表示される結果は、ここで見ているものと同じになります。つまり、これは…これは
	TanH関数を用いた3つのノードを持つニューラルモデルですが、ブースティングも使用しています。そのため、このプラットフォームの設計において、開発者は様々なモデルに最適な開始点とデフォルト設定を決定するために、多くのシミュレーションを行いました。
	だからニューラルブーストが最高です。
	そして
	このモデルを展開できるようにしたい場合、スクリプトを保存することができます
	または、それを実行したり、数式のさらに深いところに保存したりすることもできます。
	これは連続応答の場合ですが、赤い三角の下には他にも選択肢があります。カテゴリ応答の場合はどうでしょうか？カテゴリ応答の場合も、同じプラットフォームを使用できます。ここでも、モデルスクリーニングに進みます。
	リコールをクリックしますが、Y の代わりに Y バイナリを使用します。
	デフォルトのメソッドは一切変更しません。ランダムシードを入力します。例えば12345など、ランダムな数値を取得します。
	これにより、再現性が向上します。モデルをデータテーブルや数式デポに保存すると、
	モデル内の統計量と適合度は同じです。他にもいくつかオプションがあります。レポートなど、いくつかをオフにしたい場合もあるでしょう。
	別のクロス検証方法を使用する必要があるため、このプラットフォームには K フォールド検証が含まれていますが、ネストされた K フォールドクロス検証も使用されます。
	これを繰り返すことができます。とても素晴らしいですね。データをトレーニングと検証とテストに分割するのは必ずしも最善ではない場合があり、K分割は
	実際にはもう少し良くなるかもしれません。そして下部にいくつか追加オプションがあります。双方向の交互作用を追加したいかもしれません。2次効果を追加したいかもしれません。
	追加の手法では、追加の一般化回帰法が適用されます。それでは「OK」をクリックします。
	わかりました。すべてのモデルを実行します。繰り返しますが、これは小さなデータセットです。非常に高速です。
	そうですね、見た目は同じですが、統計が異なります。誤分類率、曲線下面積、そしてR2値と平均二乗誤差の平方根が表示されています。
	「優勢な選択」をクリックします。ここでも、優勢な方法はニューラル ブーストです。
	さて、これらの異なるモデルをいくつか試してみたい場合はどうすればよいでしょうか？ここでは、ステップワイズ法の場合よりも誤分類がかなり少なくなっています。
	AUCも似たようなもので、全体的に最も低いですが、それほど優れているとは言えません。いくつか例を挙げてみましょう。いくつかクリックすると、おそらくこの4つ、あるいは5つが選択されるでしょう。
	ROC 曲線を見てモデルを比較することに興味がある場合は、ROC 曲線を見ることができます。
	また、モデルをオフにしたり、特定のモデルに焦点を合わせたりできる便利なコントロールもここにあります。
	そして私が本当に興奮している新機能は、「決定しきい値」と呼ばれるものです。
	そして、決定閾値によって何を見ることができるのか、
	まずトレーニング データを調べ、データのスナップショットを取得します。
	誤分類率は、分類のカットオフ値0.5に基づいています。つまり、各モデルにおいて、実際に高かった点と低かった点が表示されています。高値に焦点を当てると、緑の点は正しく高値と分類されています。
	赤い部分は誤分類されているので、正しい分類と誤った分類が表示され、横にすべての統計が報告されています。
	そして下には、いくつかの異なるメトリックと、誤った分類と正しい分類を確認できる多くのグラフが表示されます。
	これを閉じて、
	検証データ。
	では、なぜこれが役に立つのでしょうか？例えば、感度を最大化したい特定のシナリオがあるかもしれません。
	ある程度の特異度を維持しながら。そして感度…こちらにいくつか定義があります。感度とは真陽性率です。
	特異度は真の陰性率です。これは…これは病気の進行を調べるシナリオなので、高い感度を維持していることを確認したいのです。
	同時に、詳細度も高く設定しておきましょう。ここでできることは、ここにスライダーがあるので、これをドラッグして
	分類のカットオフを変更すると、分類がどのように変化するかを確認できます。
	したがって、競合モデルを検討する場合、これは非常に強力なツールであると思います。全体のカットオフが 0.5 であるモデルがいくつかあり、それらのモデルが誤分類率が最も優れている可能性があるからです。
	しかし、分類のカットオフ値を変えると、異なるモデルのパフォーマンスが異なるというシナリオも考えられます。例えば、私がここの特定の地域にいる場合、ステップワイズモデルの方が実際には優れていることがわかるかもしれません。
	これをさらに説明するために、別の例を挙げてみたいと思います。
	この例はクレジットカードマーケティングと呼ばれます。
	このシナリオを紹介するために、スライドに戻りましょう。
	これは、
	私たちは、クレジットカードのオファーの受け入れに関する市場調査に基づいた大量のデータを持っています。
	答えは「オファーは受け入れられたか」です。そして、これは調査対象となったオファーのうち、実際に受け入れられたのはわずか5.5%というシナリオです。
	私たちが興味を持っている要素には、提供される報酬の種類があります。
	郵送する相手にも様々な種類があります。つまり、これは計画された実験です。この研究では、その部分、つまりその側面については、ある意味、本当に、ある意味、無視することにします。
	また、財務情報もあるため、この例では 1 つの目標、つまりオファーを受け入れる可能性が最も高い顧客を特定するという目標に固執します。
	そして、最も可能性の高い顧客を特定できれば、このシナリオでは、オファーを受け入れる可能性の高い顧客グループにのみオファーを送信し、残りの顧客は無視するといったことも可能です。これがここでのシナリオです。
	そしてこれらのデータを開きます。
	私は 10,000 件の観察結果を得ており、私の返答は申し出を受け入れるというものです。
	すでにスクリプトをデータ テーブルに保存してあるので、航空マイル、メールの種類、収入レベル、信用格付け、その他の財務情報がいくつか取得できました。
	保存スクリプトを実行しました。すべてのモデルを実行中です。この場合、ブーストニューラルネットワークを実行しているため、ニューラルネットワークに最も時間がかかります。
	あと数秒かかります。サポートベクターマシンを実行しています。10,000件を超える観測値があると、サポートベクターマシンはタイムアウトして実際には実行されません。
	もう少し様子を見ましょう。検証機能を使っているので、標準的な検証を使っています。検証列があります。この場合、0と1の列があり、JMPは学習データの0と検証データの1を認識します。
	はい。これで完了です。実行できました。大きなデータテーブルを扱っている場合は、レポートを実行できます。
	経過時間を確認しましょう。このシナリオでは、サポートベクターマシンが最も時間がかかりました。そのため、10,000件を超える観測値があると、サポートベクターマシンが実行できないことがあります。
	では、これらを見てみましょう。優位モデルを選択した場合、最適なモデルはニューラルブースティングと決定木ですが、ここで注目すべき点があります。誤分類率に注目してください。
	誤分類率はサポートベクターマシンを除くすべてのモデルで同じです。なぜそうなるのでしょうか？オファー受諾率の分布を実行すると、
	（もう少し大きくして見やすくしましょう）検証データに注目してください。観測値の0.063%が「はい」だったことに注目してください。これはまさにモデルが予測した通りです。
	そしてなぜこのようなことが起こるのでしょうか?
	もう一度、判断基準についてお尋ねします。
	このグラフに注目してください。このグラフには多くの用途がありますが、この場合、分類のカットオフが0.5であることがわかります。
	しかし、当てはめた確率はどれもそれに近いものではなかったのです。つまり、モデルは「いいえ」を正しく「いいえ」と分類したか、
	あるいは「はい」を「いいえ」と分類しました。確率が0.5を超えるものはなかったため、何も「はい」と分類しませんでした。つまり、この男をもっと伸ばすと、
	そうですね、この2つのモデルの違いが分かります。ニューラルネットワークのブースティングモデルでは最高確率が約0.25でしたが、決定木モデルでは約0.15でした。
	決定木の場合、決定木は基本的に一連の二値分割を行っており、複数の予測値が得られますが、ニューラルネットワークのブーストでは、ポイントにきれいなランダムパターンが表示されています。これを.12のような値に変更してみましょう。
	そうです。実際、0.12 でカットオフされていますが、これをスライドさせると、値が低くなるほど、実際に (ここでメトリックをオンにします) 真陽性が得られ始めることがわかります。
	偽陽性が出始めました。ドラッグするとバーに表示されていますが、バーが少し小さいですね。ニューラルネットワークのブーストにより、真陽性と偽陽性が混在し始めています。
	さあ、いよいよ見えてきます。最初のポイントセットを過ぎると、すぐに意思決定ツリーが見えてきます。
	したがって、これらのデータでは .5 のカットオフを使用するのは意味がありません。また、特異度を適切なレベルに維持しながら、最も感度が高くなるカットオフを見つけようとするかもしれません。
	今回は、他の 2 つの統計を指摘したいと思います。
	F1 は F1 スコアであり、これは実際に真のポジティブをどれだけうまく捉えることができたかを測る指標です。
	MCCはマシューズ相関係数で、4つの可能性それぞれをどれだけ正確に分類できるかを示す優れた指標です。つまり…
	偽陽性、偽陰性、真陽性、真陰性が発生する可能性があります。
	実際には、ここにあるボックスに対応するとは言っていませんが、4つの異なる選択肢があります。MCCは、マイナス1からプラス1の間の相関係数で、4つのボックスそれぞれについて、どの程度予測できるかを測るものです。
	そこで、F1値またはMCC値が最大になるカットオフ値を調べてみましょう。これを下にドラッグしてみましょう。
	感度は急速に向上し、特異度は低下し始めています。おそらく 0.5 程度で、特異度が大幅に低下し始めている点に達しています。
	カットオフを見つけると、画面下部に利益マトリックスを設定するオプションがあります。これを利益マトリックスに設定すると、基本的に、このカットオフを使用して新しいデータをスコアリングできるようになります。
	ここでこれを設定して [OK] をクリックすると、これをデータ テーブルまたは数式デポに保存すると、将来の予測でそのカットオフが使用されます。
	これは、利益マトリックスに組み込むことができる財務情報を実際に入手できるシナリオです。
	例えば、スライダーを使ってカットオフを選択する代わりに、自分の分類に関連するドルの価値をある程度知っているとします。そして、もし実際の回答が「いいえ」だった場合、
	でも、オファーを送ったら、相手はきっとイエスと答えるだろうと思ってオファーを送りました。たぶん5ドルかかるので、マイナスの値になります。
	潜在的利益についてある程度の見当はついているかもしれません。つまり、この期間の潜在的利益は100ドルで、機会損失があるかもしれません。つまり、もし損失が-100ドルであれば、
	相手は実際には返信していたはずですが、私はオファーを送信しませんでした。つまり、これは機会損失になる可能性があり、この欄を空白のままにすることがあります。代わりにこれを使うと、
	追加情報が表示されるので、利益マトリックスがあることがわかります。指標を確認すれば、この利益に基づいて最適なモデルを決定できます。
	ですから、私はこの追加情報を意思決定に取り入れています。利益マトリックスがあればそれを直接活用できる場合もあれば、そうでない場合もあります。そして、これはニューラルネットワークをブーストしたモデルが全体的な利益を最も高めてくれるとわかるケースの一つです。
	これはモデルスクリーニングのプレビューです。スライドに戻りましょう。
	ここで何が見られましたか？予測モデリングについて話しました
	予測モデリングと説明モデリングの目的が異なる点についてです。ここでの目標は将来の結果を正確に予測または分類することなので、将来の観測値にスコアを付けたいのです。
	そして、通常は検証を使用して多くのモデルを適合および比較し、最も正確に予測する最も優れたモデルまたはモデルの組み合わせを選択します。
	モデル スクリーニングにより、このワークフローが非常に効率化され、1 つのプラットフォームで同時にさまざまなモデルを適合できるようになります。
	デフォルト設定だけを採用したので、実際に当てはめたよりもはるかに高度なモデルを当てはめることができます。これにより、主要なモデルの選択やモデルの詳細の検討が非常に簡単になります。新しいモデルを当てはめることもできます。
	詳細から。カテゴリデータを扱う場合、この決定閾値により分類のカットオフを検討でき、利益マトリックスを含める機能も統合されます。
	選択したモデルは、フォーミュラデポにデプロイしたり、データテーブルに保存したりできます。これは非常に強力な新しいツールです。
	詳細については、分類指標についてはF1スコアとマシューズ相関係数を見る前から知っていましたが、これらの統計は私にとって比較的新しいものでした。
	感度と特異度を理解するために、この Wikipedia の投稿には本当に素晴らしい例と素晴らしい議論がいくつかあります。
	予測モデリングやモデルスクリーニングのための非常に優れたリソースもいくつかあります。JMPユーザーコミュニティには、「Learn JMP」という新しいパスがあり、ビデオにアクセスできます。
	JMPシリーズのビデオをマスターしましょう。昨年ツーソンで開催されたJMPディスカバリーでは、ルース・ハメルとメアリー・ラブレスによる、どのモデルをいつ使うかについての素晴らしい講演がありました。
	ここでは、さまざまなモデリングの目標と、各モデルをいつ使用する可能性があるかについてわかりやすく説明しています。
	予測モデリングを初めてご利用になる場合は、無料のオンライン コース「STIPS」(産業問題解決のための統計的思考、モジュール 7) で予測モデリングの入門を受講してください。
	ですので、こちらをお勧めします。糖尿病データを使ったモデルスクリーニングのブログがありますので、そちらもご紹介しておきます。また、この本には第2版「JMP Proによるより良いモデル構築」があることもお伝えしておきます。
	数ヶ月以内に出版される予定です。まだ新しい表紙はありませんが、モデル撮影会も収録される予定です。
	ということで、私からのメッセージは以上です。この投稿へのコメントやご質問はお気軽にどうぞ。カンファレンスの残りの時間も楽しんでいただければ幸いです。ありがとうございました。

高度な統計モデリング自動化とスクリプト基本的なデータ分析とモデリング消費者・市場調査コンテンツの編成データの探索と可視化実験計画法予測モデリングと機械学習品質およびプロセスエンジニアリング信頼性分析結果の共有と伝達