349255_ja-JP

liliconcom

Re：モデルスクリーニング：予測モデリングワークフローの合理化（2021-EU-30MP-781）

新しいモデリングブックを楽しみにしています！

モデルスクリーニング：予測モデリングワークフローの合理化（2021-EU-30MP-781）

レベル：中級

 

SAS、JMPプリンシパルプロダクトマネージャー、Mia Stephens

 

予測モデリングとは、関心のある結果を最も正確に予測するモデルまたはモデルの組み合わせを見つけることです。 ただし、すべての問題（およびデータ）が同じように作成されるわけではありません。 どのシナリオでも、適合できる予測モデルはいくつかあり、すべての問題に最適なモデルは1つではありません。 場合によっては、回帰モデルが最高のパフォーマンスを発揮する可能性があります。他の場合、それはツリーベースのモデルまたはニューラルネットワークである可能性があります。

最高のパフォーマンスを発揮するモデルを検索する場合、交差検定を使用して、利用可能なすべてのモデルを一度に1つずつ適合させることができます。 次に、個々のモデルをデータテーブルまたはフォーミュラデポに保存し、モデル比較を使用して検証セットのモデルのパフォーマンスを比較し、最適なモデルを選択します。 現在、JMP Pro 16の新しいモデルスクリーニングプラットフォームにより、このワークフローは合理化されています。 この講演では、モデルスクリーニングを使用して、最もパフォーマンスの高い予測モデルを同時に適合、検証、比較、探索、選択、および展開する方法を学習します。

 

 

自動生成されたトランスクリプト...

 

スピーカー	トランスクリプト
ミア・スティーブンス	モデルスクリーニング。
	予測モデリングを使用する場合は、モデルのスクリーニングが予測モデリングのワークフローを合理化するのに役立つことがわかります。
	したがって、この講演では、予測モデリングの概要を説明し、JMPで使用できるさまざまなタイプの予測モデルについて説明します。
	より広範な分析ワークフロー内の予測モデリングワークフローについて説明し、モデルスクリーニングがこのワークフローの合理化にどのように役立つかを確認します。
	検証データを使用して競合するモデルを比較するためのいくつかのメトリックについて説明し、JMPProでいくつかの例を示します。
	まず、予測モデリングと予測モデリングとは何かについて少しお話ししましょう。
	あなたはおそらく回帰分析にさらされたことがあるでしょう、そして回帰は説明的モデリングの例です。 そして回帰分析では、通常、モデルの構築に関心があります
	1つまたは複数のXの関数としての応答、またはYの場合、異なるモデリング目標がある可能性があります。 重要な変数を特定することに興味があるかもしれません。 それで、キーX、またはキー入力変数は何ですか、
	たとえば、問題に対処するために焦点を当てる可能性のある問題解決の設定では？
	入力変数の関数として、応答が平均してどのように変化するかを理解することに興味があるかもしれません。
	Xの1単位の変更は、Yの5単位の変更に関連付けられています。 したがって、これは古典的な説明モデリングであり、学校で統計を取得したことがある場合は、おそらくこれが回帰について学習する方法です。
	対照的に、予測モデリングの目標は少し異なります。 予測モデリングにおける私たちの目標は、将来の結果を正確に予測または分類することです。
	したがって、応答が継続的である場合、次の観測、次の結果を可能な限り正確または正確に予測できるようにする必要があります。
	そして、私たちの応答が分類的である場合、私たちは分類に興味があります。 また、現在のデータを使用して、将来個人レベルで何が起こるかを予測することに関心があります。
	また、多くの異なるモデルを適合させて比較する場合があります。また、予測モデリングでは、より高度なモデルを使用する場合もあります。 ニューラルネットワークのようないくつかの機械学習技術を使用するかもしれません。
	そして、これらのモデルのいくつかは解釈が簡単ではないかもしれません、そしてそれらの多くは私たちが設定できる多くの異なるチューニングパラメータを持っています。 その結果、予測モデリングでは、過剰適合の問題が発生する可能性があります。
	過剰適合とは、必要以上に複雑なモデルを適合させることを意味します。
	したがって、予測モデリングでは通常、検証を使用し、使用できる検証にはいくつかの異なる形式があります。
	モデルの比較と選択には検証を使用し、基本的に、過剰適合だけでなく過適合からも保護します。
	そして、アンダーフィッティングとは、必要なほど複雑ではないモデルをフィッティングすることです。 データの構造を実際にキャプチャしているわけではありません。
	スライドの最後にある付録で、検証が重要である理由を説明するスライドをいくつか抜粋しましたが、この講演の焦点として、予測モデルを適合させるときに検証を使用するだけです。
	JMP Proに適合できるモデルにはさまざまな種類がありますが、これは完全なリストではありません。
	いくつかの異なるタイプの回帰モデルを適合させることができます。 連続応答がある場合、線形回帰モデルを適合させることができます。
	応答がカテゴリカルである場合、ロジスティック回帰モデルですが、一般化線形モデルを適合させ、回帰法にペナルティを課すこともできます。これらはすべて、適合モデルプラットフォームからのものです。
	予測モデリングプラットフォームには多くのオプションがあるため、ニューラルネット、ブースティング付きのニューラルネット、さまざまな数のレイヤーとノード、
	分類ツリーと回帰ツリー、およびより高度なツリーベースの方法、およびその他のいくつかの手法。
	また、多変量メソッドプラットフォームからの予測モデリングオプションもいくつかあるため、判別分析
	部分最小二乗法は2つの異なるものです...予測モデリングに使用できる2つの追加タイプのモデル。 ちなみに、部分最小二乗もフィットモデルから入手できます。
	そして、なぜこれほど多くのモデルがあるのでしょうか？
	予測モデリングでは、多くの場合、1つのモデルがないことに気付くでしょう。
	またはモデリングタイプが常に最適に機能します。 特定の状況では、ニューラルネットワークが最適な場合があり、ニューラルネットワークは一般的にかなり...かなり優れたパフォーマンスを発揮します。
	ただし、他の場合には、単純なモデルが実際に最高のパフォーマンスを発揮することがあります。そのため、データに最適で最も正確に予測するモデルのタイプは、主に応答だけでなく、データの構造にも基づいています。
	したがって、いくつかの異なるタイプのモデルに適合し、これらのモデルを比較してから、最も正確に適合したモデルまたは最も正確に予測したモデルを見つけることができます。
	したがって、解決しようとしているある種の問題から始めて、データをコンパイルし、データを準備し、データを探索する、より広範な分析ワークフロー内で、
	予測モデリングは、モデルの分析と構築でダウンしています。 また、一般的な予測モデリングワークフローは次のようになります。ここでは、モデルを検証に適合させます。
	次に、その数式をデータテーブルに保存するか、数式デポに公開します。
	そして、別のモデルに合わせてこれを繰り返すので、いくつかの異なるモデルに合わせることができます
	次に、これらのモデルを比較します。 また、JMP Proでは、モデル比較プラットフォームを使用してこれを実行し、検証データでモデルのパフォーマンスを比較してから、最適なモデルまたは最適な組み合わせモデルを選択して、モデルをデプロイします。
	また、モデルスクリーニングとの違いは、すべてのモデルの適合と比較、この選択が1つのプラットフォームであるモデルスクリーニングプラットフォーム内で行われることです。
	そこで、おなじみの例を使用します。コミュニティに投稿されたこれらのデータを使用したモデルスクリーニングに関するブログがあります。これらは糖尿病データです。
	したがって、シナリオは、研究者がベースラインから1年後の疾患の進行速度を予測したいというものです。
	したがって、いくつかのベースライン測定値があり、次に2つの異なるタイプの応答があります。
	応答Yは定量的測定、継続的測定であるため、これは疾患の進行率であり、次に2番目の応答YBinaryがあります。これは高いまたは低いです。
	したがって、Yバイナリは、高い進行率または低い進行率を表すことができます。
	そして、ここでの予測モデリングの目標は、病気の進行率が最も高い可能性が最も高い患者を予測することです。これにより、是正措置を講じることができます。
	これを防ぐために。 そこで、これらの応答の両方についてJMP Proでモデルを適合させる方法を見ていき、モデルスクリーニングを使用して同じモデルを適合させる方法を見ていきます。
	そして、JMPに行く前に、予測モデルを比較する方法について少しお話ししたいと思います。
	検証セットまたはテストセットの予測モデルを比較します。 つまり、基本的に私たちが行っているのは、トレーニングデータと呼ばれるデータのサブセットにモデルを適合させることです。
	次に、そのモデルを保持されたデータ（通常はこれらの検証データと呼びます）に適合させて、モデルのパフォーマンスを確認します。
	また、連続応答がある場合は、誤差の測定値を使用できます。したがって、二乗平均平方根誤差（RMSE）またはルート平均二乗誤差であるRASEを意味するため、これが予測誤差の測定値になります。
	AAE、MAD、MAE、これらは平均誤差の測定値であり、使用する可能性のあるさまざまなR二乗測定値があります。
	分類的な応答を得るために、私たちはほとんどの場合、エラーまたは誤分類の測定に関心があります。
	また、ROC曲線、AUC（曲線の下の領域）、感度、または特異度、誤検出、誤検出率を調べることにも関心があるかもしれません。
	F1-スコアとMCC、これはマシューズの相関係数です。
	それでは、JMPに切り替えましょう。
	これを隠しておけば、糖尿病のデータを公開します。
	そして、あなたがそれを見ることができるように、これを大きくしましょう。
	これがデータです。 442人の患者に関する情報があります。また、応答Yがあります。これは継続的であり、これは1年後の疾患の進行量です。 そして、Yを調べることから始めますが、2番目の変数であるYBinaryもあります。
	ベースライン情報があります。
	そして、列の検証があります。 したがって、検証では、モデルを適合させるときに、トレーニングデータのみを使用してモデルを適合させ、検証データを使用して、モデルの成長を停止するタイミングを示し、モデルの成長を停止するタイミングを示します。モデルは実際に適合します。
	この列を作成するために、モデル検証列と呼ばれる予測モデリングの下にユーティリティがあります。
	これにより、検証列を作成するための多くのオプションが提供されるため、データをトレーニング検証とテストセットに分割できます。
	そして、ほとんどの場合、データをサブセットに分割するこの種の手法を使用している場合、
	テストセットを用意することをお勧めします。 テストセットがあると、モデルの構築やモデルの成長の停止に使用されなかったデータのモデルパフォーマンスを評価できるため、テストセットがない場合でも、これをお勧めします。場合。
	それで、私がしたいとしましょう...私は応答を最も正確に予測するモデルを見つけたいと思います。 ご覧のとおり、さまざまなモデルから選択できます。
	フィットモデルから始めましょう。
	そして、これは通常、良い出発点です。
	したがって、応答としてYを使用し、モデル効果としてXを使用して回帰モデルを作成します。この時点では、主効果のみを入力します。 そして、検証列を追加します。
	フィットモデルから、ここでのデフォルトは標準の最小二乗法になりますが、フィットできるモデルにはさまざまなタイプがあります。
	最小二乗モデルを実行するだけです。
	ここで指摘すべきことがいくつかあります。 ここのマーカーVに注目してください。
	モデルをトレーニングデータに適合させることを忘れないでください。ただし、モデルが検証データでどの程度うまく機能するかも確認したいので、Vが付いたこれらのマーカーはすべて検証セットの観測値です。
	検証があるため、ここに相互検証セクションがあります。トレーニングセット、検証セット、RASEのRの正方形を確認できます。
	また、多くの場合、検証統計はトレーニング統計よりもいくらか悪くなり、遠く離れているほど、モデルが過剰適合または過適合であることがより適切に示されます。
	ここでもう1つ指摘したいのは、この話の範囲を本当に超えていることです。それがこの予測プロファイラーです。
	そして予測プロファイラー
	実際、私が最初にJMPを使い始めた理由の1つです。 これは、モデルを理解するための非常に強力な方法です。
	したがって、任意のXの値を変更して、予測された応答に何が起こるかを確認できます。これは平均です。
	これらのモデルでは、平均を予測しています。 しかし、これらのバンドが総コレステロールとLDL、HDLをどのようにファンアウトしているかに注目してください。 これは、これらの地域にデータがないためです。
	新しい機能をすぐに指摘したいので、これはこの話の範囲を超えています。これは外挿制御と呼ばれるものです。 警告をオンにしてドラッグすると
	総コレステロール、それが可能性のある外挿があることを私に告げていることに注意してください。 これは、私が実際にデータを持っていない地域で予測しようとしていることを私に伝えています。
	この外挿コントロールをオンにすると、このバー、この行が切り捨てられることに注意してください。したがって、基本的に、その領域では予測を行うことができないと言っています。 したがって、モデルを適合させているかどうかを確認することをお勧めします。 それは本当に強力なツールです。
	それで、私がすべての診断作業を行ったとしましょう。 このモデルを減らしたので、結果を保存できるようにしたいと思います。
	これを行うには、いくつかの方法があります。 赤い列に移動し、列を保存し、予測式を保存します。
	したがって、これにより、作成した線形モデルがデータテーブルに保存されます。 だからあなたはそれをここの背景で見ることができます。 そして、このデータテーブルに新しい値を追加すると、応答が自動的に予測されます。
	ただし、モデルを別の形式で保存したい場合があるため、これを行うには、公開する場合があります。
	このフォーミュラをフォーミュラデポに送ります。 フォーミュラデポは実際にはデータテーブルから独立していますが、これにより、スクリプトをコピーして、新しいデータを含む別のデータテーブルに貼り付けて、新しいデータをスコアリングできます。
	または、別の言語でコードを生成して、これをある種の本番システム内にデプロイできるようにすることもできます。
	先に進んでこれを閉じます。 これは1つのモデルにすぎません。 より複雑なモデルや洗練されたモデルに適合させた場合、パフォーマンスが向上する可能性はありますか？
	だから私は別のモデルに合うかもしれません。 だから、例えば、私は...私はただリコールを打つつもりです。 回帰を一般化するために、パーソナリティを標準の最小二乗法から変更する場合があります。
	これにより、さまざまな応答分布を指定できます。 そして、私は通常に固執し、実行をクリックします。
	したがって、これにより、さまざまなペナルティ付きメソッドを適合させ、さまざまな変数選択手法を使用できるようになります。 また、一般化された回帰をチェックアウトしていない場合は、
	それは非常に強力で非常に柔軟な最新のモデリングプラットフォームです。 [移動]をクリックします。 そして、私がこのモデルに合うとしましょう
	このモデルを、すでに保存したモデルと比較できるようにしたいと思います。 したがって、予測式をデータテーブルに保存する場合があります。 これで、データテーブルのバックグラウンドに別の列ができました。
	または私はこれを再び公開したいかもしれません
	に
	式の詳細なので、ここに2つの異なるモデルがあります。 そして、私は続けることができます。 したがって、これは一般化された回帰からの1つのモデルにすぎません。 私はまた、いくつかの異なるタイプに合うことができます
	予測モデリングメニューからの予測モデル。たとえば、ニューラルネットワーク、パーティション、ブートストラップフォレスト、ブーストツリーなど。
	さて、通常私がしなければならないことは、これらすべてのモデルを適合させ、結果をデータテーブルまたは式デポのいずれかに保存し、それらを保存する場合は
	データテーブルでは、このモデル比較プラットフォームを使用して、さまざまな競合モデルを比較できます。 そして、私は多くのモデルを持っているかもしれません、ここでは私は2つしか持っていません。
	そして、実際にはモデルが何であるかを指定する必要はなく、検証を指定するだけで済みます。 そして、私は実際、検証をここのbyフィールドに置くのが好きです。
	したがって、これにより、トレーニングセットと検証セットの両方の適合統計が得られます。ここでは、検証ステップの統計のみを確認します。 したがって、これを使用して、最もパフォーマンスの高いモデルを選択するのに役立てます。
	そして、私が興味を持っているのは、R二乗の値が高く、RASE（二乗平均平方根誤差）の値が低く、平均絶対誤差が低いことです。 そして、これら2つのモデルの間では、この近似最小二乗回帰モデルが最適であるように見えます。
	さて、可能なすべてのモデルに合わせるとしたら、これは可能です...これは非常に時間がかかる可能性があります。 したがって、これを行う代わりに、JMP Pro16の新機能はモデルスクリーニングと呼ばれるプラットフォームです。
	そして、モデルスクリーニングを開始すると、これまで見てきたように、上部にダイアログが表示されるので、先に進んでこれを入力します。
	そして、検証を追加しますが、側面では、いくつかの異なるモデルを選択して、これらの異なるモデルを一度にすべて適合させることができることがわかります。
	したがって、決定木、ブートストラップフォレスト、ブースティングツリー、K最近傍法、そうです、これらすべてのモデルに適合できます。
	また、意味のないモデルは実行されないため、オプションの1つとして連続応答ロジスティック回帰があり、ロジスティック回帰モデルは実行されません。
	継続的な応答で。 XGBoostというこのオプションもここにあることに注意してください。
	表示される理由は、アドインがあり、実際にはオープンソースライブラリを使用しているためです。このアドインをインストールすると（JMPユーザーコミュニティで入手できます。
	XGBoostと呼ばれ、JMP Proでのみ機能します）が、このアドインをインストールすると、モデルのスクリーニングダイアログに自動的に表示されます。
	[OK]をクリックし、[OK]をクリックすると、これらの各プラットフォームが起動して起動します。
	そして、すべての結果を1つのウィンドウにまとめます。 だから私は大丈夫をクリックしました。 ここには多くのデータがないので、非常に高速です。
	そして詳細の下で、これらはすべて適合した個々のモデルです。 そして、これらのダイアログのいずれかを開くと、結果を確認でき、そのメニューから利用できる追加のオプションにアクセスできます。
	だから私は詳細を隠しておきます。 デフォルトでは、トレーニングデータの統計が報告されますが、検証データの結果が表示されるため、決定係数とRASEが表示されます。
	また、デフォルトでは、RASEの順に並べ替えられ、最も低いものが最適です。
	しかし、ここにいくつかの小さなショートカットオプションがあるので、最適なモデルを見つけたい場合、Rスクエアが一部のモデルに最適である可能性がありますが、RASEが他のモデルに適している場合は、[ドミナントを選択]をクリックします。
	そしてこの場合、それは神経ブーストを選択したので、これらすべてのモデルにわたって、最良のモデルは神経ブーストです。 そして、このモデルを詳しく調べたい場合は、ここのニューラルの下で詳細を見ることができます
	または、簡単に言うと、選択して実行します。
	これについては話しませんでしたが、ダイアログウィンドウにランダムシードを設定するオプションがあります。
	そして、そのランダムシードを設定すると、ここで起動する結果は、ここで表示されるものと同じになります。 だからこれは...これは
	TanH関数を使用する3つのノードを持つニューラルモデルですが、ブースティングも使用しています。 そのため、このプラットフォームを設計する際に、開発者はさまざまなモデルの最適な開始点と最適なデフォルト設定を決定するために多くのシミュレーションを行いました。
	したがって、神経ブーストが最適です。
	そして
	このモデルをデプロイできるようにしたい場合は、スクリプトを保存できます。
	または、実行することも、数式に保存することもできます。
	したがって、これは継続的な応答であり、赤い三角形の下に他のいくつかのオプションがあります。 カテゴリ別の応答がある場合はどうなりますか？ カテゴリ別の応答には、同じプラットフォームを使用できます。 もう一度、モデルのスクリーニングに行きます。
	[リコール]をクリックしますが、Yを使用する代わりにYバイナリを使用します。
	また、デフォルトのメソッドは変更しません。 乱数シードを入れるので、たとえば12345では、乱数を取得しているだけです。
	そして、これが行うことは、私に再現性を与えることです。 したがって、モデルをデータテーブルまたは数式デポに保存すると、
	統計はモデル内で同じになり、適合は同じになります。 ここに他のいくつかのオプションがあります。 レポートのようなものをオフにしたい場合があります。
	別の交差検定法を使用したい場合があるため、このプラットフォームにはK分割検定が含まれていますが、ネストされたK分割交差検定も使用されます。
	そして、これを繰り返すことができます。 とても素敵です。 データをトレーニングの検証とテストに分割するのが最善ではなく、K倍になる場合があります
	実際には少し良くなる可能性があります。 そして、下部にいくつかの追加オプションがあります。 したがって、双方向の交互作用を追加したい場合があります。 二次効果を追加したい場合があります。
	追加の方法では、これは追加の一般化された回帰方法に適合します。 先に進み、[OK]をクリックします。
	OK。 すべてのモデルを実行しますが、これも小さなデータセットです。 とても速いです。
	そうです、ルックアンドフィールは同じですが、統計は異なります。 だから私は誤分類率を持っています。 曲線の下に領域があります。 また、いくつかのR二乗測定値と、二乗平均平方根誤差もあります。
	[ドミナントを選択]をクリックします。ここでも、ドミナントメソッドはニューラルブーストです。
	さて、これらの異なるモデルのいくつかを探索できるようにしたい場合はどうなりますか？ そのため、ここでの誤分類は、段階的な場合よりもかなり少なくなります。
	AUCは似たようなもので、全体的に最低ですが、それほど良くはないかもしれません。 そして、これらのいくつかをつかまえさせてください。 したがって、これらのいくつかをクリックすると、多分私は...多分これらの4つ、これらの5つを選択します。
	モデルを比較するためにROC曲線を調べることに興味がある場合は、ROC曲線を見ることができます。
	また、モデルをオフにして特定のモデルに集中できるようにするための優れたコントロールがいくつかあります。
	そして、私が本当にワクワクしている新機能は、決定しきい値と呼ばれるものです。
	そして、決定のしきい値によって私たちが見ることができるものは、
	まず、トレーニングデータを確認します。これにより、データのスナップショットが得られます。
	また、誤分類率は、分類の0.5のカットオフに基づいています。 つまり、各モデルについて、実際に高い点と低い点が示されています。 そして、高に焦点を当てている場合、緑色の点は正しく高として分類されました。
	また、赤い領域にあるものは誤分類されているため、正しい分類と誤った分類が表示され、ここにあるすべての統計が報告されます
	そして、その下に、いくつかの異なるメトリックに加えて、誤った分類と真の分類を確認できるようにするための多くのグラフが表示されます。
	これを閉じて、
	検証データ。
	では、なぜこれが役立つのでしょうか。 さて、あなたはあなたが感度を最大化することに興味がある特定のシナリオを持っているかもしれません
	特定の特異性を維持しながら。 そして感度...そしてここにいくつかの定義があります。 感度は真の陽性率です。
	特異性は真の陰性率です。 これは...これは私たちが病気の進行を見たいシナリオなので、私たちは私たちがそうであることを確認したいです...私たちは高い感度を維持しています
	また、私たちの特異性が高いことを確認しながら、申し分なく。 これでできることは、ここにスライダーがあり、このスライダーをつかむことができるということです。
	分類のカットオフを変更すると、分類がどのように変化するかを確認できます。
	したがって、競合するモデルを検討している場合、これは非常に強力なツールだと思います。全体的に0.5のカットオフを持つモデルがある可能性があるため、誤分類率が最も高い可能性があります。
	ただし、分類のカットオフを変更すると、モデルごとにパフォーマンスが異なる可能性があるシナリオもあります。 したがって、たとえば、ここの特定の地域にいる場合、段階的モデルの方が実際に優れていることに気付くかもしれません。
	これをさらに説明するために、別の例を開きたいと思います。
	そして、この例はクレジットカードマーケティングと呼ばれています。
	そして、このシナリオを紹介するためだけにスライドに戻った場合。
	これは、
	クレジットカードのオファーの受け入れに関する市場調査に基づいた多くのデータがあります。
	応答は、オファーが受け入れられたということです。 そしてこれは、調査のオファーの5.5％だけが実際に受け入れられたシナリオです。
	今、私たちが興味を持っている要因があるので、提供されるさまざまな種類の報酬があります、
	メーラーにはさまざまな種類があります。 したがって、これは実際には計画された実験です。 私たちは、ある種、本当に、ある種、その部分を無視するつもりです...この研究のその側面。
	また、財務情報もあるので、この例では1つの目標に固執します。これは、オファーを受け入れる可能性が最も高い顧客を特定するという目標です。
	そして、最も可能性の高い顧客を特定できれば、このシナリオでは、オファーを受け入れ、残りを無視する可能性が高いサブセットにのみオファーを送信する可能性があります。 これがここでのシナリオです。
	そして、これらのデータを開きます。
	10,000件の観測があり、私の回答は申し出が受け入れられたというものです。
	また、スクリプトはすでにデータテーブルに保存されているので、エアマイル、メーラータイプ、収入レベル、信用格付け、およびその他のいくつかの財務情報があります。
	処理中です...保存スクリプトを実行しました。 すべてのモデルを実行しています。 そして、この場合、ニューラルはブーストされたニューラルを実行しているため、最も時間がかかります。
	さらに数秒かかります。 サポートベクターマシンを実行しています。 10,000を超える観測値がある場合、サポートベクターマシンはタイムアウトし、実際には実行されません。
	もう少しお話します。 私は検証を使用しているので、これには標準の検証を使用しています。ここには検証列があります。 この場合、0と1の列があり、JMPはトレーニングデータの0と検証データの0を認識します。
	はい。 そこに行きます。 さて、それは実行されました、そしてあなたが大きなデータテーブルを扱っているなら、あります...あなたが実行できるレポートがあります
	経過時間を確認します。 そして、このシナリオでは、サポートベクターマシンが実際に最も長い時間を要しました。これが、10,000を超える観測値がある場合に実行されない理由です。
	それでは、これらを見てみましょう。 したがって、ドミナントを選択した場合の最良のモデルは、ニューラルブーストと決定木ですが、ここで何かを指摘したいと思います。 誤分類率に注意してください。
	誤分類率は、サポートベクターマシンを除くすべてのモデルで同じです。 そして、なぜこれが当てはまるのですか？ さて、私が受け入れられたオファーの配布を実行する場合
	（これを少し大きくして、確認できるようにします）検証データに注目すると、観測値の.063％が「はい」であることに注意してください。 これはまさに私たちのモデルが予測したものです。
	そして、なぜそれがこれをしているのですか？
	もう一度、決定のしきい値を要求します。
	ここでこのグラフに注目すると、このグラフには多くの用途があります。この場合、分類のカットオフは.5であることがわかります。
	しかし、私たちの適合確率はどれもそれに近いものではありませんでした。 その結果、モデルは「いいえ」を「いいえ」として正しく分類しました。
	または、「はい」を「いいえ」に分類しました。 いずれの確率も0.5を超えていなかったため、何も「はい」として分類されることはありませんでした。 だから私がこの男を伸ばすと
	そうです、これら2つのモデルの違いがわかります。 そのため、神経ブーストの場合の最高確率は約.25であり、決定木の場合は約.15でした。
	また、デシジョンツリーの場合、デシジョンツリーは基本的に一連のバイナリ分割を実行しており、基本的にいくつかの予測値がありますが、ニューラルブーストでは、ポイントにランダムなパターンが表示されます。 それで、これを.12のようなものに変更させてください。
	そうです、そしてそれは.12で途切れました、実際、これをスライドさせると、私が低くなると、実際に取得し始めます（ここでメトリックをオンにします）いくつかの真のポジティブを取得し始めます。
	そして、私はいくつかの誤検知を取得し始めます。 これをドラッグすると、バーに表示されますが、バーは少し小さいですよね。 神経が後押しされ、私はいくつかの真陽性といくつかの偽陽性を見始めています。
	そして今、あなたはそれらを見始めます。 この最初のポイントのセットを通過するとすぐに、決定木のためにそれを見始めます。
	したがって、.5のカットオフを使用しても、これらのデータには意味がありません。また、私は...特異性の適切なレベルを維持しながら、最も感度の高いカットオフを見つけようとするかもしれません。
	この場合、これら2つの他の統計を指摘します。
	F1はF1スコアであり、これは実際に、真のポジティブをどれだけうまくキャプチャできるかを示す尺度です。
	MCCはマシューズの相関係数であり、これは4つの可能性のそれぞれの中でどれだけうまく分類されるかを示す良い尺度です。 だから私は持っています...
	私は、偽陽性、偽陰性、真陽性、真陰性を持つことができます。
	そして、私は実際にここのボックスに対応するとは言いませんでしたが、4つの異なるオプションがあります。 MCCは、マイナス1とプラス1の間にある相関係数であり、4つのボックスのそれぞれで4つごとにどのように予測するかを測定します。
	したがって、最大F1値または最大MCC値を与えるカットオフを調べたいと思うかもしれません。 そして、私がこのように下にドラッグするとしましょう。 それに注意してください
	感度が急速に高まり、特異度が低下し始めているので、おそらく0.5前後で、特異度が大幅に低下し始めているところに到達します。
	私はカットオフを見つけるかもしれません、そして一番下に利益マトリックスを設定するためのこのオプションがあります。 これを利益マトリックスとして設定すると、基本的に、このカットオフを使用して新しいデータをスコアリングできるようになります。
	したがって、これをここに設定して大丈夫です。これをデータテーブルまたは数式デポに保存すると、将来の予測でそのカットオフが使用されます。
	そしてこれは、私が実際に利益マトリックスに組み込むことができるいくつかの財務情報を持っているかもしれないシナリオです。
	したがって、たとえば、スライダーを使用してカットオフを選択する代わりに、分類に関連するドルの値についてある程度の知識があるかもしれません。 そして多分実際の応答がノーなら、
	しかし、私は彼らに申し出を送るので、そうです、彼らはそうなるだろうと思います、そして私は彼らに申し出を送ります。 多分これは私に5ドルかかるでしょう、そうです、それで私はそこに負の値を持っています。
	そして多分私は潜在的な利益のいくつかの考えを持っているので、多分利益...この期間の潜在的な利益は100ドルであり、多分私はいくつかの機会を失っています。 多分私は言う、あなたが知っている、それは-100なら
	その人は実際に応答したでしょうが、私は彼らに申し出を送りませんでした。 したがって、これは機会を失った可能性があり、時にはこれを空白のままにします。 代わりにこれを使用すると、
	表示される追加情報があるので、利益マトリックスがあることが認識されます。 そして今、私が測定基準を見れば、私はこの利益に基づいて自分の最良のモデルを決定することができます。
	したがって、私はこの追加情報を意思決定に取り入れています。利益マトリックスがある場合と、それを直接使用できる場合と、使用できない場合があります。 そしてこれは、ニューラルブーストモデルが私に最高の全体的な利益をもたらすことがわかるケースの1つです。
	これはモデルのスクリーニングの概要です。スライドに戻りましょう。
	そして、私たちはここで何を見ましたか？ さて、私たちは予測モデリングについて話しました
	予測モデリングが説明モデリングとどのように異なる目標を持っているか。 したがって、ここでの目標は、将来の結果を正確に予測または分類することであるため、将来の観測値をスコアリングする必要があります。
	そして、通常、検証を使用して多くのモデルを適合および比較し、最も正確に予測する最良の仕事をするモデルまたはモデルの組み合わせを選択します。
	モデルスクリーニングはこのワークフローを実際に合理化するため、1つのプラットフォームで同時に多くの異なるモデルに適合させることができます。
	そして、私は実際にはデフォルトのみを使用したので、実際にそこに収まるよりもはるかに洗練されたモデルに収まることができます。 これにより、主要なモデルを選択し、モデルの詳細を調べることが非常に簡単になります。 新しいモデルに合わせることができます
	詳細から。 この決定しきい値は、カテゴリデータを扱っている場合、分類のカットオフを調査することを可能にし、利益マトリックスを含める機能も統合します。
	また、選択したモデルについて、モデルを数式デポにデプロイしたり、データテーブルに保存したりできます。 つまり、本当に強力な新しい新しいツールです。
	詳細については。 F1スコアとマシューズ相関係数を見る前に知っていた分類メトリックは、これらの統計は私にとって比較的新しいものでした。
	感度と特異性を理解するために、このウィキペディアの投稿には、いくつかの本当に素晴らしい例と本当に素晴らしい議論があります。
	予測モデリングやモデルスクリーニングのための本当に素晴らしいリソースもいくつかあります。 JMPユーザーコミュニティには、ビデオにアクセスできる新しいパス、LearnJMPがあります。
	JMPシリーズのビデオをマスターする。 昨年、ツーソンのJMPディスカバリーで、ルース・フンメルとメアリー・ラブレスによる、どのモデルについての素晴らしい講演があります。
	そして、これは、さまざまなモデリングの目標について、また各モデルをいつ使用したいかについて話すのに役立ちます。
	予測モデリングを初めて使用する場合、無料のオンラインコースであるSTIPSは、産業上の問題解決のための統計的思考であり、モジュール7は予測モデリングの概要です。
	だから私はこれをお勧めします。 私が指摘する糖尿病データを使用するモデルスクリーニングブログがあります。また、この本の第2版、Building Better Models with JMPProがあることも指摘したいと思います。
	それは次の数ヶ月以内に出てくるでしょう。 彼らはまだ新しい表紙を持っていません、しかし彼らはそうするつもりです...彼らはその本にモデルスクリーニングを含みます。
	だから私が持っているのはそれだけです。 この投稿にコメントを投稿したり、質問をしたりしてください。残りの会議を楽しんでいただければ幸いです。 ありがとうございました。

サミットのベスト起こる予測モデリング