349255_ja-JP

liliconcom

モデル スクリーニング: 予測モデリング ワークフローの合理化 (2021-EU-30MP-781)

レベル: 中級

 

Mia Stephens 氏、SAS、JMP プリンシパル プロダクト マネージャー

 

予測モデリングとは、目的の結果を最も正確に予測するモデルまたはモデルの組み合わせを見つけることです。 ただし、すべての問題 (およびデータ) が同じように作成されるわけではありません。 どのようなシナリオであっても、適合できる予測モデルがいくつかありますが、すべての問題に最適な 1 つのタイプのモデルはありません。 場合によっては、回帰モデルが最高のパフォーマンスを発揮する可能性があります。他の場合には、それはツリーベースのモデルまたはニューラル ネットワークである可能性があります。

最高のパフォーマンスのモデルを検索するには、相互検証を使用して、利用可能なすべてのモデルを一度に 1 つずつ適合させることができます。 次に、個々のモデルをデータ テーブルまたはフォーミュラ デポに保存し、モデル比較を使用して検証セット上のモデルのパフォーマンスを比較し、最適なモデルを選択します。 JMP Pro 16 の新しいモデル スクリーニング プラットフォームにより、このワークフローが合理化されました。 このトークでは、モデル スクリーニングを使用して、最もパフォーマンスの高い予測モデルを同時に適合、検証、比較、探索、選択し、デプロイする方法を学びます。

 

 

自動生成されたトランスクリプト...

 

スピーカー	成績証明書
ミア・スティーブンス	モデルのスクリーニング。
	予測モデリングを使用した作業を行うと、モデル スクリーニングが予測モデリングのワークフローを合理化するのに役立つことがわかります。
	そこで、この講演では、予測モデリングの概要を説明し、JMP で使用できるさまざまなタイプの予測モデルについて説明します。
	より広範な分析ワークフロー内の予測モデリング ワークフローについて説明し、モデル スクリーニングがこのワークフローの合理化にどのように役立つかを見ていきます。
	検証データを使用して競合モデルを比較するためのいくつかの指標について説明し、JMP Pro でいくつかの例を見ていきます。
	まず、予測モデリングと予測モデリングとは何なのかについて少し説明しましょう。
	おそらく回帰分析を経験したことがあると思いますが、回帰は説明モデリングの一例です。 回帰では、通常、モデルの構築に関心があります。
	応答、または 1 つ以上の X の関数としての Y については、異なるモデリング目標がある可能性があります。 重要な変数を特定することに興味があるかもしれません。 では、キーとなる X、つまりキーとなる入力変数は何でしょうか。
	たとえば、問題解決の場面で、問題に対処するために重点的に取り組むことはできるでしょうか?
	入力変数の関数として応答が平均してどのように変化するかを理解することに興味があるかもしれません。
	X の 1 単位の変化は、Y の 5 単位の変化に関連付けられます。 つまり、これは古典的な説明モデリングであり、学校で統計を学んだことがあるなら、おそらくこれが回帰について学ぶ方法です。
	ここで対照的に、予測モデリングには少し異なる目標があります。 予測モデリングにおける私たちの目標は、将来の結果を正確に予測または分類することです。
	したがって、応答が継続的である場合、次の観察、次の結果をできるだけ正確に予測できるようにしたいと考えます。
	そして、応答がカテゴリー的である場合、分類に興味があります。 そして再び、私たちは現在のデータを使用して、将来個人レベルで何が起こるかを予測することに興味があります。
	また、多くの異なるモデルを当てはめて比較することもあり、予測モデリングではより高度なモデルを使用することもあります。 ニューラル ネットワークなどの機械学習手法を使用する場合があります。
	また、これらのモデルの中には解釈が容易ではないものもあり、その多くには設定できるさまざまな調整パラメータが多数あります。 その結果、予測モデリングでは過剰適合の問題が発生する可能性があります。
	過剰適合とは、必要以上に複雑なモデルを適合させることを意味します。
	したがって、予測モデリングでは通常検証を使用しますが、使用できる検証にはいくつかの異なる形式があります。
	私たちはモデルの比較と選択に検証を使用します。基本的に、検証は過学習だけでなく過小学習からも保護します。
	アンダーフィッティングとは、必要なほど複雑ではないモデルをフィッティングすることです。 データの構造を実際に捉えているわけではありません。
	さて、スライドの最後にある付録では、検証が重要である理由を説明するいくつかのスライドを取り出しましたが、この講演の焦点として、予測モデルに適合するときに検証を使用するだけです。
	JMP Pro に適合できるモデルにはさまざまなタイプがあり、これがすべてを網羅したリストではありません。
	いくつかの異なるタイプの回帰モデルを当てはめることができます。 連続応答がある場合は、線形回帰モデルを当てはめることができます。
	応答がカテゴリカルである場合、ロジスティック回帰モデルですが、一般化線形モデルを近似し、回帰手法にペナルティを課すこともでき、これらはすべて近似モデル プラットフォームからのものです。
	予測モデリング プラットフォームには多くのオプションがあるため、ニューラル ネット、ブースティングを備えたニューラル ネット、さまざまな数のレイヤーとノード、
	分類および回帰ツリー、より高度なツリーベースの手法、およびその他のいくつかの技術。
	また、多変量解析プラットフォームからの予測モデリング オプションもいくつかあるため、識別分析を行うことができます。
	と部分最小二乗は 2 つの異なるもので、予測モデリングに使用できる 2 つの追加タイプのモデルです。 ちなみに、部分最小二乗法もfitモデルから利用できます。
	そしてなぜこれほど多くのモデルがあるのでしょうか?
	予測モデリングでは、誰もモデル化していないことがよくあります。
	またはモデリング タイプが常に最適に機能します。 特定の状況では、ニューラル ネットワークが最適である可能性があり、ニューラル ネットワークは一般的に非常に優れたパフォーマンスを発揮します。
	ただし、他のケースでは、より単純なモデルが実際に最高のパフォーマンスを発揮する場合もあるため、データに最もよく適合し、最も正確に予測するモデルのタイプは、主に応答に基づいていますが、データの構造にも基づいています。
	したがって、最も正確に適合するモデル、または最も正確に予測するモデルを見つける前に、いくつかの異なるタイプのモデルを適合させ、これらのモデルを比較することがあります。
	したがって、より広範な分析ワークフローの中で、解決しようとしているある種の問題から始めて、データを編集し、データを準備し、データを探索します。
	予測モデリングは、モデルの分析と構築では機能しません。 そして、典型的な予測モデリングのワークフローは次のようになり、検証を行ってモデルを適合させます。
	次に、その式をデータテーブルに保存するか、式デポに公開します。
	次に、別のモデルを当てはめ、これを繰り返すので、いくつかの異なるモデルを当てはめることができます。
	そしてこれらのモデルを比較します。 JMP Pro では、モデル比較プラットフォームを使用してこれを行うことができ、検証データでモデルのパフォーマンスを比較し、最適なモデルまたは最適な組み合わせモデルを選択して、モデルをデプロイします。
	モデル スクリーニングとの違いは、モデルのフィッティングと比較、この選択のすべてが 1 つのプラットフォーム、つまりモデル スクリーニング プラットフォーム内で行われることです。
	そこで、皆さんがよく知っているであろう例を使用します。コミュニティに投稿されているこれらのデータを使用したモデル スクリーニングに関するブログがあり、これらが糖尿病データです。
	したがって、研究者はベースラインから 1 年後の病気の進行速度を予測したいというシナリオになります。
	したがって、いくつかのベースライン測定があり、その後 2 つの異なるタイプの応答が得られます。
	応答 Y は定量的な尺度、つまり継続的な尺度です。したがって、これは病気の進行速度であり、次に 2 番目の応答である Y Binary (高低) があります。
	したがって、Y Binary は、高い進行率または低い進行率を表すことができます。
	そして、ここでの予測モデリングの目標は、病気が進行する可能性が最も高い患者を予測して、是正措置を講じることができるようにすることです。
	これを防ぐために。 そこで、これらの両方の応答に対する JMP Pro でのモデルの当てはめを見ていき、モデル スクリーニングを使用して同じモデルを当てはめる方法を見ていきます。
	JMP に戻る前に、予測モデルをどのように比較するかについて少しお話したいと思います。
	検証セットまたはテストセットの予測モデルを比較します。 つまり、基本的に私たちがやっていることは、トレーニング データと呼ばれるデータのサブセットにモデルを当てはめることです。
	次に、そのモデルを提供されたデータ (通常、これらを検証データと呼びます) に当てはめて、モデルがどの程度うまく機能するかを確認します。
	また、連続応答がある場合は、誤差の尺度を使用できるため、ルート平均二乗誤差 (RMSE) または RASE (ルート平均二乗誤差) が予測誤差の尺度になります。
	AAE、MAD、MAE、これらは平均誤差の尺度であり、使用できる異なる R 二乗尺度があります。
	カテゴリ別の応答を得るために、最も多くの場合、エラーまたは誤分類の尺度に関心があります。
	また、ROC 曲線、AUC (曲線下面積)、感度、特異度、偽陽性、偽陰性率を調べることにも興味があるかもしれません。
	F1 スコアと MCC (マシューズ相関係数)。
	それでは、JMP に切り替えましょう。
	それは置いておいて、糖尿病のデータを開いてみましょう。
	そして、これを大きくして見えるようにしましょう。
	これがデータです。 そこには...442 人の患者に関する情報があり、再び応答 Y が得られました。これは継続的であり、これは 1 年後の病気の進行量です。 そして、Y から始めますが、2 番目の変数である Y Binary もあります。
	基本情報を入手しました。
	そして列の検証もあります。 もう一度検証します。モデルをフィッティングするときは、トレーニング データのみを使用してモデルをフィッティングします。検証データを使用して、モデルの成長をいつ停止するかを指示し、モデルがどの程度良好であるかの尺度を提供します。モデルは実際に適合します。
	この列を構築するには、予測モデリングの下にモデル検証列と呼ばれるユーティリティがあります。
	これにより、検証列を構築するための多くのオプションが提供されるため、データをトレーニング検証とテスト セットに分割できます。
	そして、ほとんどの場合、データをサブセットに分割するこの種の手法を使用している場合、
	テストセットを用意することをお勧めします。 テスト セットがあると、モデルの構築やモデルの成長の停止に使用されなかったデータでモデルのパフォーマンスを評価できるため、このテスト セットがない場合でも、テスト セットを使用することをお勧めします。場合。
	したがって、応答を最も正確に予測するモデルを見つけたいとします。 ご覧のとおり、さまざまなモデルから選択できます。
	まずはフィットモデルから始めます。
	そして、これは通常、良い出発点となります。
	そこで、応答として Y、モデル効果として X を使用して回帰モデルを構築します。この時点では主効果のみを入れます。 そして検証列を追加します。
	さて、モデルの適合ですが、ここでのデフォルトは標準の最小二乗法になりますが、適合できるモデルにはさまざまなタイプがあります。
	最小二乗モデルを実行するだけです。
	ここでいくつか指摘しておきたい点があります。 ここのマーカー、V に注目してください。
	モデルをトレーニング データに適合させますが、モデルが検証データでどの程度うまく機能するかも確認したいので、V が付いたこれらのマーカーはすべて検証セット内の観測値であることに注意してください。
	検証があるため、ここには相互検証セクションがあり、トレーニング セット、検証セット、そして RASE の R 平方を調べることができます。
	そして、多くの場合、検証統計がトレーニング統計よりも若干悪いことがわかり、数値が離れていればいるほど、モデルが過剰適合しているか過小適合していることを示すことができます。
	ここでもう 1 つ指摘しておきたいのですが、これはこの講演の範囲を超えています。それはこの予測プロファイラーです。
	そして予測プロファイラー
	実はこれが私が初めて JMP を使い始めた理由の 1 つです。 これはモデルを理解するための非常に強力な方法です。
	したがって、任意の X の値を変更して、予測された応答に何が起こるかを確認できます。これは平均です。
	これらのモデルでは、平均を予測しています。 しかし、これらのバンドが総コレステロールと LDL、HDL に対してどのように広がっているかに注目してください。 これは、これらの地域ではデータが存在しないためです。
	新しい機能について、すぐに指摘したいのですが、これはこの話の範囲を超えていますが、これは外挿制御と呼ばれるものです。 警告をオンにしてドラッグすると
	総コレステロールは、外挿の可能性があることを示していることに注目してください。 これは、本当にデータがない領域で予測しようとしていることを示しています。
	この外挿コントロールをオンにすると、このバーや線が切り捨てられるので、基本的にその領域では予測できないことを示していることに注意してください。 したがって、モデルをフィッティングする場合は、これをチェックしてみるとよいでしょう。 本当に強力なツールです。
	それで、すべての診断作業が完了したとしましょう。 このモデルを縮小したので、結果を保存できるようにしたいと考えています。
	そうですね、これを行うにはいくつかの方法があります。 赤い列に移動し、列を保存し、予測式を保存できます。
	これにより、構築したばかりの線形モデルがデータ テーブルに保存されます。 したがって、ここの背景に表示されます。 そして、このデータ テーブルに新しい値を追加すると、応答が自動的に予測されます。
	ただし、モデルを別の形式で保存したい場合があるので、そのためには、
	このフォーミュラをフォーミュラデポに送ります。 そして、数式デポは実際にはデータ テーブルから独立していますが、これによりスクリプトをコピーして、新しいデータを含む別のデータ テーブルに貼り付けて、新しいデータをスコアリングできるようになります。
	あるいは、別の言語でコードを生成して、これをある種の実稼働システム内にデプロイできるようにしたい場合もあります。
	これで閉じさせていただきます。 これはほんの 1 つのモデルです。 より複雑または洗練されたモデルを適合させた場合、パフォーマンスが向上する可能性はありますか?
	なので、別のモデルにも合うかもしれません。 それで、たとえば、私は...リコールを押すつもりです。 回帰を一般化するために、性格を標準の最小二乗法から変更するかもしれません。
	これにより、さまざまな応答分布を指定できるようになります。 そして、私は通常のままにして実行をクリックします。
	したがって、これにより、さまざまなペナルティ付きメソッドを適合させ、さまざまな変数選択テクニックを使用できるようになります。 一般化回帰をまだ調べていない場合は、
	これは、非常に強力で非常に柔軟な最新のモデリング プラットフォームです。 [実行]をクリックするだけです。 そして、私がこのモデルに当てはまるとしましょう
	このモデルを、すでに保存したモデルと比較できるようにしたいと考えています。 そこで、予測式をデータ テーブルに保存するかもしれません。 これで、データテーブルの背景に別の列ができました。
	あるいは、またこれを公開したいと思うかもしれません
	に
	式の詳細なので、ここには 2 つの異なるモデルがあります。 そして、私は続けることができます。 したがって、これは一般化回帰からの 1 つのモデルにすぎません。 いくつかの異なるタイプにも適合します
	予測モデリング メニューからの予測モデル。たとえば、ニューラル ネットワーク、パーティション、ブートストラップ フォレスト、ブースト ツリーなどです。
	ここで、通常、私がしなければならないことは、これらすべてのモデルを適合させ、結果をデータ テーブルまたはフォーミュラ デポに保存することです。
	データ テーブルを参照すると、このモデル比較プラットフォームを使用して、さまざまな競合モデルを比較できます。 モデルはたくさんあるかもしれませんが、ここでは 2 つだけです。
	実際には、モデルが何であるかを指定する必要はなく、検証を指定するだけで済みます。 そして私は実際、ここの by フィールドに検証を入れるのが好きです。
	これにより、トレーニング セットと検証セットの両方の適合統計が得られます。検証ステップの統計のみを確認します。 したがって、これを使用して、最高のパフォーマンスのモデルを選択することにします。
	そして、私が興味があるのは、R 二乗のより高い値、RASE (二乗平均平方根誤差) のより低い値、そして平均絶対誤差のより低いことです。 そして、これら 2 つのモデルの間では、この適合最小二乗回帰モデルが最も優れているようです。
	さて、考えられるすべてのモデルを適合させようとすると、これは非常に時間がかかる可能性があります。 したがって、これを行う代わりに、JMP Pro 16 の新機能はモデル スクリーニングと呼ばれるプラットフォームです。
	モデル スクリーニングを起動すると、これまで見てきたように、上部にダイアログが表示されるので、これに入力していきます。
	検証を追加しますが、ご覧のとおり、複数の異なるモデルを選択し、これらの異なるモデルをすべて一度に適合させることができます。
	つまり、デシジョン ツリー、ブートストラップ フォレスト、ブースト ツリー、K 最近傍、そうですね、これらすべてのモデルを当てはめることができます。
	また、意味のないモデルは実行されないので、オプションの 1 つとして連続応答ロジスティック回帰を選択しています。ロジスティック回帰モデルは実行されません。
	継続的な応答が得られます。 XGBoost というオプションもここにあることに注意してください。
	表示される理由は、アドインがあり、実際にオープン ソース ライブラリを使用しているためです。このアドインをインストールすると (JMP ユーザー コミュニティで入手できます)、
	これは XGBoost と呼ばれ、JMP Pro でのみ機能します) が、このアドインをインストールすると、モデル スクリーニング ダイアログに自動的に表示されます。
	[OK] をクリックするだけです。[OK] をクリックすると、これらのプラットフォームがそれぞれ起動されます。
	そして、すべての結果を 1 つのウィンドウに取り込みます。 それで「OK」をクリックしました。 ここにはそれほど多くのデータがないので、非常に高速です。
	そして、詳細の下に、これらはすべて適合した個々のモデルです。 これらのダイアログのいずれかを開くと、結果が表示され、そのメニューから利用できる追加オプションにアクセスできます。
	なので、詳細は伏せておきます。 デフォルトでは、トレーニング データの統計が報告されますが、検証データの結果も表示されるため、R 2 乗と RASE を確認できます。
	デフォルトでは、RASE の順にソートされ、最も低いものが最適です。
	ただし、ここには小さなショートカット オプションがいくつかあるので、最適なモデルを見つけたくて、一部のモデルでは R 2 乗が最適だが、他のモデルでは RASE の方が優れている可能性がある場合は、[優勢選択] をクリックします。 。
	そしてこのケースでは、ニューラル ブーストが選択されたため、これらすべてのモデルにわたって、最適なモデルはニューラル ブーストです。 このモデルを詳しく調べたい場合は、ニューラルの下で詳細を確認することができます。
	または、単純に「選択して実行」とも言えます。
	これについては説明しませんでしたが、ダイアログ ウィンドウにはランダム シードを設定するオプションがあります。
	そして、そのランダムシードを設定すると、ここで起動される結果はここで見られるものと同じになります。 これは...これは
	TanH 関数を使用した 3 つのノードを持つニューラル モデルですが、ブースティングも使用しています。 そのため、このプラットフォームを設計する際に、開発者はさまざまなモデルに最適な開始点と最適なデフォルト設定を決定するために多くのシミュレーションを行いました。
	つまり、ニューラルブーストが最高です。
	そして
	このモデルをデプロイできるようにしたい場合は、スクリプトを保存することができます。
	あるいは、それを実行したり、より深い数式に保存したりすることもできます。
	つまり、これは継続的な応答の場合であり、赤い三角形の下に他のオプションがいくつかあります。 断定的な返答があった場合はどうすればよいですか? 明確な応答の場合は、同じプラットフォームを使用できます。 ということで、またモデル審査に行ってきます。
	「Recall」をクリックしますが、Y を使用する代わりに、Y Binary を使用します。
	デフォルトのメソッドを変更するつもりはありません。 ランダムなシードを入れるので、たとえば 12345 というように、乱数を取得するだけです。
	これにより、再現性が得られます。 したがって、モデルをデータテーブルまたはフォーミュラデポに保存すると、
	統計はモデル内で同じになり、適合も同じになります。 その他のオプションがいくつかあります。 レポートなどの一部の機能をオフにすることもできます。
	別の相互検証方法を使用したい場合があるため、このプラットフォームには K 分割検証が含まれていますが、ネストされた K 分割相互検証も使用されます。
	そしてこれを繰り返すことができます。 とても素敵です。 データをトレーニング検証とテストに分割することが最善ではなく、K 倍になる場合があります。
	実際にはもう少し良くなる可能性があります。 そして、下部には追加のオプションがいくつかあります。 したがって、双方向のインタラクションを追加する必要があるかもしれません。 二次効果を追加することもできます。
	追加のメソッドでは、これは追加の一般化回帰メソッドに適合します。 したがって、そのまま「OK」をクリックします。
	わかりました。 すべてのモデルを実行しますが、やはり、これは小さなデータセットです。 とても早いですね。
	そうです、見た目と雰囲気は同じですが、統計は異なります。 これで誤分類率が分かりました。 カーブの下のエリアがあります。 また、R 二乗測定値と二乗平均平方根誤差も取得しました。
	[ドミナントの選択] をクリックします。やはり、ドミナント メソッドはニューラル ブーストです。
	さて、これらのさまざまなモデルのいくつかを探索できるようにしたい場合はどうすればよいでしょうか? したがって、ここでの誤分類は段階的誤分類よりもかなり低い値になります。
	AUC も同様で、全体的に最低ですが、それほど優れているわけではないかもしれません。 そして、これらのいくつかを手に入れましょう。 したがって、これらのいくつかをクリックすると、おそらく...おそらく、これら 4 つ、これら 5 つを選択することになるでしょう。
	ROC 曲線を見てモデルを比較したい場合は、ROC 曲線を確認できます。
	ここには、モデルをオフにして特定のモデルに集中できるようにするための優れたコントロールがいくつかあります。
	そして、私が本当に楽しみにしている新機能は、決定しきい値と呼ばれるものです。
	そして、決定閾値によって何が確認できるのか、
	そして、トレーニング データを調べることから始まり、データのスナップショットが得られます。
	また、誤分類率は分類のカットオフ 0.5 に基づいています。 各モデルについて、実際に高かったポイントと低かったポイントが表示されます。 そして、高音に焦点を当てている場合、緑色の点は正しく高音として分類されています。
	赤い領域にあるものは誤って分類されたため、正しい分類と誤った分類が表示され、すべての統計がこちらに表示されます。
	そしてその下には、いくつかの異なる指標と、誤った分類と真の分類を確認できる多数のグラフが表示されます。
	これを閉じて見てみます
	検証データ。
	では、なぜこれが役立つのでしょうか? そうですね、感度を最大化することに興味がある特定のシナリオがあるかもしれません。
	一定の特異性を維持しながら。 そして感受性…そしてここにはいくつかの定義があります。 感度は真の陽性率です。
	特異度は真陰性率です。 これは...これは病気の進行を調べたいシナリオなので、...高い感度率を維持していることを確認したいのです。
	同時に、特異性が高いことも確認します。 これで何ができるかというと、ここにスライダーがあり、このスライダーをつかむことができます。
	分類のカットオフを変更すると、分類がどのように変化するかがわかります。
	したがって、競合モデルを検討する場合、これは非常に強力なツールだと思います。全体のカットオフが 0.5 であるモデルがあり、誤分類率が最も優れている可能性があるためです。
	ただし、分類のカットオフを変更すると、モデルごとにパフォーマンスが異なる可能性があるシナリオも考えられます。 したがって、たとえば、私がここの特定の地域にいる場合、実際には段階的モデルの方が優れていることがわかるかもしれません。
	これをさらに説明するために、別の例を挙げたいと思います。
	この例はクレジット カード マーケティングと呼ばれます。
	このシナリオを紹介するためにスライドに戻ってみましょう。
	これは次のようなシナリオです。
	私たちは、クレジット カードのオファーの受け入れに関する市場調査に基づいた多くのデータを入手しています。
	応答は、オファーが受け入れられたかどうかです。 そしてこれは、調査のオファーのうち実際に受け入れられたのは 5.5% だけだったというシナリオです。
	ここで私たちが興味を持っている要素があるため、さまざまな種類の報酬が提供されています。
	メーラーにはさまざまな種類があります。 したがって、これは実際には計画された実験です。 私たちは、その部分、つまりこの研究のその側面を、ある意味、本当に、ある意味無視するつもりです。
	また財務情報もあるので、この例では 1 つの目標に固執します。それが、オファーを受け入れる可能性が最も高い顧客を特定するという目標です。
	そして、最も可能性の高い顧客を特定できれば、このシナリオでは、オファーを受け入れる可能性が高いサブセットにのみオファーを送信し、残りは無視することができます。 それがここでのシナリオです。
	そしてこれらのデータを開いていきます。
	10,000 件の観察結果があり、私の返答はオファーが受け入れられたというものです。
	スクリプトはすでにデータ テーブルに保存しているので、航空マイル、郵便物の種類、収入レベル、信用格付け、その他いくつかの財務情報が得られます。
	貫通しています...保存スクリプトを実行しました。 すべてのモデルを実行しています。 この場合、ニューラルはブーストされたニューラルを実行しているため、最も時間がかかります。
	さらに数秒かかります。 サポートベクターマシンを実行しています。 10,000 件を超える観測がある場合、サポート ベクター マシンはタイムアウトになり、実際には実行されません。
	もうちょっと待ってみます。 私は検証を使用しているので、これには検証列がある標準の検証を使用しています。 この場合、0 と 1 の列があり、JMP はトレーニング データの 0 と検証データの 1 を認識します。
	わかった。 そこに行きます。 さて、実行されました。大規模なデータテーブルを扱っている場合は、実行できるレポートがあります。
	経過時間を確認します。 そして、このシナリオでは、実際にはサポート ベクター マシンに最も長い時間がかかりました。これが、10,000 件を超える観測値がある場合にサポート ベクター マシンが実行されない理由です。
	それでは、これらを見てみましょう。 したがって、ドミナントを選択した場合の最良のモデルは、ニューラル ブーストとデシジョン ツリーですが、ここで指摘しておきたいことがあります。 誤分類率に注目してください。
	誤分類率は、サポート ベクター マシンを除くすべてのモデルで同一です。 そして、なぜこのようなことが起こるのでしょうか? さて、受け入れられたオファーの配布を実行すると
	(見えるように少し大きくしてみます) そして検証データに焦点を当てて、観測結果の 0.063% が「はい」であることに注目してください。 これはまさに私たちのモデルが予測したことです。
	そして、なぜこのようなことをするのでしょうか?
	改めて判断基準を聞いてみます。
	ここでこのグラフに焦点を当てます。このグラフには多くの用途があります。この場合、分類のカットオフが 0.5 であることがわかります。
	しかし、私たちが当てはめた確率はどれもそれに近いものはありませんでした。 その結果、モデルは「いいえ」を「いいえ」として正しく分類しました。
	または、「はい」を「いいえ」として分類しました。 どの確率も 0.5 を超えなかったため、何も [はい] として分類されることはありませんでした。 それでこの人を伸ばすと、
	そうですね、これら 2 つのモデルの違いはわかります。 そのため、最高の確率は、ニューラル ブーストの場合は約 0.25 であり、デシジョン ツリーの場合は約 0.15 でした。
	そして、デシジョン ツリーの場合、デシジョン ツリーは基本的に一連のバイナリ分割を実行しており、基本的にいくつかの予測値を取得していますが、ニューラル ブーストを使用すると、ポイントに素晴らしいランダム パターンが表示されることに注目してください。 これを.12 のようなものに変更しましょう。
	そうです、そしてそれは 0.12 で切れています。実際、これをスライドさせてみると、値が低くなるほど、実際に値が上がり始めていることに注目してください (ここでメトリクスをオンにします) いくつかの真の陽性値が得られ始めます。
	そして、いくつかの誤検知が発生し始めます。 これをドラッグするとバーに表示されますが、バーは少し小さいですね。 神経が強化され、いくつかの真陽性といくつかの偽陽性が見え始めています。
	そして今、あなたはそれらを見始めます。 この最初の一連のポイントを通過するとすぐに、それをデシジョン ツリーとして確認し始めます。
	したがって、これらのデータに対して 0.5 のカットオフを使用することは意味がありません。また、私は...適切なレベルの特異性を維持しながら、最も感度が高いカットオフを見つけようとするかもしれません。
	この場合、他の 2 つの統計について指摘します。
	F1 は F1 スコアであり、これは真の陽性結果をどれだけうまく捉えることができるかを示す尺度です。
	MCC はマシューズの相関係数であり、これは 4 つの可能性のそれぞれ内でどの程度適切に分類されているかを示す良い尺度です。 それで私は...
	偽陽性、偽陰性、真陽性、真陰性の可能性があります。
	実際にはここのボックスに対応することは言いませんでしたが、4 つの異なるオプションがあります。 MCC はマイナス 1 とプラス 1 の間にある相関係数で、4 つのボックスのそれぞれでどのように予測するかを測定します。
	したがって、最大 F1 値または最大 MCC 値を与えるカットオフを調べたいと思うかもしれません。 そして、ここまで引きずったとしましょう。 注目してください
	感度は急速に向上しており、特異度は低下し始めています。つまり、おそらく 0.5 くらいです。特異度が大幅に低下し始める点に達しています。
	カットオフが見つかる可能性があり、一番下に利益マトリックスを設定するオプションがあります。 これを利益マトリックスとして設定すると、基本的には、このカットオフを使用して新しいデータをスコアリングできるようになります。
	ここでこれを設定して [OK] をクリックすると、これをデータ テーブルまたはフォーミュラ デポに保存すると、将来の予測でそのカットオフが使用されます。
	これは、利益マトリックスに組み込むことができる財務情報を実際に入手できる可能性があるシナリオです。
	したがって、たとえば、スライダーを使用してカットオフを選択する代わりに、分類に関連付けられたドルの価値についてある程度の知識があるかもしれません。 そして、おそらく実際の反応がノーであれば、
	でも、私は彼らにオファーを送ります。だから、イエス、私は彼らがイエスになると思います、そして私は彼らにオファーを送ります。 おそらくこれには 5 ドルかかるので、マイナスの値になります。
	そして、おそらく私は潜在的な利益についてある程度の考えを持っているので、おそらく利益...この期間の潜在的な利益は100ドルであり、おそらく機会損失があるかもしれません。 おそらく私は、次の場合は -100 だと言うでしょう。
	その人は実際には応じたでしょうが、私は彼らにオファーを送りませんでした。 したがって、おそらくこれは機会損失であり、場合によってはこれを空白のままにすることがあります。 代わりにこれを使用すると、
	いくつかの追加情報が表示されるため、利益マトリックスがあることが認識されます。 そして、メトリクスを確認すると、この利益に基づいて最適なモデルを決定できるようになります。
	したがって、私はこの追加情報を意思決定に取り入れていますが、利益マトリックスがあり、それを直接使用できる場合もあれば、使用できない場合もあります。 これは、ニューラル ブースト モデルが全体として最大の利益をもたらすことがわかるケースの 1 つです。
	これはモデルのスクリーニングの概要であり、スライドに戻りましょう。
	そして、私たちはここで何を見たのでしょうか？ さて、予測モデリングについて話しました
	そして、予測モデリングには説明モデリングとは異なる目標があることを説明します。 したがって、ここでの目標は、将来の結果を正確に予測または分類することであり、将来の観察をスコアリングしたいと考えています。
	そして通常は、検証を使用して多くのモデルを適合および比較し、最良の仕事をし、最も正確に予測するモデルまたはモデルの組み合わせを選択します。
	モデル スクリーニングはこのワークフローを非常に合理化し、1 つのプラットフォームで同時に多くの異なるモデルを適合させることができます。
	実際にはデフォルトのみを使用したため、実際に適合するモデルよりもはるかに洗練されたモデルを適合させることができます。 これにより、主要なモデルを選択したり、モデルの詳細を探索したりすることが非常に簡単になります。 新しいモデルにも対応できます
	詳細から。 カテゴリ データを扱っている場合、この決定しきい値を使用すると、分類のカットオフを調査できるほか、利益マトリックスを含める機能も統合されます。
	また、選択したモデルについては、そのモデルをフォーミュラ デポに展開したり、データ テーブルに保存したりできます。 本当に強力な新しいツールです。
	詳細については。 分類メトリクスは、F1 スコアとマシューズの相関係数を見る前から知っていましたが、これらの統計は私にとって比較的新しいものでした。
	感度と特異性を理解するために、この Wikipedia の投稿には、本当に素晴らしい例と、本当に素晴らしい議論がいくつか掲載されています。
	予測モデリングやモデル スクリーニングのための非常に優れたリソースもいくつかあります。 JMP ユーザー コミュニティには、ビデオにアクセスできる新しいパス「Learn JMP」があり、
	JMPシリーズのビデオをマスタリングします。 昨年ツーソンで開催された JMP Discovery で、ルース・ハメル氏とメアリー・ラブレス氏がどのモデルをいつ使用するかについて、本当に素晴らしい講演がありました。
	これは、さまざまなモデリングの目標と、それぞれのモデルをいつ使用する必要があるかを説明するのに適しています。
	予測モデリングを初めて使用する場合は、当社の無料オンライン コース STIPS (産業上の問題解決のための統計的思考) のモジュール 7 が予測モデリングの入門編です。
	そこで、これをお勧めします。 糖尿病データを使用したモデル スクリーニング ブログがあり、それをこれから指摘します。また、この本の第 2 版である Building Better Models with JMP Pro があることも指摘しておきます。
	それは今後数か月以内に発表される予定です。 新しい表紙はまだありませんが、その本の中にモデルのスクリーニングが含まれる予定です。
	それで、私が持っているのはこれだけです。 この投稿に対してお気軽にコメントを投稿したり、質問したりしてください。残りのカンファレンスを楽しんでいただければ幸いです。 ありがとう。

サミットのベスト起こる予測モデリングRe: モデル スクリーニング: 予測モデリング ワークフローの合理化 (2021-EU-30MP-781)

プレゼンテーションをしていただきありがとうございました! さて、この第 16 バージョンには、私が使用している第 15 バージョンで需要の高い予測用のものが含まれています。 Predictive プラットフォームの機能には驚きました。

Re: モデル スクリーニング: 予測モデリング ワークフローの合理化 (2021-EU-30MP-781)

新しい模型本も楽しみにしています！