| スピーカー |
トランスクリプト |
| ミア・スティーブンス |
おそらく45分もかからないでしょう。 |
| |
はい、大丈夫です。 |
| |
ちくしょう、なんで今そのテキストが出てきたんだ。 |
| ジェイソン・ウィギンズ、JMP |
わかりましたか、ちょうど録音を始めたところだったんですが、誰かが入り込んできて、冒頭と最後を切り取ってしまうんじゃないかと聞こうとしていたんです。 |
| ミア・スティーブンス |
録音していると思います。 |
| ジェイソン・ウィギンズ、JMP |
うん。 |
| |
ご希望であれば、停止できます。 |
| |
1つ。 |
| ジェイソン・ウィギンズ、JMP |
さあ、録音を始めましょう。 |
| ミア・スティーブンス |
こんにちは。私の名前は MIA Stevens です。JMP 製品マネージャーをしています。 |
| |
今日は、JMPed 16 または JMP pro 16 モデル スクリーン スクリーニングで初めて登場した新機能についてお話します。 |
| |
実は、最初からやり直させてください。 |
| ジェイソン・ウィギンズ、JMP |
録音が再開されました。 |
| ミア・スティーブンス |
こんにちは。ミア・スティーブンスです。 |
| |
JMPのプロダクトマネージャーです。今日はモデルスクリーニングについてお話します。モデルスクリーニングはJMP Pro 16の新しいプラットフォームで、複数のモデルを同時に適合できるため、予測モデリングのワークフローを効率化できます。 |
| |
まず、予測モデリングの意味について少しお話しします。これは、より古典的なモデリングや説明モデリングとは対照的です。 |
| |
JMP Proで構築できるモデルの種類を確認し、予測モデリングのワークフローについて少し説明します。そして、モデルスクリーニングを使用してこのワークフローを効率化する方法について説明します。 |
| |
競合モデルを比較するためのさまざまなメトリックを確認し、JMP Pro の 2 つの異なる例を使用します。ここでは JMP Pro 16.1 を使用します。 |
| |
まず、予測モデリングとはどういう意味でしょうか? |
| |
私たちのほとんどは、大学や専門学校、あるいは会社を通じて統計学のコースを受講しており、通常、統計モデリングを学ぶときは説明モデリングを学びます。 |
| |
ここで意味するのは、いくつかの Y 変数、つまり関心のある応答を、複数の X または入力変数の関数として調べることに興味があるということです。 |
| |
したがって、重要な変数を特定することに興味があるかもしれません。おそらく、最も重要な X、つまり最も重要な潜在的原因を特定しようとするような問題解決の状況にあるのかもしれません。 |
| |
したがって、説明モデリングの結果として、たとえば、X1、X3、X6 が Y の変動の潜在的な原因であると特定できる場合があり、これにより、計画された実験を使用してこれらの変数をさらに調査することになる可能性があります。 |
| |
また、関係の性質を定量化することにも興味があるかもしれません。たとえば、応答 Y が平均して X の関数としてどのように変化するかを理解したい場合もあるでしょう。 |
| |
X の 1 単位の変化は、Y の 5 単位の変化に関連付けられます。 |
| |
これが、モデリングや統計モデリング、回帰分析について話すときに私たちが通常考えることです。 |
| |
一方、予測モデリングは、将来の結果を正確に予測または分類することを目的としています。 |
| |
従来のモデリングでは、通常、平均値、つまり全体の平均値について言及します。予測モデリングでは、次に何が起こるかを知りたいのです。例えば、この顧客は解約するでしょうか?この顧客は |
| |
クレジットカードのオファーを受け入れるでしょうか?機械は故障するでしょうか?ですから、私たちは次に何が起こるかを予測することに興味があります。つまり、予測の正確さ、つまりその正確さに関心があるのです。 |
| |
予測モデリングでは、多くの異なるモデルを適合させて比較する傾向があり、これには非常に高度な技術が必要になります。 |
| |
これらの技術の中には、解釈が容易ではないものもあります。ニューラルネットワークについて考えると、ニューラルネットワークは一般的にブラックボックスのようなものだと考えられています。 |
| |
そして、これらのより複雑なモデルでは、過剰適合が問題になる可能性があります。過剰適合とは、必要以上に複雑なモデルを適合させてしまう傾向があることを意味します。 |
| |
予測モデリングでは、モデル検証を用いる傾向があります。モデル検証は、過剰適合と不足適合の両方を防ぐために用いられます。モデル検証ではデータの分割が行われますが、データの分割方法としては、一部のデータを保留しておくのが一般的です。 |
| |
データの一部はモデルの学習に使用され、一部は保持され、さらに3つ目のデータセットも保持される可能性があります。これらのデータの使用方法は、学習データを用いてモデルを適合させることです。 |
| |
そして、モデルが検証データに対してどの程度うまく機能したかを確認します。そして3番目のステップ、これはテストセットと呼ばれることが多いです。 |
| |
検証…JMPの検証データは、モデルのサイズを制御するためによく使用されます。それでは、この動作を数分後に見ていきましょう。 |
| |
検証についてはあまり詳しく説明しません。ただし、これが比較的新しいトピックである場合は、このデッキの最後にある、当社の無料オンライン コース STIPS から借りたスライドがいくつかあり、検証がなぜ重要であるかが説明されています。 |
| |
JMP Pro には、適合できるさまざまな種類の予測モデルが用意されています。 |
| |
これらのいくつかはモデル適合から利用可能であり、連続的な応答であれば線形回帰モデルを適合することができます。カテゴリカルな応答であれば、 |
| |
ロジスティック回帰モデル。順序回帰モデル、多項式回帰モデル、二項式回帰モデルが使用できます。一般化線形モデル、あるいはElastic Net、Lasso、リッジ回帰などのペナルティ付き回帰モデルを当てはめることができます。 |
| |
予測モデリングメニューには多くの項目があり、例えばニューラルネットワークがあります。JMP Proではニューラルネットワークを当てはめることができます。 |
| |
2層、複数のノード、複数の活性化関数、ブースティング。JMPでは一般的に、 |
| |
同じプラットフォームを使用して、カテゴリカルな応答や連続的な応答のモデルを適合できます。さまざまな種類のツリー、例えば分類ツリーを適合できます。 |
| |
カテゴリカル応答、連続応答の場合は回帰木。さらに、ブートストラップフォレストやブースティング木といった、より複雑な種類の木を当てはめることもできます。他にも利用可能な手法があることがお分かりいただけると思います。 |
| |
多変量解析には、判別分析や偏最小二乗法など、予測モデリングプラットフォームがいくつか存在します。ただし、これは網羅的なリストではありません。偏最小二乗法はfit modelからも利用できることをご承知おきください。 |
| |
問題は、なぜこれほど多くのモデルが必要なのかということです。従来の説明モデリングでは、一般的に回帰分析について学びますが、実際には、適合できるモデルの種類ははるかに多く存在します。 |
| |
理由は、常に最適なモデルは一つだけではないからです。最適なモデルは、多くの場合、データの構造に依存します。 |
| |
変数がいくつあるか、純粋に連続的な X があるか、連続変数とカテゴリ変数が混在しているか、非線形の動作があるかどうか。 |
| |
つまり、単一のモデルが常に最高の予測精度を発揮するわけではありません。そのため、私たちは通常、複数の異なるモデルを試し、最も優れたモデル、あるいは複数のモデルを組み合わせたモデルを選択します。 |
| |
そして私たちは、より広範な分析ワークフローの文脈で予測モデリングについて考えています。 |
| |
もちろん、ビジネス上の問題やエンジニアリング上の問題など、私たちが解決しようとしている何らかの問題があります。 |
| |
しかし、私たちはさまざまなソースからデータを収集しており、これらのデータを組み合わせて、データをキュレートする必要があります。 |
| |
データの探索と視覚化を行うことで、利用可能なデータや追加データの必要性について理解を深めます。そして、予測モデリングの側面は、データの分析とモデル構築にあたります。私にとって、ここからが真の醍醐味の始まりです。 |
| |
したがって、JMP 内の従来のワークフローでは、検証を使用してモデルを適合します。 |
| |
次に、予測式をデータ テーブルに保存するか、数式デポに公開します。これについては後ほど説明します。 |
| |
そして、別のモデルを当てはめます。まず回帰モデルを当てはめ、次にツリーベースのモデルを当てはめます。これを繰り返して、複数の異なるタイプのモデルを当てはめます。 |
| |
次に、モデル比較を使用して、検証データにおける各モデルのパフォーマンスを評価します。モデルの適合にはトレーニングデータを使用しますが、どのモデルが最も正確な予測を行うかを比較するには、検証データまたはテストデータを使用します。 |
| |
そして、最適なモデル、または最適なモデルの組み合わせを選択します。 |
| |
そしてモデルをデプロイします。これが典型的なワークフローです。 |
| |
モデルスクリーニングでは、これを効率化します。つまり、必要なモデルをすべてモデルスクリーニングプラットフォームに組み込むことができるのです。 |
| |
検証データを用いてこれらのモデルを比較し、最適なモデルを選択します。モデルを探索したり、モデルスクリーニングから新しいモデルを適合させたりすることも可能です。そして、最適なモデルを簡単に展開できます。 |
| |
これを詳しく見るために、いくつかの例を挙げてみましょう。最初の例は皆さんもよくご存知でしょう。 |
| |
糖尿病データはサンプルデータディレクトリにあります。つまり、研究者は病気の進行速度を予測したいと考えているということです。 |
| |
ベースライン測定から1年後です。ベースライン変数は10個、患者数は442人です。ここでは2種類の反応を見ていきます。反応Yは、1年間で病気がどれだけ進行したかを測定する定量的な指標です。 |
| |
また、高/低という2値の反応もあり、高は病気の進行率が高いことを意味し、低は進行率が低かったことを意味します。 |
| |
ここでのモデリングの目標は、病気の進行率が最も高い可能性のある患者を予測し、是正措置を講じることです。 |
| |
最終的に私たちが実現したいのは、将来の患者を、その人口統計学的変数とここで得られるベースライン情報に基づいて分類できるモデルを構築することです。つまり、 |
| |
病気の進行率が高いかどうかを正確に予測し、それに応じて対策を講じることができるようにすることです。これがシナリオです。 |
| |
JMP に入る前に、どのモデルが最もよく予測できるかをどのように決定するかについて少しお話ししたいと思います。 |
| |
先ほども申し上げましたが、これには検証セットまたはテスト セットを使用しますが、使用できる測定方法にはいくつかの種類があります。 |
| |
連続応答の場合、RMSE (二乗平均平方根誤差)、または関連指標である RASE (二乗平均平方根誤差) を使用します。これは予測誤差であり、低いほど良いとされます。 |
| |
AAE(平均絶対誤差)、MAD(平均絶対偏差)、MAE(平均絶対誤差)も使用できますが、これらも低いほど良いとされています。つまり、これらは平均誤差の指標と言えるでしょう。 |
| |
そして、R 平方ですが、R 平方は実際には適合度の尺度であり、高いほど良いということになります。 |
| |
したがって、継続的な応答にはこれらを使用する傾向がありますが、利用できる測定方法は他にも多数あります。 |
| |
カテゴリ応答の場合、誤分類やエラー率、精度率に関心があることが多いため、精度に関心があるかもしれません。 |
| |
他にも、ROC曲線で表示される曲線下面積や感度、特異度などの指標があり、これらはいくつかの異なる名前で呼ばれています。 |
| |
モデルスクリーニングには、不均衡なデータがある場合に役立つ指標が他にもいくつか追加されています。F1スコアとMCC(マシューズ相関係数)があり、これは… |
| |
または、マイナス 1 からプラス 1 までの値を取るメトリックであり、カテゴリ データがある場合に、データが真陽性、真陰性、偽陽性、偽陰性の 4 つのカテゴリすべてでどの程度適切に分類されているかを測定するのに適しています。 |
| |
それでは、JMP に進みましょう。 |
| |
それではデータを開いてみます。 |
| |
これらは...もう少し大きくしますが、これも糖尿病のデータです。 |
| |
これらのデータを試してみたい場合は、これらのデータを使用しているブログがあり、ヘルプの「サンプル データ」からも見つけることができます。 |
| |
もう一度、反応Yがあります。少し大きくしてみますが、これは病気の進行を継続的に測る指標です。そして、低または高という結果を示す二値Yがあります。それぞれを見ていきましょう。 |
| |
ではまず、JMP 15 をお持ちの場合、またはモデル スクリーニングを使用していない場合は、JMP Pro をお持ちであれば、連続応答である Y を予測するためにどのように予測モデルを適合させるかを見てみましょう。 |
| |
いくつかの人口統計変数があることに注意してください。 |
| |
これらは 10 個あり、検証列があります。検証列はデータをトレーニング データと検証データに分割します。 |
| |
そこで、トレーニング データを使用してモデルを適合させ、それを検証データに適用したときにモデルがどの程度うまく機能するかを確認します。 |
| |
この列を作成するには、「分析」、「予測モデリング」、「検証列の作成」のユーティリティがあり、これを使用して検証列を作成できます。 |
| |
階層化列として使用したい変数がある場合、例えば、データが階層間でバランスが取れていることを確認したい場合などです。 |
| |
検証セットです。ここでは「OK」をクリックします。 |
| |
これにより、データの一定の割合を異なるセットに割り当てることができます。 |
| |
下部には便利な追加オプションがいくつかあります。ランダム シードは、指導中に生徒全員に同じパーティション分割を適用したい場合に非常に便利です。 |
| |
これは以前使われていた |
| |
分析を始めるには、まずY列、つまり連続応答を見てみましょう。予測モデルを当てはめる場合、自然な出発点は回帰モデルを当てはめることです。JMPにおける回帰は「モデルの当てはめ」にあります。 |
| |
私の答えは Y です。まずは主効果のみのモデルを当てはめることから始めます。 |
| |
この検証フィールドに検証方法を入力します。デフォルトでは、標準最小二乗法が選択されています。しかし、JMPやJMP Proをご存知の方は、検証方法の下に様々なオプションがあることをご存知でしょう。 |
| |
実行をクリックすると、 |
| |
JMP 16 での変更点の 1 つは、実際の予測値プロットまたはその他のプロットを見ると、点があることに気付くことです。点の代わりに V の付いた点がいくつかあります。 |
| |
これは、これらのポイントが実際に検証セットに割り当てられたことを示すもので、基本的には、 |
| |
モデルがその周囲のランダムノイズの中でどれだけ正確に予測しているかが分かります。ある程度のばらつきがあることがわかります。 |
| |
覚えておいてください、私たちはモデルをトレーニングデータに適合させ、検証データでどれだけうまく機能するかを確認しています。そのため、下にいくつかの統計情報があります。検証を行うたびに、トレーニングセットと検証セットの追加の統計情報が表示されます。 |
| |
ここにはいくつかの指標があります。R2乗とRASEです。 |
| |
一般的に、あるデータセットにモデルを当てはめ、そのモデルを新しいデータに適用すると、新しいデータではそれほど良いパフォーマンスは得られません。そのため、検証データセットではR2乗が低く、RASE(誤差)が少し高くなっていることがわかります。 |
| |
予測プロファイラーの下にある1つのもの |
| |
総コレステロールと LDL が端の方に扇状に広がっていることに注目してください。 |
| |
そして私が引きずると |
| |
コレステロールの値を見ると、平均値の信頼区間がどれだけ広くなるかが分かります。これを下限までドラッグすると、 |
| |
非常に幅が広くなり、上端までドラッグすると同じようになります。実際、各予測変数の区間はすべて非常に広くなります。 |
| |
これは今回の講演の範囲外ですが、この地域では実際にはデータがあまりないからです。もし私が…見てみてください。 |
| |
総コレステロールと LDL の例として、これら 2 つの変数を取得します。 |
| |
これらにはかなり強い相関関係があることに注目してください。この地域のデータはありませんし、この地域のデータもありません。 |
| |
予測モデルや、これらのバンドが実際に広がるようなモデルを当てはめた場合、 |
| |
これは、その地域では予測精度があまり高くないことを示しています。JMP Proには新しい機能があります。 |
| |
外挿制御と呼ばれるもので、問題があれば警告を発します。これを引き延ばすと |
| |
外挿の可能性があると表示されているのに気づきました。予測に問題がある可能性があります。外挿制御をオンにすると、 |
| |
これらのバンドを切り捨てていることに注目してください。これは基本的に、これらの境界を超える予測はできないと言っているようなものです。つまり、有効ではないのです。 |
| |
これは少し範囲外ですが、予測プロファイラーで扇状に広がるバンドが見られる場合は、 |
| |
これは多くの場合、予測変数が互いに相関しているためです。つまり、これらの地域では予測を行うためのデータが十分にないだけかもしれません。ですから、その点を認識しておくのは良いことです。 |
| |
さて、手元のタスクに戻りましょう。このモデルを適合させてモデルを縮小し、これが最終的なモデルであることに満足しました。 |
| |
このモデルをデータテーブルに保存するために、予測式を保存します。データテーブルに新しい列が追加されているのがわかると思います。線形モデルを構築したので、その式がデータテーブルに保存されています。 |
| |
もう一つの方法はこれを公開することです。私はこれをフォーミュラ デポに公開するつもりです。 |
| |
最終的に、いくつかの異なるタイプのモデルを適合させて (先に進んでこれを閉じます)、それらのモデルを比較して、それを使用できるようにします... |
| |
これは、数式を保存して分析、予測モデリング、モデル比較に進むか (この操作は後ほど行います)、数式デポに保存することによって実行できます。 |
| |
これを数式デポに保存する利点は、スコアリングコードが使えることです。例えば、これが最終的なモデルで、新しいデータに適用したいとします。 |
| |
このスクリプトをコピーして新しいデータのスコアリングに適用することができます |
| |
(ここではそうしませんが)、このモデルを運用環境で使用できるようにしたい場合は、さまざまな言語でコードを作成することもできます。 |
| |
これは単純な線形モデルでした。別の種類のモデルを当てはめたい場合はどうすればよいでしょうか? |
| |
ここで、フィットモデルでより複雑なモデルを適合させることができます。 |
| |
一般化回帰モデルを適合させることができます。また、Lasso モデルを適合させたい場合もあるため、ここをクリックして進みます。 |
| |
ここでは一般化回帰内でいくつかのモデルの比較が行われていますが、このモデルを保存したいとします。 |
| |
細かいことにはあまり注意を払っていませんが、これは保存しておきます。予測式も保存しておきます。もしかしたら、これも公開するかもしれません。 |
| |
ここに行って、これを公開してください。 |
| |
これを繰り返して、交互作用のあるモデルを当てはめるかもしれません。そして、ニューラルネットワークモデルやパーティションモデル、ツリーベースのモデルを当てはめ、カテゴリカルな応答があれば、これは当てはまりません。 |
| |
分類木です。連続的な応答であれば、回帰木に当てはめることができます。また、小さな木の集合であるブートストラップフォレストやブースティングツリーに当てはめることもできます。つまり、当てはめることができるモデルの種類は複数あります。 |
| |
モデルを取得して数式を保存するか、数式デポに公開したら、どのモデルが最も正確に予測するかを見つけたいと思います。 |
| |
そこでモデル比較を使います。 |
| |
そして、検証をby変数として追加します。 |
| |
モデルが検証データでどれだけうまく機能したかを確認したいからです。この2つのモデルを使って検証データ(トレーニングデータは隠しておきます)を見てみると、 |
| |
最小二乗モデルでは平均誤差が低く、RASE は最小二乗モデルの方が少し高いことがわかります。 |
| |
そして、一般化された Lasso の場合、R 平方は若干優れています。 |
| |
JMP 15 ProまたはJMP Pro 15をお持ちの場合、あるいはモデルスクリーニングを使用していない場合でも、これが予測モデリングを行う一般的な方法です。モデルスクリーニングでは、これらすべてを1つのステップで実行できます。それでは、予測モデリングの「モデルスクリーニング」を起動してみましょう。 |
| |
そして、モデルスクリーニングは、ここの隅を見ればわかるように、私たちが持っているデータの種類に適した各プラットフォームを起動することを可能にします |
| |
これらのモデルを自動的に実行します。メニューからモデルを選択する必要はなく、ここから自動的に実行できます。同じタイプのモデル、つまり主効果のみのモデルを当てはめます。 |
| |
これが私のXです。同じ検証方法を使用します。 |
| |
ここにはたくさんのオプションがありますが、後ほど詳しく説明します。「OK」をクリックします。決定木、ブートストラップフォレスト、ブースティングツリー、K近傍法が表示されています。 |
| |
デフォルトでは Naive Bayes はオフになっているため、ニューラル モデルを適合できます。 |
| |
一番下には他にもいくつかあります。XGBoost が利用可能になっていることに注目してください。XGBoost アドインをインストールしたため、XGBoost が利用可能になっています。 |
| |
これはオープンソースライブラリにアクセスする無料のアドインで、JMP Proにインストールしておけば、モデルスクリーニングプラットフォームから起動できます。ここではオフにして「OK」をクリックします。 |
| |
モデルを実行しています。これで、実際にステップを1つスキップしたことになります。各モデルを自動的に実行してくれたのです。 |
| |
また、チューニングパラメータの最適な開始値を決定するために使用するシミュレーションがいくつかあるため、これらすべてのモデルを適合させます。 |
| |
各モデルの検証トレーニングと検証統計をレポートしています。どのモデルが最適かを判断するために、 |
| |
「優勢」を選択します。「優勢」を選択すると、利用可能な指標全体にわたって境界が作成されるので、ここで「優勢」を選択します。 |
| |
そして、これらのデータに対して最適なモデルはニューラル ブースト モデルであることがわかりました。そのモデルの詳細は、ここのニューラルの下に表示されます。 |
| |
つまり、すべての詳細は、このプラットフォームを起動して、このプラットフォーム内ですべての情報を取得するだけです。 |
| |
ニューラルネットワークの詳細はすべてここにあります。基本的には3つのノードでブースティングされたTanHを実行します。学習統計と検証統計を確認できます。実際に適合されたモデルを確認したい場合は、 |
| |
これが基礎となるモデルです。 |
| |
そうです、これが…これが私の最高のパフォーマンスを示したモデルです。これらのモデルを詳しく見たい場合は、ここから調べることができます。いくつかオプションがあり、予測値と実際の値をプロットしたものを見ることができます。 |
| |
これらのモデルを比較すると、予想通り、トレーニングデータでは検証データや実際の予測値との比較よりもばらつきが少し少ないことがわかります。これを詳しく調べたい場合は、特定のモデルをオフにすることもできます。 |
| |
プロファイラーを起動することもできます。16.1をお使いの場合は、プロファイラーはオプションとして表示されます。16.0をお使いの場合は、実は隠しオプションになっています。繰り返しますが、私はPro版を使用しています。プロファイラーは、適合させたモデルを詳しく調べられるので便利です。そこで、3つのモデルを選択しました。 |
| |
これをもう少し大きくしてみましょう。 |
| |
それほど大きくないかも知れません。 |
| |
そこで、私はブートストラップ フォレストを作成しました。これはツリー ベースのモデルであり、基本的にはさまざまなツリーの結果を合計したものです。 |
| |
ブースティングモデルとニューラルモデルは非線形挙動を非常にうまく捉えています。そして、Lassoモデルは基本的に線形モデルです。 |
| |
これらのモデルは明確に確認できます。一般化Lassoでは、BMIとBMIの間に線形関係が見られます。 |
| |
そして応答です。ニューロブーストでは、ある程度の曲率があるのがわかります。LTGでは、ここで確認できます。ブートストラップフォレストでは、小さなステップ関数が得られています。つまり、これは実際には、ここにある非線形関係を近似しているのです。 |
| |
つまり、ニューラルブーストモデルが最良だと判断した場合、 |
| |
次に、基本的にモデルを起動し、ここから起動して、数式をデータ テーブルに保存するか、展開のために数式デポに公開することができます。 |
| |
そのため、多くの時間を節約しながら、モデルを探索する能力も得られます。 |
| |
では、カテゴリカルな回答があった場合はどうなるでしょうか?Yバイナリがあることを思い出してください。Yバイナリも同様に使用できます。分析に進み、再度モデルスクリーニングを呼び出し、リコールを押して、Yの代わりにYバイナリを使用します。 |
| |
同じ種類のモデルを実行できます。特定の種類のモデルが意味をなさない場合は実行されません。例えば、最小二乗回帰はここでは意味をなさないため、実際には実行されません。 |
| |
ここにはいくつかのオプションがあります。1、2、3、4、5などのランダムシードを設定すると、繰り返しが可能になります。詳細からモデルを起動すると、 |
| |
結果は同じになります。検証用にいくつか追加オプションを用意しました。 |
| |
そのため、多くの場合、トレーニング、検証、テストの古典的な分割法を使用すると、 |
| |
実際には、特にデータセットが小さい場合は、最適な方法とは言えません。そのため、代わりにK分割交差検証を使用することをお勧めします。また、ネストされた交差検証も使用できます。 |
| |
K分割を繰り返し検証することも可能です。特にデータセットが小さい場合は、これは便利なオプションです。 |
| |
下部には追加のオプションがあります。双方向交互作用や二次関数を追加することもできます。 |
| |
欠損値があることが分かっている場合は、情報欠損値を使用することをお勧めします。また、追加の手法は追加の一般化回帰手法に適用されます。JMP 17の早期導入プログラムに参加している場合は、メニューダイアログのこの部分が表示されます。 |
| |
あるいは、モデル起動ダイアログが少し整理されて、操作性が向上しました。それでは、ここではデフォルト設定とランダムシードを使って「OK」をクリックします。 |
| |
これらすべてのモデルを実行しています。繰り返しますが、非常に高速です。さて、バイナリレスポンスが得られたので、追加の指標も得られました。2つあります。 |
| |
R2乗は誤分類率、つまり曲線の下の面積、RASEを表しています。これは二乗平均平方根誤差(RME)に関連していることを覚えておいてください。ここでも優位性を選択をクリックすると、ニューラルネットワークがブーストされていることがわかりますが、必ずしもそうとは限りません。 |
| |
赤い三角の下のオプションで、私が最も重要だと思うモデルを選択すると、それらのROC曲線を見ることができます。また、モデルのオン/オフを切り替えるためのチェックマークがあります。 |
| |
これを選択してください。私のお気に入りの新機能の一つは、モデル比較プラットフォームでも利用可能で、JMP 17では分類モデリングを行うあらゆるモデリングプラットフォームに追加される「決定閾値」と呼ばれる機能です。 |
| |
これは、JMP 16 で追加された最も強力な機能の 1 つだと思います。 |
| |
したがって、これら 3 つのモデルを選択すると、その 3 つのモデルの分類の概要が表示されます。 |
| |
これをもう少し大きくして、よく見えるようにします。 |
| |
これを読むと、神経ブーストだけを見ると、神経ブーストには2つのカテゴリーがあり、高確率を予測していることがわかります。つまり、これらは高確率に適合した確率です。 |
| |
カットオフは .5 なので、.5 未満のものは低と分類され、.5 を超えるものは高と分類されます。 |
| |
ここに赤いブロックがあります。これは、低と分類されたが実際には高かったポイントで、ここにその数字が表示されています。29個ありました。つまり、これらは偽陰性でした。 |
| |
下の赤いボックスは、高と分類されています。 |
| |
でも実際は低かったんです。つまり、ここにいる人たちは偽陽性なんです。 |
| |
下部には、この状況を理解し、意思決定を行うのに役立つ指標やグラフがいくつか表示されています。また、同じ値、つまり偽陰性29件と偽陽性17件も確認できます。 |
| |
また、真のポジティブとネガティブも確認できます。このツールの本当に気に入っている点は、様々なカットオフ値を試すことができることです。 |
| |
したがって、たとえば、モデリングの目標に応じて、高い感度率に関心がある一方で、低い特異度は望ましくない場合があります。 |
| |
感度率。ここにあるこのキーは非常に役立ちます。感度は真陽性率で、特異度は真陰性率です。 |
| |
両方の基準をもう少し良くするカットオフを見つけられるでしょうか?クリックしてドラッグすることで、分類のカットオフを変更できます |
| |
そして、より良い結果をもたらすカットオフ値を見つけようとします。例えば、ここでは端数を切り捨てた数字を入れますが、カットオフ値が0.26の場合、感度は高まりますが、特異度も高く維持されます。 |
| |
私が隠しておいたグラフは、これらの数字を解釈するのにも非常に役立ち、誤った分類の全体像を示します。 |
| |
閾値、割合、そして真の分類です。特異度と感度のバランスを取るポイントを探している場合は、このグラフを見ることができます。 |
| |
上の線は感度、破線は特異度です。感度が特定の値を超えているポイントはありますか? |
| |
感度はどこまで高く、特異度はどこまで高く保てるでしょうか?そして、これらをバランスさせることは可能です。ここを見てみると、両方の線が交差する点が分かります。 |
| |
これは、不均衡なデータがある場合に非常に重要になります。それでは別の例を見てみましょう。それではここで終わりにして |
| |
保存しないでください。フォーミュラデポを閉じます。ちなみに、フォーミュラデポはスタンドアロンなので、基本的には使用していたデータセットとは結びついていません。そのため、モデルを取得して新しいデータに適用するのが非常に簡単です。このまま閉じます。 |
| |
次のデータセット、クレジットカードマーケティングというデータのシナリオは、 |
| |
クレジットカードのオファーの受け入れに関する市場調査を行っています。そして、オファーを受け入れるという回答を得ました。ただし、オファーの5.5%だけが |
| |
過去のデータを用いた、様々な報酬やメールの種類を検討した計画的な実験です。 |
| |
財務情報は異なりますが、計画された実験は報酬型と郵送型です。この特定のモデリング目標に焦点を当てます。クレジットカードのオファーを受け入れる可能性が最も高い顧客を特定したいと考えています。 |
| |
そして、こうすることで、私たちは |
| |
このモデルを新規顧客に適用し、新規顧客の分類に基づいてオファーを送信するかどうかを決定します。 |
| |
お客様がオファーを受け入れる可能性が低い場合は、オファーを送信しません。受け入れる可能性が非常に高い場合は、オファーを送信します。 |
| |
これがシナリオです。JMPに戻ると、オファーは承認されました。データについて話している間に、保存しておいたスクリプトを実行してみましょう。 |
| |
観測データが10,000件あるので、少し時間がかかります。現在モデルを実行中ですが、ここではデフォルト設定を使用しています。オファーは受諾されました。 |
| |
特典の種類は、航空マイル、キャッシュバック、ポイントのいずれかです。郵送物の種類は手紙かハガキです。そして残りは銀行情報です。過去の銀行取引情報と人口統計情報です。 |
| |
サポートベクターマシンを実行しているのがわかります。サポートベクターマシンは、特に大規模なデータセットでは少し遅くなることがあります。実際、10,000件を超える観測値があると、デフォルトでは実行されません。 |
| |
平均残高が得られているのがわかります。データは学習用と検証用に申請されており、JMPは自動的にゼロを学習用、1を検証用として認識します。これですべてのモデルが実行されました。 |
| |
そして、優性を選択した場合、ステップバイステップの適合と決定木が選択されたことがわかります。 |
| |
しかし、私はこの誤分類率を指摘したいと思います。 |
| |
これはまさに、干し草の山から針を探すような時によく見られる現象です。これらのデータを見て、分布図を作ってみましょう。 |
| |
もう少し大きくして、もっとよく見えるようにしましょう。検証データを見てみると、 |
| |
6.25、6.2、6.3% |
| |
値のうち「はい」はオファーに応答したと回答しており、これがまさに誤分類率として得られた値です。 |
| |
これをさらによく理解するために、決定しきい値をオンにします。 |
| |
これをもう少し大きくします。 |
| |
予測される「はい」がすべてゼロであることに注意してください。これは、予測される確率がすべて比較的低かったためです。 |
| |
従来の混同行列ではカットオフは .5 であり、不均衡なデータがある場合、この場合、多くの観測結果を「はい」と分類する可能性は非常に低いことに注意してください。 |
| |
クリックしてドラッグすると、 |
| |
最初のポイントセットに到達すると、予測通りの「はい」という結果がいくつか出てきました。実際、指標をオンにしてみます。 |
| |
データのバランスが非常に悪い場合、予測される確率は非常に低くなる可能性があります。 |
| |
このスライダーを使うと、カットオフを探索することができます |
| |
それは感度と特異度の両方に影響を与える可能性があります。ですから、このような場合には、例えば…のように言うかもしれません。 |
| |
ここに0.05を入れます...クレジットカードのオファーを予測確率に送信すると、予測確率の上位5%、そうです、感度 |
| |
2つのモデル間の差は約0.72~0.75で、特異度は依然としてかなり高いです。つまり、このカットオフ、つまりこのスライダーを使うことで、モデルからより有用な情報を得ることができるのです。 |
| |
つまり、0.5だと、真陽性もいくつか得られていることがわかります。しかし、偽陽性もたくさん得られています。つまり、トレードオフがあるということですね。 |
| |
さて、このような場合、経済的な影響も出るかもしれませんね。ですから、この点について考えてみるのは理にかなっていますね… |
| |
利益マトリックス。そしてボタンがあります。 |
| |
これをクリックします。 |
| |
利益マトリックスは特定の列の列プロパティであり、設定することができます。 |
| |
確率閾値から切り離された値を列プロパティとして設定するか、値を代入することもできます。例えば、典型的なシナリオでは、5ドルかかるとします。 |
| |
誰かにオファーを送ることを選択した場合。 |
| |
そして彼らがその申し出に応じれば、 |
| |
もしかしたら100ドルの価値があるかもしれません。つまり、誰かにオファーを送っても返事が来なければ、5ドルの損失になります。 |
| |
もし誰かにオファーを送り、相手が反応してくれたら、平均100ドルの利益が得られるかもしれません。そして、機会損失が発生するかもしれません。つまり、100ドルの損失と言えるかもしれません。 |
| |
回答がない場合、多くの場合、この設定は空白のままにしておく必要があります。「はい」の場合は値を入力するだけです。これを適用して「OK」をクリックすると、 |
| |
そして新しい値が追加されます。これで利益マトリックスができました。指標を見れば、予測利益がわかります。 |
| |
平均すると、このデータ セット内の各顧客に対して、決定木モデルを適用すると 1.50 ドルの利益が得られ、ステップワイズ モデルを適用すると利益はそれより少し少なくなることがわかります。 |
| |
このように、データが不均衡で、何らかの潜在的コストが存在する状況では、利益マトリックスを使用するのが合理的です。潜在的コストがない場合、 |
| |
このスライダーは、モデリングの目標を達成するためのカットオフ値を選択するのに役立ちます。感度の最大化、特異度の最大化、あるいはその他の目標の達成などです。 |
| |
つまり、それは本質的にモデルスクリーニングです。 |
| |
これを終了して、スライド デッキに戻りましょう。 |
| |
ここまで、予測モデリングと、予測モデリングの意味について少し説明しました。 |
| |
また、検証を使用すると多くのモデルを簡単に適合および比較できることも確認しました。モデル スクリーニングは、このワークフローを合理化することです。 |
| |
必要に応じて、引き続き個々のモデルを適合させることもできますが、モデル スクリーニングを使用すると、1 つのプラットフォームですべてのモデルを同時に適合させて、これらのモデルを比較することができます。 |
| |
さらに詳しい情報については、さまざまな種類の指標があり、分類データ用の指標も数多くあります。とても便利な |
| |
感度と特異度、そしてさまざまな指標すべてについて説明した Wikipedia のページがあり、提供されている指標をどのように解釈すればよいかを調べて理解しようとしていたときに、これが非常に役立ちました。 |
| |
予測モデリング全般、そしてJMP Proのモデルスクリーニングに関するリソースは数多くあります。 |
| |
私たちのユーザーコミュニティで。ここでもSTIPSについて触れておきます。STIPSは、産業問題解決のための統計的思考を学ぶコースです。 |
| |
7番目のモジュールは予測モデリングの入門です。予測モデリングが初めての方は、ぜひこちらをご覧になることをお勧めします。また、コミュニティに投稿されている糖尿病データを使ったブログもあります。最後に、新しい機能についてですが |
| |
反復的な改善が進む傾向があります。モデルスクリーニングはJMP Pro 16で導入されました。私たちはすでにJMP Pro 17の開発に取り組んでおり、多くの改善が既に進行中です。 |
| |
今後の展開に興味があれば、ぜひフィードバックをお送りください。 |
| |
アーリーアダプタープログラムへの参加については、お気軽にお問い合わせください。設定をさせていただきます。お時間をいただきありがとうございました。カンファレンスの残りの時間も楽しんでいただければ幸いです。 |