スピーカー | 成績証明書 |
| ミア・スティーブンス | おそらく45分もかかりません。 |
| 大丈夫、大丈夫です。 |
| いまいましい、なぜそのテキストが出てきたのですか。 |
| ジェイソン・ウィギンズ、JMP | ほら、録音を始めたのに、誰かが入って、最初の部分を録音の終わりにクリップするように頼むつもりでした。 |
| ミア・スティーブンス | 録音していると言えます。 |
| ジェイソン・ウィギンズ、JMP | うん。 |
| 必要に応じて停止できます。 |
| うーん。 |
| ジェイソン・ウィギンズ、JMP | 無事収録開始。 |
| ミア・スティーブンス | こんにちは、MIA Stevens です。JMP プロダクト マネージャーです。 |
| そして今日は、JMPed 16 または JMP pro 16 モデルのスクリーン スクリーニングで初めて登場した新機能についてお話します。 |
| 実際、最初からやり直させてください。 |
| ジェイソン・ウィギンズ、JMP | 録音が再開されました。 |
| ミア・スティーブンス | こんにちは、ミア・スティーブンスです。 |
| 私はJMPのプロダクトマネージャーです。 そして今日はモデルのスクリーニングについてお話します。 モデル スクリーニングは、JMP Pro 16 の新しいプラットフォームであり、複数のモデルを同時に適合させることができるため、予測モデリング ワークフローを合理化できます。 |
| そこで、予測モデリングの意味について少し説明することから始めましょう。これは、より古典的なモデリングや説明モデリングとは対照的です。 |
| JMP Pro で構築できるモデルの種類を確認し、予測モデリングのワークフローについて少し説明します。 次に、モデル スクリーニングを使用してこのワークフローを合理化する方法について説明します。 |
| 競合するモデルを比較するためのいくつかの異なるメトリックを確認し、JMP Pro で 2 つの異なる例を使用します。私は JMP Pro 16.1 を使用します。 |
| まず、予測モデリングとは何を意味するのでしょうか? |
| 私たちのほとんどは、大学や専門学校で、またはあなたの会社を通じて統計コースを受講したことがあり、通常、統計モデリングを学ぶとき、それは説明モデリングです。 |
| これが意味することは、いくつかの X または入力変数の関数として、いくつかの Y 変数、関心のある応答を調べることに関心があるということです。 |
| 重要な変数を特定することに関心があるかもしれません。おそらく、最も重要な X、最も重要な潜在的な原因を特定しようとする、問題解決のような状況にあるのかもしれません。 |
| したがって、説明モデリングの結果として、たとえば、X1、X3、および X6 が Y の変動の潜在的な原因であることを特定できる可能性があり、これにより、設計された実験を使用してこれらの変数をさらに調査することができる場合があります。 |
| また、関係の性質を定量化することにも関心があるかもしれません。たとえば、X の関数として、応答 Y が平均してどのように変化するかを理解することに関心があるかもしれません。 |
| X の 1 単位の変化は、Y の 5 単位の変化に関連付けられています。 |
| したがって、これは、モデリング、統計モデリング、または回帰分析について話すときに通常考えることです。 |
| 対照的に、予測モデリングとは、将来の結果を正確に予測または分類することです。 |
| したがって、古典的なモデリングでは、平均、つまり全体の平均について述べるのが一般的です。 予測モデリングでは、次に何が起こるかを知りたいと考えています。 たとえば、この顧客は解約するでしょうか? このお客様は |
| クレジットカードのオファーを受けますか？ 機械は壊れますか？ そのため、次に何が起こるかを予測することに関心があります。 したがって、私たちは予測の精度、精度に関心があります。 |
| 予測モデリングでは、多くの異なる可能なモデルを当てはめて比較する傾向があり、これにはいくつかの非常に高度な技術が含まれる、または含まれる可能性があります。 |
| また、これらの手法の一部は、解釈が容易ではない場合があります。 そのため、ニューラル ネットワークについて考える場合、ニューラル ネットワークは通常、ブラック ボックスのようなものと見なされます。 |
| そして、これらのより複雑なモデルでは、過剰適合が問題になる可能性があります。過剰適合とは、必要以上に複雑なモデルを適合させる傾向があるということです。 |
| そのため、予測モデリングでは、モデルの検証を使用する傾向があります。 モデル検証を使用して、オーバーフィッティングとアンダーフィッティングから保護します。 モデルの検証にはデータの分割が含まれます。データを分割する一般的な方法は、データの一部を差し出すことです... |
| 一部のデータはモデルのトレーニングに使用され、一部のデータは差し出され、さらに差し出された 3 番目のセットが存在する可能性があります。 これらのデータを使用する方法は、トレーニング データを使用してモデルを適合させることです。 |
| 次に、モデルが検証データに対してどの程度うまく機能したかを確認します。 そして 3 番目のステップが使用される場合があり、これはしばしばテスト セットと呼ばれます。 |
| 検証...JMPの検証データは、モデルのサイズを制御するためによく使用されるためです。 そのため、数分でこれが実際に動作することを確認できます。 |
| 検証についてはあまり詳しく説明しませんが、これが比較的新しいトピックである場合は、この資料の最後に、無料のオンライン コースである STIPS から借りたスライドがいくつかあります。重要。 |
| JMP Pro には、適合可能なさまざまなタイプの予測モデルが多数あります。 |
| これらの一部は適合モデルから入手できるため、連続応答がある場合は、線形回帰モデルを適合させることができます。 カテゴリ応答がある場合は、適合できます。 |
| ロジスティック回帰モデル。 これは、順序、多項、または二項の回帰モデルにすることができます。 一般化された線形モデルまたはエラスティック ネットやラッソおよびリッジ回帰などのペナルティ付き回帰モデルを適合させることができます。 |
| ニューラル ネットワークなど、多くの項目を含む予測モデリング メニューがあります。 そして、JMP Pro でニューラル ネットワークを適合させることができます。 |
| 2 つのレイヤー、複数のノード、複数のアクティベーション関数、ブースティングあり。 そして一般的にJMPでは、 |
| 同じプラットフォームを使用して、カテゴリ応答または連続応答のモデルを適合させることができます。 さまざまな種類の木、分類木がある場合は、分類木に適合させることができます。 |
| カテゴリ応答、連続応答がある場合は回帰木。 ブートストラップ フォレストやブースティング ツリーなど、より複雑なタイプのツリーを適合させることもできます。 また、他にも利用可能な方法があることがわかります。 |
| また、多変量法の下にいくつかの予測モデリング プラットフォームがあるため、判別分析と部分最小二乗法を使用します。 したがって、これは決して網羅的なリストではなく、部分最小二乗法も適合モデルから利用できることを指摘しておきます。 |
| 問題は、なぜこれほど多くのモデルが必要なのかということです。 古典的な説明モデリングでは、通常、回帰分析について学んでいますが、当てはめることができるモデルの種類は明らかにはるかに多くあります。 |
| その理由は、単一のタイプのモデルが常に最適というわけではないからです。 多くの場合、最適なモデルはデータの構造によって異なります。 |
| 純粋に連続した X がある場合、または非線形の動作がある場合は、連続変数とカテゴリ変数が混在している場合に、変数の数。 |
| そのため、正確に予測する上で、単一のタイプのモデルが常に最適なモデルというわけではありません。 そのため、通常、いくつかの異なるモデルを試して、最適なモデルまたは組み合わせモデルを選択します。 |
| そして、より広範な分析ワークフローのコンテキストで予測モデリングについて考えます。 |
| もちろん、私たちが解決しようとしているある種の問題、ビジネス上の問題、またはエンジニアリング上の問題があります。 |
| しかし、私たちはデータをコンパイルします。これはさまざまな異なるソースからのデータである可能性があり、これらのデータをペアにする必要があり、データをキュレートする必要があります。 |
| データを探索し、視覚化して、利用できるものと追加のデータの必要性について詳しく学びます。 そして、これの予測モデリングの側面は、データの分析とモデルの構築の下にあります。私の考えでは、これが本当の楽しみの始まりです。 |
| したがって、JMP 内の従来のワークフローは、モデルを検証して適合させることです。 |
| 次に、予測式をデータ テーブルに保存するか、式デポに公開します。これはすぐにわかります。 |
| そして、別のモデルを適合させます。 したがって、回帰モデルから始めて、ツリーベースのモデルに適合させることができます。 そして、これを繰り返して、いくつかの異なるタイプのモデルを当てはめます。 |
| 次に、モデル比較を使用して、検証データに対する各モデルのパフォーマンスを評価します。 したがって、トレーニング データを使用してモデルを適合させますが、モデルを比較してどちらの予測が最も正確かを確認するには、検証データまたはテスト データを使用します。 |
| そして、最適なモデルまたはモデルの最適な組み合わせを選択します。 |
| そして、モデルをデプロイするので、これは一種の典型的なワークフローです。 |
| さて、モデル スクリーニングでは、モデル スクリーニングがこれを合理化します。 したがって、モデル スクリーニング プラットフォーム内で目的のモデルをすべて適合させることができます。 |
| 検証データを使用してこれらのモデルを比較し、最適なモデルを選択します。 モデルを探索したり、モデル スクリーニングから新しいモデルを適合させたりして、最適なモデルを簡単に展開できます。 |
| これを詳しく見ていくために、いくつかの例を使用します。最初の例は、おなじみの例です。 |
| 糖尿病データであり、これらはサンプル データ ディレクトリにあります。 シナリオは、研究者が病気の進行率を予測できるようにしたいということです |
| ベースライン測定が行われてから 1 年後。 10 のベースライン変数と 442 人の患者があり、ここでは 2 種類の応答があります。 応答 Y は、疾患が 1 年間でどの程度進行したかを測定する定量的尺度です。 |
| また、高/低の 2 値反応もあります。高は病気の進行率が高いことを意味し、低は進行率が低いことを意味します。 |
| ここでのモデリングの目標は、病気の進行率が高い可能性が最も高い患者を予測して、是正措置を講じることです。 |
| 最終的に、私たちができるようにしたいのは、人口統計学的変数とここにあるベースライン情報に基づいて、将来の患者を分類できるモデルを構築することです. だから私たちはできるようになりたいです |
| 病気の進行率が高いかどうかを正確に予測して、対策を講じることができます。 さて、それがシナリオです。 |
| JMP に入る前に、どのモデルが最適な予測を行うかを決定する方法について少しお話ししたいと思います。 |
| そして、これには検証セットまたはテスト セットを使用すると述べましたが、使用できる測定にはいくつかの異なる種類があります。 |
| 連続応答の場合、ルート主二乗誤差である RMSE、または関連する尺度であるルート平均二乗誤差である RASE を使用します。これが予測誤差であり、ここでは低い方が優れています。 |
| AAE (平均絶対誤差)、MAD (平均絶対偏差)、または MAE を使用することもできます。これらについても、低いほど良いです。 これらは...これらは...これらは一種の平均誤差測定値です。 |
| 次に、R 2 乗です。R 2 乗は、実際には適合度の尺度であり、高いほど優れています。 |
| そのため、これらを継続的な応答に使用する傾向があります。利用可能な他の多くの種類の対策があります。 |
| カテゴリ応答は、誤分類、エラー率、または精度に関心があることが多いため、精度に関心がある場合があります。 |
| ROC 曲線で見られる曲線下面積、感度、特異度などの他の尺度があり、これらはいくつかの異なる種類の名前で呼ばれています。 |
| また、モデルのスクリーニングに追加した、不均衡なデータがある場合に役立つその他の測定値がいくつかあります。 F1スコアとマシューズの相関係数であるMCCがあり、これは... |
| または、マイナス 1 とプラス 1 の間の値をとるメトリックで、カテゴリ データを取得した場合、データが 4 つの可能なカテゴリすべて、真陽性、真陰性、偽陽性のすべてにどの程度分類されているかを測定するのに適しています。そして偽陰性。 |
| それでは... JMPに進みましょう。 |
| そして、データを開きます。 |
| これらは...もう少し大きくしますが、これもまた糖尿病のデータです。 |
| これらのデータをいじってみたい場合は、これらのデータを使用するブログがあり、ヘルプの下にあり、次にサンプル データを見つけることもできます。 |
| 繰り返しになりますが、応答 Y があります。もう少し大きくしましょう。これは、疾患の進行を継続的に測定するものです。 次に、結果が低いか高いかのバイナリ Y を取得します。 |
| まず、JMP 15 を使用している場合、またはモデル スクリーニングを使用していない場合、JMP Pro を使用している場合、連続応答である Y を予測するために予測モデルをどのように適合させますか? |
| いくつかの人口統計変数があることに注意してください。 |
| これらは 10 個あり、検証列があり、検証列はデータをトレーニング データと検証データに分割します。 |
| そのため、トレーニング データを使用してモデルを適合させ、検証データに適用したときにモデルがどの程度うまく機能するかを確認します。 |
| この列を作成するには、分析、予測モデリング、検証列の作成の下にユーティリティがあり、これにより検証列を作成できます。 |
| 層化列として使用したい変数がある場合があります。たとえば、データが層全体でバランスが取れていることを確認したい場合 |
| 検証セット。 ここでは [OK] をクリックします。 |
| これにより、特定の割合のデータをさまざまなセットに割り当てることができます。 |
| また、ここには便利な追加オプションがいくつかあります。そのため、教えていて、すべての生徒に同じパーティションを持たせたい場合は、ランダム シードが非常に便利です。 |
| これは以前に使用されていた |
| では、連続応答であるこの列 Y を見てみましょう。 したがって、予測モデルをフィッティングする場合、自然な出発点は回帰モデルをフィッティングすることであり、JMP の回帰はフィッティング モデルの下にあります。 |
| 私の答えは Y です。適合させます... 主効果のみのモデルを適合させることから始めます。 |
| ここで、この検証フィールドに検証を入力します。デフォルトでは、パーソナリティは標準の最小二乗法です。 しかし、JMP と JMP Pro に精通している場合は、パーソナリティの下にさまざまなオプションが用意されていることをご存知でしょう。 |
| 実行をクリックすると、 |
| JMP 16 での変更点の 1 つは、実際の予測プロットまたはその他のプロットを見ると、点があることに注意してください... ここには、点ではなく V が付いた点がいくつかあります。 |
| これは、これらのポイントが実際に検証セットに割り当てられたことを示すためです。 |
| モデルがそのあたりのランダム ノイズをどれだけうまく予測しているか、ある程度のばらつきがあることがわかります。 と |
| モデルをトレーニング データに適合させ、検証データでモデルがどれだけうまく機能するかを確認していることを思い出してください。 そのため、下にいくつかの統計があります。 そのため、検証が行われるたびに、トレーニング セットと検証セットの追加の統計が表示されます。 |
| そして、ここにはいくつかの対策があることがわかります。 Rスクエアもあれば、RASEもあります。 |
| 一般に、モデルを 1 セットのデータに適合させてから、そのモデルを新しいデータに適用すると、新しいデータではあまりうまく機能しません。 したがって、検証セットの R 二乗が低く、エラーである RASE が少し高いことがわかります。 |
| 一度...ここで予測プロファイラーの下に表示されるのは1つだけです |
| 総コレステロールと LDL が最後に扇形に広がっていることに注意してください。 |
| そしてドラッグすると |
| コレステロールの値、この平均値の信頼区間がどれだけ広いかに注目してください。 ローエンドにドラッグすると |
| それは超ワイドになり、ハイエンドにドラッグするのと同じことです。 実際、各予測子のこれらすべての間隔は非常に広くなります。 |
| これはこの講演の範囲を超えていますが、これは、この地域には実際にはデータがないか、大量のデータがないためです。 もし私が取ったら...見てみてください、そして私はただ行くつもりです |
| これら 2 つの変数、総コレステロールと LDL を取得します。例として、コレステロールと LDL を示します。 |
| これらの間にはかなり強い相関関係があることに注意してください。 この地域にはデータがなく、この地域にはデータがありません。 |
| したがって、これらのバンドが実際に広がっている予測モデルまたは任意のタイプのモデルを当てはめた場合、 |
| これは、その地域では予測があまり正確ではないことを示しています。 JMP Proには新しい機能があります |
| これは外挿制御と呼ばれ、これが問題である場合に警告することができます。 これを引っ張ると |
| 外挿の可能性があることを教えてくれていることに注意してください。あなたの予測はここで問題になるかもしれません。 外挿制御をオンにすると |
| これらの帯域が切り捨てられていることに注意してください。基本的には、これらの境界を超えて予測を行うことはできません. それは有効ではありません。 |
| したがって、これはこの範囲を少し超えていますが、予測プロファイラーでファンアウトしているバンドを見つけた場合は、 |
| 多くの場合、予測変数が互いに相関していることが原因であり、それらの地域で予測を行うためのデータがあまりない可能性があります。 ですから、それを知っておくとよいでしょう。 |
| さて、目の前のタスクに戻りましょう。では、このモデルを適合させ、モデルを縮小して、これが私の最終モデルであることに満足しています。 |
| 予測式を保存して、このモデルをデータ テーブルに保存します。 データ テーブルに新しい列が追加されていることがわかります。 線形モデルを作成したので、その式をデータ テーブルに保存しました。 |
| 別の方法として、これを公開することもできます。式デポに公開します。 |
| 最終的に、私がやろうとしていることは、いくつかの異なるタイプのモデルをフィッティングし (先に進んでこれを閉じます)、それらのモデルを比較して、それを使用できるようにすることです... |
| これを行うには、数式を保存して分析、予測モデリング、モデル比較を行うか、数式デポに保存します。 |
| フォーミュラ デポに保存する利点は、スコアリング コードを取得できることです。 たとえば、これが新しいデータに適用したい最終モデルである場合、 |
| このスクリプトをコピーして、それを適用して新しいデータをスコアリングできます |
| (ここでは行いません) または、このモデルを運用環境で使用できるようにしたい場合は、さまざまな言語でコードを作成できます。 |
| これは単純な線形モデルでした。 別のタイプのモデルを適合させたい場合はどうすればよいですか? |
| ここで、より複雑なモデルを当てはめモデルに当てはめることができます。 |
| したがって、一般化された回帰モデルを当てはめることができ、Lasso モデルを当てはめたいので、ここをクリックします。 |
| ここには一般化された回帰のモデル比較がありますが、このモデルを保存したいとしましょう。 |
| ここでは詳細にあまり注意を払っていませんが、これは保存しておきます。 予測式を保存します。 たぶん、私も先に進んで、それを公開します。 |
| ここに行って、これを公開してください。 |
| これを繰り返すかもしれません。相互作用のあるモデルに適合するかもしれません。 次に、ニューラル ネットワーク モデルまたはパーティション モデル、ツリー ベースのモデルの適合に進みます。カテゴリ応答がある場合は、これが適合します。 |
| 分類木。 継続的な応答がある場合、それは回帰木に適合します。 より小さなツリーまたはブーストされたツリーのコレクションであるブートストラップ フォレストに適合する可能性があるため、適合できるモデルにはいくつかの異なるタイプがあります。 |
| そして、モデルを取得して式を保存するか、式デポに公開したら、どのモデルが最も正確に予測するかを調べたいと思います。 |
| そこで、モデル比較を使用します。 |
| 検証を by 変数として追加するだけです。 |
| モデルが検証データに対してどの程度うまく機能したかを確認したいからです。 この 2 つのモデルを使用して検証データを確認すると (トレーニング データは省略します)、 |
| 最小二乗モデルの平均誤差が低く、最小二乗モデルの RASE が少し高いことがわかります。 |
| そして、私の R 平方は、一般化されたなげなわに対して少し優れています。 |
| これは、JMP 15 Pro または JMP Pro 15 を使用している場合、またはモデル スクリーニングを使用していない場合に、予測モデリングを行う一般的な方法です。 そして、モデル スクリーニングが行うことは、そのすべてを 1 つのステップで実行できるようにすることです。 それでは、予測モデリングとローンチモデルのスクリーニングについて説明します。 |
| そして、モデルのスクリーニングは、ここの隅を見下ろすと、基本的に、私たちが持っているデータの種類に適した各プラットフォームを起動することを可能にします |
| それらのモデルを自動的に実行します。 そのため、メニューからモデルを選択する必要はありません。ここから自動的にモデルを実行できます。 同じタイプのモデルに当てはめますので、ここでは主効果のみのモデルです。 |
| これらは私のXです。 同じ検証を使用します。 |
| ここにはたくさんのオプションがありますが、これについてはすぐに説明します。[OK] をクリックします。 決定木、ブートストラップ フォレスト、ブースティング ツリー、K 個の最近傍があることに注目してください。 |
| デフォルトでは Naive Bayes はオフになっており、ニューラル モデルを適合させることができます。 |
| この下に他のものがあります。 XGBoost を取得したことに注意してください。アドイン XGBoost アドインをインストールしたため、XGBoost を使用できます。 |
| これはオープン ソース ライブラリにアクセスする無料のアドインであり、JMP Pro にインストールされている場合は、モデル スクリーニング プラットフォームから起動できます。 これはそのままにして、[OK] をクリックします。 |
| モデルを実行していて、そこにあります。 それで、それは消えて、実際にはステップをスキップしましたね。 これらの各モデルが自動的に実行されます。 |
| また、チューニング パラメーターの最適な開始値を決定するために使用するシミュレーションがいくつかあるため、これらすべてのモデルに適合させます。 |
| そして、各モデルの検証トレーニングと検証統計を報告しています。 そして今、これらのモデルのどれが最適かを判断するために、 |
| ドミナントを選択します。 そして、selectdominant が基本的に行うことは、利用可能なメトリクス全体でフロンティアを作成することなので、ここで selectdominant を押します。 |
| これらのデータの場合、最適なモデルはニューラル ブースト モデルであり、そのモデルの詳細はニューラルの下にあります。 |
| したがって、すべての詳細は、実際にはプラットフォームを起動し、すべての情報をこのプラットフォーム内で取得するだけです。 |
| ニューラルの詳細はすべてここにあるので、基本的にはブーストされた 3 つのノードで TanH を実行します。 トレーニング統計と検証統計を確認できます。実際に適合したモデルを確認したい場合は、 |
| これが基礎となるモデルです。 |
| そうですね、これは...つまり、これが私の最高のパフォーマンス モデルです。 これらのモデルを詳しく調べたい場合は、ここから探索できます。ここにはいくつかのオプションがあり、予測プロットによる実際を見ることができます。 |
| そして、これらのモデルを比較することができるので、予想通り、検証データと実際の予測プロットよりもトレーニング データの変動が少し少なくなっています。 これを調べたい場合は、特定のモデルをオフにすることができます。 |
| また、プロファイラーを起動することもできます。16.1 をお持ちの場合、プロファイラーはオプションです。 16.0 を使用している場合、これは実際には非表示のオプションです。これについても、私は Pro を使用しています。 プロファイラーは、適合するモデルを探索できるので便利です。そのため、3 つのモデルを選択しました。 |
| そして、これをもう少し大きくしましょう。 |
| それほど大きくないのかもしれません。 |
| だから私は、ツリーベースのモデルであるブートストラップフォレストを持っています。ここでは、基本的に、さまざまなツリーの束の結果を一緒に追加します。 |
| ブーストされたモデルがあり、ニューラル モデルは非線形の動作を非常にうまく捉えています。 そして、Lasso モデルがありますが、これは本質的に単なる線形モデルです。 |
| そして、これらのモデルをかなりはっきりと見ることができます。 一般化されたなげなわで注意してください、そうです、BMIの間にこの線形関係があります |
| そして応答。 ニューロブーストを使用すると、湾曲があることがわかります。 ここで LTG を使用して確認できます。ブートストラップ フォレストを使用すると、この小さなステップ関数があることがわかります。実際には、この非線形関係を近似しています。 |
| したがって、ニューラル ブースト モデルが最適であると判断した場合、 |
| 次に、基本的にモデルを起動し、ここから起動します。数式をデータ テーブルに保存するか、展開用に数式デポに公開できます。 |
| そのため、多くの時間を節約しながら、モデルを探索することができます。 |
| また、カテゴリ応答がある場合はどうなるでしょうか。 Yバイナリがあることを覚えておいてください。 同じ方法で Y バイナリを使用できるので、分析に行き、再びモデル スクリーニングを呼び出します。リコールを押して、Y の代わりに Y バイナリを使用します。 |
| その中で同じタイプのモデルを実行できます。 特定のタイプのモデルが意味をなさない場合、それは実行されません。 したがって、たとえば、最小二乗回帰はここでは意味がないため、実際には実行されません。 |
| ここにはいくつかのオプションがあります。 1、2、3、4、5 などのランダム シードの設定を選択すると、再現性が得られ、詳細からモデルを起動すると、 |
| それは...同じ結果になります。 ここには、検証用の追加オプションがいくつかあります。 |
| したがって、多くの場合、トレーニング、検証、およびテストの古典的な分割を使用することがわかります |
| 特に小さなデータセットでは、実際には最適ではありません。 そのため、代わりに K 分割交差検証を使用したいと思うかもしれません。ネストされた交差検証もあります。 |
| また、K 分割検証を繰り返し実行できます。 したがって、これは特にデータ セットが小さい場合に適したオプションです。 |
| そして、下部にいくつかの追加オプションがあります。 そのため、双方向の交互作用または二次方程式を追加することができます。 |
| 値が欠落していることがわかっている場合は、有益な欠落を使用することをお勧めします。 また、追加の方法は、追加の一般化回帰方法に適用されます。 また、JMP 17 アーリー アダプター プログラムに参加している場合は、メニュー ダイアログのこの部分が |
| または、モデル起動ダイアログが少し再編成され、流れが少し良くなりました。 そうですね、ここではランダム シードを使用してデフォルト設定を使用し、[OK] をクリックします。 |
| したがって、これらすべてのモデルを実行しています。 繰り返しますが、非常に高速です。 さて、バイナリ応答があるので、いくつかの追加の指標があります。 私は2つ持っています |
| R 二乗測定、誤分類率、曲線の下の領域、RASE を取得しました。 これは二乗平均平方根誤差に関連していることを覚えておいてください。 もう一度、[優勢を選択] をクリックすると、ニューラル ブーストが検出されましたが、常にそうであるとは限りません。 |
| 最上位のモデルと思われる赤い三角形の下のオプションを選択すると、これらの ROC 曲線を確認できます。ここでも、モデルのオンとオフを切り替えることができるチェック マークがあります。 私にさせて |
| これを選択します。 また、モデル比較プラットフォームからも利用でき、JMP 17 で分類モデリングを行うすべてのモデリング プラットフォームに追加されている、私のお気に入りの新機能の 1 つは、決定しきい値と呼ばれるものです。 |
| これは、JMP 16 で追加された最も強力な機能の 1 つです。 |
| これら 3 つのモデルを選択すると、これら 3 つのモデルの分類の概要が表示されます。 |
| これをもう少し大きくして、もう少しよく見えるようにします。 |
| したがって、これを読むと、ニューラルブーストを見るだけで、ニューラル...ニューラルブーストの2つのカテゴリが示され、高い確率が予測されます. したがって、これらは高い確率に適合しています。 |
| カットオフは 0.5 であるため、0.5 未満のものはすべて低に分類されます。 0.5 を超えるものは高と分類されます。 |
| ここの赤いブロックを見ると、これらはすべて低に分類されたが、実際には高かったポイントです。 それらの 29 があったので、これらは偽陰性でした。 |
| 下の赤いボックスは、これらは高いと分類されました。 |
| しかし、彼らは実際には最低でした。 これらは偽陽性です、ここにいる人たちです。 |
| そして、下部には、これを理解するのに役立ついくつかの指標とグラフがあり、いくつかの決定を下すのに役立ちます. また、いくつかのメトリクスもあり、同じ値、29 個の偽陰性、17 個の偽陽性を確認できます。 |
| また、真のポジティブとネガティブも見ることができます。 そして、これについて私が本当に気に入っているのは、さまざまなカットオフを探索できることです. |
| したがって、モデリングの目標によっては、たとえば、感度率を高くしたい場合もありますが、特異度を低くしたくはありません。 |
| 感度率、ここにあるこのキーは非常に役立ちます。感度は真の陽性率です。特異度は真陰性率です。 |
| ご存知のように、これらの両方で実際にもう少しうまくいくカットオフを見つけることができますか? また、クリックしてドラッグすると、分類のカットオフを変更できます |
| そして、より良い仕事をするカットオフを見つけようとします. たとえば、.26 では、ここに適切な丸め数値を入れます。.25 のカットオフでは、高い特異性を維持しながら、感度が高くなります。 |
| 私が隠したグラフは、これらの数値を解釈するのにも非常に役立ちます。したがって、誤分類の全体像を把握できます。 |
| しきい値別、部分別、真の分類。 特異性と感度のバランスが取れている点を見つけようとしている場合は、このグラフを見ることができます。 |
| これらの一番上の線は感度で、破線は特異性であり、感度の特定の値をまだ超えているポイントはありますか... |
| 感度、どこで特異度が高く保たれるか? そして、それらのバランスを取ることができます。 ですから、ここを見ると、これが両方の線が交差する点であることがわかります。 |
| これは、データのバランスが取れていない場合に非常に重要になります。 それでは、別の例を見てみましょう。 これを締めくくります |
| これを保存しないでください。 式デポを閉じさせてください。ちなみに、式デポはスタンドアロンなので、基本的に、使用していたデータセットには関連付けられていません。 そのため、モデルを取得して新しいデータに適用することが非常に簡単になります。 先に進み、これを閉じます。 |
| この次のデータセットのシナリオは クレジットカード マーケティングと呼ばれるデータです このシナリオは |
| クレジットカードのオファーの受け入れについて市場調査を行っていること。 そして、応答はオファーが受け入れられます。 注意点は、オファーのわずか 5.5% であるということです。 |
| 過去のデータを使用して、承認されました。 これは実際には設計された実験であり、さまざまな報酬、さまざまなメーラーの種類、 |
| 財務情報は異なりますが、設計された実験は報酬とメーラーのタイプです。 この特定のモデリングの目標に焦点を当てます。 クレジットカードのオファーを受け入れる可能性が最も高い顧客を特定したいと考えています。 |
| そして、これを行うことで、 |
| モデルを新規顧客に適用し、これらの新規顧客の分類に基づいて、オファーを送るかどうかを決定します。 |
| そのため、顧客がオファーを受け入れる可能性が非常に低い場合は、オファーを送信しません。 可能性が高い場合は、送信します。 |
| 以上がシナリオです。JMP に戻ると、オファーが受け入れられました。 データについて話している間、ここで保存したスクリプトを実行します。 |
| 10,000 の観測があるので、これにはもう少し時間がかかります。現在、これらのモデルを実行しています。ここではデフォルト設定を使用しています。 オファーを受け入れたので、 |
| 特典の種類は、航空マイル、キャッシュバック、またはポイントです。 メーラーの種類は、レターまたはハガキです。 そして、これらの残りは銀行です...歴史的な銀行情報といくつかの人口統計情報です。 |
| サポート ベクター マシンが実行されていることがわかります。 サポート ベクター マシンは、特に大きなデータ セットでは少し遅くなる可能性があり、実際、10,000 を超える観測がある場合、デフォルトでは実行されません。 |
| 平均残高があることがわかります。 データはトレーニングと検証に適用され、JMP はゼロをトレーニングとして、1 を検証として自動的に認識します。 これですべてのモデルが実行されました。 |
| ドミナントを選択すると、段階的に適合し、決定木が選択されていることがわかります。 |
| しかし、私はこの誤分類率を指摘したいと思います。 |
| これは...これは干し草の山から針を探しているときによく目にするものです。 これらのデータを見て、これらのデータの配布を実行するだけです... |
| これをもう少し大きくして、もう少しよく見えるようにしましょう。 検証データを見ているだけです |
| 6.25、6.2、6.3% |
| の値が「はい」であり、彼らはオファーに応答しました。これはまさに、誤分類率についてここで得られたものです。 |
| これをよりよく理解するために、決定しきい値をオンにします。 |
| そして、これを少し大きくします。 |
| 予測された yes がすべてゼロであることに注意してください。これは、予測された確率がすべて比較的低かったためです。 |
| 従来の混同行列では、カットオフは .5 であり、不均衡なデータがある場合、多くの観測値を「はい」と分類する可能性は非常に低いことに注意してください。 |
| クリックしてドラッグすると、 |
| この最初の一連のポイントにたどり着くと、いくつかの予測されたイエスが見え始めます。 実際、メトリックをオンにします。 |
| 非常に不均衡なデータがある場合、予測される確率は非常に低くなる可能性があります。 |
| したがって、このスライダーを使用すると、カットオフを探索できます |
| 感度と特異度の両方に影響を与える可能性があります。 このような場合、私たちが送信する場合は、次のように言うことができます... |
| ここに 0.05 を入力します...予測確率にクレジット カード オファーを送るとしたら、予測確率の上位 5% が「はい、そうです、私たちの感度」です。 |
| 2 つのモデル間の差は約 .72、.75 であり、特異度は依然としてかなり高いです。 この...このカットオフ、このスライダーを使用すると、モデルからより有用な情報を取得できます。 |
| .5 の場合、いくつかの真の陽性が得られていることがわかります。 また、多くの誤検知が発生しているため、ここにはトレードオフがあります。 |
| さて、このような場合、金銭的な影響もあるかもしれません。右。 だから、これについて考えるのは理にかなっています... |
| 利益マトリックス。 そして、ボタンがあります。 |
| これをクリックします。 |
| 利益マトリックスは、特定の列の列プロパティであり、設定できます |
| その値は、列のプロパティとして、確率のしきい値から切り離されます。または、値を差し込むこともできます。 ご存知のように、古典的なシナリオでは、おそらく 5 ドルかかります |
| 誰かにオファーを送ることを選択した場合。 |
| そして彼らが申し出に応じるなら、 |
| 100ドルの価値があるかもしれません。 したがって、誰かにオファーを送信することを選択し、彼らが応答しない場合、5 ドルを失います。 |
| 誰かにオファーを送ることを選択し、彼らが反応した場合、平均して 100 ドルを稼ぐことができます。 機会損失があるかもしれません。 |
| 彼らが応答しない場合。 多くの場合、これのコストは、これが空白のままで、yes の値を差し込むだけです。 これを適用してOKをクリックすると、 |
| 次に、いくつかの新しい値が追加されますね。 これで、利益マトリックスができました。メトリクスを見ると、予測された利益を見ることができます。 そう |
| 平均して、このデータセットの顧客ごとに、デシジョン ツリー モデルを適用すると 1.50 ドルになり、段階的モデルを適用すると少し少なくなります。 |
| したがって、いくつかの基礎となるコストがあり、データが不均衡なこのような状況では、利益マトリックスを使用するのが理にかなっています。 基礎となるコストがない場合、 |
| 次に、このスライダーは、モデリングの目標を達成できるカットオフを選択するのに役立ちます。 感度を最大化する、特異性を最大化する、またはその他の何かである可能性があります。 |
| つまり、それは本質的にモデルのスクリーニングです。 |
| これを閉じて、スライド デッキに戻りましょう。 |
| そこで、予測モデリングと、予測モデリングの意味について少し話しました。 |
| また、検証を使用して多くのモデルを簡単に適合および比較できることを確認しました。モデルのスクリーニングは、このワークフローを合理化することがすべてです。 |
| 必要に応じて個々のモデルを適合させることもできますが、モデル スクリーニングを使用すると、すべてのモデルを 1 つのプラットフォームに同時に適合させてから、これらのモデルを比較できます。 |
| 詳細については、利用可能なさまざまな種類のメトリックと、分類データ用の非常に多くのメトリックがあります。 本当に素敵なものがあります |
| ウィキペディアの感度と特異度、およびさまざまなメトリックのすべてについてのページで、提供されているメトリックを解釈する方法を掘り下げて理解しようとしていたときに、これが非常に役立つことがわかりました。 |
| 一般的な予測モデリングに関する多くのリソースと、JMP Pro でのモデル スクリーニングに関するリソースがあります。 |
| 私たちのユーザー コミュニティで。 ここでも STIPS を参照します。 STIPSは、産業問題解決コースの統計的思考法です。 |
| 7 番目のモジュールは予測モデリングの紹介です。予測モデリングがまったく初めての場合は、これを確認することをお勧めします。 また、コミュニティに投稿された糖尿病データを使用するブログもあります。 そして最後に、新機能があれば |
| 改善を繰り返す傾向にあります。 モデルスクリーニングはJMP Pro 16で導入されました。 私たちはすでに JMP Pro 17 に取り組んでおり、すでに多くの改善が行われています。 |
| 今後の予定に興味がある方は フィードバックをお寄せください |
| アーリー アダプター プログラムへの参加についてお問い合わせください。セットアップをお手伝いします。 お時間をいただきありがとうございました。残りの会議をお楽しみください。 |
