多くの人は、これまで多くのトレーニングに参加し、実際の業務で多くの経験を積んできたと感じているのに、モデリングの結果が理想的ではないのはなぜでしょうか。今日は、データ分析における予測モデリングの方法とアイデアについて説明し、モデリングと分析をより簡単に実行できるように、方法論で起こり得る誤解や偏見を理解するのに役立つ小さな事例を使用します。
予測モデリングとは何ですか?
予測モデリングに関しては、よく知らない友人にとっては不可解だと思われるかもしれません。実際、予測モデリングは生活のあらゆるところで行われています。たとえば、朝起きて天気が曇っているのを見て、今日は雨が降るかもしれないと予測します。これは単純な予測です。つまり、医師がさまざまな症状の患者を診たときに、その患者の何パーセントが風邪になりやすいか、病気の患者が何パーセントであるかを予測しますが、これも予測です。
予測モデリングの核心と手法は何ですか?
予測モデリングには多くの方法があります。従来の方法には、線形回帰、多項式回帰、ロジスティック回帰などの回帰分析、リッジ回帰、ラッソ回帰などのペナルティ モデルが含まれます。ニューラル ネットワーク、サポート ベクター マシン (SVM)、デシジョン ツリー、ランダム フォレスト、ブースト ツリー、その他の手法など、機械学習に基づくモデリング手法は、例外なく、データ アナリストに多くの選択肢を提供します。
しかし、どのような種類の予測モデリングが行われるとしても、本質的には、実際の状況を真に復元し、真の法則を発見できる最適なモデルを見つけることが重要です。しかし、ほとんどの場合、おそらく私たちが直面する最も重要な問題は、モデルが良いかどうかをどのように判断するかということでしょう。過学習はありますか?つまり、予測モデルの最も重要な核心問題は、変動と偏差の最適なバランスを達成できるかどうかです。
変動と偏差の均衡は何ですか?平たく言えば、モデルは、モデリングに使用されるトレーニング セット データで良好なパフォーマンスを発揮するだけでなく、別のグループの人々によって収集されたデータが変更された場合にもパフォーマンスが向上する必要があります。たとえば、同じ薬を最初のグループの人々が服用した場合、有効性は 80% に達し、非常に優れているように見えますが、別のグループの人々が薬を服用した場合、薬の有効性はわずか 30% になる可能性があります。 。これは効果がそれほど良くないことを示しています。実際の効果は次のようになります。(理論的には) 無数のサンプリングを実行し、毎回 100 人をサンプリングした場合、その効果はこれらの無数のサンプリングで非常に安定しており、各サンプリングの効果は非常に優れています。いわゆる良い効果とはモデルの予測効果が良いことを意味し、いわゆる安定とは変動の数が少ないことを意味し、いわゆる不安定とは変動の数が多いことを意味する。
簡単に聞こえるかもしれませんが、実際には無数のサンプリングを達成することはできず、ほとんどの場合、サンプリングは 1 つだけです。これには、相互検証方法を使用する必要があります。
相互検証とは何ですか?たとえば、群集をいくつかの部分に分割し、その一部をトレーニング データとして保持し、次に 1 つの部分を検証データとして保持し、残りの一部を抽出してトレーニング データとして使用するとします。つまり、すべてのデータを取り出して検証することを相互検証と呼びますが、検証対象のデータはすべてモデリングに使用されるデータではないため、結果に説得力が生じます。
たとえば、点が 2 つある場合、最適モデルを構築するのは非常に簡単で、この直線が最適モデルです (偏差は小さく、実際には偏差は 0 です)。
図からわかるように、このデータでは、緑の線は明らかに赤の線ほどパフォーマンスが良くありません (偏差が大きい)。ただし、検証データを追加する場合、青が検証データである場合、赤が緑よりも優れているとは限りません。したがって、この場合、赤い線には小さな偏差がありますが、大きな変動があります。なぜなら、トレーニング データでのみ最適なフィッティング効果が得られているように見えますが、別のデータ バッチ (検証データ) に切り替えると、フィッティング効果がすぐに悪化することがわかるからです。偏差は非常に小さいように見えますが、偏差が大きすぎるため、これは私たちが追求していることではありません。私たちが本当に追求しているのは、偏差が小さくなければならず、偏差が小さくなければならない、または少なくともその間にある必要があることです。妥協点、これが予測モデリングのすべてです。このような妥協点を見つける方法は、通常、相互検証を使用します。したがって、優れた予測モデルを構築するには、ニューラル ネットワーク、デシジョン ツリー、SVM などのいずれであっても、実際にはそのような妥協点を探しています。
実際の観点から見ると、予測モデリングでは主に 2 つの点を決定します。
- どの変数が結果に影響を与えるかを判断する。予測では予測する変数を見つける必要があるため、たとえば、変数が 100 個ある場合、その 100 個の変数すべてが予測に寄与するのでしょうか。したがって、最初にどの指標がそれに寄与するかを判断する必要があります。
- これらの寄与指標と結果の間にはどのような関係があるのでしょうか? ?
実際、ほとんどの場合、私たちの多くは最初の変数、つまり結果に影響を与える変数に注目しますが、実際には、特に従来の予測モデルでは、これらの変数と結果の間の実際の関係に注意を払う人はほとんどいません。これらに注意を払わないと、構築されたモデルの多くが実際には無効であることがわかります。この点では、変数が線形であるか非線形であるかに関係なく、機械学習は最適な分割点を見つけるのに役立つため、機械学習手法の方が優れています。
ただし、従来のモデルのほとんどは線形モデルであり、非線形を直接処理できないため、この点では従来のモデルの方が若干劣ります。線形回帰、ロジスティック回帰などの従来のモデルは、通常、小さな偏差のみを追跡しますが、Lasso 回帰やエラスティック ネットワークなどの方法は、小さな偏差を追跡するだけでなく、2 つの間に存在する可能性のある小さな変動も追跡します。これらの方法は、偏差と変動のバランスを考慮するため、現在非常に人気があります。
では、従来の予測モデリング手法は時代遅れなのでしょうか?答えは否定的です。
ニューラル ネットワーク、サポート ベクター マシン、デシジョン ツリー、ランダム フォレスト、ブースト ツリー、その他の手法は、確かに多くの人が追求したい最先端の手法ですが、これを理由に従来のモデリングが排除されるわけではありません。実際にはまだ独自の利点があります。
まず、変数が適切に変換されている限り、従来の線形モデルは非線形予測も行うことができます。従来のモデリング手法は主にいくつかの線形モデルを使用しており、そのほとんどは一般化された線形モデルに起因しており、主にいくつかの線形の区別を行っています。機械学習方法は、非線形区別においてより多くの利点を有する可能性がある。しかし、これは、従来のモデルがこれらの非線形の区別を行うことができないという意味ではありません。もちろん、従来の予測モデルを構築する場合、変数をソフトウェアに直接入力するだけでは、モデル自体は線形であり、それが定義されているため、非線形を区別することはできません。ただし、これらの変数をある程度調べて変換すると、非線形の区別を達成することができます。
第二に、従来の回帰モデルは非常に直感的です。従来の回帰モデルでは、非常に明確なパラメーター推定値、P 値、および誰もが懸念しているその他の指標が表示されます。モデルをリスト化したい場合、それは非常にシンプルです。すべてのモデルを直接リストすることができます。
対照的に、機械学習、特に深層学習などでは、モデルを列挙することはほとんど不可能です (もちろん、これはこれらのモデルに数式がないという意味ではなく、列挙するには複雑すぎるというだけです)。したがって、実際には、それはブラックボックスプロセスに似ています。いわゆるブラックボックスは機械のようなもので、ここに肉を入れるとそこからソーセージが出てくるというものです。しかし、途中でそれを処理する方法がわかりません。中間の処理プロセスを理解したいと思うことがありますが、その内部のことを理解できるのは機械だけであることがわかります。機械は中間ステップを段階的に実装する方法をよく知っていますが、私たちはそれを理解することができません。複雑すぎる。したがって、私たちはブラックボックスのプロセスしか見ていないことが多く、明確な式を与えることができません。
式を気にせず、予測効果だけを気にする場合もありますが、モデルをリストする必要がある場合 (たとえば、特許を申請する必要がある場合)、それを明確に説明できない場合は、特許出願が難しくなる。現時点では、役立つ明確な公式が必要になることがよくあります。
結論から言えば、手法が古いかどうかということはなく、手法が古いか時代遅れではなく、単に適切かどうかだけです。ただ、方法によっては適用する際に適用条件があるものもあります。どの手法をいつ使用するかについては、実際の状況に大きく依存します。たとえば、変数が多い場合、機械学習の方が有利になることがよくあります。
次に、2 つの小さなケースを使用して、従来の手法と機械学習の比較適用を実際に見ていきます。
物流戻るVSニューラルネットワーク
ケース: ある研究では、高血圧の影響因子 (はいまたはいいえの二値変数) を分析し、性別、年齢、およびそれぞれ A、B、C、D で表される 4 つの血清学的指標を調査しました。研究者は、年齢、B、C の 3 つの変数を使用して予測モデルを構築する予定です。同じデータセットに対して、ロジスティック回帰とニューラルネットワークをそれぞれ使用してモデル化し、最終結果を確認します。
まず、ロジスティック回帰を使用して予測モデルを構築し、これら 3 つの連続変数をモデルに直接組み込みます。結果は、ROC 曲線の下の面積が 0.6023 であり、実際には比較的低い結果であることを示しています。構築されたものには実際的な意味はあまりありません。
次に、2 層ニューラル ネットワーク テクノロジーを使用して、これら 3 つの変数 (トレーニング セットの結果に基づく) を直接組み込み、ROC 曲線も取得しました。最終的に約 0.86 であることがわかりました。
結果から判断すると、ロジスティック回帰予測よりもニューラル ネットワークの方が優れていると感じるかもしれません。実際、この結論はあまり信頼できるものではありません。なぜ？これはアナリストと大きく関係しています。データをソフトウェアに直接入力すると、上記の従来の回帰手法は線形モデルであるため、ソフトウェアは当然ながら線形に実行されます。しかし、機械学習は最終的に最適なフィッティング効果と最適な予測効果を見つけることができます。実際、ほとんどの機械学習は、結果を常に比較し、常に調整する、継続的な試行錯誤のプロセスです。私たちが試行錯誤を続けるのと同じように、試行錯誤の過程で徐々に良い結果を得ることができます。
今のデータを統計家として再分析してみると、この 3 つの指標は確かに無意味であるように思えますので、この 3 つの連続データを直接分析に含めると、本当に統計が存在しないように見えます。科学的に重要であるため、ROC 曲線は比較的低くなります。
しかし、さらに詳しく見てみると何が見つかるでしょうか？ 3 つの変数は線形関係にないため、当然のことながら、結果には統計的な有意性はありません。分類を使用すると、非常に明確に表示されます。
したがって、線形関係にないこれらの変数をロジスティック回帰に直接当てはめて線形モデルを構築した場合、得られる予測結果は明らかに理想的ではないことが想像できます。
元の変数を入力せずに、分類結果を変数としてモデルに再入力し、ロジスティック回帰を使用して再演算すると、ROC 曲線がすぐに 0.86 になり、これは 0.86 よりも大幅に高くなることがわかります。たった今0.6です。
なぜ？法則が見つかったので、変数は線形関係ではなく、非線形関係になります。このような非線形分類の後、これが実際の関係であることがわかります。そして、その関係が見つかると、モデルの結果がより理想的なものになり、予測効果がより良くなることがわかります。
したがって、従来の回帰モデルを使用して予測モデルを構築する場合、より多くの分析経験が必要であり、そうでない場合は、「従来のモデルは実際には機械学習やその他の新しいテクノロジーほど優れておらず、機械にも及ばない」と結論付ける可能性があります。よく勉強しましょう」というのは幻想です。実際、多くの場合、モデルを構築する際に最も重要なのは手法ではなく、分析者自身です。多くの場合、私たちが発見する問題はモデル自体の問題ではなく、実際の法則を発見していないということです。
物流戻るVSデシジョンツリー
同様に、ロジスティック回帰とデシジョン ツリーを比較してみましょう。
上記と同じケースです。変数年齢を例にとると、決定木を使用すると、年齢は連続変数としてモデルに直接含まれ、決定木によって自動的に年齢が 3 つのカテゴリに分割されます。
調査の結果、3 つのカテゴリに分類する方が合理的であることがわかりました。最後に、私たち自身の探索の結果が決定木の結果と似ていることがわかりました。
もちろん、この種の分析には分析者側の経験の蓄積が必要であり、データ分析の作業を十分に行っていると、自然にこのようなモデリングと分析の経験が得られます。したがって、データアナリストには、モデルを明確に区別し、その正誤を判断する能力が必要ですが、そうでないと、いわゆる高度な手法を盲目的に追求し、現実から乖離してデータのフィッティング効果だけを追求すると、データアナリストは失敗してしまいます。無意味になる。すべてのモデルは研究の実際の状況に基づいていなければならず、最終的には実際の分析作業に戻って実際の作業に役立つ必要があります。
に基づくJMPインタラクティブな予測モデリング
インタラクションとは何ですか?一般に、データ分析におけるインタラクションとは、オペレーターがいつでも調整した内容にコンピュータがいつでも応答できることを意味します。従来のソフトウェアは通常、コマンドを記述して結果を出力しますが、他の結果を取得したい場合は、別のコマンドを記述する必要があります。これがコマンドから結果へのモデルです。
しかし、JMP はコマンドから結果に移行するだけでなく、結果からコマンドに移行することもでき、これら 2 つは実際の相互作用です。データに対する操作はすべてインタラクティブな結果に直接反映され、逆に、結果の調整もデータ テーブルに直接反映されます。さらに、JMPは、ロジスティック回帰などの従来の回帰分析のためのさまざまなプラットフォームを提供するだけでなく、ニューラルネットワーク、ランダムフォレスト、デシジョンツリー、ブースティングツリーなど、現在一般的に使用されている機械学習プラットフォームも含み、インタラクティブな視覚化を提供できます。この手法はプログラミングを必要とせず、基礎分析、探索的データ分析、予測モデリングなど、学術界や産業界のさまざまなニーズに応えることができます。
JMP Starter options for Predictive Modeling.. From JMP Pro VIEW>JMP STARTER.JMP Starter options for Predictive Modeling.. From JMP Pro VIEW>JMP STARTER.JMP Starter options for Predictive Modeling.. From JMP Pro VIEW>JMP STARTER.JMP Starter options for Predictive Modeling.. From JMP Pro VIEW>JMP STARTER.予測モデリング用の JMP スターター オプション。 JMP Pro VIEW > JMP STARTER から。
JMP インタラクティブ予測モデリングが実際の業務にどのように役立つか、また科学的データ分析の考え方をより適切に確立する方法について詳しく知りたい場合は、ダウンロードへようこそJMP の 1 日無料トライアルでぜひ体験してください。
