AIがますます普及する時代において、機械学習は重要な役割を果たしていますが、多くの人は完成した製品やコンセプトを目にしますが、実はその手法が鍵となります。機械学習は、アルゴリズムに関して 2 つの異なるカテゴリも区別します。教師あり学習そして教師なし学習。一般的な機械学習手法は次のように分類されます。
教師あり学習
|
教師なし学習
|
デシジョンツリー
|
クラスタリング
|
ニューラルネットワーク
|
自己組織化マップ
|
ランダムフォレスト
|
相関分析
|
回帰分析
|
特異値分解
|
K 最近隣
|
|
ナイーブ・ベイズ
|
|
存在する教師あり学習中型、一般用途フラグ付きトレーニング用のデータセット、教師あり学習は主に次の用途に使用されます。回帰関係を分類して確立する; それよりも教師あり学習使用ラベルのないデータトレーニングの目的は、データからいくつかの構造やパターンを発見することです。それらのほとんどは、クラスタリングそして次元削減優れた。
機械学習を理解する: ニューラル ネットワーク アプローチ
今日は教師あり学習でよく耳にする、開発の歴史が長いニューラルネットワークについて紹介します。 ANN（人工ニューラルネットワーク）人工ニューラルネットワーク法人体に例えると、ニューロンの概念です。ニューロンには、細胞体、樹状突起、軸索が含まれます。樹状突起の主な機能は、他のニューロンから信号を受信することです。これらの信号はシナプスを介して樹状突起に伝達され、樹状突起は受信信号は統合され、さらなる処理のためにニューロン細胞体に渡され、軸索は主にニューロンの出力信号の伝達を担当します。ニューロンが活性化されると、その軸索を介して他のニューロンに信号が送信されます。シナプスは 2 つのニューロン間の接点です。シナプスを通じて、神経伝達物質を介してニューロン間で信号が送信され、各ニューロンはその軸索を介して信号を送信します。各シナプスニューラルネットワークの重量と同等の比強度を持ちます。 （図1）
図1
ニューラル ネットワーク (図 1-2) では、パーセプトロンは重要なコンポーネントであり、入力、加重和、活性化関数 (活性化関数)、出力が含まれます (出力 = 活性化関数)。 ( ∑私( w私×バツ私) + b ） 、ウィは重み、xi は入力値、b はバイアスです 以下は、単層ニューラル ネットワークの模式図と、活性化関数が一次関数の場合の単純な重回帰式です (図 2)。
図 2: 活性化関数が一次関数である場合の単純な重回帰式
3親切JMP内部で使用されるアクティベーション関数
- タンH:
: 双曲線正接関数は、-1 から 1 までの S 字型関数です。これはロジスティック関数の集中化およびスケーリングされたバージョンであり、x は入力変数の線形結合 (図 3) であり、その出力は集中化されます。 Y がカテゴリカル変数または非線形関係の場合、活性化関数として使用できますが、これも一般的に使用される活性化関数であり、両端の極値 -1 と 1 の勾配が 0 に近くなります。 、学習速度が遅くなる可能性があります。
図 3: 線形結合
- 線形: 恒等関数とも呼ばれ、変数変換プロセスを経ません (図 4)。つまり、次のとおりです。変数は線形関係を示し、通常の使用シナリオは入力変数の次元を減らすことです。 。
図4:
- ガウス: ガウス関数:
, これは、非線形関数である Radial Basis Function に属し、反応面がガウス平面である場合に適用できます (図 5)。欠点は、重みの更新速度が遅く、トレーニングの効率と効果に影響を与えることです。 Tanh と比較すると、周波数は低くなります。
図 5-1:
図 5-2:
次に、JMP でニューラル ネットワークを設定する方法を説明します: (図 6)
図6
最初の検証メソッドは、トレーニング セットと検証セットのモデル説明能力を評価するために使用されます。KFold は検証にすべてのデータを使用し、複数の推定値を提供するため、KFold と Holdback という 2 つの相互検証メソッドが提供されます。これにより、安定性が向上します。サンプルが小さい場合は偏った結果を回避でき、実行時間は長くなり、ホールドバックの実行時間は短くなりますが、データ検証の変動は比較的大きくなります。
以下のツアー数は、モデルがグローバル最適値ではなくローカル最適値に陥るのを防ぐために、モデルのトレーニング プロセスを再起動する回数を表します。隠れ層設定に関しては、JMP Standard Edition は単一層の隠れ層を提供しますJMP Pro は 2 層の隠れ層設定を提供します。データ構造が複雑である場合、またはデータが階層的かつ連続的である場合 (さまざまなタイプの変数や多数のデータ ソースなど)、通常、より多くの隠れ層を使用することは、複雑な非線形関係を調査することになります。 ; 複数のノードを設定する目的は、より多くのパターンを学習することです。入力変数が増えると、設定する必要があるノードを改善する必要があります。
過学習に対して、JMP は次のようなペナルティ メソッドを提供します。
(二乗): ほとんどの入力変数がモデルに影響を与えると想定される場合に使用されます。
(絶対) または
(重み減衰): 入力変数が多数あるが、そのうちの一部のみがモデルに影響すると予想される場合に使用されます。
JMP には、入力変数をほぼ正規分布に変換する共変量変換などの変数変換のオプションも用意されており、変換の利点によりトレーニングの収束が速くなり、勾配の消失を回避できます。 1同様に、出力変数に歪んだ分布や裾が厚い場合など、[ロバスト フィット] オプションを使用して外れ値の影響を回避できます。
モデルをフィッティングするプロセス
上記の説明に基づいて、モデルをフィッティングするプロセスを簡単に説明します。
尤度関数とペナルティ関数を使用し、BFGS としても知られる準ニュートン反復法を使用します。 2方法: 損失関数とペナルティ関数 (考慮されている場合) が最小値に達する点を見つけて (図 7)、パラメータの重みを調整します。一般的に、最小点は交差検証を約 20 ～ 50 回使用することで見つけることができます。
図7
JMP がモデルをフィッティングするときは、ブースティング法も選択できます。学習率は 0 から 1 の間で、フィッティングするモデルの数は調整できます。一連の小さなモデルによって合計されます。最終モデルでは、各小さなモデルは、適合モデルの数と、相互検証後にモデル全体の解釈可能性を改善できないかどうかを考慮して、前のモデルの誤差に基づいて適合されます。単一の隠れ層と 1 つまたは 2 つのノードが設定されるため、モデルの精度が向上するという利点があります。 (図8)
学習率とモデル数の設定は、学習率が1に近づくほどモデル数は少なくするのが一般的ですが、Boosting法を用いて小さなモデルを複雑に設定するほど、ボーナスの意味が異なります。 JMP では 2 つのレイヤーの設定は許可されていません Boosting メソッドと組み合わせた隠しレイヤー。
図8
リソグラフィー/エッチングケースの共有
2022 JMP Discovery Summit から以下に引用した例3 , リソグラフィー・エッチングの段階で側壁欠陥が発生することがあります（図9）。線幅が仕様内にあるかどうかを確認するには走査型電子顕微鏡SEM（Scanning Electron Microscope）を使用する必要があります。通常、異常を捉えることは困難です。検出された欠陥の位置を正確に測定することは困難です。したがって、オープンソースソフトウェアを使用して画像を画像データインジケーターに変換し、次にJMPを使用して分析とモデリングを行います。このとき、対応するYは良いか悪いかのカテゴリ変数であり、Xは各画像データに対応しますインジケーター (図 10) (インジケーターの説明については、最後のリンクを参照してください)、
図9
図10
最初のステップは、Y 変数と X 変数を選択することです (図 11)
図11
2 番目のステップでは、小さなサンプル推定バイアスを回避するために KFold が選択され、関連する入力変数を変数に変換するために単一の隠れ層と TanH 活性化関数が選択されます (図 12)。
図12
3 番目のステップは、エラー解決、予測欠陥精度、R2 乗などの指標を決定することです (図 13)
4 番目のステップは、予測プロファイラーに基づいて重みに大きな影響を与えるパラメーターを見つけることです (図 14)。
(図14)
5 番目のステップは、予測式を保存し、重みを表示することです (図 15)。
(図15)
最後に、ニューラル ネットワーク上で JMP をセットアップするためのいくつかの経験則を次のようにまとめます。
- 線形活性化関数は通常、入力変数とペアになりますが、出力変数は通常、特に変数が多すぎて次元を削減したい場合に、非線形活性化関数とペアになります。
- ノードが増えると過学習が起こる可能性がある場合、隠れ層のノード数を入力変数の数以下に保つことを開始設定点として使用できます。
- 小規模なニューラル ネットワーク モデルは計算速度と安定性が優れており、予測精度が大規模モデルと同程度であれば、小規模なモデルがメインとなるはずです。
- 入力変数の非表示層のノードまたは非表示層の数が大きすぎる場合、不必要な複雑さが導入され、モデルの過学習につながる可能性があります。設定の確認および調整には、相互検証手法を使用できます。
- 外れ値をできる限り取り除くことで、推定のバイアスを回避し、予測をより効率的にすることができます。
- データのバランシング パフォーマンスにより予測精度が向上します。たとえば、Y がカテゴリ変数の場合、各カテゴリの数は可能な限り一貫している必要があります。
一般的な教師あり学習手法としてのニューラル ネットワーク。この記事では、パーセプトロン、活性化関数、モデル構成など、ニューラル ネットワークの主要コンポーネントとトレーニング プロセスをまとめます。いらっしゃいませJMP を 30 日間無料でお試しください、会社向けにさまざまな AI 学習モデルを開発します。
推奨読書:
参考文献
- ユースケース: 画像分析パイプラインの構築における JMP (2022-US-30MP-1096)
