Re: ニューラル ネットワークのチューニングこんにちは、スコット
とても便利なアドイン。 以前は、NN プラットフォームを試して調べるために、空間充填デザインを手動で生成する必要がありました。 試運転してみます！ NN プラットフォームのレイヤー数を拡大する予定はありますか? また、genreg プラットフォームでもチューニングを実装できる可能性はありますか?
ありがとう、
ヴィンス
Re: ニューラル ネットワークのチューニングやあ、 @ヴィンス!。
これについて意見を言いたかっただけです。 GenReg はすでに調整できており、アルファ ハイパーパラメータを「.」に設定するだけです。 JMP がそれを最適化します。 NN のより多くのレイヤーについては、Scott よりも JMP Development の手にかかっています。 リクエストをJMPウィッシュリストこれにより、より深い NN が利用可能になることを望んでいることがわかります。
一番、
M
Re: ニューラル ネットワークのチューニング@ヴィンス-
現時点では、アドインはパラメーターを JMP NN プラットフォームに渡すだけで、最大 2 つのレイヤーで NN を構築します。 プラットフォームが変更され (レイヤーの追加、アクティブ化機能など)、十分な関心がある場合は、アドインを更新できます。 2位になりたい@MikeD_Andersonの提案を参考にして、将来の JMP バージョンに搭載してほしい機能がある場合は、ウィッシュリストにアクセスしてください。
テスト実行の様子を教えてください。
-スコット
Re: ニューラル ネットワークのチューニングこれは素晴らしい。 このようなものがいつ JMP Pro に組み込まれるのか疑問に思っていましたが、このアドインをそれを実現するために開発した素晴らしい取り組みです。グリフィンドールに+50ポイント！
Re: ニューラル ネットワークのチューニング素晴らしいツール、本当にありがとうございました。 さまざまなデータセットでテストしたところ、時間を大幅に節約でき、時間の都合上必ずしもテストしなかった条件 (パラメーター) を見つけることができました。 ありがとうスコット!!
Re: ニューラル ネットワークのチューニングすごい仕事@スコット・アレンこのアドインの優れたセットアップと機能について説明します。
2 つの懸念/警告:
1. Neural プラットフォームは、モデルのフィッティングを実行中に検証データを参照するため、検証結果は漏れがあり、過度に楽観的になります。そのため、一般化パフォーマンスの適切な推定値や、調整設計におけるさまざまなモデルを比較するための適切な方法が提供されるとは思えません。私が知っているこれを回避する唯一の方法は、3 レベルの検証列 (トレーニング、検証、テスト、分析 > 予測モデリング > 検証列の作成で作成可能) を使用し、テスト結果のみをモデルの比較に使用することです。アドインがこのケースを処理することを確認しました。一般的な点を確認するために、検証 R2 とテスト R2 をプロットします。
2. 単一のテスト ホールドアウト セットに多数のモデルを投入すると、そのテスト セットの過剰適合につながる可能性が非常に高くなります。これは XGBoost の自動調整機能 (同じ高速柔軟な設計アプローチを使用) で発生したため、自動調整時にアンサンブル モデルのみを出力し、リークを避けるために各フォールド内でネストを使用するように変更が必要になりました。
@ヴィンス任意の深い NN は、新しい Torch Deep Learning アドインで利用できます。サインアップして試してみてくださいJMP 18 早期導入者まだ自動チューニングはありませんが、将来的には自動調整される予定です。
Re: ニューラル ネットワークのチューニング@russ_wolfinger
素晴らしい点。 私は両方に同意し、これらに対処するためにこのアドインの開発を継続したいと考えています。
私の最初の目標は、現在のモデル生成ワークフローを自動化することでした。今は、「ガード レール」を含めることについて考え始めたり、追加の検証メソッドを含める方法を見つけるのを支援したりしたいと考えています。
アンサンブルモデルというアイデアも気に入っています。 ユーザーがモデルを比較プラットフォームに渡すための簡単な方法を追加することを検討しています。 ただし、これもモデル適合統計に基づいて自動化した方がよい場合があります。 思考の糧！
Re: ニューラル ネットワークのチューニング@スコット・アレンNN にさらに多くのレイヤーを追加してほしいものリストに追加しました。
@russ_wolfinger , 私はすでに、Torch Deep Learning アドインを EA5 で数回テスト実行しました。 xgboost アドインよりも優れたモデルが得られますが、ただし、私は常に xgboost アドインに戻り、「ゲイン」、「スプリット」、「カバー」、各変数のスコアのテーブルを保存します。 このテーブルでは、0 以外の値を持つ変数のみを選択し、より小さい予測子のセットを使用して xgboost を再実行します。 通常、2 ～ 3 ラウンドの後、ゼロ以外の予測子は得られません。 このようにして、重要でない変数をフィルターで除外し、プロファイラーに小さなモデルを視覚化させることができます。 私の予測値は通常 60 ～ 300K です。 のオプションを見てみたいと思います重要でない変数を除外するために使用できる値を含むテーブルにアクセスできる、Torch Deep Learning アドイン。
xgboost には、カテゴリ パラメーターを含む他の 30 個までの高度なオプションも含まれる拡張された高速フレキシブル デザインが存在する予定ですか?そして最後に@russ_wolfinger 、次のアダプタ EA リリースには、Torch Deep Learning アドイン用のチューニング テーブルが含まれる予定ですか?待ちきれません、モデルは大幅に改善されました!
Re: ニューラル ネットワークのチューニング@ヴィンスフィードバックをありがとうございました。重要度 0 の変数はどのモデルでも使用されないため、XGBoost での変数削減アプローチは合理的だと思います (私も同じことをしました)。変数の重要性と自動チューニングは両方とも、Torch の「やるべきこと」リストに含まれています。
すべての高度なオプションに対する XGBoost の自動チューニングには、はるかに大きくて煩雑なインターフェイスが必要になりますが、それについては検討することができます。一方、設計テーブルの調整オプションがあり、設計ポイントを含むセカンダリ JMP テーブルを指定できます。たとえば、調整したいパラメータに対して DOE FFF を直接呼び出して作成されます。
私たちは現在、ベイズ最適化アプローチにもさらに注目しています。があります加える。
Re: ニューラル ネットワークのチューニングアップデート
Neural Network Tuning アドインが更新されました。バージョン 1.1 がダウンロードできるようになり、バージョン 1 は削除されました。 このバージョンには、ユーザーからのフィードバックに基づいて多数のバグ修正と全体的な改善が加えられています。
バグの修正
- 有益な欠落作品。
- 列の指定またはパラメータの指定手順で問題が発生した場合、JMP エラー メッセージを回避するためにさまざまな警告がスローされます。
- マルチレベルの名目および序数応答がサポートされるようになりました。
改善点
- 一般的なインターフェースの更新
- KFold 検証が利用可能になりました
- 「ヘルプ」ボタンをクリックすると、ヘルプウィンドウが起動します。 ヘルプ ウィンドウには、モデルの検証、モデルの比較、およびモデルの保存がバージョン 1.1 でどのように処理されるかに関する追加情報が含まれています。
- モデルの再現性を高めるために、モデル検証は常にカラムを使用して実行されるようになりました。
- モデル比較は、複製 (および非表示) データ テーブルでモデル比較プラットフォームを使用して実行されるようになりました。
- [モデルの保存] ボタンを使用して、チューニング結果ウィンドウからモデルを直接保存します。
- 以前に保存したデータ テーブルが読み込まれるとき、保存されたデータ テーブル内の X 変数がアドインの起動時に指定された X 変数と異なる場合、アドインは警告を表示します。
- グラフ ビルダーの出力には、トレーニング、検証、またはテストの R2 値と各パラメーターを比較する列スイッチャーの切り替えが追加されました。
- さらに 2 つのモデル視覚化グラフが結果ウィンドウにタブとして追加されます。 これらはデータ テーブルと対話的に動作し、最適なモデルを特定するのに役立ちます。
- モデルの進行状況ウィンドウにいくつかの更新があります。
- 全体のモデリング時間を表示します
- モデルごとの平均時間を表示
- モデリング全体の時間が必要以上に長い場合は、モデル進行状況ウィンドウで [キャンセル] ボタンを使用できます。 モデリングステップ中に完成したモデルはすべて結果ウィンドウに保存されます。 モデリング時間が長い場合、このボタンは「遅延」する可能性があり、コマンドを登録するのに数回クリックする必要がある場合があることに注意してください。
- データ テーブルに保存されたモデルには、モデルの生成に使用されたすべてのパラメーターを含む更新されたメモ セクションがあります。
Re: ニューラル ネットワークのチューニングアップデート
バージョン 1.2 が利用可能になりました。 このバージョンには、ユーザーからのフィードバックに基づいていくつかのバグ修正と追加の改善が加えられています。
バグの修正
- モデルの比較では、以前に生成されたすべてのモデルではなく、最近準備された NN モデルのみがモデルの比較プラットフォームに取り込まれます。
- 名目値および順序 Y 値を使用したモデルの比較が機能するようになりました。
- その他の細かい修正
改善点
- チューニングパラメータをリコールできるようになりました
- さまざまなモデル保存オプションを追加しました
- チューニング テーブルを表示すると、テーブルのコピーが生成されます
- データテーブルが結果ウィンドウのタブとして保存されるようになりました。
- 異なるランダム シードを持つモデルの比較を容易にするために、一意のモデル ID を追加しました。
- 複数のランダムシードが使用される場合に新しいグラフが使用可能になります
ニューラルネットワークチューニングアップデート
2023年11月27日- バージョン 1.1 - 改善とバグ修正。詳細は以下の投稿にあります。
2023年11月28日- バージョン 1.11 - マイナーなバグ修正
2023 年 12 月 15 日- バージョン 1.2 - 改善とバグ修正。詳細は以下の投稿にあります。
目的
Neural Network Tuning アドインは、隠れ層構造、ブースティング、およびフィッティング オプションに最適なパラメーターのセットを特定するために、多数のニューラル ネットワークを生成する簡単な方法を提供する代替ニューラル ネットワーク プラットフォームです。
使い方
ユーザーは、実行されるニューラル ネットワーク モデルの数を指定し、パラメーターの範囲とフィッティング オプションを設定します。 高速かつ柔軟なスペース充填 DOE は、調整パラメーターを因子として、トレーニング、検証、テスト R を使用して生成されます。 2値を応答として返します。
DOE の各トライアルはニューラル ネットワーク プラットフォームと R に渡されます。 2値は出力 DOE テーブルに記録されます。 すべてのモデルが実行された後、テーブルは検証 R によって並べ替えられます。 2ユーザーが検証 R を最大化するための最も重要な効果を特定するのに役立つ一連のグラフが表示されます。 2価値観。
調整パラメータを調整し、DOE を再実行することで、追加のモデルを生成できます。 新しい実行は元のテーブルに追加されます。
データ テーブルを保存し、プラットフォームに再ロードして、進行状況を保存し、追加の分析を再開することができます。 これは、かなりの計算時間がかかる可能性があるニューラル ネットワークを調整する方法です。
ビデオガイド
Re: ニューラル ネットワークのチューニングこんにちは@Marco2024
2 つ以上の変数を分析するには、それぞれのモデルを作成してから、プロファイラーに予測式をロードする必要があります。
- 最初の出力 (Y) の NN モデルを構築し、[モデルを保存] ボタンをクリックして予測式を保存します。 「プロファイラー式」オプションは、単一の式列をデータテーブルに保存します。
- 比較したいすべての Y 変数に対してこれを繰り返します。
- プロファイラーを起動し (グラフ > プロファイラー)、予測式をロードします。
これにより、Y 変数ごとに積み重ねられたプロファイラーが提供され、システムの比較と共同最適化に役立ちます。
Re: ニューラル ネットワークのチューニングこんにちは、スコット
ご挨拶できて光栄です....お返事するために私のユーザー名でブログに入ることができませんでした....、私の質問に対するご返答に感謝します!!....以下に気づきました。次の：
1. 所見:
- プラグインはスペイン語では機能しません
- プラグインは選択したモデルをテーブルに保存しません
2. クエリ:
- ユーザーが指定したパラメーターの範囲に従って、1 層および 2 層のニューラル ネットワークを 1 ステップで検索するプラグインのオプションはありますか?
ごきげんよう、
マルコ
Re: ニューラル ネットワークのチューニングこんにちは、スコット
観察 2 (補体はモデルを保存しない) は効果がありませんが、補体はモデルを保存します。
ごきげんよう、
マルコ
ニューラルネットワークのチューニングについてこんにちは、スコットさん
質問: プラグインには、入力からリアルタイムで学習する (増分学習)、つまり静的ニューラル ネットワークではないニューラル ネットワークを生成するオプションがありますか?
ご挨拶
マルコ
