ニューラルネットワークの収束温度、応力、クリープひずみの3つの独立変数と、従属変数の1つであるクリープ率（下のプロットを参照）の生データがあります。ある同僚がFEMを行っており、プロット内のポイント間の値を取得できる必要があるため、JMPのニューラルプラットフォームを使用してこれらを取得しました。
これは非常にうまく機能し、神経モデルからの予測とデータの間で非常に良い一致を得ました。非表示層のノード数が異なる複数のモデルを試しました。（私はJMP PROを持っていないので、1つのレイヤーしか使用できません。）
使用するモデル（ノード数Nなど）を決定するために、モデルのノード数の関数としてR2とRMSEのプロットを生成します。トレーニングセットの場合、R2曲線が上昇し、RMSE曲線が単調に減少することが予想されました（ランダムノイズがある場合）。検証セットでは、R2が上昇し、RSME曲線がNの特定の値まで低下して、その時点で検証曲線の傾向が逆転すると予想しました。これは、モデルがトレーニングデータの過剰適合を開始し、検証データのパフォーマンスが低下するポイントになります。
私が得たのはこれです：
最初は、予想どおりの傾向でしたが、いくつか質問があります。
1）ca. 10ノード以上の場合、トレーニングセットのRMSEは、検証セットのRMSEよりも体系的に低くなります。それはすでに過剰適合の兆候ですか？
2）ca.以上を使用する場合。43ノード（RMSEの場合）または約 63ノード（R2の場合）のモデルのパフォーマンスは、検証とトレーニングセットで低下します。何故ですか？私の唯一の考えは、これはデータセット内のポイント数が神経モデルを適切にトレーニングするのに十分でないという問題かもしれないということです。合計データセットは1600ポイントで構成され、そのうちの2/3をトレーニングに、1/3を検証セットに使用しました。
分析Re：ニューラルネットワークの収束検証データ列を作成して使用しましたか、またはプラットフォーム内で保留機能を使用しましたか？
また、応答は2桁以上にも及びます。たとえば、ログ（base 10）を使用して応答を変換してみましたか？
Re：ニューラルネットワークの収束このようなニューラルネットワークは、過剰適合を生み出すだけです。
深層学習畳み込みニューラルネットワークの使用は良い方向です。Re：ニューラルネットワークの収束 @ markbailey＃@ markbailey＃ ゆうたろう @ lwx228
返信ありがとうございます。1回の投稿で対応させていただきます。
-実際、モデリングにはlog10（ひずみ率）を使用しました。したがって、表示されるのは、log10（ひずみ率）からのR2とRSMEです。申し訳ありませんが、私はそれを述べるべきでした。
-ホールドバック機能を使用して検証セットを決定します。ただし、シード0およびシード123で使用しました。シードが1つだけ提供された場合、それは両方のフィッティングの開始パラメーターの決定と検証セットの選択の両方に使用されると思います。（シード0を示すことは、シードを提供しないことと同じです。）結果は基本的に異なりません。（シード0のノードの数が少ないほど散布が多いようですが、一般的な傾向はほとんど同じです。）
ゆうたろう ：あなたは、ニューラルネットワークのパフォーマンスの改善、悪化、再び改善のような傾向がしばしば観察されると述べました。これについての参照がありますか？
@ lwx228 ：あなたは「そのようなネットワークは過剰適合を生み出すだけだ」と言います。それは私が見ることを期待したものです。しかし、過剰適合の場合、検証セットのRMSEが上昇するのに対し、トレーニングセットのRMSEは低下すると予想しました。それはそうではないようです。（SEED = 123の場合、検証セットのR2とRMSEが低くなります。多数のノードの場合。わかりません...）
生データとスクリプトを含むファイルを追加します。
Re：ニューラルネットワークの収束隠されたユニットの数を論じている唯一のリファレンスは、プリンシペ、JC、NRエウリアーノ、およびWCルフェーブルです。2000年 ニューラルおよび適応システム 。ニューヨーク：ワイリー。
私の声明は、ニューラルネットワークの多くのSASエキスパートからの長年の経験に基づいています。ニューラルネットワークの重要事項に関するSASコースの1つに、次のスライドとメモがあります。
Re：ニューラルネットワークの収束マークは非常に良い質問をしました。これらの結果には、必ず固定の検証セットを使用する必要があります。
ニューラルネットワークにノードを追加すると、予測能力が向上する場合と向上しない場合があることに注意してください。パフォーマンスが向上し、悪化し、その後再び向上する多くの例があります。また、レイヤーを追加すると、ノードが飽和するポイントに到達する可能性があります。つまり、レイヤーを追加してもパフォーマンスは向上しません。
Re：ニューラルネットワークの収束もう1点。非表示レイヤーの数と非表示ノードの数を混同したため、元の投稿を編集しました。私の元の投稿は正しく読めるようになりましたが、複数のレイヤーを使用していないため、ノード飽和の概念は無視できます。
Re：ニューラルネットワークの収束ありがとう。確認します。
