モデルの比較に役立ちます: DOE と ANN のブーストおはよう諸君！
1) DOE といくつかのブーストされたニューラル ネットワーク モデルがあり、それぞれの R2 乗 (最大)、RASE (最小)、および AAE (最小) を比較して、実験から最適化されたモデルを選択したいと考えています。
添付の画像に示すように、「モデル比較」ツールでは、実験スプレッドシートに保存された予測式を通じて、モデル上の基準に従って選択できることがわかりました。 ただし、この生成されたテーブルに DOE とその Rsquared、RASE、および AAE を含めたいと考えています。 誰かがそれを行う方法についてのヒントを持っていますか？
2) 別の質問: モデルの起動では、「ツアー数」フィールドはエポック数になりますか? このフィールドを増やすとどうなるでしょうか? 誰かが値をテストするための提案を持っていますか?
*** 追加
私は質問し忘れた：
3) 実験は 27 件しかなく (8 つの実験の 3 つ + 完全な要因 DOE から得られた 3 つの中心点)、材料が不足しているためこれ以上実行できません。 最終的にブースティングを使用して ANN モデルをテストすることを選択したのは、複数の小さなモデルを組み合わせることで、より高い予測能力を備えたモデルが作成できると考えたからです。 これが最良の選択肢でしょうか? このシナリオに対して別の ANN 構築を推奨する人はいますか? ネットワークを最適化し、R2 を増加させ、RASE と AAE を減少させるためのアイデアはありますか? 私は実際に ANN から始めています。どのような貢献も非常に重要です。
※添付のJMPファイルは以下となります。
実験計画法予測モデリングと機械学習ウィンドウズRe: モデルの比較に関するヘルプ: DOE と ANN のブーストこんにちは@ivanpicchi 、
私は混乱しており、この計画の目的が何であるかわからないため、あなたの質問に直接答えられないかもしれません。H/W と FN MED が 2 つの答えですか?
また、あなたの目的は何ですか:
- 要因に基づいてシステムを説明しますか?
- 重要な要素をスクリーニングしますか?
- 予測モデルを作成しますか?
システムについての知識は何ですか?他にもたくさんの質問があります... ここでは最初の考えをいくつか紹介しますが、議論すべきことはまだたくさんあります (ただし、これをフォーラムに書くには長すぎる可能性があります)。
モデルベースの DoE にニューラル ネットワークを使用することは、私にとって完全に間違っているように思えます。因子ごとに 3 つのレベルしかなく、複雑な関数を近似できる非常に柔軟なモデルを使用するからです。 バズーカを使ってハエを殺すようなものです。あまりにも複雑で不適切なアプローチです。 したがって、1 つまたは複数の NN はこの段階では完全に時期尚早です。 他にも (より単純な) アルゴリズムを試すことができます: デシジョン ツリー/ランダム フォレスト、サポート ベクター マシンなど。
また、(反復による) 実験がトレーニング、検証、テスト セットの両方に含まれる可能性があるため、検証列が機械学習に対して適切に設定されていません。 その結果、モデルの過剰適合が発生し、予測結果が過信されます。 小規模なデータセットで予測モデルを検証するには、データ漏洩やモデルの過剰適合を避けるために、同じセット内で同じ処理を維持する必要があります。 K フォールドや Leave-One-Out などの交差検証アプローチは、検討してみると興味深いかもしれません (レプリケートの使用と同じ予防措置を講じます)。
とにかく、一般的なアドバイスは、モデリングの前にデータを視覚化し、モデリングの際にはオッカムのかみそりの原則を使用することです。単純なモデルでモデリングを開始し、(必要に応じて) 反復して複雑さを追加します。 新しいモデルと以前のモデルを比較し、どの程度改善されたか (そしてどの程度複雑さが増したか) を評価します。 まずは簡単に始めて回帰モデルを使用し、モデルの長所と短所を適切に評価することをお勧めします。
どのような種類の回帰モデルと、あなたが含めた項はわかりませんが、応答 H/W は、最小二乗法モデル (スクリプト「グループのフィット」を参照) を通じて非常に適切にモデル化できます。 応答 FN については、測定に多くのノイズがあるようです。そのため、範囲、実験プロトコル、要因 (迷惑要因の制御、および/またはブロッキングの使用など)、測定デバイス、およびおそらくアプリオリ モデルでは、結果を改善するために考慮されるかもしれません。
この応答に複雑なモデルを当てはめても役に立ちません。最良の NN の結果 (R² = 0,772 - RASE = 0,174 (過学習あり)) と単純な回帰モデル (R² = 0,758 -調整後の R² = 0,715 - RMSE = 0,586)。
また、使用するモデリング アプローチ、メトリクス、設計をそれに応じて定義する必要があることも考慮してください。 例えば実験空間の内部に焦点を当てた予測目標では、空間充填設計は、予測の精度に焦点を当てた RMSE/RASE/MSE などのメトリクスを使用した機械学習アルゴリズムの使用に適しています。
これらの最初の論点がお役に立てば幸いです。
Re: モデルの比較に関するヘルプ: DOE と ANN のブーストこんにちは@ivanpicchi さん
繰り返しになりますが、適合できるモデルの複雑さは、データ ポイントのレベル数、品質、表現性に関係します。因子の最小値、中央値、最大値が 3 つの水準しかないため、従来の回帰手法は二次モデル (交互作用項と二次項を含む) までしか適合できません。より複雑な応答曲面が予想される場合は、実験空間の内部にある空間充填設計ポイントを使用して設計を強化することをお勧めします。
あなたの質問に対するいくつかの回答:
モデルの組み合わせに興味がある場合は、同じタイプのモデルを組み合わせるよりも、異なるタイプのモデルを平均化またはアンサンブルするほうが興味深いかもしれないと思います。なぜなら、モデルは同じ「理論的」問題や仮定 (一般化パフォーマンス、ロバスト性、予測パフォーマンス) に悩まされる可能性があるからです。 、過学習、...)。異なるタイプのモデルを組み合わせると、誤差を平均化し、特定のモデルの欠点を他のモデルの利点で補い、見つかった最適な位置 (回帰とニューラル ネットワークでは大きく異なる場合があります) を均一化するのに役立ちます。
このより完全な回答がお役に立てば幸いです:)
Re: モデルの比較に関するヘルプ: DOE と ANN のブーストとても詳しい回答をありがとうございます！
実験は、実験で定義された空間内で、10 個の重複溶接を備えたロボット GMAW による WAAM 壁を予測するために DOE が実行されました。各実験は、実行された壁に対応します。
次の 2 つの答えを予測する必要があります。1) H/W (高さ/幅の比) と FN (壁上のフェライト スコープで測定した 10 点の平均によって得られる、堆積物中のフェライト含有量)。要因 DOE を実行することで、学生は H/W 比を最大化し、FN コンテンツの目標を設定して最適化された印象を提案することができました。私たちは、溶接パラメータ化を目的とした DOE と ANN の取り組みを開始しています。
ただし、このモデルは、DOE 実行以外の一部の溶接実験を予測するにはそれほど満足のいくものではなく、実行された測定の一部はモデルによって予測された 95% CI の範囲外にありました。したがって、すでに行われた実験を使用して予測能力を最大化する試みが行われます。サンプル空間内で答えを予測する必要があります。サンプル空間より下では溶接できず、上では機械コンポーネントが損傷するためです。
いくつかの本や記事を読んで、回答で示されたようにデータ量が少ないため、K-foldをANNに適用することを検討しましたが、JMP proではどこでK-foldを選択すればよいですか？トリプレットを同じ検証データセットに入れることについてのヒントをありがとう。これが ANN の過学習に影響を与えるとは思いもしませんでした。
はい、最小二乗法フィット モデルを回帰に適用しました。 FN のノイズ レベルはポイントの平均であるためでしょうか?もしそうなら、上記に関して何かヒントはありますか？
素晴らしいご回答とご質問をいただきまして、重ねて御礼申し上げます。
モデル比較のヘルプ: DOE と ANN のブーストたとえば、記事「Aureobasidium pullulans AKW によるメラニンの最適生成に向けた、応答曲面法と人工ニューラル ネットワークを使用した比較研究」( https://doi.org/10.1038/s41598-023 -40549-z) から抜粋したこれらの画像に似た分析を実行したいと考えています。
モデル比較のヘルプ: DOE と ANN のブーストニューラル ネットワークの検証のためにパーティショニングがどのように行われたかは不明 (少なくとも私には不明) なので、結果には慎重になります。
- 最後の 3 行は複製であり、ニューラル ネットワークの場合、3 つの異なる結果を異なるセットに分割するのではなく、この処理の応答の平均を使用する方が「公平」であるということを考慮に入れましたか?
- また、回帰のモデリング部分についての説明が不足しているため、モデリングで保持される用語が何であるか、またモデルから用語が削除される根拠が何であるかがわかりません。これは、「機械学習」/予測的な方法で行われ、さまざまな回帰モデルをテストし、検証結果が最良のモデルを保持するのでしょうか。または、統計的有意性、情報基準、尤度などに基づいていますか?
ただし、モデリングがどのように行われたかに関する情報が不足している場合でも (記事には記載されているかもしれませんが、提供されているリンクではアクセスできません)、最適値と実験検証の結果を比較すると、バイアスと分散のトレードオフが実際にどのようになっているかがわかります。
回帰モデルは、ニューラル ネットワークよりもバイアス (実際の最適値と予測された最適値の平均差が最大) が高い可能性がありますが、分散は低い可能性があります (回帰モデルで見つかった最適値は、ニューラル ネットワークで見つかった最適値よりも不確実性 (SD ?) が低いため)。そのため、回帰モデルの方がより堅牢な選択肢となる可能性があります。
