空間充填設計 + ML アルゴリズム - 適切な実行回数をどのように推定するか?こんにちは、
Danone との JMP Inspire セッションで、2 人のユーザーから、Space Filling Design を機械学習アルゴリズムと組み合わせて使用する方法について話すように依頼されました。最適な実行回数を決定する方法について尋ねられました。
これを判断するための戦略や経験的なアプローチはありますか?
ご協力いただきありがとうございます
Re: 空間充填設計 + ML アルゴリズム - 適切な実行数を見積もる方法は?弊社独自のXGBoost アドインにおける独自のスペース充填デザインのアプリケーションがあなたの質問に関連しているかどうかはわかりません。
「実行数」がアドイン内の次の 2 つのエントリ (丸で囲んだ部分) 程度である場合、それは一種の応答曲面問題であると思われます。 @malcolm_moore1が提案したことも関連しています。
Re: 空間充填設計 + ML アルゴリズム - 適切な実行数を見積もる方法は?以前の返信に +1 を付け、これが機械学習のハイパーパラメータ調整に関連していると仮定すると、ベイジアン最適化/適応学習に関するフィードバックやアイデアを@chris_gotwalt1に送信する機会になる可能性もあります。
Re: 空間充填設計 + ML アルゴリズム - 適切な実行数を見積もる方法は?私たちが確率論的な世界に移行しようとしているのであれば、添付の論文が関連している可能性が高く、実際にはまだ未解決の問題です。特に、実験計画に関するセクション 4 に進むと、次のようになります。
n1 の値に対する適切な推奨事項。 n2;N およびそれぞれの異なる入力での反復は欠落しており (Ankenman et al. (2010) では、推奨事項はその場限りのものです)、1 段階実験に関しては、研究の余地があります。第 3 段階の設計 (実際には、任意の多段階設計) は、上記のプロセスの段階 2 を繰り返すことによって構築できます。
多くの場合、私が見たのは、初期設計で「十分な」ポイント (かなりの量になる可能性がある複雑さに基づいて) から開始し、改善が見られなくなるまでベイズ最適化に引き継がせるというものです。いつもわかるわけではない。
しかし、確かに一般的に未解決の質問です - 空間充填でどの程度の探索を行う必要があるかということです。私が添付した 2 番目の論文では、場合によっては、実践者はよりシンプルで古典的なモデルにこだわったほうが良いということが判明しました。
Re: 空間充填設計 + ML アルゴリズム - 適切な実行数を見積もる方法は?こんにちは@Steph_Georgesです。お客様が ML ハイパー パラメーターの最適化にスペース ファイリング設計をどのように使用できるかを調べることに興味がある場合は、以下の私の記録が価値があると思われるかもしれません。
https://community.jmp.com/t5/JMP-in-the-Upstream/JMP-in-the-Upstream-7-Optimizing-your-Python-machine-learning/ba-p/467039
Re: スペース充填設計 + ML アルゴリズム - 適切な実行回数をどのように推定するか?良い回答ですが、ユーザーの意図を推測しているだけです。Space Filling + Algorithm のさまざまな使用法 (トレーニング、チューニング、テスト、感度テストなど) を想像できます。次の質問は、何のための実行回数が最適かということです。より多くの情報がなければ、質問に答えられないことがよくあります。
Re: スペース充填設計 + ML アルゴリズム - 適切な実行回数をどのように推定するか?@Steph_Georges以前、私たちは決定論的実験のために他の人が説明したように、空間充填設計を使用していました。モデルにはガウス過程またはニューラル ネットを使用しました。ニューラル ネットを好んだのは、モデルの柔軟性が高く、私たちが遭遇する典型的な高度に非線形な結果を処理するのに非常に適していたためです。
ガウス過程は、データ ポイントの正確な値を探している場合のモデリングには最適ですが、データ ポイント間で何が起こっているかをモデリングするには必ずしも最適ではありません。決定論的な実験ではノイズはありませんが、バイアスが存在する可能性があり、この点では GP は NN よりも効果が低い可能性があります。
最適な実行回数は別の話です。私たちは常に因子数の 10 倍という経験則を使用していましたが、それが最適な数であると言うわけではなく、私たちのニーズに合致した数でした。
HTH
請求書
Re: スペース充填設計 + ML アルゴリズム - 適切な実行回数をどのように推定するか?こんにちは、ステファン。
スペース充填設計は通常、決定論的な応答（ランダムエラーがなく、同一の因子設定を実行すると同じ応答値が得られる）を伴うコンピュータシミュレーション実験に関連付けられます。この論文を参照してください。
これは典型的な空間充填設計の問題のようには見えないので、おそらく彼らの実験状況についてさらに詳しい情報が得られ、より効率的な代替解決策があるかもしれません。
Re: スペース充填設計 + ML アルゴリズム - 適切な実行回数をどのように推定するか?こんばんは、
申し訳ありませんが、私のメッセージはあまり明確ではなく、さまざまな解釈の余地があることを認識しています。
ダノン（およびロレアルなどの他の企業）は、配合開発の一環として、新世代のアルゴリズムと組み合わせた混合 DoE の方法論を使用したいと考えています。
この傾向は、ロレアルの Victor Guiller 氏によるこのプレゼンテーション (フランス ユーザー グループおよびマンチェスター ディスカバリー サミット) でよく説明されており、未知の事前モデル (モデルに依存しないアプローチ、モデルの形状に関する事前知識は不要) で動作をモデル化するために、スペース フィリング デザインと SVM アルゴリズムを使用する方法を示しています。https: //community.jmp.com/t5/Online-Abstracts/Synergy-Between-Design-of-Experiments-and-Machine-Learning-for/ec-p/708147#M2
スペース フィリング デザインを使用すると、調査対象の領域を規則的に舗装することができます。これにより、機械学習モデルをより適切にガイドできるようになります (ポイントが離れすぎると補間の自由度が大きくなり、ビジネスの専門知識の観点から異常な応答面が生じます)。
Re: スペース充填設計 + ML アルゴリズム - 適切な実行回数をどのように推定するか?@peng_liu @russ_wolfingerうさぎの穴に落ちずにはいられませんが、これは特に興味深い問題で、私は文献を知りません (でも、ご存知でしたら教えてください)。内側のフォールドについては、後続の設計で内側のフォールドの 1 つで「勝者」として選択される可能性のある競合設定を見つける方法で設計する必要があります。そうしないと、最終的にアンサンブルされるものに影響を与えないハイパーパラメータ設定にリソースを無駄にしていることになります。
Re: スペース充填設計 + ML アルゴリズム - 適切な実行回数をどのように推定するか?@peng_liuさんのコメントに賛成します。空間充填設計の 1 つの用途は、チューニング パラメータを最適化して、より適切なモデル フィットを実現することです。
ただし、質問が実験にスペース充填設計を使用することに関連している場合、現時点では、設計ポイントの数を変えてスペース充填設計を作成し、設計の比較を使用することが最善の方法だと思います。
Re: スペース充填設計 + ML アルゴリズム - 適切な実行回数をどのように推定するか?SVEM で使用する設計の種類については、特に混合最適化問題の場合は注意する必要があると思います。最適化する混合空間全体を良好かつ均等にカバーしていることを確認する必要があります。また、実験プロセスと測定で予想される誤差など、さまざまな要因によって異なります。
「デザインの評価」は、特にさまざまなデザインを比較する場合に役立ちます。
