ハイデルベルクでのChris G.氏によるJMP Proワークショップのフィードバックから学ぶここでは、クリス・ゴットウォルト氏とベイズ最適化について行ったハイデルベルグ ワークショップで学んだことについて説明します。
いくつかの短い事実:
- 登録者48名 - 会場には約40名
- トピックベイズ最適化
- 多くの関心
- 約60％がJMP Proを使用していました
- ほとんどの企業はDoEに精通しており、プロセスをより速く、より低コストで最適化することを目指しています。
異例の状況に関する仮定と確認:
- 複数回答、𝑦_𝑖 (𝑥)
- 全員が手を挙げて、それが彼らにとって重要であり、必要であることを確認した。
- 複数回の実行の「バッチ」拡張
- ほとんどすべての企業では、次の1つだけでなく、例えば次の4つ、6つ、あるいはそれ以上の数のバッチ実験が必要となる状況があります。その理由はほとんどの場合、
- 実験は長すぎて次の提案を待つことができない。
- しかし、材料の不足（必ずしも入手できるとは限らない）も別の理由です。
- 言及された期待:
- 開発時間を短縮する方法
- 分析部門（設計エキスパートユーザー）の目標
- 実行回数が多すぎると実行できないので、同僚に DOE をより簡単に使用するよう説得します。
- ユーザーにDOE以外の選択肢を与えてください。良い結果が欲しいだけなのに、なぜ何ももたらさない実験をする必要があるのでしょうか。
- コスト -> 実行回数の減少
- 何を得たいとお考えですか?
聴衆からの質問:
- 要因が重要でない場合はどうなるでしょうか?
- 回答：影響のない要因は無視されます。変数重要度オプションは、指数順序付けされた要因を表示するのに役立ちます。
回答に重み付けはできますか? (別の「特殊な」ケース)
- 回答: はい、プロファイラーのベイズ最適化望ましさ評価に適用されます。競合する目標や複雑なスパース性、そして目標/仕様限界目標との一致にも対応できます。
ローカルの最小/最大の問題はどのように処理されますか?
- 回答: ニュートンと少し比較すると、このようなことが起こる可能性がありますが、満足できない場合は、たとえば分散の高い他の領域を簡単に探索できます。
カテゴリカルな応答/因子を使用できますか? (別の「特殊な」ケース)
- 回答: はい、しかし連続応答の場合のように距離に基づいて相関関係は判断されません。
応答にノイズが多いことが分かっている場合はどうすればいいでしょうか？この場合、どのように対処すればよいでしょうか？（これもまた「特殊な」ケースです）
- 回答: 戦略を立てる必要があります。まずMSAを実施して分散を評価し、反復を使用して変動を平均化します。
新しい要素を追加できますか? (別の「珍しい」ケース)
使用例:
- Chris G.: 製剤と混合物は、交絡因子や制約がもはや問題にならないため、最も適したユースケースです。距離に依存し、設計空間に依存しないからです。インフレーション係数は全く問題になりません。
- お客様のコメント:
- PID コントローラのチューニング: 1 回の実行には 15 ～ 30 分かかりますが、毎回実行するのは面倒なので、バッチ実行が非常に重要です (次の実行のみを実行する基本的なベイズ最適化ソリューションと比較して)
- ハイパーパラメータのトレーニングとモデリング
- GMP環境では、あまり変更できず、実行できるバッチが2つに制限されています。
- 研究（製薬）では大きな効果がありますが、例えばプロセス特性評価では効果が低い可能性があります。
- DOE を使用するように同僚を説得してください。DOE の方が簡単で、何度も実行できないという問題を克服できます。
提案: クリス・ゴットウォルト @ダニエル・ヴァレンテ
- P&G/BASF: 望ましさ曲線に影響を与えるために、事前情報（既知の化学反応/式、または確実に線形モデルであることがわかっている情報など）を追加するオプションがあれば素晴らしいでしょう。
概要:
- 大きな関心
- 私たちのプラットフォームは、Bofire（Pythonプログラマー向け）と自社開発ソリューション（ビジネスマンにとって非常に簡単に使える）の間の領域にうまく適合しているようです。
- これは、ほとんどのベイズ最適化ツールができることよりもはるかに多くのことであり、「エキゾチックな」ベイズ最適化の状況について話します。
その他のコメント:
- 基礎となる選択と数学に関する質問にどのように対処すればよいでしょうか?
- 人々はそれを望んでおり、それが多くのJMPユーザーに役立つことを実感し、JMPにこれを取り入れたいと考えています。だからこそ、すべてのユーザーがこれを使用し、ROI計算を行ってELA/一定数のProライセンスを比較した場合に得られる価値について話し合うべき大きな理由があります。例えば、アドボケートに過去の実験との違いを示してもらい、最初の実験後にBOを実施していたらどうなるかを示してもらいます。それは別のルートにつながったのか、より早く答えを見つけたのか、いつ間違った方向に進んでしまったのかなどです。これは、他のエンジニア（同じエンジニアが自分の仮定に基づいて何度も実験を繰り返している）を説得することです。
Re: ハイデルベルクでのChris G.とのJMP Proワークショップのフィードバックから学ぶもう1つコメントがあります。組織では、BoFire（Pythonパッケージ）など、既に何らかのソリューションを使用している可能性があります。しかし、それらの多くは、特殊な状況に対応するツールを備えていないか、プログラマー向けのものです。
我々は現在持っているものを活用して、市場のかなりの部分を獲得するためにそこにいるのです。
Re: ハイデルベルクでのChris G.とのJMP Proワークショップのフィードバックから学ぶフィードバックをうまくまとめてくれてありがとう。いくつかQ&Aをメモしておきます。
テーブルがどこか他の場所から来た場合はどうなるでしょうか?
- 回答: 心配ありません。プロファイラーですべての制約を追加できます。
プロファイラーが実行を通じてどのように進化するかを示す例はありますか?
- 回答: はい、そうだったら嬉しいです！クリスは将来的にこの機能が追加されるかもしれないと言っていました。彼のプレゼンテーションでは、プロファイラーの進化を複数のスライドを使って手動で説明していましたが、かなり手間がかかりました。
最適化するときに重みも与えますか?
- 回答: はい、プロファイラーで行うのと同じように、オンザフライで変更できます。望ましさを変更すると (たとえば、摩耗の場合は最大化)、ベイズ オプトの望ましさは自動的に調整されます。
範囲が十分でなかったり、狭かったりする場合はどうなりますか?
- 回答: プロファイラーで範囲を変更するだけで、それが考慮されるようになります。
数式/予測プロファイラーを保存できますか?
- 回答: 直接的な方法はありません。データテーブルに戻り、ガウス過程プラットフォームを開いてモデルを保存する必要があります（これはベイズ最適化プラットフォームで作成されたものとは異なる式/モデルであることにご注意ください）。
Re: ハイデルベルクでのChris G.とのJMP Proワークショップのフィードバックから学ぶマーティンさん、シェアしていただきありがとうございます。ワークショップの流れについて何かご意見はありますか？まず例を示し、その後、参加者と一緒に例を解いてもらいましたか？例の1つを追加または変更して、1回の実行ではなく4回の実行をまとめて行うようにした方が良いと思いますか？
Re: ハイデルベルクでのChris G.とのJMP Proワークショップのフィードバックから学ぶBayesOptに関する議論から得られた知見を共有していただき、ありがとうございます。ロンドンのワークショップ参加者の何人かが述べた懸念に共感します。「ベイズ最適化を試してみたいという科学者はたくさんいますが、その手法の適用において何か間違ったことをしてしまうのではないかと心配しています。このことから、上級ユーザーの中には統計学の門番のような存在がいて、一般ユーザーによる利用を阻んでいるのではないかと考えました。」
完璧さは崇高でありながら、達成が難しい目標です。科学者やエンジニアが試行錯誤の実験から脱却できるよう支援することこそ、私たちが目指すべき価値ある成果と言えるでしょう。科学者やエンジニアがより充実した仕事に取り組み、（試行錯誤のアプローチよりも）予測可能で、多くの場合より良いビジネス成果を生み出せるよう支援することです。統計のゲートキーパーが、統計実験手法の適用における完璧さよりも、科学者やエンジニアの変化の進化を、そして多くの人々にとって有益な方法で支援することに重点を置くよう促すことは可能でしょうか。進化の過程で、科学者やエンジニアはDoEとBayesOptの両方が必要であることに気づくかもしれませんが、出発点は彼ら自身と彼らの上司に委ねられるべきです。
統計のゲートキーパーに注意してください。科学者やエンジニアが、実験アプローチを、彼らにとって最も魅力的な方法で進化させるのを支援するという課題について、彼らに考えてもらうよう努めてください。もし統計のゲートキーパーが進化を望まないのであれば、試行錯誤のアプローチから早急に変化する必要のある、他の購買インフルエンサーを見つける必要があるかもしれません。科学界でベイズ最適化が話題になっている今、勢いを増す方法を見つけてください。
Re: ハイデルベルクでのChris G.とのJMP Proワークショップのフィードバックから学ぶマルコム・ムーア - その点を指摘していただき、興味深いです。私のアカウントにも、そういうタイプの人が何人かいます。東海岸の私たちの何人かは、BayesOptを統計チーム向けのテクニックとして売り込むのではなく、SMEが実験を実行する際にSME自身と共同で活用するのに最適なツールとして位置付けています。これは、SMEが製造データの多次元的な性質を理解するのに役立つ、新しい実験の可能性を提案するものだと考えています。また、DSDのようなものをシードセットとして使用すると非常に効果的で、製造チームに適したハイブリッドDOE戦略を示唆しています。なぜなら、JMPの（主に）自動化されたテクニックを使用しているからです。
Re: ハイデルベルクでのChris G.とのJMP Proワークショップのフィードバックから学ぶマイクD_アンダーソンさん、統計のゲートキーパー（大企業に多い）から抵抗を受ける場合、中小企業に焦点を絞るのは理にかなっていると思います。中小企業へのBayesOptの提案がどうなっているか、ぜひ教えてください。
BayesOpt を必要としており、BayesOpt 導入前の日々と比べて少しずつ改善していることに満足している購買インフルエンサーを見つけるまで、大企業を諦めないでください。
Re: ハイデルベルクでのChris G.とのJMP Proワークショップのフィードバックから学ぶこんにちは、ピート。
ワークフローの流れは、Chris による Bayes Optimization 全般についての説明、最初の例、昼食、Chris による詳細な説明、2 番目の例の実践、3 番目の例の概要、まとめ、というものでした。
最初の例（シンプルなもの）は、ほとんどの人にとって良い入門書になると思います。そして、彼らが取り組んでいる2つ目のケースはより実践的で、フィードバックによると大多数の人にとって好評でした。オプションについて言及する限り、ユースケースを適応させる必要はないと思います。Chrisもその部分をいくつかのスライドで示してくれたので、網羅されています。
ただし、SE のデモやインスピレーションには、バッチの使用例を包括的な例としてすぐに表示できるようにしておくとよいでしょう。
とはいえ、プラットフォーム上でごく簡単なプレゼンテーションを行い、お客様の潜在的なユースケースについて、より深く議論していくべきだと考えています。主に、マルコムとマイクが既に言及している方向性に沿って進めていく予定です。
Re: ハイデルベルクでのChris G.とのJMP Proワークショップのフィードバックから学ぶマルコム・ムーア - 私もそれは興味深いと思いました。これらのゲートキーパーも、DOEの専門知識が不要になるのではないかと懸念しているのではないでしょうか。聞いたところによると、既にベイズ最適化を試している人はいるものの、様々なオープンソースを利用しているとのことで、ゲートキーパーにとっては非常に懸念事項となっています。ゲートキーパーとの信頼関係が築けているのであれば、JMP ProのBayesOptを実験者に提供することは、より魅力的な解決策になるはずです。
どちらをご希望ですか:
- JMP Pro のこのエキサイティングな新しいアプローチの可能性を同僚に探究してもらいませんか?
- 同僚に Python でベイズ最適化を独自に試させてみませんか?
他の場合には、ゲートキーパーを回避する方法を見つけることが正しいやり方であるという点には私も同意します。
Re: ハイデルベルクでのChris G.とのJMP Proワークショップのフィードバックから学ぶBayesOpt が普及し始めて本当に嬉しいです！ハイパーパラメータ最適化のデモを簡単にご覧になりたい方は、ぜひご覧ください。
1. Autotune をオンにして XGBoost を実行します。
2. 出力の下部には、各実行の統計情報を含む表が表示されます。右クリック > 「データテーブルに作成」を選択します。
3. このテーブルに対して BayesOpt を実行し、次に最適なハイパーパラメータの候補を決定します。
4. これらを手動で XGBoost にロードし直すか、[詳細設定] の [デザイン テーブル] オプションを使用します。
Re: ハイデルベルクでのChris G.とのJMP Proワークショップのフィードバックから学ぶ@malcolm_moore1 さん、ありがとうございます。ここ数週間、何度か同じような状況に遭遇しました。原因は2つ見つかりました（どちらも「ゲートキーピング」の結果は同じです）。
1. コントロール/権力を失うことへの恐怖（現在それが彼らの専門分野であるためなど）
2. DOE の代わりにランダムな実験が行われるのではないかと恐れる（OFAT の代わりに DOE を行うようにと人々に説いてきたなど）
これらは 2 つの異なるペルソナですが、どちらのタイプも BO のより広範な使用に多かれ少なかれ反対していました。
どちらの場合も、「実はそれ（反復的な小さなバッチの実験）はまさに私たちのやり方で、実験を行っているので、BO を使うべきだ」と言うユーザーがいました。
2つ目の「ゲートキーパー」グループには、BOはデータドリブンな意思決定を人々に促すための、実際には参入障壁の低い方法であることを伝え、より安心感を与えることができます。なぜなら、BOに関する知識が乏しい場合、彼らは実質的にDOEを（知らず知らずのうちに）実行していることになるからです。因子テーブルを出発点として、BOのデモを2～3回実行してみましょう。つまり、これは彼らのミッションである、より多くの人々にDOE、あるいは私がスマートな実験手法と呼ぶものを使ってもらうという目標達成に実際に役立つのです。
最初のグループの場合は、おそらく他の人と話し合った方が良いでしょう;)
Re: ハイデルベルクでのChris G.とのJMP Proワークショップのフィードバックから学ぶフロリアン、素晴らしい洞察ですね。第4四半期は、BayesOptの潜在ユーザーで、意欲があり、変化を強く望んでいる層に焦点を当てるべきだと思います。こうした機会を捉え、成功を実証できるようサポートしましょう。
来年、もっと時間ができたら、「ゲートキーパー」の個人的な成果について検討してみませんか。大手顧客の統計チームで人員削減が進んでいるという話を耳にしています。こうした背景を踏まえ、「ゲートキーパー」と検討すべきアイデアの一つは、BayesOptが統計チームをどのように支援し、科学者やエンジニアが組織に提供する価値を高め、統計チームの貢献をビジネスに理解してもらうかということです。今、成果を向上させるための行動を起こすことは、完璧を目指す（めったに実現しませんが）よりも効果的です。
Re: ハイデルベルクでのChris G.とのJMP Proワークショップのフィードバックから学ぶこんにちは、
上級管理職（MSAT責任者、現場責任者など）と何度か議論を重ねた結果、非常に共感を呼ぶ重要なユースケースの一つが、顧客がプロセスの開発・運用において、完全な実験を行うことを望まない状況に対応しなければならないケースであることがわかりました。どのミーティングでも、彼らは多くの質問をし、現在の業務と比べてそれが役に立つかどうか尋ねると、頷いてくれました。
皆さんも興味があるかもしれないと思い;)
