私たちは、素晴らしい父娘デュオ、クリス・ナハツハイム博士とアビー・ナハツハイム博士を最初の番組でフィーチャーできることをうれしく思います。統計的に言えば2023年の。 私たちはクリスとの過去のイベントをこのような素晴らしいものとして楽しんできました全体講演過去のDiscovery Summit Americasでのことです（もう一度見る価値があります！）。 そして、私たちはアビーの魅力的なプロジェクトについてもっと知りたいと非常に興味を持ちました。
Chris は、ミネソタ大学カールソン経営大学院のサプライ チェーンおよび運用部門の運用管理部門のフランク A. ドナルドソン教授です。 彼の研究対象は、工業実験の最適設計、予測モデリング、品質管理に及びます。 彼は数冊の本を共著しており、統計関連の文献に多数の記事を掲載しています。彼は米国統計協会のフェローであり、次のような数々の賞を受賞しています。
- 米国品質協会ブランボー賞を4回受賞
- ロイド・S・ネルソン賞を2度受賞
- テクノメトリクス分野の最優秀解説論文に贈られるジャック・ユーデン賞を3回受賞。
アビーは、ロス アラモス国立研究所の統計科学グループの統計学者です。 彼女は物理学者、化学者、生物学者、コンピューター科学者、エンジニアと定期的に協力して、複雑で学際的な問題に対する解決策を開発しています。 彼女の研究関心は実験の設計と分析に集中しており、DOE の専門知識をロス アラモス国立研究所の幅広いアプリケーションに提供しています。 彼女は国家統計コミュニティの積極的なメンバーでもあり、現在は米国統計協会のツインシティ支部の会長を務めています。
統計的に話す彼らのプレナリーは、次のような Zoom のチャットでの多くの反応やコメントからもわかるように、非常に魅力的でした。
- 「私はDOEが大好きです！ これにより、研究開発の科学者が協力する効率が文字通り変わりました。」
- 「アビーの作品のコラボレーションが大好きです!!!」
- 「啓発的なプレゼンテーション、ありがとう！」
- "これは素晴らしいです。"
- 「DOE がデータ サイエンスであまり使用されないのは残念です。DOE は、可能な限り最も有益で代表的なトレーニング データセットを作成するのに非常に役立ちます。」
- 「素晴らしい議論をありがとうございました。」
彼らの本会議はまた、非常に多くの良い質問を呼び起こし、その中のいくつかは限られた質疑応答の時間では答えられませんでしたが、アビーとクリスは、このブログ投稿で視聴者から寄せられた素晴らしい質問の多くに答えることに親切に同意してくれました。
実験や因果モデリングの部門を持つこれらの企業の場合、特に実験が実行不可能な場合に、他にどのようなスキルが必要になるでしょうか?
回帰と予測モデリングをよく理解し、おそらく R や Python でコーディングする能力も必要です。 pおそらく、いくつかの因果モデリング手法に精通している可能性があります。 そして重要なのは、観察研究と実験研究の違いをよく理解することです。実験は原因と結果を明らかにします。観察研究は仮説を与えます。
化学製剤のプラケット・バーマン計画を使用して、個々の成分を評価できますか? それとも常に混合計画を使用する必要がありますか? 混合物については DOE アシスタントの下で Minitab のスクリーナーとモデリング ツールを使用しましたが、通常スクリーナーでは 3 つ以上の因子を評価し、モデリングでは約 3 ～ 4 つの因子を評価するため、混合計画は使用していません。
はい、化学配合に Plackett-Burman 設計を使用できます。 成分のパーセンテージの合計が 100% またはその他の定数 (たとえば、混合物全体の 40%) に等しい場合は、1) 混合実験を使用するか、2) 成分の 1 つを省略し、 Plackett-Burman などのより標準的なデザインを使用します。 1 つを省略することは、スラック変数アプローチと呼ばれます。 もちろん、成分の割合の合計が固定定数でない場合、混合計画は適用されません。
ハイパーパラメータ調整に確率的勾配降下法ではなく DOE を使用することの利点と欠点は何ですか? これらの方法は一緒に使用できますか (DoE が最初ですか?) ニューラル ネットワークですか? それらは考慮されるでしょうか？ 複雑なケースに対してそれらを考慮することは可能でしょうか?
確率的勾配降下法は重要な最適化手法であり、ニューラル ネットワーク内の (おそらく数百万の) パラメーターをハイパーパラメーターの固定セットに適合させるためによく使用されます。 ただし、ハイパーパラメータの最適化には使用しません。計画された実験の使用に比べてコストが高くなります。
PCA/PLSはどうですか？ DOE による「支援」は可能でしょうか?
ミネソタ大学のデニス・クック教授とのこのテーマに関する議論から、PLS (部分最小二乗法) が DOE によって「支援できない」理論的な理由があることがわかりました。可能性はあるかもしれませんが、DOE と PCA の間に有用な関連性があることはわかっていません。
最新の DoE でビッグデータに取り組む統計学者にとって、影響を与える最大の機会はどこだと思いますか? A/B テストが多くの可能性を秘めた新しい分野として浮上しているようだと私は知っています (Nicholas Larsen、Jonathan Stallrich、Srijan Sengupta、Alex Deng、Ron Kohavi、Nathaniel Stevens を参照)オンライン管理実験における統計的課題: A/B テスト手法のレビュー」
DOE の統計担当者は、被験者の効率的な使用と、因子間の相互作用を推定できる多因子実験の実装の両方を通じて、つまり OFAAT テストを超えて、A/B テストに大きな影響を与えることができます。しかし、最大の影響は、AI モデルの開発とテストへの関与によってもたらされるのではないかと考えています。
成功している企業は実験を行っていますか?
絶対に。製品によって程度は異なりますが、優良企業では実験が広く行われています。これについては多くの文献があります。まずはこの最近のことから始めましょうハーバード ビジネス レビューの記事: シェフナー、F. トムケ、Ｓ． ラブマン、GW 科学者のように行動してください。ハーバードビジネスレビュー、 [SL] 、v. 100、n. 3、p. 120–129、2022。
私が聞いた議論では、ML は DOE よりも「優先」されているように聞こえます。 DOE (ML ではなく) に基づくモデリングの利点と、DOE を使用して ML 分析用のデータを収集するアプローチについてどのように説明しますか?
私たちは ML と DOE が競合する手法であるとは考えていません。DOE は、さまざまな制御可能な要因が対象の反応にどのような影響を与えるかを学習するためのデータを収集する効率的な方法にすぎません。ML は、非常に複雑なモデルを (通常は) 大量の既存データに適合させる方法です。データは観察されたものである場合もあれば、計画された実験の結果である場合もあります。
データ分析およびデータ サイエンス プログラムの DOE コースにはどのようなトピックを含める必要がありますか? たとえば、標準的な DOE コースでは通常行われない A/B テストなどのトピックに集中する必要がありますか?
A/B テストに加えて、DOE のトピックには要因実験の設計と分析、ブロッキング、共分散分析、およびスクリーニング設計が含まれる必要があります。主効果と交互作用の違いをよく理解することが重要です。
DOE の品質をどのように評価しますか?
実験の前ですか、それとも後ですか？実験の前に、確認したい効果の検出力、因子間/因子間の直交性の度合い、期待される精度、ロバスト性、誤差の自由度、D-効率など非統計的:私たちはコントロールできましたか全て反応に影響を与える可能性のある要因は何ですか?ランダム化しましたか？ 応答測定は信頼できますか?実験後: 統計モデルは信頼性の高い予測をしますか?実験は再現可能ですか?
最大エントロピー設計は、機械論的/決定論的モデルのパラメーターを推定するのに役立ちますか?
私たちが議論した最大エントロピー設計は、その用途では役に立ちません。当社の設計は、機械的/決定論的な 2 つ以上のモデルを区別するように調整されています。
DOE に関連する要素をどのように見つけますか? 私の経験では、DOE を実行すると、あいまいだが重要な要素を見逃していることに気づき、設計を再実行する必要があることがよくあります。
それは大きな問題であり、私たちもそういう経験があります。実験設計者として、重要な要素を事前に特定するには、その分野の専門家に頼らなければなりません。したがって、可能であれば、まず本当に賢い人々と仕事をしてください。不確実性が高い場合は、多数の潜在的な要因を安価にスクリーニングし、関連する要因にセットを減らすことができます。それからそこから行きます。
DOE をデータ サイエンス プログラムやカリキュラムに組み込む方法について具体的な提案はありますか?
A/B テストと A/B/n テストに焦点を当てますが、要因実験、ブロッキング、共分散分析、およびスクリーニング設計の概念も紹介します。主効果と交互作用の違いをよく理解することが重要です。
すでに大規模な観測データセットがある場合でも、DOE は必要ですか?
観察研究では原因と結果を証明することはできず、ほとんどの観察データセットは、再現性のない非常に不十分な設計の研究になります。因果関係を確実に特定したい場合は、DOE が必要です。観察研究は、追跡実験の潜在的な要因を特定するのに役立ちます。
ライブストリーム中に私たちが尋ねたものの、すぐに答えが得られなかった質問の 1 つは、「病院の運営改善のために DOE と協力している、または DOE に積極的に関心を持っている参加者はいますか?」というものでした。 最初に役立つリソースは次のとおりです。サービス産業における実験計画: 批判的な文献レビューと今後の研究の方向性。 このブログ投稿を読んでいる他の人が DOE を病院運営に適用するその他のリソースを知っている場合は、ぜひコメントで共有してください。 ありがとう！
時間を割いて統計の専門知識をさらに共有してくれた Chris と Abby に感謝します。ぜひオンデマンドでご覧いただければ幸いですエピソード私たち全員に利益をもたらす、計画された実験の真に刺激的な応用例を見てみましょう。
こんにちは@Victor_G !。 参加してとても面白いと思ってもらえてとてもうれしいです（そのような才能は明らかに家族に受け継がれています）。 フィードバック、熱意、そして素晴らしい追加リソースを共有していただきありがとうございます。
ありがとう@anne_milley統計的に話すこの魅力的なセッションのために！
多様なプロジェクトがたくさんあることに驚きましたアビー・ナハツハイム博士が関与し、彼女がどのようにして適切な設計を構築し、結果を分析することに成功したのか。 この父と娘の統計学者コンビは非常に印象的です。
このセッションがデータ サイエンティストやデータを扱う人たちに、実験計画法の重要性と使用法について納得してもらえることを心から願っています。 DoE と機械学習は 2 つの強力な補完的なアプローチであり、相乗的に機能します (たとえば、サポート ベクター マシン、ニューラル ネットワーク、ツリーベースの手法などを使用して行われる空間充填設計の構築とモデリングなど)。堅牢で正確なソリューションを提供します。
ML 用の代表的で有益なトレーニング セットの作成、またはさまざまなアルゴリズムのハイパーパラメータの最適化の場合、DoE は大きな影響を及ぼし、成功の可能性が高くなります。
DoE アプローチによるアルゴリズムの最適化に関するいくつかの出版物は次のとおりです。
