スピーカー
|
トランスクリプト
|
| フィルケイ |
では、実験の設計と分析を再考することについてお話します。 フィル・ケイです。 私はグローバルテクニカルイネーブルメントチームのラーニングマネージャーであり、PeteHershが参加しています。 |
| ピーターハーシュ |
ええ、私はグローバルな技術支援チームのメンバーでもあり、DOEと私たちが現在探求しているいくつかの新しい技術について話すことに興奮しています...私たちは今日探求しています。 |
| フィルケイ |
つまり、最初に言うことは、私たちはDOEの大ファンだということです。 それは素晴らしいです。 それは非常に長い間科学と工学において大きな価値を持っていました。 |
| |
そうは言っても、DOEを長時間使用するには、問題がないという前提がいくつかあります。 |
| |
そして、彼らは科学者やエンジニアとして、常に非常に快適に感じるとは限りません。 つまり、効果のスパース性のようなものなので、あなたが見ているものすべてが重要であるとは限らないという考え |
| |
実際、実際に実験していることのほんの一部だけが重要であることがわかります。 または効果遺伝は別の仮定です。 |
| |
つまり、より単純な形式でアクティブな因子については、複雑な動作または高次の効果のみが見られると予想されます。 |
| |
そして、アクティブ効果と非アクティブ効果のこのアイデアだけで、一般的に、実験計画の順次プロセスは、非アクティブ効果からアクティブ効果を選別することです。 |
| |
そして、それは時々、二者択一の決定が多すぎるように感じることがあります。 多くの場合、私たちが実験しているもののいくつかが完全に非アクティブであるというこの考えは少しおかしいようですが、 |
| |
本当に、私たちが思うとき、私たちは本当にすべてが何らかの効果をもたらすことを知っています。 重要性は低いかもしれませんが |
| |
それでもある程度の効果はあります。 そして、これらは主に私たちがするために使用する仮定です |
| |
膨大な数の実行を行う余裕がない場合は、実験計画法の課題のいくつかを回避してください。 ピート、あなたの視点からもコメントしたいかどうかはわかりません。 |
| ピーターハーシュ |
ええ、私は完全に同意します。 温度が不活性であるということを考えるのは…と思いますが、温度が実験に影響を与えないとは思えません。 |
| フィルケイ |
ええ、それはちょっとばかげていますね? そう、 |
| |
ええ、それがあなたの実験にあるなら、それは常に何らかの方法でアクティブになるでしょうが、他のものほど重要ではないかもしれません。 |
| |
だから私はちょうどの結果にスキップするつもりです |
| |
私たちが見たものの。 そのため、ChrisGotwaltとPhilRamseyが本質的に発明したこの自動検証手法を検討してきました。 |
| |
計画された実験の分析でそれを使用すると、それは本当にクレイジーな結果を提供します。 私たちはそれらが可能だとは思っていませんでした。 |
| |
そこで、まず13のアクティブな効果を持つシステムを調べ、13の実行の最終的なスクリーニング設計を分析しました。それから、13の効果がアクティブであることがわかりました。これは、飽和状態と呼ばれるものです。 私たちはしません... |
| |
一般に、効果が希薄で、実際に重要またはアクティブな効果が少ない場合に、アクティブな効果を特定するのに効果的であると、明確なスクリーニング設計について説明しました。 しかし、この場合、私は13のアクティブな効果すべてを特定することができました。 |
| |
そしてそれだけでなく、実際には、この13の実行の決定的なスクリーニング設計からの13のアクティブな効果すべてを備えたモデルを構築することができました。 |
| |
ですから、これもまた信じられないことです。構築元のデータの行があるほど多くのアクティブな効果を持つモデルを作成できるとは期待していません。 |
| |
そしてピート、あなたは他のいくつかのことを見て、他のいくつかの本当に興味深い結果を得ました。 |
| ピーターハーシュ |
ええ、絶対に、そしてフィルの結果は非常に印象的です。 私は思う |
| |
私たちが試した次のステップは、実行よりもアクティブな効果である超飽和デザインを作成することでした。 |
| |
非常に小さいDOE。 したがって、7つのアクティブな効果を持つ6回の実行DOEは、標準のDOE手法で行った場合、分析する方法がありません。 |
| |
それをきちんと。 そして、それを8回および10回の実行DOEと比較し、それがどれだけ私たちを購入したかを調べました。 そのため、6回の実行DOEからでも、かなり有用なモデルが得られました。 |
| |
思ったより良かった。 |
| フィルケイ |
ええ、それはあなたが本当に期待する権利を持っているよりはましですよね? |
| |
そして、これらの本当に印象的な結果と、小さなものから膨大な数のアクティブな効果を識別する能力があります。 |
| |
決定的な画面設計を行い、実際にそれらすべてのアクティブな効果を使用してそのモデルを構築します。 そしてピートの場合、私は本当に小さなものから7つのアクティブな効果を持つモデルを構築することができました |
| |
計画実験。 |
| |
では、どうやってこれを行ったのでしょうか? 自動検証方法はどのように機能しますか? まあ、それは機械学習からアイデアを取り入れています、そして機械学習からの本当に便利なツールの1つは検証です。 したがって、ホールドアウト検証は、あなたが構築することを保証するための本当に素晴らしい方法です |
| |
最も便利なモデル。 つまり、堅牢なモデルです。 したがって、データの一部を保持し、それを使用して、構築するさまざまなモデルをテストします。 |
| |
基本的に、私たちが保持しているこのデータを最もよく予測するモデルは、私たちが使用するモデルであり、それは実際に試され、テストされただけです。 |
| |
これは実際、最も有用なモデルを構築するためのゴールドスタンダードですが、DOEを使用すると、それはより大きな課題になりますね、ピート? それは実際には明らかにそれ自体には向いていません。 |
| ピーターハーシュ |
ええ、ええ、DOEの背後にある全体的なアイデアは、可能な限り効率的にデザインスペースを探索することです。 そして、私たちがランを差し控えたり、差し出し始めたら |
| |
実行の分析では、その設計スペースの一部を見逃し、 |
| |
決定的なスクリーニング計画のようなこれらのDOE技術の多くでは、それを実際に行うことはできません。 |
| フィルケイ |
そうです、そうです。このホールドアウト検証のメリットを享受し、重要なデータを保持することに悩まされないようにするためのトリックがあればいいのですが。 これで、この自動検証が可能になります |
| |
アイデア、そしてピート、これがどのように機能するかについて少し説明したいですか? |
| ピーターハーシュ |
もちろん、これはChrisとPhil Ramseyによって開発された本当に賢いアイデアでした。彼らは基本的に、DOEから元のデータを取得し、それをリサンプリングします。 |
| |
結果を繰り返します。 したがって、スライドの下部にある表に気付いた場合、灰色の実行は白の実行と同じ結果です。 それらはただ繰り返されます。 |
| |
そして、彼らがこれを回避する方法は、一緒にペアになっているこの加重列を作ることです。 つまり、基本的に、体重が大きい場合は、 |
| |
それを繰り返し実行すると、レートが低くなります...重量など。 そして、これは...これは...この検証と重み付けでデータを使用できるようにするものであり、それがどのように行われるかについてもう少し詳しく説明します。 |
| フィルケイ |
ええ、デモを実行すると、それがどのように発生するかがわかります。 したがって、基本的に、この方法論を説明するために使用するシミュレーション例の2つのケーススタディがあります。 したがって、この最初のケーススタディについて説明します。 |
| |
シミュレートされた例であることを強調します。 ある意味では、これは非現実的な例のようなものですが、この方法論の力を実証する上で非常に優れた仕事をしていると思います。 |
| |
6つの要素があり、もう少し現実的に見えるように、ここでのケーススタディからいくつかの実際の要素を選択しました。ここでは、生物を成長させ、システムに供給する栄養素を最適化して最適化しようとしました。成長率。 |
| |
だから私たちはこれらの6つの異なる栄養素を持っています、そしてそれらは私たちの要因です。 それらのさまざまな量を追加できるので、この成長率の応答でこれらの要因を調査するために、13ランの決定的なスクリーニング設計を設計しました。 |
| |
そして、応答データは私が完全にシミュレートし、13の強力にアクティブな効果があるようにシミュレートされました。 そう |
| |
すべてのメインエフェクト、6つのメインエフェクトすべてがアクティブになるようにシミュレートしました。 |
| |
そして、これらの各要因について、2次効果もアクティブであるため、6つの2次効果があります。 |
| |
さらに、常に推定する必要のある切片があるため、システムを理解する上で重要な、アクティブな合計13の効果があります。 |
| |
1つの信号対雑音比ですが、それをモデル化するための標準的な方法論では、それでも実際の課題であり、デモでそれについて説明します。 |
| |
それで、本当に問題は、これらすべての重要な効果を特定できるか、そして可能であれば、それらすべての重要な効果を備えたモデルを構築できるかということです。 私が言ったように、それは本当に非常に注目に値するでしょうから |
| |
対標準的な方法論で何ができるか。 |
| |
そしてケーススタディ#2、ピート? |
| ピーターハーシュ |
ええ、絶対に。 Philのケーススタディと非常によく似ています。 同じ考えで、さまざまな栄養素をさまざまなレベルで生物に供給し、その成長率をチェックしています。 この場合、私はフィルが行ったことを単純化し、それをたった3つの栄養素に分解しました。 そしてこれは |
| |
異なるタイプの設計を構築するため、完全な応答曲面を見ているI-optimal過飽和設計 |
| |
過飽和状態で、6、8、10ランを見ました |
| |
デザイン。そして、同じ考えです。 |
| |
インクルード |
| |
効果は非常に、非常に |
| |
信号対雑音比が高いので、それらがアクティブである場合、それらの効果を見つけられるようにしたかったのです。 そして、フィルのように、私は二次方程式の主な効果と切片をアクティブに保ち、それらを選択しようとしています。 |
| |
同じ考えですが、これらのアクティブな効果を確認するには何回実行する必要があり、これらの非常に小さな設計からモデルをどれだけ正確に作成できるでしょうか。 |
| フィルケイ |
ええ、私が言ったように、あなたは本当にそのような小さなデザインから良いモデルを作ることができると期待する権利がないことを知っているからです。 |
| ピーターハーシュ |
ええ、その通りです。 はい。 |
| フィルケイ |
それで、ケーススタディ#1のデモに入ります。 |
| |
そして、私はこれをJMPプロジェクトを通じて提示しているので、それはあなたの結果を提示するための本当に素晴らしい方法です。 これを試してみることをお勧めします。 |
| |
そしてそれは私たちの |
| |
設計なので、これは13回の実行の最終的なスクリーニング設計であり、これらの栄養素を変化させ、成長率の応答をシミュレートします。 私が言ったように、それは次のようにシミュレートされています |
| |
主な効果は、これらすべての要因の2次方程式が非常にアクティブであることに加えて、この切片を推定する必要があります。 |
| |
さて、最終的なスクリーニング設計では、実行可能な分析の1つとして結果を確認する方法として、適切な最終的なスクリーニングを使用することをお勧めします。 |
| |
この効果のスパース性の原則が真である場合、これは非常にうまく機能します。 いくつかの効果だけが強くアクティブである限り...アクティブであり、残りは重要ではありませんが、 |
| |
次に、それらを見つけます...いくつかの重要な効果と重要でないものからそれらを分離します。 |
| |
しかし、この場合、私はそれがうまく機能することを期待していなかったし、うまく機能しません。 6つの要因すべてがアクティブであることを識別しません。 実際、ここでアクティブであると特定するのは1つの要因だけです。 |
| |
ですから、これは大きな驚きではありません。これは難しすぎて、このタイプの分析では状況が難しすぎます。 |
| |
どういうわけか、これらのアクティブな効果がすべてアクティブであることがわかっていて、6つのメイン効果すべて、6つすべての二次効果、および切片を含むモデルを適合させようとすると、 |
| |
それが飽和モデルです。 データの行と同じ数の推定パラメーターがあるため、そのモデルにほぼ適合させることができますが、統計は取得されません。 |
| |
いずれにせよ、私がこのデータをシミュレートしたという事実を除けば、実際の状況では、どのモデルがアクティブであるかわからないため、どのモデルを適合させるかさえわかりません。 |
| |
さて、自動検証方式を使用して、実際に非常に説得力のあるアクティブな効果を特定することができました。これをどのように行ったかについて説明します。 |
| |
そして、これはここでの私の結果の単なる視覚化です。 必ずしもこのように視覚化する必要はありません。 これはプレゼンテーション用です。 |
| |
まず、インターセプトがアクティブであることがわかりました。 私は6つの主な効果をすべて持っています、 |
| |
そして、2次効果、そして2つの因子の交互作用で、効果がゼロになるようにシミュレートしました。 あなたは彼らがよく落ちているのを見ることができます |
| |
他のものに対して。 そして、実際にはここでそれを使用するヌルファクターがあります...だからダミーファクターです。 したがって、必要に応じて、null係数未満のものは、重要ではない、または非アクティブであると宣言できます。 |
| |
そして、私たちが実際に見ているのは...ここで見ているメトリックは、ゼロ以外の比率と呼ばれるものです。これを見ていくうちに、それが何を意味するのかを説明します。 これは、効果の強さ、効果の重要性を特定するためにここで使用している指標の一種です。 |
| |
それで、私がこれをどのように経験したかについて少し。 そこで、元の13ランの最終的なスクリーニング設計を採用し、それを自動検証用に設定して、複製した26行を取得しました。 |
| |
そして、これを行うためのアドインがあります。同僚の1人であるMikeAndersonです。 JMP15でこれを行うために使用できるアドインを作成しました。 |
| |
JMP 16では、検証列プラットフォームの予測モデリングツールに機能を実際に追加しています。 |
| |
そして、それが何をするのか、データのこの重複セットを取得し、次にこの重み付けを取得し、ピートが言ったように、各行はトレーニングセットと検証セットにあります。 |
| |
トレーニングセットでは、重みが低い場合、検証で重みが高くなります。 したがって、トレーニングセットでの重み付けが高い場合、検証セットでの重み付けは低くなります。 |
| |
そして、私たちが実際に行っていることは、私たちが読んでいることです...これらは基本的にランダムに割り当てられています。 |
| |
それらを再割り当てすると、この数百回の反復が可能になり、毎回モデルをフィッティングしてから、多くのシミュレーション実行で集計された結果を確認できました。 だからあなたは何をしますか |
| |
モデルに合わせるためのもので、ここJMPProでGenRegを使用しています。 |
| |
そして、とにかくJMP Proが必要になります。これは、この検証の役割を指定できる必要があるためです。そこで、トレイン検証列が検証に入ります。 |
| |
そして、重み付けは頻度になり、それから私たちは通常の応答で行うように他のすべてを設定します。 次に、これらすべての効果を含む応答曲面モデルであるモデルを取得し、[実行]をクリックします。 |
| |
そしてそれはモデルに適合し、前方選択またはラッソを使用できます。 ここでは、ラッソを使用しました。 |
| |
この場合、それほど重要ではありません。 |
| |
そして実際に起こったことは、この場合は切片のみが重要であると特定したため、モデルには実際に切片しかありません。 |
| |
ただし、重み付けを変更した場合、データテーブルに戻ってこれらの重み付けを再シミュレートすると、モデルから異なる結果が得られる可能性があります。 |
| |
データのさまざまな行、実験でのさまざまな実行に重みを付けて、適合するモデルを変更します。 だから私たちはそれを何百回もやります、そして私がやろうとしていることは実際にJMPProのシミュレーション機能を使うことです。 |
| |
そして、私たちが行うことは、重み付け列を切り替えて、重み付け列の再計算されたバージョンに切り替えることです。 そして、あなたはそれを数百回行うことができます。 この場合、実際に250回実行しました。 実際に実行させるつもりはありません。1、2分かかるからです。 |
| |
これを実行すると、次のようなテーブルが表示されます。 |
| |
これで、これらの各効果について、250のモデルすべてのパラメーター推定値が得られました。 そう |
| |
私が行ったこの実行の最初のモデルでは、これがこのクエン酸の主効果のパラメーター推定値でした。 次のモデルでは、重み付けをリサンプリングすると、 |
| |
クエン酸の主効果はモデルに入らなかったので、その場合はゼロでした。 |
| |
そして、実際には、これらすべてのパラメーター推定値に対して分布を実行できます。 そして、あなたができることの1つは |
| |
この統計量、要約統計量をカスタマイズして、ゼロ以外の比率を確認します。 ですから、ここで切片を見ることができます、 |
| |
切片についての推定値。 クエン酸で見ることができますが、多くの場合、それはゼロであると推定されているので、それらのモデルは、 |
| |
クエン酸の主な効果はモデルに含まれていなかったため、多くの場合、約3と推定されました。これは、私がシミュレートしたものです。 |
| |
したがって、私たちが見ているのは、それがゼロ以外である時間の割合であり、それらから結合されたデータテーブルを作成することができます。 そして、私はすでにそれをしました、そしてほんの少しだけしました... |
| |
ここで少し追加の拡張。 それが主な効果であるかどうかの列を追加したところ、それが私が作成した方法でした |
| |
この視覚化はここにあります。 つまり、あなたが見ているのは、これらの各効果がゼロ以外である回数の割合です。したがって、これらすべてに対する各効果がモデルに含まれている回数の割合です。 |
| |
私たちが行った250回のシミュレーション実行では、分数の重み付けを再シミュレーションしました。 そしてそれは私たちが識別するために使用するものです |
| |
アクティブな効果、そしてそれは...そしてそれは注目に値する仕事をしました。 私たちの標準的な方法ではできないことを行うことができました。 13回の実行から13のアクティブな効果が特定されました |
| |
決定的なスクリーニングデザイン。 |
| |
さて、次に何をしたいですか? そのモデルをこれらすべての効果に実際に適合させたいと思うかもしれませんが、私はそれを行うことができました。 そして、私はここにフィットしたモデルを比較しています |
| |
真のシミュレートされた応答と比較すると、それらがどれほど密接に一致しているかを確認できます。 したがって、これらすべての主効果、これらすべての2次方程式、および切片を使用してモデルを構築することができました。 |
| |
したがって、ここに13個のパラメーターモデルがあり、この13個の実行の決定的な画面デザインに適合させることができました。これもまた注目に値します。 |
| |
そして、私はその部分にどのように到達したかについて正確に話すつもりはありません。 ピートに譲ります。 彼は、自己検証されたアンサンブルモデルのこのアイデアについてもう少し話します。 |
| ピーターハーシュ |
絶対に。 ありがとう、フィル。 どれどれ。 ここで画面を共有し、このプロジェクトを見ていきます。 そう |
| |
あなたはここで見ることができます |
| |
同じで |
| |
フィルとしての流れ、私たちはここでプロジェクトを見ています、そして私は持っています |
| |
その6回の過飽和DOEから始めましたが、ここでわかるように、私には3つの要因があります。 |
| |
私の実際の基礎となるモデルの成長率は何であり、次に成長率は何ですか...シミュレートされた成長率は、Philが述べたように、 |
| |
この自動検証列を作成します。これは、MikeAndersonが開発したJMP15のアドインを使用して実行できます。 または、JMP 16では、ソフトウェアに直接組み込まれており、予測モデリングプラットフォームの分析検証列の下でアクセスできます。 |
| |
Philが示したように、彼はどの因子がアクティブであるかを見つける方法の優れた例を示したので、因子スクリーニングを行いました。 そして、それがDOEの主な目標であることがよくありますが、それをさらに一歩進めて、それからモデルを構築したい場合は、 |
| |
これと同じプロセスを実行します。 したがって、DOEを構築し、そのDOEに自動検証を追加し、Philが示したように、一般化された回帰と1つを使用してモデルを構築します。 |
| |
変数選択手法。 したがって、PhilRamseyとChrisGotwaltは、これらのさまざまな手法の多くを検討しており、それらはすべてかなりうまく機能しているようです。 したがって、なげなわを使用している場合でも、2段階の前方選択を使用している場合でも、すべて同じような結果が得られ、 |
| |
かなりうまく機能します。 したがって、これを設定して起動すると、Philが示したようなモデルが得られ、これらのモデルのいくつかが |