349240_ja-JP

liliconcom

実験の計画と分析を再考してみませんか? (2021-EU-30MP-776)

レベル: 中級

 

Phil Kay 氏、JMP シニア システム エンジニア、SAS
Peter Hersh 氏、JMP テクニカル イネーブルメント エンジニア、SAS

 

科学者やエンジニアは、プロセスとシステムを理解するために、つまり重要な要素を見つけて、有用なモデルを使用して最適化および制御するために実験を設計します。 実験の統計的計画により、実験の労力をさらに有効に活用して問題をより迅速に解決できるようになります。 しかし、これらの手法を実際に実装するには、通常、この分野の知識や経験に必ずしも適合するとは限らない特定の仮定 (効果の希薄性、効果の遺伝、アクティブまたは非アクティブな効果など) を受け入れる必要があります。 機械学習アプローチはこれらの課題の一部を克服し、追加コストをかけずに実験からより豊かな理解を提供できるでしょうか? これは実験の計画と分析における革命となるでしょうか?

この講演では、Chris Gotwalt と Phil Ramsey が開発した自動検証技術を使用して産業実験を分析することの潜在的な利点を探ります。 重要な効果のスクリーニングや、予測と最適化のためのモデルの構築において、従来のツールと自動検証技術を比較するケーススタディの例が示されます。

 

 

Q&Aではすべての質問にお答えできなかったので、ここでご紹介します。

 

重みが 0 ～ 1 の間にないのですが、重みはどのように生成されるのでしょうか?

それらは「分数で重み付け」されます。 これがこの方法を可能にする重要なトリックです。 JMP Pro の Gen Reg では、これを Freq ロールで使用します。 使用できますこのアドインJMP Pro 15 では、重みを付けて重複テーブルを生成します。お勧めできますクリス・ゴットワルトとフィル・ラムジーによる講演重み付けの詳細な統計的詳細を説明します。

 

行を複製すると、同じ出力結果で複製されますか? この重複の目的は何ですか?

はい、同じ応答で重複しています。 ただそれだけをして分析を進めるのはダメです。 ここでの重要な革新は、検証セットの一部では低い重み付けが行われ、他の検証セットではより高い重み付けが行われるように、部分的に重み付けされることです。 たとえば、「トレーニング」での重み付けが低い実行には、「検証」で重み付けが高い重複ペアが存在します。 一部の重複ペアは、トレーニングと検証においてより均等な重み付けを持ちます。

 

これらの重み付けを使用してモデルを適合させ、各実行のどのくらいがトレーニングに費やされ、どのくらいが検証に費やされるかを決定します。 次に、重みを再描画し、別のモデルを当てはめます。 このプロセスを何百回も繰り返します。 次に、これらすべてのモデルにわたる結果を使用して、ゼロ以外の割合から重要な効果を選別するか、個々のモデルをすべて平均して有用なモデルを構築します。

通常の非プロ版の JMP 15 バージョンでアドインを実行することは可能ですか?

かなりの可能性があります。 アドインを実行することはできますが、分析で検証列を利用するには JMP Pro が必要です。これは重要です。

カテゴリ変数ではどのように機能しますか?

連続変数のみを使用した例を示しました。 優れた機能は、どのモデルでもどの変数タイプでも機能することです。

今ではこの方法が認知されているのでしょうか？

一言で言えば、「いいえ」です。 まだ。 私たちの動機は、人々にこの方法を知ってもらい、興味を持った人がその方法を探求し、批判的なフィードバックを提供することを刺激することです。 プレゼンテーションで明らかにしたように、これを実験の唯一の分析として使用することはお勧めしません。 このアイデアが気に入ったら、試して他の方法と比較してみてください。

 

そうは言っても、モデルの平均化とホールドバック検証のアイデアは、より大きなデータの状況で認識されます。 これは、実験が計画された小規模なデータの世界では有益であると思われます。

重複ステップを手動で実行しますか?

いいえ、これはアドインまたは JMP Pro 16 のプラットフォームによる自動検証セットアップの一部として行われます。 重複行は自分で簡単に作成できます。 より難しいのは分数重み付けを設定することであり、これがないと分析は機能しません。

 

ベイジアンではシミュレーション（MCMC）も多用していますが、それも応用できるのでしょうか？ 事前分布と事後分布を統合しますか?
かなりの可能性があります。 ブートストラップ モデルの平均化による部分的に重み付けされた検証の一般的なアイデアは、他の多くの分野にも応用できる可能性があります。

 

 

自動生成されたトランスクリプト...

 

スピーカー	成績証明書
フィル・ケイ	さて、実験の計画と分析の再考について話します。 私はフィル・ケイです。 私はグローバル テクニカル イネーブルメント チームの学習マネージャーで、Pete Hersh が加わりました。
ピーター・ハーシュ	はい、私はグローバルな技術イネーブルメント チームのメンバーでもあり、DOE と、私たちが今日検討しているいくつかの新しい技術について話すことに興奮しています。
フィル・ケイ	まず最初に言っておきたいのは、私たちは DOE の大ファンだということです。 それは素晴らしいです。 非常に長い間、科学と工学において多大な価値を持ってきました。
	そうは言っても、DOE を頻繁に使用するには、いくつかの前提事項に同意しなければなりません。
	そして、科学者やエンジニアとして、彼らは常に非常に快適に感じているわけではありません。 つまり、効果の希薄性などにより、見ているものすべてが重要であるとは限らないという考えが生まれます。
	そして実際に、実際に実験していることのうち、重要であることが判明するのはほんのわずかです。 または効果の遺伝は別の仮定です。
	つまり、単純な形でアクティブな因子については、複雑な動作や高次の効果のみが期待されるということになります。
	そして、このアクティブな効果と非アクティブな効果の考え方は非常に一般的に、実験計画法の一連のプロセスでは、アクティブな効果を非アクティブな効果から選別することになります。
	そして、それは時々、二分法での決定が多すぎると感じることがあります。 私たちが実験していることの一部が完全に非アクティブな状態で行われているという考えは、少しクレイジーに思えるかもしれません。
	本当に、私たちは、すべてが何らかの影響を与えることを知っていると思います。 それほど重要ではないかもしれませんが、
	まだ多少の効果はあります。 これらは主に、次のことを行うために使用する仮定です。
	膨大な数の実験を行う余裕がない場合でも、実験を計画する際のいくつかの課題を回避できます。 ピート、あなたの観点からもそれについてコメントしたいかどうかはわかりません。
ピーター・ハーシュ	はい、完全に同意します。 温度のようなものが不活性であると考えるのは…温度が実験に影響を及ぼさないとは考えにくいと思います。
フィル・ケイ	そうですね、それはちょっと不合理ですよね？ それで、
	はい、それがあなたの実験にある場合、それは常に何らかの形でアクティブになりますが、おそらく他のものほど重要ではありません。
	それでは、次の結果に進みます。
	私たちが見てきたものについて。 そこで私たちは、Chris Gotwalt と Phil Ramsey が本質的に発明したこの自動検証手法に注目してきました。
	そしてそれを計画された実験の分析に使用すると、本当にクレイジーな結果が得られました。 私たちはそれが可能だとは思っていませんでした。
	そこで、まず最初に 13 のアクティブな効果を含むシステムを調べ、13 回実行された最終的なスクリーニング計画を分析しました。そこから、13 の効果がアクティブであることを特定できました。これが... これが飽和状態と呼ばれるものです。 私たちはそうしません...
	一般に、効果が希薄である場合、つまり実際に重要または有効な効果が少数しかない場合、最終的なスクリーニング計画は有効な効果を特定するのに効果的であると説明してきました。 しかし、この場合、13 個のアクティブなエフェクトをすべて特定することができました。
	それだけではなく、この 13 回の実行による最終的なスクリーニング設計から、13 個のアクティブな効果をすべて備えたモデルを実際に構築することができました。
	それで、これもまた信じられないことです。構築元のデータ行と同じくらい多くのアクティブな効果を備えたモデルを作成できるとは期待していません。
	そしてピート、あなたは他のことを調べて、非常に興味深い結果を得ました。
ピーター・ハーシュ	はい、間違いなく、そしてフィルの結果は非常に印象的です。 私が思うに
	私たちが試した次のステップは、実行よりもアクティブなエフェクトである超飽和デザインを作成することでした。これを次のステップで試してみました。
	非常に小さな DOE。 したがって、7 つのアクティブな効果を持つ 6 つの DOE を実行します。これを標準的な DOE 手法で実行した場合、分析する方法はありません。
	それはちゃんと。 そして、それを 8 回および 10 回実行される DOE と比較し、それがどれだけの利益をもたらしたかを検討しました。 したがって、6 回実行された DOE からでも、かなり有用なモデルが得られました。
	思ったよりも良かったです。
フィル・ケイ	そう、期待するよりもずっと良いことですよね？
	そして、私たちはこれらの本当に印象的な結果と、小さな影響から膨大な数の有効な影響を特定する能力を獲得しました。
	最終的な画面デザインを作成し、すべてのアクティブなエフェクトを備えたモデルを実際に構築します。 Pete の場合、本当に小さなものから 7 つのアクティブなエフェクトを備えたモデルを構築することができました。
	計画された実験。
	では、どうやってこれを実現したのでしょうか? 自動検証方法はどのように機能しますか? これは機械学習からアイデアを取り入れており、機械学習の本当に便利なツールの 1 つは検証です。 したがって、ホールドアウト検証は、確実にビルドするための非常に優れた方法です。
	最も実用的なモデル。 そのため堅牢性を備えたモデルとなっております。 そこで、データの一部を保持し、それを使用して構築したさまざまなモデルをテストします。
	基本的に、私たちが提示したこのデータを最もよく予測するモデルが、私たちが使用するモデルであり、実際に試行され、テストされたものです。
	実際、これは最も有用なモデルを構築するためのほぼ標準ですが、DOE ではそれがさらに大きな課題になります、そうでしょう、ピート? それは実際には明らかにそれに適していません。
ピーター・ハーシュ	そうですね、DOE の背後にある全体的な考え方は、設計空間を可能な限り効率的に探索することです。 そして、もし私たちがランを我慢したり、我慢したりし始めたら、
	実行を分析すると、その設計空間の一部が失われることになり、
	最終的なスクリーニング設計などの DOE 技術の多くでは、実際にはそれを行うことはできません。
フィル・ケイ	そうですね、このホールドアウト検証のメリットを享受し、重要なデータのホールドアウトに悩まされないようにするための何らかのトリックがあればいいですね。 そこで、この自動検証について説明します。
	それから、ピート、これがどのように機能するかについて少し説明したいですか?
ピーター・ハーシュ	確かに、これは Chris と Phil Ramsey によって開発された本当に賢いアイデアでした。彼らは基本的に DOE から元のデータを取得し、それをリサンプリングします。
	結果を繰り返します。 したがって、スライドの下部にある表で、灰色の実行は白色の実行と同じ結果であることに気づいたでしょう。 それらが繰り返されるだけです。
	そして、彼らがこれを回避する方法は、この重み付け列をペアにして作成することです。 基本的に、体重が重い場合、
	それを繰り返し実行すると、レートが低くなり、重量などが増加します。 これは...これは...この検証と重み付けでデータを使用できるようにします。その方法についてもう少し詳しく説明します。
フィル・ケイ	そうですね、デモをやってみると、それがどのように起こるかがわかるでしょう。 基本的に、この方法論を説明するために使用するシミュレーション例の 2 つのケーススタディがあります。 この最初のケーススタディについてお話します。
	これはシミュレーションされた例であることを強調します。 ある意味、これは非現実的な例ですが、この方法論の力をうまく実証していると思います。
	6 つの要素があり、それをもう少し現実的に見せるために、ある生物有機体を成長させ、それらがシステムに供給する栄養素を最適化しようとしていたケーススタディからいくつかの実際の要素を選択しました。成長率。
	私たちはこれら 6 つの異なる栄養素を持っており、それらが私たちの要素です。 さまざまな量のそれらを追加できるため、この成長率応答を使用してこれらの要因を調査するために、13 実行の最終的なスクリーニング デザインを設計しました。
	そして、応答データは私によって完全にシミュレートされ、13 個の強くアクティブな効果が存在するようにシミュレートされました。 それで
	すべてのメインエフェクト、6 つのメインエフェクトすべてがアクティブになるようにシミュレートしました。
	そして、これらの各因子に対して 2 次効果も有効になるため、6 つの 2 次効果が得られます。
	さらに、常に推定する必要がある切片があるため、システムを理解する上で重要なアクティブな効果が合計 13 個あります。
	1 信号対ノイズですが、これをモデル化する標準的な方法論では依然として大きな課題であり、デモでそれについて説明します。
	つまり、実際のところ、問題は、これらの重要な効果をすべて特定できるか、そして可能であれば、それらすべての重要な効果も含めたモデルを構築できるかということです。 なぜなら、先ほども言ったように、それは本当に驚くべきことだからです
	標準的な方法論で何ができるかということと比較してください。
	それからケーススタディ #2、ピート?
ピーター・ハーシュ	ええ、絶対に。 Phil のケーススタディと非常によく似ています。 生物にさまざまなレベルでさまざまな栄養素を与え、その成長率をチェックするのと同じ考えです。 この場合、私はフィルが行ったことを単純化し、たった 3 つの栄養素に分解しました。 そしてこれは
	異なるタイプの設計を構築するため、完全な応答曲面を検討する I 最適過飽和設計
	過飽和状態で、6、8、10 回のランを観察しました
	デザイン。そして同じ同じ考えです。
	の
	効果は非常に非常に大きかった
	信号対雑音比が高いので、それらのエフェクトがアクティブな場合にそれを抽出できるようにしたいと考えていました。 Phil と同じように、二次関数の主効果と切片をアクティブなままにし、それらを選択しようとしています。
	同じ考え方ですが、これらのアクティブな効果を確認するには何回実行する必要があるでしょうか?また、これらの非常に小さな設計からどの程度正確なモデルを作成できるでしょうか?
フィル・ケイ	そうです、なぜなら、私が言ったように、このような小さな設計から優れたモデルを構築できると期待する権利はまったくないからです。
ピーター・ハーシュ	ええ、その通りです。 わかった。
フィル・ケイ	それでは、ケーススタディ #1 のデモに入ります。
	私はこれを JMP プロジェクトを通じて提示しているので、結果を提示するのに非常に良い方法です。 これを試してみることをお勧めします。
	そしてそれが私たちのものです
	したがって、これは 13 回実行された最終的なスクリーニング デザインであり、これらの栄養因子を変更し、シミュレートされた成長速度の応答が得られます。 先ほども言いましたが、それは次のようにシミュレートされています
	主効果であるこれらすべての因子の二次関数は強くアクティブであることに加えて、この切片を推定する必要があります。
	さて、最終的なスクリーニング計画では、実行できる分析の 1 つとして結果を確認する方法として、フィット最終的なスクリーニングを使用することをお勧めします。
	この効果の疎性の原則が真である場合、これは非常にうまく機能します。 したがって、少数の効果のみが強くアクティブである限り...アクティブであり、残りの効果は重要ではありません。
	次に、それらのいくつかの重要な効果を見つけて、重要でないものから分離します。
	しかし、この場合、うまく機能するとは予想していなかったので、うまく機能しませんでした。 6 つの要素すべてがアクティブであることを特定するものではありません。 実際、ここでは要因の 1 つがアクティブであると特定されるだけです。
	したがって、これは大きな驚きではありませんが、これはこの種の分析にとってはあまりにも困難で、挑戦的な状況です。
	これらのアクティブな効果がすべてアクティブであることがどういうわけかわかっていて、6 つの主効果すべて、6 つの二次関数すべて、および切片を含むモデルを当てはめようとした場合、
	それは飽和モデルです。 データの行と同数の推定パラメータがあるため、そのモデルにほぼ適合できますが、統計は得られません。
	いずれにせよ、私がこのデータをシミュレートしたという事実は別として、実際の状況では、どれがアクティブであるかわからないため、どのモデルを当てはめるべきかさえわかりません。
	さて、自動検証方法を使用して、実際に非常に説得力のあるアクティブな効果を特定することができました。これをどのように行ったかについて説明します。
	これは、ここでの私の結果を視覚化したものにすぎません。 必ずしもこのように視覚化する必要はありません。 これはプレゼンテーション用です。
	まず第一に、インターセプトがアクティブであることを確認できました。 6つのメインエフェクトがすべて揃っています。
	そして二次効果、そして効果がゼロになるようにシミュレートした 2 因子交互作用です。 かなり落ち込んでいるのがわかります
	他のものと比べて。 そして、ここには実際に null 要素があり、それを使用します...つまりダミー要素です。 したがって、必要に応じて、null 要素未満のものは重要ではない、または非アクティブであると宣言できます。
	そして、私たちが実際に何であるか...ここで見ている指標は、非ゼロの比率と呼ばれるものであり、これが何を意味するかについては、これを見ていきながら説明します。 これは、効果の強さや重要性を特定するためにここで使用している指標のようなものです。
	それで、私がこれをどのように経験したかについて少し説明します。 そこで、最初の 13 回の実行による最終的なスクリーニング計画を取得し、それを自動検証用に設定したので、複製した行が 26 行になりました。
	そして、私たちの同僚の 1 人、Mike Anderson がこれを行うためのアドインを提供しています。 JMP 15 でこれを行うために使用できるアドインを作成しました。
	JMP 16 では、実際に検証カラム プラットフォームの予測モデリング ツールに機能が追加されています。
	そして、それが何をするかというと、このデータの重複セットを取得し、次に重み付けを取得します。ピートが言ったように、各行がトレーニング セットと検証セットに含まれています。
	トレーニング セットでの重み付けが低い場合、検証では重み付けが高くなります。 したがって、トレーニング セットでの重み付けが高い場合、検証セットでは重み付けが低くなります。
	そして、私たちが実際に行うことは、読み取りです...これらは基本的にランダムに割り当てられています。
	それらを再割り当てすると、毎回モデルをフィッティングして、何度もシミュレーションを実行して集計された結果を確認しながら、これを何百回も繰り返すことができました。 それであなたならどうしますか
	モデルに適合させるためであり、ここでは JMP Pro で GenReg を使用しています。
	この検証ロールを指定できる必要があるため、とにかく JMP Pro が必要になります。そのため、トレイン検証列が検証に入ります。
	重み付けは周波数に適用され、通常の応答と同じように他のすべてを設定します。 そしてモデルを取得しました。これは、これらすべての効果が含まれた応答曲面モデルです。その後、[実行]をクリックします。
	そしてそれはモデルに適合し、前方選択またはなげなわを使用できます。 ここではなげなわを使用しました。
	この場合、それはそれほど重要ではありません。
	そして実際に起こったことは、このケースでは切片のみが重要であると識別したため、実際にモデルには切片のみが含まれているということです。
	しかし、重み付けを変更した場合、データ テーブルに戻ってこれらの重み付けを再シミュレートすると、モデルとは異なる結果が得られる可能性があります。
	さまざまなデータ行、実験のさまざまな実行に重みを付けて、適合するモデルを変更します。 したがって、これを何百回も繰り返すことになります。実際にやろうとしているのは、JMP Pro のシミュレート機能を使用することです。
	そして、私たちが行うことは、重み付け列を切り替えて、重み付け列の再計算されたバージョンに切り替えることです。 それを数百回繰り返すことができます。 この場合、実際には 250 回実行しました。 これには 1 ～ 2 分かかるため、実際には実行しません。
	これを完了すると、次のようなテーブルが得られます。
	これで、これらのエフェクトごとに 250 のモデルすべてのパラメータ推定値が得られました。 それで
	私が実行したこの実行の最初のモデルでは、これがこのクエン酸の主効果のパラメーター推定でした。 次のモデルで重み付けをリサンプリングすると、
	クエン酸の主効果はモデルに入っていないため、その場合はゼロでした。
	そして、これらすべてのパラメータ推定値に対して実際に分布を実行できます。 そして、あなたにできることの 1 つは、
	この統計 (要約統計) をカスタマイズして、ゼロ以外の割合を確認します。 ここで切片を確認できます。
	切片についての推定値。 クエン酸の場合、多くの場合、ゼロであると推定されていることがわかります。つまり、モデルは次のとおりです。
	クエン酸の主効果はモデルには含まれていませんでしたが、多くの場合、約 3 と推定されており、これが私がシミュレーションしたものです。
	したがって、私たちが注目するのは、ゼロではない時間の割合であり、それらから結合されたデータ テーブルを作成できます。 そして、私はすでにそれを実行しており、ほんの少しだけ実行しました...
	ここで少し追加の拡張を加えます。 それが主効果かどうかを示す列を追加しただけです。それが私が作成した方法です。
	この視覚化はここにあります。 したがって、見ているのは、これらの各効果がゼロではない時間の割合です。つまり、各効果がそれらすべての効果に対してモデル内に存在する時間の割合です。
	250 回のシミュレーションを実行し、部分的な重み付けを再シミュレートしました。 それを識別するために使用します
	アクティブエフェクト、そしてそれは...そしてそれは驚くべき仕事をしました。 私たちの標準的な方法ではできないことが可能になりました。 13 回の実行で 13 個の有効な効果が特定されました
	決定的なスクリーニング設計。
	さて、次に何をしたいですか？ 実際にそのモデルにこれらすべての効果を当てはめたいと思うかもしれませんが、私はそれができました。 ここで適合したモデルを比較しています
	実際のシミュレートされた応答と比較すると、それらがどの程度一致しているかがわかります。 したがって、これらすべての主効果、すべての二次関数、および切片を含むモデルを構築することができました。
	ここでは、この 13 実行の最終的な画面デザインに適合させることができた 13 パラメーター モデルを入手しました。これもまた驚くべきことです。
	そして、私がどのようにしてその部分に到達したかを正確に話すつもりはありません。 今からピートに引き継ぎます。 彼は、自己検証されたアンサンブル モデルのこのアイデアについてもう少し詳しく説明する予定です。
ピーター・ハーシュ	絶対。 ありがとう、フィル。 どれどれ。 ここで私の画面を共有して、このプロジェクトを見てみましょう。 それで
	ここで見ることができます
	同じように
	フィルとしてフロー、私たちはここでプロジェクトを検討していて、私は
	6 回の実行で DOE が過飽和になることから始めました。ここでわかるように、3 つの要素があります。
	私の実際の基礎となるモデルの成長率はどれくらいで、その後の成長率はどれくらいでしょうか...シミュレーションされた成長率は何でしたか、そして Phil が言ったように、
	この自動検証列を作成します。これは、Mike Anderson が開発した JMP 15 のアドインを使用して実行できます。 または、JMP 16 では、ソフトウェアに直接組み込まれており、分析予測モデリング プラットフォームの検証列でアクセスできます。
	そこで、フィルが示したように、どの因子がアクティブであるかを見つける方法、つまり因子スクリーニングを見つける方法の優れた例を示しました。 多くの場合、それが DOE の主な目標ですが、さらに一歩進んでそこからモデルを構築したい場合は、
	これと同じプロセスを経るはずです。 そこで DOE を構築し、その DOE に自動検証を追加して、Phil が示したように、一般化回帰と次のいずれかを使用してモデルを構築します。
	変数選択テクニック。 そこで、フィル・ラムジーとクリス・ゴットワルトは、これらのさまざまなテクニックの多くを検討しましたが、それらはすべてかなりうまく機能しているようです。 したがって、なげなわを使用している場合でも、2 段階の前方選択を使用している場合でも、すべて同様の結果が得られるように見えます。
	かなりうまく機能します。 これを設定して起動すると、Phil が示したようなモデルが得られます。これらのモデルの一部には

起こるエネルギー省予測モデリングRe: 実験の計画と分析を再考しますか? (2021-EU-30MP-776)

ありがとう@Phil_Kay ！ あなたの答えはまさに私が必要としていたものです:)

次回の Discovery Summit を楽しみにしています。ぜひ皆さんにお会いしたいので、直接開催できることを願っています。

Re: 実験の計画と分析を再考しますか? (2021-EU-30MP-776)

やあ@ステファン・イヴァン、

 

プレゼンテーションを楽しんでいただけてうれしいです。

 

それは良い質問ですね。 時間があれば読んでみるといいと思いますレムカス、ラムジー、ゴットワルト、ウィーズによる論文。 彼らは、(私の記憶が正しければ) モデル選択にダミー係数が使用されるバージョンを含む SVEM のバリエーションを試すために、適切な厳密なシミュレーション研究を行いました。 基本的に、ダミー因子モデルの選択アプローチは最善のものではありませんでした。

 

SVEM の背後にある元のアイデアにはダミー要素が必要でした。 しかし、アンサンブル モデリングが追加されるなど進化してきたため、ダミー要素はおそらく役に立たないようです。

 

その理由の1つは、 @ピーター・ハーシュ私も SVEM を気に入っています。その理由は、効果をアクティブと非アクティブ (つまり「true」/「false」) の 2 値に分類する必要がないからです。 科学者/エンジニアとして、因子効果が無効であると言うのは意味がないと考えています。 SVEM は、すべての因子効果をモデルに含めることができることを意味します。 いくつかは他のものよりも重要です。 しかし、すべてがアクティブであるということは、私たちにとってより意味のあることです。

 

それが役立つことを願っています。

 

Re: 実験の計画と分析を再考しますか? (2021-EU-30MP-776)

こんにちは@Phil_Kayと@ピーター・ハーシュ。

Discovery Summit Europe 2022に参加し、SVEMのプレゼンテーションに参加しました。 これは私の注意を引きつけ、参照されている他のプレゼンテーションをすぐに見ました。 これは、実際の SVEM モデルの作成、特に「バイアスを除去した」モデルの作成に関して、本当に最も有益です:)

ただし、1 つだけ質問があります。ダミー変数「Null 因子」を使用してアクティブな効果を特定した後、真の効果 (もちろん Null 因子は使用しません:)) のみを使用して SVEM 手順を繰り返すべきではないでしょうか。 200 の予測式の作成に使用されたスクリプトに 7 要素 DoE のすべての RSM 用語が含まれていることがわかったので、これを質問しています。

問題を明確に述べられたことを願っています。

ありがとう ：）

 

Re: 実験の計画と分析を再考しますか? (2021-EU-30MP-776)

すばらしい、 @クロニグ。 私たちがお手伝いできることがあればお知らせください。

Re: 実験の計画と分析を再考しますか? (2021-EU-30MP-776)

ありがとう@ピーター・ハーシュと@Phil_Kay 。 スクリプトを動作させることができました。 自分のデータで試してみます。 再度、感謝します！！

Re: 実験の計画と分析を再考しますか? (2021-EU-30MP-776)

@クロニグまた、シミュレートされた「true」応答を含む元のテーブルと自動検証用のテーブル設定の両方として、13 実行の DSD サンプルを添付しました。 2 番目には、重みの再描画をループして、再計算されたモデルから予測式列を保存するためのスクリプトが含まれています。 ピートが説明しただけです。 これらについては理解できるはずですが、何か理解できない場合はお知らせください。

 

最後のステップが 1 つあります。 すべてのモデルを平均してアンサンブル モデルを作成すると、予測と実際の間に大きな偏りがあることがわかります。 なぜこれがここにあるのかを説明するのは難しいかもしれませんが、各「真の」エフェクトのパラメータが、（モデル内ではなく）ゼロ化されたすべてのモデル インスタンスからゼロに向かって縮小されるためです。 DSD ではすべての「アクティブ」エフェクトが直交しているため、この場合は特に極端だと思います。

 

この問題は、アンサンブル モデルを効果、応答を Y として [モデルのフィット] でモデルをフィッティングするだけで解決できます。 その後、この「バイアスを除去した」モデルの予測式を最終モデルとして保存できます。   

Re: 実験の計画と分析を再考しますか? (2021-EU-30MP-776)

@クロニグ私はその部分をすぐに理解したに違いありません。重要なのは、モデルを作成し、その予測式を保存することです。次に、JMP に重量計算式を再計算させます (計算式を再実行するテーブル メニューの赤い三角の下でこれを実行できます)。 新しい重み付け列を使用してモデルを再度実行し、その予測式を保存して繰り返します。これを 100 回繰り返すループのスクリプトを作成し、それらのモデルの平均を取りました。これを行うためにアドインは必要ありません。私は熟練したスクリプト作成者とは程遠いですが、セットアップは非常に簡単でした。データテーブルとスクリプトを投稿に含めます。

Re: 実験の計画と分析を再考しますか? (2021-EU-30MP-776)

やあ@Phil_Kayと@ピーター・ハーシュ

はい、とても素晴らしいプレゼンテーションです、データセットも見てみたいです。

プレゼンテーションでは説明されていなかったので、平均化のためのすべてのモデルをどのように生成したかに特に興味があります。

以前、この自動検証を使用して、シミュレーションを使用してアクティブなパラメーターを特定し、これらのパラメーターを使用してモデルを構築しました。 しかし、あなたが提示したものはさらに一歩進んで、多数のモデルを生成し、それらを平均化します。 その部分は SVEM アドインを使用して行われましたか?

 

 

Re: 実験の計画と分析を再考しますか? (2021-EU-30MP-776)

ありがとう。@russ_wolfinger 。

繰り返された k 倍からモデルの平均を試みることは確かに興味深いでしょう。 あなたが言うように、アンサンブルには力があります。

これを検討できるように、13 回実行のデータ セットの例をすぐに投稿します。

この方法は明らかに分析に取り組んでいますが、これは実験の計画に重要な影響を与える可能性がある (「可能性がある」と強調しておきます) と考えています。 プレゼンテーションではこの考え方を適切に拡張する時間がなかったので、ここで説明します...

私たちは分析を念頭に置いて実験を計画します。 プレゼンテーションの冒頭で述べたように、合理的な規模の実験から標準的な分析手法を使用して有用なモデルを構築するには、効果の分散性や効果の遺伝などの仮定を受け入れなければなりません。 これらの仮定が多くの場合に当てはまることを示す経験的証拠があります。 しかし、それらは常に成り立つわけではなく、科学者や技術者はこれらの考えに不快感を抱いていると思います。 研究室で実験を設計して実行していたとき、これらのことについて心配したくないと思っていました。

自動検証/SVEM が代替手段を提供する可能性があるようです。 したがって、標準仮定の同じ制約なしで実験を計画することができました。 それは実験計画に関しては大きな変化となるだろう。

これはすべてまだ推測の域を出ないことをもう一度強調しておきます。 私の限られた調査では有望に思えますが、厳密なシミュレーション研究の結果が発表されるのを待ちたいと思います。

これらのアイデアを探求するのはとても楽しいということに私は完全に同意します。 また、JMP Pro を使用すると、統計学者やプログラマーでなくても試すことができます。

Re: 実験の計画と分析を再考しますか? (2021-EU-30MP-776)

フィルとピート、素晴らしいプレゼンテーションをありがとう！   

 

SVEM / 分数重み付け / 自動検証についての私の現在の解釈は、k 分割交差検証を繰り返したものを平滑化したものです。これを裏返すと、k 倍を繰り返す形式として、分数の重みを 0 または 1 に離散化することを想像できます。どちらの種類の検証でも、アンサンブルに威力を発揮します。これは推測です。5 分割アンサンブルを繰り返すアプローチは、なげなわや浅いブースト ツリーのようなものをベース モデルとして使用する、小さな 13 ランのデザインでもうまく機能するでしょう。私や他の人がいくつかのことを試すことができるように、あなたの JMP プロジェクトをここに投稿していただけませんか?

 

考えられる論点は、私がこの方法が主に分析のみを扱っており、DOE を直接扱っているわけではないと考えていることです。ただし、実験をどのように分析するかを知っていると、設計の選択 (たとえば、他の基準ではなくベイジアン I 最適化を選択するなど) に影響を与える可能性があることは確かです。

 

いずれにせよ、これらの方向に沿った有望な結果と調査は非常に楽しいものであり、JMP Pro の素晴らしく着実に改善されている機能を誇示します。

Re: 実験の計画と分析を再考しますか? (2021-EU-30MP-776)

このテクニックについてさらに詳しく知りたい場合は、これは素晴らしいフォローアップ トークです。SVEM: 実験の設計と分析におけるパラダイム シフト (2021-EU-45MP-779)