756636_ja-JP

liliconcom

実験の設計と分析を再考する？（2021-EU-30MP-776）

Phil Kay、SAS JMP シニア システム エンジニア
SAS、JMP テクニカル イネーブルメント エンジニア、ピーター ハーシュ

科学者やエンジニアは、プロセスやシステムを理解するために実験を設計します。つまり、重要な要素を見つけ出し、有用なモデルを用いて最適化と制御を行うのです。統計的実験計画法を用いることで、実験の労力を最大限に活用し、問題をより迅速に解決できるようになります。しかし、これらの手法を実際に実装するには、一般的に特定の仮定（効果のスパース性、効果の遺伝性、有効効果と無効効果など）を受け入れる必要があり、これらの仮定は必ずしも当該分野の知識や経験と合致するとは限りません。機械学習のアプローチは、これらの課題の一部を克服し、追加コストをかけずに実験からより深い理解を得ることができるのでしょうか？これは、実験の設計と分析における革命となるのでしょうか？

本講演では、クリス・ゴットウォルトとフィル・ラムゼイが開発した自動検証技術を産業実験の分析に活用することの潜在的なメリットについて考察します。重要な効果のスクリーニング、予測・最適化のためのモデル構築において、従来のツールと自動検証技術を比較するケーススタディの例を紹介します。

Q&Aでは全ての質問にお答えできなかったので、ここでお答えします。

重みは 0 〜 1 の間ではないようですが、どのように生成されるのでしょうか?

これらは「分数重み付け」されています。これがこの手法を実現するための重要なポイントです。JMP ProのGen Regでは、Freqロールでこれを使用しています。JMP Pro 15のこのアドインを使用すると、重み付けされた重複テーブルを生成できます。重み付けの詳細な統計的詳細については、Chris GotwaltとPhil Ramseyによる講演をご覧ください。

行を複製すると、同じ出力結果が複製されます。この複製の目的は何ですか?

はい、同じ回答が重複しています。ただ重複して分析を進めるのは得策ではありません。ここでの重要なイノベーションは、検証セットの一部では重みが低く、もう一方の検証セットでは重みが高くなるように、重み付けが分数的に行われていることです。例えば、「トレーニング」の重みが低い実行では、「検証」で重みが高い重複ペアが生成されます。一部の重複ペアは、トレーニングと検証でより均等な重み付けになります。

これらの重み付けを用いてモデルを適合させ、各実行のうちどれだけがトレーニングに、どれだけが検証に使われるかを決定します。次に、重みを再設定し、別のモデルを適合させます。このプロセスを何百回も繰り返します。そして、これらのモデル全体の結果を用いて、重要な効果の割合がゼロではないものを選別するか、個々のモデルを平均化して有用なモデルを構築します。

通常の非プロ版の JMP 15 でアドインを実行することは可能ですか?

可能です。アドインを実行することはできますが、分析で検証列を利用するにはJMP Proが必要です。これは非常に重要です。

カテゴリ変数ではどのように機能しますか?

連続変数のみの例を示しました。この手法の優れた点は、あらゆるモデルやあらゆる変数タイプで使用できることです。

これは現在認められた方法なのでしょうか?

一言で言えば、いいえ。まだです。私たちの目的は、この手法を広く知ってもらい、興味のある人がこの手法を試して批判的なフィードバックをしてくれるようにすることです。プレゼンテーションでも明確にしたように、実験の分析にこの手法だけを使うことはお勧めしません。もしこのアイデアが気に入ったら、ぜひ試してみて、他の手法と比較してみてください。

とはいえ、モデル平均化とホールドバック検証の考え方は、大規模なデータを扱う状況では認識されています。これは、実験計画法のような小規模なデータを扱う状況でも有益であると考えられます。

複製手順を手動で実行しますか?

いいえ、これはJMP Pro 16のアドインまたはプラットフォームによる自動検証設定の一部として行われます。重複行は自分で簡単に作成できます。難しいのは、分数重み付けの設定です。これがないと分析は機能しません。

ベイズ統計ではシミュレーション（MCMC）も多用されていますが、これも適用可能でしょうか？事前分布と事後分布を統合するのでしょうか？
おそらくそうでしょう。ブートストラップモデルの平均化を用いた分数重み付け検証という基本的な考え方は、他の多くの分野にも応用できるかもしれません。

自動生成されたトランスクリプト...

スピーカー	トランスクリプト
フィル・ケイ	さて、実験の設計と分析の見直しについてお話ししたいと思います。私はフィル・ケイです。グローバル・テクニカル・イネーブルメント・チームのラーニング・マネージャーです。ピート・ハーシュと一緒にお話します。
ピーター・ハーシュ	はい、私もグローバル テクニカル イネーブルメント チームのメンバーであり、DOE と、今日検討しているいくつかの新しい技術についてお話しできることを嬉しく思っています。
フィル・ケイ	まず最初に申し上げたいのは、私たちはDOEの大ファンだということです。素晴らしい組織です。長年にわたり、科学と工学の分野において大きな価値を提供してきました。
	そうは言っても、DOE を頻繁に使用するためには、受け入れなければならないいくつかの仮定があります。
	科学者やエンジニアとして、彼らは必ずしも快適に感じていません。効果のスパース性など、見ているものすべてが重要ではないという考えは
	実際に実験しているもののうち、実際に重要であることが判明するのはほんの一部だけです。あるいは、遺伝による影響というのも別の仮説です。
	つまり、より単純な形でアクティブな要因に対してのみ、複雑な動作や高次の効果が見られることが期待されます。
	そして、この有効効果と無効効果という考え方に基づき、一般的に、実験計画法の連続的なプロセスでは、有効効果を無効効果から選別します。
	それは時にあまりにも二者択一的な判断のように感じられることがあります。私たちが実験しているもののいくつかが、全く活動していない状態にあるという考えは、少しおかしく思えることが多いのです。
	実際には、私たちは、すべてが何らかの影響を与えることを知っていると思います。それほど重要ではないかもしれませんが
	それでも、ある程度の影響はあります。そして、これらは主に私たちが使う前提です
	膨大な実験回数をこなす余裕がないときに、実験設計の課題を回避する方法があります。そうですね。ピートさん、あなたの視点からもコメントしていただけますか？
ピーター・ハーシュ	ええ、全く同感です。温度のようなものが不活性であると考えるのは…温度が実験に影響を与えないというのは想像しにくいと思います。
フィル・ケイ	ええ、ちょっと馬鹿げてると思いませんか？それで、
	はい、それがあなたの実験にあるなら、それは常に何らかの形でアクティブになりますが、おそらく他のものほど重要ではないでしょう。
	それで、すぐに結果を見ていきます
	これまで見てきたことの1つです。クリス・ゴットウォルトとフィル・ラムゼイが発明した自動検証技術に注目してきました
	それを実験計画の分析に使用したところ、実に驚くべき結果が得られました。まさかこんなことが可能だとは思ってもみませんでした。
	まず、13の活性効果を持つシステムを調べ、13回の決定的スクリーニング設計を解析しました。その結果、13の効果が活性であると特定できました。これはいわゆる飽和状態です。私たちは…
	一般的に、決定的スクリーニング設計は、効果のスパース性、つまり実際に重要または有効な効果が少数しかない場合に、有効な効果を特定するのに効果的であると言われています。しかし、このケースでは、13個の有効な効果をすべて特定することができました。
	それだけでなく、実際にこの 13 回実行の決定的スクリーニング設計から得られた 13 のアクティブ効果すべてを含むモデルを構築することができました。
	ですから、これもまた驚くべきことです。私たちがモデルを構築しているデータの行数と同じだけのアクティブ効果を持つモデルを作成できるとは思っていません。
	そしてピート、あなたは他のいくつかのことを調べて、本当に興味深い結果を得ました。
ピーター・ハーシュ	ええ、その通りです。フィルの成果は非常に印象的です。
	私たちが次に試みたのは、ランニングよりもアクティブな効果のある超飽和デザインを作ることでした。
	非常に小さなDOEです。つまり、7つの有効効果を持つ6回の実験DOEです。標準的なDOE手法では、これを分析することは不可能です。
	それをきちんと実行しました。そして、それを8回実行、10回実行のDOEと比較し、それがどれだけの利益をもたらすかを調べました。つまり、6回実行のDOEからでも、かなり有用なモデルを得ることができました。
	予想以上に良かったです。
フィル・ケイ	ええ、それは本当にあなたが期待する権利よりも良いですよね？
	そして、私たちは本当に素晴らしい結果と、小さなサンプルから膨大な数の活性効果を特定する能力を得ました。
	最終的なスクリーンデザインを決定し、実際にそれらのアクティブエフェクトを備えたモデルを構築します。ピートの場合、非常に小さなものから7つのアクティブエフェクトを備えたモデルを構築することができました。
	計画された実験。
	では、どうやってこれを実現したのでしょうか？自動検証の手法はどのように機能するのでしょうか？機械学習のアイデアを取り入れており、機械学習の非常に便利なツールの一つが検証です。ホールドアウト検証は、構築したデータが正しいことを確認するための非常に優れた方法です。
	最も有用なモデルです。つまり、堅牢なモデルです。データの一部を取り出し、それを使って構築した様々なモデルをテストします。
	基本的に、私たちが保持しているこのデータに対して最も適切な予測を行うモデルが、私たちが採用するモデルであり、実際に試行され、テストされたモデルです。
	これは実際、最も有用なモデルを構築するためのほぼゴールドスタンダードですが、DOE の場合はさらに大きな課題になりますよね、ピート？明らかに、DOE には適していません。
ピーター・ハーシュ	ええ、ええ、DOEの根底にある考え方は、設計空間を可能な限り効率的に探索することです。そして、もし実験を延期したり、延期したりし始めたら
	実行の分析をすると、設計空間の一部が失われ、
	決定的スクリーニング設計などの多くの DOE テクニックでは、実際にこれを行うことはできません。
フィル・ケイ	そうですね、ホールドアウト検証のメリットを享受しつつ、重要なデータをホールドアウトせずに済むような仕組みがあればいいですね。それで、自動検証の話に移ります。
	アイデアですが、ピートさん、これがどのように機能するかを少し説明していただけますか?
ピーター・ハーシュ	まさにその通りです。これはクリスとフィル・ラムゼイが考案した非常に賢いアイデアで、彼らはDOEから元のデータを取得してそれを再サンプリングしたので、
	結果を繰り返します。スライド下部の表を見ると、灰色で表示されている実行結果は白色で表示されている実行結果と同じで、単に繰り返されているだけです。
	そして、彼らがこれを逃れる方法は、重み付けの列をペアにして作ることです。つまり、基本的に、一方の重みが高いと、もう一方の重みが高いと、
	これを繰り返し実行すると、レートが低くなり、重み付けも低くなります。これにより、この検証と重み付けを使用してデータを使用できるようになります。その方法については、後ほど詳しく説明します。
フィル・ケイ	はい、デモを見れば、それがどのように起こるかがお分かりいただけると思います。この手法を説明するために、シミュレーションによるケーススタディを2つ用意しました。まず、最初のケーススタディについてお話しします。
	これはあくまでシミュレーションの例であることを強調しておきます。ある意味では非現実的な例ですが、この手法の威力を示す上で非常に効果的だと思います。
	6 つの要因があり、これをより現実的に見せるために、ある生物を育て、成長率を最適化するためにシステムに供給する栄養素を最適化するというケース スタディから実際の要因をいくつか選びました。
	これら6種類の栄養素が私たちの因子です。これらの栄養素は様々な量で添加できるため、成長率への反応におけるこれらの因子を調査するために、13回の試行からなる決定的スクリーニング計画を設計しました。
	反応データは私が完全にシミュレートしたもので、13の強力な効果が存在するようにシミュレートされています。
	すべての主効果、つまり 6 つの主効果すべてがアクティブになるようにシミュレーションしました。
	そして、これらの各要因に対して二次効果もアクティブになっているため、二次効果は 6 つあります。
	さらに、常に推定する必要のある切片があるため、システムを理解する上で重要なアクティブな効果は合計 13 個あります。
	1 信号対雑音ですが、これをモデル化するための標準的な方法論では依然として非常に困難であり、これについてはデモで説明します。
	つまり、問題は、これらすべての重要な効果を特定できるかどうか、そしてもしそれができるなら、それらの重要な効果をすべて考慮したモデルを構築できるかどうかです。先ほど言ったように、それは本当に驚くべきことです。
	標準的な方法論で何ができるかと比較します。
	ではケーススタディ2はどうですか、ピートさん？
ピーター・ハーシュ	はい、その通りです。フィルのケーススタディと非常によく似ています。生物に様々な栄養素を様々なレベルで与え、成長率を測るという考え方も同じです。今回はフィルが行ったことを簡略化し、3つの栄養因子に分解しました。これがその例です。
	異なるタイプの設計、つまり完全な応答曲面を見るI最適過飽和設計を構築する
	過飽和状態で6、8、10ランを調べた
	デザイン。そして同じアイデア。
	その
	効果は非常に非常に
	信号対雑音比が高いので、もしそれらの効果がアクティブであれば、それを検出できるようにしたいと考えました。フィルと同じように、二次関数の主効果と切片をアクティブにして、それらを検出しようとしています。
	同じ考え方ですが、これらのアクティブな効果を確認するには何度実行する必要がありますか? また、これらの非常に小さな設計からどの程度正確なモデルを作成できますか?
フィル・ケイ	そうです、私が言ったように、そのような小さな設計から優れたモデルを構築できると期待する権利はまったくありません。
ピーター・ハーシュ	ええ、その通りです。わかりました。
フィル・ケイ	それでは、ケーススタディ 1 のデモを始めましょう。
	私はこれをJMPプロジェクトを通して発表しています。これは結果を発表するのにとても良い方法です。ぜひ試してみることをお勧めします。
	それが私たちの
	これは13回の決定的スクリーニング計画で、栄養因子を変化させ、成長率の反応をシミュレートしたものです。先ほど言ったように、これは次のようにシミュレートされています。
	主効果、これらすべての要因の二次関数は強くアクティブであり、さらにこの切片を推定する必要があります。
	さて、確定的スクリーニング設計では、実行できる分析の 1 つとして結果を確認する方法として、適合確定的スクリーニングを使用することをお勧めします。
	この効果のスパース性原理が成り立つ場合、これは非常にうまく機能します。つまり、ごく少数の効果だけが強く活性であり、残りは重要でない限り、
	そうすれば、重要な効果をいくつか見つけて、重要でない効果から分離することができます。
	しかし、今回のケースではうまく機能するとは予想していなかったため、うまく機能しませんでした。6つの因子すべてが活性であるとは特定されず、実際には1つの因子のみが活性であると特定されています。
	ですから、これは驚くことではありません。この種の分析には難しすぎる、挑戦しがいのある状況なのです。
	もし、これらのすべての有効効果が有効であると分かっていて、6つの主効果、6つの二次効果、そして切片をすべて含むモデルを当てはめようとすれば、
	それは飽和モデルです。推定すべきパラメータの数はデータ行数と同じなので、モデルをほぼ当てはめることができますが、統計量は得られません。
	いずれにせよ、このデータをシミュレートしたという事実を除けば、現実の状況ではどれがアクティブであるかはわかりませんので、どのモデルに適合させるべきかさえわかりません。
	さて、自動検証方法を使用することで、実際に非常に説得力のある方法でアクティブな効果を識別することができました。これをどのように行ったかについてお話しします。
	これは私の結果を視覚化しただけのものです。必ずしもこのように視覚化する必要はありません。これはプレゼンテーション用です。
	まず、インターセプトがアクティブであることが分かりました。6つの主効果はすべて得られました。
	そして、2次効果と2因子相互作用ですが、効果はゼロと仮定してシミュレーションしました。ご覧の通り、かなり下がっています。
	他のものと比べて。そして、実際にはここにヌル係数、つまりダミー係数があります。つまり、ヌル係数より小さいものは、重要ではない、あるいは非アクティブであると宣言できます。
	ここで実際に見ている指標は「非ゼロ割合」と呼ばれるもので、これが何を意味するのかは後ほど説明します。これは、効果の強さ、つまり効果の重要性を特定するためにここで使用している指標です。
	では、私がどのようにこの実験を進めたかを少しお話しします。まず、元々の13回の決定的スクリーニング計画を採用し、自動検証を設定しました。これで26行が複製されました。
	そして、これを実行するためのアドインがあります。同僚の Mike Anderson が、JMP 15 でこれを実行するために使用できるアドインを作成しました。
	JMP 16 では、検証列プラットフォームの予測モデリング ツールに実際に機能が追加されています。
	そして、それが何をするかというと、データの複製セットを取得し、重み付けを取得し、Pete が言ったように、各行がトレーニング セットと検証セットに含まれるようになります。
	トレーニングセットで重みが低い場合、検証セットでは重みが高くなります。つまり、トレーニングセットで重みが高い場合、検証セットでは重みが低くなります。
	私たちが実際にやっていることは、読むことです...これらは基本的にランダムに割り当てられています。
	これらを再割り当てすることで、何百回も反復処理を行い、その都度モデルをフィッティングし、多数のシミュレーション実行を通した集計結果を見ることができました。では、どうすればいいのでしょうか？
	モデルを適合させることが目的で、ここでは JMP Pro の GenReg を使用しています。
	いずれにせよ、この検証ロールを指定できる必要があるため、JMP Pro が必要になります。そのため、トレーニング検証列を検証に配置します。
	重み付けは周波数に反映され、その他は通常の応答と同様に設定していきます。そして、すべての効果を考慮した応答曲面モデルが作成されました。「実行」をクリックします。
	モデルにフィットさせ、前方選択またはLassoを使用できます。ここではLassoを使用しました。
	この場合、それはそれほど重要ではありません。
	そして、実際に起こったことは、この場合、切片のみが重要であると特定したため、モデルには実際に切片のみが含まれているということです。
	しかし、重み付けを変更し、データ テーブルに戻ってこれらの重み付けを再シミュレートすると、モデルから異なる結果が得られる可能性があります。
	実験では、データ行や実行回数に応じて重み付けをすることで、適合するモデルが変化します。これを何百回も繰り返しますが、ここではJMP Proのシミュレーション機能を使用します。
	重み付けの列を切り替え、再計算した重み付けの列に切り替えます。これは数百回繰り返すことができます。今回は実際に250回実行しました。実際には1～2分かかるので、ここでは実行しません。
	これを実行すると、次のような表が作成されます。
	これで、250のモデルそれぞれについて、それぞれの効果に対するパラメータ推定値が得られました。
	私が行った最初のモデルでは、これがクエン酸の主効果のパラメータ推定値でした。次のモデルでは重み付けを再サンプリングし、
	クエン酸の主効果はモデルに入力されなかったため、その場合はゼロでした。
	そして、これらのパラメータ推定値すべてに対して分布を実際に実行することができます。そしてできることの一つは、
	この統計、要約統計をカスタマイズして、非ゼロの割合を見てみましょう。切片がここにあります。
	切片の推定値です。クエン酸の場合、多くの場合、切片はゼロと推定されるので、モデルは
	クエン酸の主効果はモデルに含まれていませんでしたが、多くの場合、約 3 程度と推定されており、そのようにシミュレーションしました。
	ゼロでない回数の割合に注目し、それらを組み合わせてデータテーブルを作成します。これは既に行っていますが、少しだけ…
	少しだけ追加しました。主効果かどうかの列を追加しただけです。これで作成できました。
	この視覚化を見てください。ここで見ているのは、それぞれの効果がゼロではない回数の割合、つまり、それぞれの効果がモデル全体の中で占める回数の割合です。
	250回のシミュレーションを行い、分数重み付けを再シミュレーションしました。これを使って、
	活性効果についてですが、これは驚くべき成果です。標準的な手法では不可能なことを成し遂げました。13回の実行で13の活性効果を特定しました。
	決定的なスクリーニング設計。
	さて、次に何をしたいですか？ 実際にそのモデルに全ての効果を当てはめたいかもしれません。私はそれができました。そして、ここで当てはめたモデルと
	実際のシミュレーション結果と比較すると、どれほどよく一致しているかが分かります。こうして、これらすべての主効果、すべての二次関数、そして切片を含むモデルを構築することができました。
	ここで、13 個のパラメータを持つモデルを 13 回実行した決定的スクリーン設計に適合させることができました。これもまた注目に値します。
	どのようにしてこの部分に至ったのか、ここで詳しく説明するつもりはありません。Peteにバトンタッチします。彼が自己検証アンサンブルモデルというアイデアについてもう少し詳しく説明します。
ピーター・ハーシュ	ええ、その通りです。フィル、ありがとう。では、画面を共有して、このプロジェクトを見てみましょう。それでは
	ここから見ることができます
	同じ
	フィルとして、私たちはここでプロジェクトを見ています。
	6回の過飽和DOEから始めました。3つの因子があることがわかります。
	私の実際の基礎モデルの成長率はいくらで、そして成長率はいくらだったか…シミュレートされた成長率はいくらだったか、そしてフィルが言ったように、
	この自動検証列を作成します。これは、マイク・アンダーソン氏が開発したJMP 15のアドインで実行できます。JMP 16では、ソフトウェアに組み込まれており、「分析」→「予測モデリングプラットフォーム」→「検証列の作成」からアクセスできます。
	Philが示したように、どの因子が活性であるかを見つける方法、つまり因子スクリーニングの優れた例を示してくれました。これは多くの場合、DOEの主な目的ですが、さらに一歩進んで、そこからモデルを構築したい場合、
	同じプロセスを経ることになります。DOEを作成し、そのDOEに自動検証を追加し、フィルが示したように、一般化回帰と
	変数選択の手法です。フィル・ラムゼイとクリス・ゴットウォルトは、これらの様々な手法を数多く検討しましたが、どれもかなりうまく機能しているようです。つまり、Lasso法であれ、2段階フォワード法であれ、どれも同じような結果になるようです。
	かなりうまくいきました。これを設定して起動すると、フィルが示したようなモデルが得られます。そして、これらのモデルのいくつかは

高度な統計モデリング基本的なデータ分析とモデリング消費者および市場調査データのブレンドとクリーンアップデータの探索と可視化実験計画法マスカスタマイゼーション予測モデリングと機械学習品質およびプロセスエンジニアリング信頼性分析結果の共有と伝達