758511_ja-JP

liliconcom

JMP BEASTモード：適応サンプリング手法による境界探索（2020-US-30MP-562）

ジェームズ・ウィズノウスキー、Adsurgo 主任コンサルタント
アンドリュー・カール、Adsurgo シニア統計コンサルタント

ダリル・アーナー、OSD科学試験・分析技術センター・オブ・エクセレンス所長

自動車の自動ナビゲーション機能のような複雑な自律システムのテストでは、通常、多数の因子と応答を用いたシミュレーションベースのテスト手法が用いられます。これらのモデルのテスト設計は空間充填型であることが多く、新規実行によるほぼリアルタイムの拡張が必要となります。困難な応答は、入力因子のわずかな変化で性能が急激に変化する可能性があります。これらの性能境界は、システムにとって最も重要な情報を提供します。そのため、これらの境界を特定し、追加実行でターゲットとする設計生成プロセスが必要になります。JMPには、シーケンシャルアセンブリによって実施されるDOEを拡張するための多くのオプションがあり、テスト担当者はこれらの追加実行を行うために、実験目的、統計原則、およびリソースのバランスを取る必要があります。本稿では、予測因子スクリーニング、K近傍法、クラスター分析、ニューラルネットワーク、ブートストラップフォレスト、高速フレキシブルフィリング計画などのプラットフォームを組み合わせ、大きな勾配性能境界に不均衡にサンプルを追加する新しい拡張手法を提案します。本稿では、連続応答とカテゴリカル応答の両方を含む自律システムのユースケースを用いて、Boundary Explorerアドインツールのデモを行います。既存のデザインの空きスペースを埋めるために、Augment の「スペース埋め」オプションの概念に基づいて構築された、改良された「ギャップ埋め」デザインを提供します。

自動生成されたトランスクリプト...

スピーカー	トランスクリプト
ジェームズ・ウィズノウスキー	チームの発見を歓迎します。アンドリュー・カールとダリル・アーナーと私は、2つの新しいサンプリング、適応サンプリング技術と
	実験計画の強化という点で、実務家にとって非常に役立つものになるでしょう。ここで、私たちのいくつかの例を見ていきたいと思います。
	これまでのプロセスでは、このすべてがどのようにして実現したかについてお話ししてきました。しかし、DOEや設計の拡張について考えると、JMPにはすでに強力な機能が備わっています。
	大規模なシミュレーション研究を通して、私たちはここで何かが欠けていることを発見しました
	ギャップフィリングデザインと適応サンプリングデザイン。そして
	重要な点は、適応型サンプリング設計が応答に焦点を当てることになるということです。
	これは、標準的な設計で拡張を行い、設計空間とXマトリックスを検討する場合とはかなり異なります。そこで、ターゲットやレスポンスを実際に考慮します。つまり、これは実際には
	全く新しい機能を提供することで、興味深い箇所で追加のサンプルをテストできるようになります。応答曲面法で考えられるように、上昇と同じくらい深い勾配領域でテストしたいと考えています。
	ここで、シミュレーションで多数の変数と何千回もの実行が可能になるように、これを自動化します。
	良いニュースとしては、小さなデザインを扱う人にとっても、これがかなりうまくスケールダウンされるということです。
	これからご紹介するアドインについて簡単に説明し、その後 Andrew が技術的な詳細について少しお話しします。
	一つお詫びしたいのは、これはJMPアドインではなく、PowerPoint中心になるということです。
	2つの理由…JMPのデモと言うよりは…2つの理由、主に
	これから多くの資料を分析する必要がありますが、JMPの活用は、この適応サンプリングで作成しているアルゴリズムに大きく関わってきます。
	結局のところ、JMPのポイントアンドクリックは私たちが開発した非常にシンプルなユーザーインターフェースですが、その裏側では
	そしてアルゴリズム、これがJMPの真骨頂です。さて、ギャップフィリングの設計図を見てみると、かなり明確です。ここにギャップがあることがわかります。これは少し誇張かもしれませんが、技術の成果を示すものです。
	しかし、現実には、非常に多くの要因が存在する可能性があり、次元の呪いが作用して、設計に穴が開いてしまうことがあります。
	そして、ご覧の通り、このスペースを埋めるデザインでこれを拡張することができ、これは一種の主力製品です
	私たちの研究の多く、特に刺激呼び出しの増強において、それほど悪くないように見えます。新しい青い点を見てみると
	追加したポイントは、それほど悪くないように見えます。そして、もう少しよく見てみると、多くのポイントを複製し始めたことがわかります。
	すでにやったことであり、思ったほど穴を埋められなかったかもしれない。特に青い色を取り除いたときにわかるように
	そこにはまだかなりのギャップがあります。適応型サンプリングを開発する中で、私たちはそのギャップを埋める必要があると認識しています。
	こうした設計の多くで、私たちは「境界エクスプローラー」というツール、アドインにアルゴリズムを組み込みました。このアルゴリズムはまさにこの特定の作業を実行するものです。
	どのデザインでも、この特定の機能を実行して穴を埋めるので、さまざまなアプリケーションでこれが非常に役立つ可能性があることがわかります。
	このスライド、つまりグラフを見ると、青い点が穴の部分に集中しているのがわかります。また、穴の残りの部分には青い点が分散しているものもあります。しかし、さらに…
	全体的に均一に見える色を塗ることができ、そのスペースをうまく埋めることができました。
	これは、私たちの全体的な目標であるアクティブサンプリングに必要なユーティリティでした。そして、このツールの主な用途は
	自律システムであり、特に国防総省で大きな話題となり、多くの製造とテストが行​​われました。
	自律システムでは、実際には2つの主要な要素があると考えられます。自律システムで実際に注目しているのは、
	システムに位置を知らせるセンサーのようなもので、それに反応するアルゴリズムやソフトウェアがそれです。つまり、センサーのようなもので…
	私たちが主に注力しているのは、アルゴリズムソフトウェアの統合です。そして、それが実現するのは非常に複雑なシミュレーションモデルであり、正直言って
	何千回も実行しました。しかし、さらに重要なのは、これらの自律システムにはパフォーマンスの限界があることを発見したことです。
	例えば、軍隊におけるリーダーとフォロワーの関係の例があります。兵士が重装甲の車両を運転する場面です。
	トラックを車列に乗せて、残りの車列は自律走行し、兵士は乗らない。
	あるいは、最新のテスラのピックアップトラック、オートナビ機能付きを思い浮かべてみてください。つまり、これらのシステムをテストしたいと考えており、結局は多くのテストを行う必要があるということです。そして、何が起こるかというと
	例えば、このテスラでも時速30マイルで走れば問題なく障害物を回避できるかもしれません。しかし、時速30.1マイルではアルゴリズムの仕様を超える回避操作が必要になります。つまり
	境界線がそこにあるというのはそういうことです。境界線は非常に険しいのです
	応答の変化、つまり非常に高い勾配領域です。そして、そこが私たちが注目したいところです。
	私たちは、平らな表面のようなものに興味があるのではなく、本当に興味深い部分、つまり、それを実現したい部分に興味があるのです。
	そして正直に言うと、これを繰り返すほど、解決策はより良くなることがわかりました。私たちは完全に
	これを反復的なプロセスとして実行することをお勧めします。つまり、適応的な部分とは、テストを実行し、いくつかの新しい良いポイントを生成し、それらの反応を確認し、次の実行セットをそれらに合わせて調整することです。
	これが適応サンプリングです。
	このアイデアの発端は、ジョンズ・ホプキンス大学の応用物理学研究所と行った研究から生まれました。彼らは軍と連携して素晴らしい研究を行っています。
	彼らの論文をレビューしているときに、JMPを使ってもっと多くの実務家にとって使いやすい解決策を見つけられるかもしれない、と考えました。なぜなら、
	ジョンズ・ホプキンス大学の特徴は、非常に特殊で、統合するということは、それほど
	小規模なテストチームでもアクセス可能です。そのため、すぐに使える人材にこのツールを提供したいと考えています。
	この「システムとソフトウェアジャーナル」の論文は、私たちの境界探索の源泉のようなもので、結果として、多くの優れたアイデアを活用しながらも、異なるアプローチを考案することができました。
	他にも様々な手法があります。特に、JMP Proのネイティブ機能に加え、ギャップフィリング設計のような開発も活用しています。
	今、
	この例題に関しては、おそらく私が説明したいと思うでしょう
	デモで見てみましょう。グラフを見てみると…これを使って…テスラの例に戻りましょう。例えば、自動ナビゲーションタイプのアクティビティをやっていて、入力要素が2つあるとします。
	速度と交通量があります。そこで、テスラのアルゴリズムについて考えてみましょう。テスラは左車線に合流したいので、追い越しをしたいのです。つまり、合流する必要があるのです。つまり、一つはテスラの速度、もう一つは交通量でしょう。
	そして、このエリアの下にはもっと低い数字があります。2から10までの数字を考えれば、衝突の確率のような反応も考えられます。
	低速・低密度では衝突の確率は非常に低いのですが、高速・高密度では
	密度が高い場合は、非常に高い確率になります。しかし、ここでハイライトして選択したポイントは、非常に急勾配であるということです。
	境界領域に沿ったパフォーマンスの違い。シミュレーションを行い、アルゴリズムのソフトウェアテストをどんどん進めていくと、
	ここでポイントを増やすことは、実際にはあまり意味がないことに留意してください。低密度と低速では良好なパフォーマンスを発揮することが分かっています。私たちが本当に取り組みたいのは、この境界内の領域です。これが私たちの課題です。
	ここで境界条件に実際に従う 200 個の新しいポイントを生成するにはどうすればよいでしょうか。
	さて、ここで私がやったことは、X1 と X2 です。ここでも速度を考慮して...
	速度と密度です。そして、ここでは特に意味のない予測変数を投入しました。そして、応答があります。これを行うには、境界エクスプローラーを開いて、適応サンプリングのところで
	2つの回答（必要な数だけ回答を設定できます）と、3つの入力要素があります。そして、グローバル最小値と最大値をターゲットにするかどうか、境界を表示するかどうかなど、いくつかの設定があります。
	そして、最終的には、ここである程度のコントロールが可能であることをお見せします。このアルゴリズムで実際に何が起きるかというと、最近傍のノードが何をしているかを見ているのです。すべての最近傍ノードが同じ反応を示した場合、つまり、そのノードが
	事故が起きたら、それはあまり興味深い場所ではありません。大きな違いがどこにあるのかを見たいのです。そして、一番近い隣人が
	では、これを実行してみます。ここでご覧のとおり、このアルゴリズムはJMPの予測スクリーニング機能を使用しており、
	幸いなことに、正規分布は使用されていません。ブートストラップフォレストを実行していることがわかります。Andrewが、それがどこで使用されているかについてお話しします。
	そして最終的に
	ここでやることは、境界線に沿って収まるような新しい点の集合を生成することです。これらの点を生成するのに30秒ほどかかりました。ここから先は、
	新しいポイントです。新しいポイントは境界線に沿っているのがわかります。他のポイントも入れてみるとわかりやすいでしょう。
	もの。
	だからここで、私は
	ここで色をすぐに切り替えます。
	それでは、摂動の中間点を示したいと思います。
	これで、新しいポイントがどこにあるのかが分かります。影になっているのが元々のポイントで、今はその境界内に生成された新しいポイントがすべて見えています。
	それで当然、疑問は、どうやってそれをやったのか、ということです。
	それで、プレゼンテーションに戻ります。
	そこからは、Andrew にバトンタッチします。境界点を見つける方法について、もう少し技術的な詳細を説明します。思ったほど簡単ではないからです。
アンドリュー・カール	分かりました。ジム、ありがとう。まずはギャップフィリングについて簡単にお話ししたいと思います。これはBeastツール全体に統合されているだけでなく、もう1つ追加されている機能です。
	これもスタンドアロンツールです。シンプルなインターフェースで、入力するスペースを定義する列を選択します。
	また、連続因子の場合、コーディング列プロパティを読み取って高値と低値を取得し、名義因子も取得できます。
	さらに、カスタムデザインまたはスペース充填デザインからこれを生成し、組み合わせを禁止している場合は、禁止された組み合わせのスクリプトが読み込まれます。
	許可されたスペース内でのみギャップを埋めます。ユーザーは列と、必要な新規実行回数を指定します。
	高次元空間での簡単な例をお見せしましょう。これは3次元の場合です。立方体から中空の円筒を取り除き、隙間を埋める処理を行いました。これらを一緒にオンにして、どのように組み合わさるかを見てみましょう。
	そして、色もオフにして何が起こるか確認します。
	これは素晴らしいことです。高次元空間では、変量別プロットでは必ずしも見えなかったギャップを埋めることができるからです。では、どうすればいいのでしょうか？
	では、元のポイントを取ります。この場合は黒ではなく赤に色付けされており、2つのギャップがどこにあったかがわかります。
	そして、空間全体の空間充填設計からの実行候補セットを重ね合わせます。
	古い候補と新しい候補の実行の連結されたデータテーブルに追加します。インジケータ列と連続インジケータ列があり、古いポイントを1、候補ポイントを0とラベル付けします。そして、この連結された空間に、10の最も近い近傍を当てはめます。
	モデルをインジケータ列に入力し、そこから予測値を保存します。候補は最小の予測値、この場合は青で表示されます。
	デザインに追加したいギャップポイントです。これを1回のパスで行うと、最大のギャップが強調されすぎてしまう傾向があります。そこで、実際には
	10 倍のプロセスでは、新しいポイントの 10 分の 1 を取得して、ここに示すように選択し、それらを追加してから、k 最近傍アルゴリズムを再実行していくつかの新しいポイントを選択し、すべてのスペースをより均一に埋めます。
	つまり、これは 1 つのオプションにすぎません...ギャップの埋め込みは境界エクスプローラー内で利用できる 1 つのオプションです。
	そこでジムは、任意の数の応答、任意の数の要因を使用でき、連続応答と名目応答、および連続要因と名目要因の両方を使用できることを示しました。
	事実...継続的に発生する要因を、舞台裏で 01 に正規化して、より平等な立場に置くつもりです。
	そして、これに含まれる個々の応答については、各応答を個別にループして、因子空間内の各応答の境界を見つけます。
	そして最後に、すべての応答を一度に考慮するランダムフォレストを使用した多変量ツールがあります。
	それでは、GUI のユーザー インターフェイスで利用できるさまざまなオプションが、アルゴリズム内でどのように表示されるかを見てみましょう。
	したがって、これらの連続列のいずれかを正規化した後の最初のステップは、連続応答と名目応答の両方すべてに対する予測子のスクリーニングです。
	ここで行うのは、それぞれの特定の応答に関連する予測因子を見つけることです。
	ユーザーインターフェースでは、説明される変異体の割合、つまり各変数からの寄与の割合がデフォルトで0.05に設定されています。つまり、このケースでは、応答Y1に対してX1とX2が保持され、X3のノイズが除去されていることがわかります。
	次のステップは、最近傍アルゴリズムを実行することです。デフォルトの5を使用しますが、これはユーザーが切り替えられるオプションです。
	そして、私たちは、これがどれだけ正確に予測できるかということよりも、単にこれを方法として使うことに関心があります
	5つの最も近い隣り合う点に到達します。5つの隣り合う点の行は何行目で、どれくらい離れていますか？現在の行からの距離はどれくらいですか？
	そして、この最近傍点の情報を使用して各点を識別し、各点が境界点である確率を計算します。
	ここでは分割を使用し、連続尺度や名義尺度の回答に対しては別の方法を使用する必要があります。名義尺度の回答の場合、現在の列の回答を連結します。
	この連結された近隣連結列には、5 つの最も近い近隣からの応答が順番に表示されます。
	そして、連結近傍列に基づいて境界確率を識別するために使用する単純なヒューリスティックがあります。
	すべての応答が同じであれば、境界点である可能性は低いと言えます。
	応答の少なくとも 1 つが異なる場合、その応答が境界、正確には境界点である可能性が中程度であると言えます。
	2つ以上の応答が異なる場合、境界点である可能性が高くなります。使用された行も記録します。この場合、それが境界ペアです。つまり、現在の行とは異なる応答を持つ最も近い近傍点です。
	これらの境界確率を、オリジナルの空間充填設計でプロットすることができます。
	ジムが先ほど言ったように、私たちは、境界探索ツールを実行する前に、最初に空間充填設計を実行して、空間を探索し、いくつかの反応を得ます。
	これを当てはめて、これらの境界確率を計算しました。境界確率が実際の境界と一致していることがわかります。
	連続応答の場合、最も近い 5 つの近傍からの連続応答を取得し、それぞれに列を追加して、それらの標準偏差を取得します。
	近傍の標準偏差が最も大きい点は、最も急な勾配領域にある点であり、境界点である可能性が高くなります。
	標準偏差と平均距離を掛けて情報指標を得る。
	これは、隣接する点の標準偏差が等しい 2 つの点のうち、すでに点数が少ない、よりまばらな領域にある点の重みを上げるためです。
	これで、連続的な情報メトリックが得られました。これを各ポイントの高確率、中確率、低確率に分割する方法を考えなければなりません。
	そこで、分布を当てはめます。正規分布の3混合分布を当てはめ、高確率点のカットオフとして、最大分布である平均値を使用します。
	そして、最大の正規分布の密度と 2 番目に大きい正規分布の密度の交点を中程度の確率ポイントのカットオフとして使用します。
	したがって、これらのカットオフを特定したら、それを適用して境界確率の列を形成します。
	また、使用した行、つまり最も近い行も保持します。この場合、連続応答の場合、現在の役割との絶対値が最も異なる応答を持つ隣接行が保持されます。
	これで、連続応答と名義応答の両方で同じ出力が得られます。境界確率と使用された行がわかります。境界点を特定したので、
	これを利用して境界に沿って新しい点を生成できるようにする必要があります。
	そこで最初の、そしてある意味では最良の方法は
	境界をターゲットにしてズームインする方法は、中点法と呼んでいます。各境界ペア、各行、そしてその行の最も近い隣の行に対して、
	以前に特定された...申し訳ありませんが、最も近い隣人ではなく、応答名目値の差の点で最も関連があるか、連続応答の点で最も異なる隣人です。
	連続因子については、それぞれの2点の座標の平均をとって中点を求めます。これがグラフに示されています。つまり、点を
	赤い円のところで。名義因子の場合、境界ペアについては、その因子の水準を取ります
	2つの点それぞれに存在するものからランダムに1つを選びます。この方法の良いところは、もし両方が同じであれば、その2つの点の名目因子の中間点も同じ水準になるということです。
	摂動法と呼ばれる 2 番目の方法は、識別された境界点のそれぞれにランダムな偏差を追加するだけです。
	したがって、高境界、つまり高確率ポイントの場合は、媒体に対して 2 つの摂動ポイントを追加し、1 つ追加します。
	連続因子については、ランダム偏差を加えます。正規分布は0、標準偏差は正規化された空間では0.075です。この0.075はスケールできるものです。
	ユーザー インターフェイス内で、境界の周囲の広がりの量を増やしたり減らしたりできます。
	名目要因については、各名目要因の水準をランダムに選びます。次に、高確率についてですが…
	2 番目の摂動点を取得する高確率境界点では、2 番目の摂動点では、それらの公称係数設定がすべて元の点の設定と等しくなるように制限します。
	したがって、境界を識別し、境界エクスプローラーで指定された応答ごとに中間点と摂動点を作成するというプロセスを実行します。
	それをしたら、すべてを連結し、すべての回答で特定されたすべての中間点を確認します。
	そして、多変量解析手法を用いて追加の実行を生成します。ユーザーは必要な実行回数を指定できるため、これらの中点法と摂動法では一定回数の試行しか生成されず、
	データに関しては、状況を把握していると言えるでしょう。
	そこで私たちが行うことは、ギャップフィリング設計に似たもので、特定されたすべての摂動とすべての応答の中間点を取ります。
	そして、空間全体を候補点の空間充填計画で埋めます。候補点には連続指標0、中間点には1、摂動点には0.01というラベルを付けました。
	この指標にランダムフォレストを当てはめ、それから確認します。候補空間の予測値をポイントで埋めて保存します。
	そして、この境界指標の予測値が最大となる候補実行を取得します。
	これらはランダムフォレスト法を用いて追加するものです。これは多変量解析法であるため、設計空間内に複数の応答の境界となる領域がある場合は、その領域に重点を置き、追加の実行を行います。
	ここでは 3 種類のポイントを一緒に表示します。
	さて、ジムが言ったことを強調すると、これは複数の反復で実行する必要があるため、境界エクスプローラツールからこの情報を収集します。
	そしてそれを元のデータセットに連結します。そして、これらの回答を得た後、境界エクスプローラーを再実行すると、
	反復を通して継続的に境界と影響を拡大し、さらに多くの境界を発見できる可能性があります。そのため、摂動点は最も有用です。
	空間を探索している初期の反復では、より広範囲に分散しており、ランダムフォレスト法は後の反復に適しています。
	現在の反復処理で得られた中間点だけでなく、以前に記録された中間点も使用するため、より多くの中間点を利用できるようになります。データテーブルには、追加された点の種類を記録する列があります。そのため、以前の中間点もすべて使用します。
	したがって、ステップ関数の例の表面プロットを配置すると、新しいポイント、中間ポイント、および摂動ポイントがすべて崖に沿って落ちていることがわかります。崖は境界であり、これが私たちが見たかったものです。
	したがって、ユーザー インターフェイスの最後の 2 つのオプションは、ギャップ充填の実行を示すもので、列プロパティとして設定されている場合、連続する要素に対してグローバル最小値、最大値、または一致ターゲットをターゲットにするように要求することもできます。
	ここで最後の例を 1 つ示すと、平面に 2 つの峡谷があり、それらの交差点に一種の深い井戸がある例があります。
	初期空間充填点を実行しました。これは、応答の概要を把握するために表示される点です。境界探索ツールを2回実行すると、
	ここが新しいポイントがすべて配置された場所です。この2本の線の真ん中あたりに隙間があるのがわかります。この隙間は何でしょうか？
	表面プロットを見ると、これらの隙間は峡谷の底で、実際にはそれほど急峻ではありません。つまり、局所的に小さな領域であっても平坦なのです。
	しかし、これらすべての点、これらすべての中間点は
	平地ではなく、急な崖の上に配置されました。まさに私たちが求めていた場所です。ここで最小点のオン/オフを切り替えてみると、井戸の底に当たっているのがわかります。つまり、最小点も狙うことができたのです。
	私たちのツールは2つの異なる、2つの離散的な
	オプション、新しいツール。連続因子にコーディングプロパティが設定されているあらゆるデータテーブルで使用できるギャップフィリング機能が必要です。
	そして、境界エクスプローラー ツールを使用すると、因子空間自体ではなく応答を調べて、勾配の大きい領域、つまり変化の大きい領域をターゲットにして追加の実行を追加できます。

高度な統計モデリング基本的なデータ分析とモデリング消費者・市場調査実験計画法マスカスタマイゼーション予測モデリングと機械学習品質およびプロセスエンジニアリング信頼性分析