756832_ja-JP

liliconcom

JMP Pro 16 の予測プロファイラーにおける外挿の制御 (2021-US-45MP-838)

ローラ・ランカスター、SAS JMP主席研究統計学者開発者
ジェレミー・アッシュ、SAS、JMP Analytics ソフトウェア テスター
クリストファー・ゴットウォルト、SAS JMP 統計研究開発ディレクター

制御されていないモデル外挿は、2種類の重大なエラーにつながります。(1)データから遠く離れた場所ではモデルが完全に無効になる場合があり、(2)変数値の組み合わせが物理的に実現できない場合があります。プロファイラーを使用して観測データに適合するモデルを最適化すると、警告なしに実用的ではない外挿ソリューションが得られる可能性があります。JMP Pro 16では、多くの予測モデリングプラットフォームとプロファイラープラットフォーム自体に外挿制御が導入されています。予測プロファイラーのこの新しい機能は、ユーザーに外挿の可能性を警告するか、モデルが有効でない可能性がある外挿ポイントの描画を完全に回避します。さらに、ユーザーは外挿を回避する制約領域で最適化を実行できます。このプレゼンテーションでは、外挿制御の動機と有用性について説明し、JMPでどのように簡単に使用できるかを示し、私たちの方法の詳細について説明します。

自動生成されたトランスクリプト...

スピーカー	トランスクリプト
ティム・ピアース	行く。
	では、ミュートにします。
	こんにちは、クリス・ゴットウォルトです。共同プレゼンターのローラ・ランカスターとジェレミー・アッシュと私は、JMP Proの便利な新機能「外挿制御」についてご紹介します。
	予測したいモデルはどれも適用範囲が広く、
	入力空間の領域で予測が
	十分に信頼できる領域外では、モデルを当てはめるために使用したデータから離れた2点にモデルを外挿し始めます。これらの点においてモデルの予測値を使用すると、完全に信頼できない予測値につながる可能性があります。
外挿には主に2つの情報源がある	統計的外挿とドメインベースの外挿。両方のタイプが新機能でカバーされています。
	統計的外挿は、モデルのトレーニングに使用された値に近くない X でモデルを使用して予測しようとするときに発生します。
	ドメインベースの外挿は、科学的に不可能なXで評価しようとするときに発生します。
	あるいは工学に基づく制約です。この例では、両方の種類の外挿を1つの例で示しています。ここでは、冶金生産プロセスのモデルからプロファイラーを作成します。
	予測値は-2.96で、不可能な温度と圧力の組み合わせを評価しているという兆候はない。
	この機械で達成できるドメイン的な意味での。また、使用したデータから統計的な外挿も行っている。
	右側のトレーニングデータの散布図に示されているように、モデルを当てはめるのに時間がかかります。JMP Pro 16では、Jeremy、Laura、そして私が協力して、プロファイラーが外挿の可能性があると判断した場合、警告を発する新しい機能を追加しました。
	または、外挿コントロールをオンにすると、表示されるポイントのセットが外挿ではないと思われるものだけに制限されます。
	外挿制御には 2 種類あります。
	1つはレバレッジの概念に基づき、最小二乗モデルを使用します。この最初のタイプは、フィットモデル最小二乗法のProバージョンでのみ利用可能です。
	もう 1 つのタイプは、一般的な機械学習外挿制御と呼ばれ、プロファイラー プラットフォームと、JMP Pro の最も一般的な機械学習プラットフォームのいくつかで利用できます。
	ご要望に応じて、さらに追加することも可能です。最小二乗外挿制御は、予測分散のスケール版のようなレバレッジの概念を使用します。これはモデルベースであるため、
	主な効果の相互作用と高次の項に関する情報を使用して外挿を決定します。
	一般的な機械学習の外挿制御のケースでは、独自のアプローチを考案する必要があります。欠損値に対して堅牢な手法を求めていました。
	線形依存関係、高速計算、連続入力変数とカテゴリ入力変数の混合の処理が可能、また、データの適合に使用されるモデルから外挿モデルを明示的に分離することも希望しました。
	したがって、一般的な外挿制御をオンにすると、プロファイラー トレースに表示される応答に入力変数を適合させる教師ありモデルが 1 つだけになります。
	プロファイルは、トレーニング セット X を記述するための簡単な教師なしモデルを作成します。この教師なしモデルは、プロファイラーによってバックグラウンドで使用され、外挿制御制約を決定します。
	何らかの理由で、PowerPoint とカメラが現在うまく連携していないため、切り替える必要があります。
	私たちは、データ サイエンスに携わる人々によってリスクの高い外挿が毎日行われていることを認識しており、外挿を使用すると予測が不正確になり、最終的にはビジネス成果が悪くなると確信しています。
	外挿制御はモデル予測にガードレールを設定し、JMP Pro ユーザーによる定量的に優れた意思決定につながります。
	ユーザーは、外挿が行われていることに気付いた場合、自分のドメイン知識と当面の問題に対する理解に基づいて、予測を使用するかどうかを決定する必要があります。
	外挿制御の警告が発生し始めた場合、入力の分布がトレーニング データの分布から離れているため、モデルのライフ サイクルが終了し、新しいデータに合わせて再調整する時期が来ている可能性が高くなります。
	外挿を特定する必要性がデータサイエンスコミュニティであまり認識されていないことに、私たちは正直驚き、懸念を抱いています。
	外挿の制御を可能な限り簡単かつ自動化しました。JMP Proでこの機能を開発したLauraが次にそのデモを行います。その後、私たちのチームについて多くの調査を行ったJeremyが、このアプローチの数学的詳細と統計的根拠について説明します。
	こんにちは。ローラ・ランカスターです。JMP Pro 16に追加された外挿コントロールのデモを行うために来ました。まずは、モデル適合最小二乗法プラットフォームを使った比較的簡単な例から始めたいと思います。
	皆さんもよくご存知のデータ、サンプルデータに含まれる適応度データを使います。
	反応変数として酸素摂取量、予測変数として走行時間、走行脈拍、最大脈拍を使用します。繰り返しになりますが、最小二乗法によるモデル適合では、外挿指標としててこ比が使用されますので、JMPを起動してみましょう。
	これで、JMP でフィットネス データが開かれ、適合最小二乗モデルを自動的に起動するためのスクリプトがデータ テーブルに保存されました。
	では、このスクリプトを実行してみます。最小二乗法プラットフォームが起動します。
	プロファイラーが自動的に開き、プロファイラーはこれまでと同じように見えます。
	ここで、因子境界は各因子の範囲によって個別に定義され、矩形境界制約が与えられます。
	そして、因子設定を変更すると、これらの境界制約のため、データの相関構造から大きく外れているかどうかを判断するのが非常に難しくなります。
	これが、外挿コントロールを追加したかった理由です。JMPs Pro 16では、いくつかのプラットフォームにこの機能が追加されました。
	最小二乗法による近似も含まれます。外挿制御にアクセスするには、プロファイラーメニューの下のメニューに移動します。ここに「外挿制御」という新しいオプションがあります。
	デフォルトではオフになっていますが、オンまたは警告オンに切り替えることで外挿制御を有効にすることができます。オンにすると、プロファイルトレースが外挿していない値のみに制限されることに注意してください。
	警告をオンにすると、完全なプロファイル トレースが表示されますが、外挿であると見なされる領域に移動すると警告が表示されます。
	外挿の詳細をオンにすることもできます。これは非常に便利です。
	すると、さらに多くの情報が得られます。まず、外挿を定義するために使用している指標がレバレッジであることがわかります。これは、最小二乗法のプラットフォームでも同様です。
	最初にデフォルトで使用されるしきい値は最大レバレッジになりますが、これは変更可能なので、後ほど説明します。
	また、現在の設定における外挿指標を確認できます。ここに表示されている数値は、係数の設定を変更すると変化します。
	この数値が閾値を超えると、外挿している可能性があるという警告が表示されます。閾値を下回ると、警告は表示されなくなります。
	このしきい値は、メニューでしきい値を調整しない限り変更されません。それでは、今すぐ設定してみましょう。メニューを開いて
	閾値基準の設定に進みます。最小二乗法では、閾値に2つのオプションがあります。最初は最大てこ比に設定され、データの凸穴内に収まるようにします。
	あるいは、観測値の平均レバレッジまたはモデル項に乗じた乗数に切り替えることもできます。閾値に切り替えたいので、3に設定しています。
	デフォルトの乗数なので、平均レバレッジの3倍になります。「OK」をクリックすると、しきい値が変わります。実際には小さくなったので、これは外挿のより保守的な定義です。
	そして、プロフィールのトレースを制限するために、これをオンに戻します。これで、地域にしかアクセスできなくなります
	平均レバレッジの 3 倍以内に収まります。
	外挿制約に従う最適化も実装しました。それで、set desirabilityをオンにすると
	そして最適化を行います
	外挿制約を満たす最適値が得られます。この指標は閾値以下であることに注意してください。
	次に、次のスライドに進み、外挿制御をオンにした場合とオフにした場合の最適値の差をグラフ (散布図マトリックス) で比較します。
	これはJMPで作成した散布図マトリックスで、元の予測変数データと予測変数値が表示されています。
	外挿制御なしの最適解は青色で、外挿制御ありの最適解は赤色で示されています。制約なしの解が青色で示されていることに注目してください。
	ここでは、実行パルスと最大パルスの元のデータの相関構造に違反しているため、この予測の不確実性が増大しますが、外挿制御を使用した最適ソリューションは元のデータとより一致しています。
	ここで、正規化 T 2 乗法と呼ばれる、より一般化された外挿制御法を使用した例を見てみましょう。
	クリスが先ほど述べたように、私たちはこの手法を最小二乗モデル以外のモデル向けに開発しました。今回は、サンプルデータにも含まれている糖尿病データのニューラルモデルを見ていきます。
	反応は疾患の進行度を表す指標であり、予測変数はベースライン変数です。繰り返しになりますが、この例で使用されている外挿指標は、ジェレミーが数分後に詳しく説明する正規化T二乗です。
	JMPで糖尿病データを開いて、ニューラルモデルの適合スクリプトを保存しました。このスクリプトを実行してみましょう。
	ニューラルプラットフォームを起動します。検証方法としてランダムホールドバックを使用していることに注目してください。検証方法を使用する場合、外挿制御はトレーニングデータのみに基づいて行われることに注意してください。
	検証データやテストデータではありません。
	プロファイラーを開くと、フルトレースが使用されていることがわかります。外挿制御はオンになっていません。
	さあ、電源を入れてみましょう。
	そして、詳細もオンにします。
	トレースが制限されており、メトリックが正規化された T スクエアであることがわかります。
	閾値は、標本正規化T平方の標準偏差の3倍です。これが具体的に何を意味するのかについては、ジェレミーが数分後に詳しく説明します。
	正規化T2乗法を使用する場合、閾値は1つしか選択できませんが、乗数は調整できます。
	外挿コントロール、しきい値の設定、乗数を調整できますが、ここでは3のままにしておきます。そして、最適化を実行します。
	外挿制御が有効になっているので、最大化して記憶するだけです。これで外挿制御を有効にした最適解が得られました。
	それでは、以前見たのと同じように、元のデータと、外挿制御ありとなしの最適値で散布図マトリックスを見てみたいと思います。
	これはJMPで作成した糖尿病データの散布図です。元の予測変数の値が表示されています。
	外挿制御を用いた最適解は赤で、外挿制御を用いない最適解は青で示されています。そして、
	赤い点は青い点よりも元のデータの相関構造にかなり近いように見えます。特にLDLコレステロールと総コレステロールを比較すると、その傾向が顕著です。
	それでは、グラフ メニューの下にあるプロファイラー (グラフ プロファイラーと呼ぶ) を使用した例を見てみましょう。
	また、正規化T二乗法を採用しており、JSL式として作成・保存できるあらゆるタイプのモデルに対して外挿制御を行うことができます。また、複数のモデルに対して同時に外挿制御を行うこともできます。
	それでは、粉末冶金技術を使用して自動車業界向けのスチール製ドライブシャフトを生産している企業の例を見てみましょう。
	収縮を最小限に抑え、また表面状態不良による不良を最小限に抑える最適な生産設定を見つけたいと考えています。そこで、2つの対応策があります。
	収縮は連続的なので、これに最小二乗モデルを当てはめます。また、表面状態は合格/不合格なので、これに名義ロジスティックモデルを当てはめます。
	予測変数は、生産における主要なプロセス変数です。ここでも、外挿指標は正規化T平方です。
	JMPで粉末冶金データを開いて、収縮反応の最小二乗モデルをすでに当てはめています。
	表面状態の合否判定には、既に名義ロジスティックモデルを当てはめています。また、予測式をデータテーブルに保存しておいたので、グラフプロファイラーですぐに使用できます。
	グラフ メニューのプロファイラーに移動すると、収縮の予測式を読み込むことができ、その予測式は表面状態用になります。
	[OK]をクリックします。
	そして、両方のモデルをグラフ プロファイラーに起動しました。
	外挿制御をオンにする前は、完全なプロファイルトレースが表示されています。外挿制御をオンにすると、
	トレースが少し縮んでいるのが分かります。そしてディテールもオンにします
	実際、この方法では正規化された T スクエアを使用していることを示すためです。
	私が本当にやりたいのは、収縮と故障を最小限に抑える最適な条件を見つけることです
	外挿制御をオンにして、外挿していないことを確認したい。有効な解決策を見つけたい。
	最適化を行う前に、実際に望ましさを設定する必要があります。望ましさを設定するには、収縮率については既に適切な設定になっていますが、表面状態についても設定する必要があります。
	合格を最大化し、失敗を最小化するよう努めます。
	わかりました。
	そして、外挿コントロールをオンにして最適化を実行し、最大化して覚えておくことができるはずです。
	今、私は最適な解決策を見つけました
	外挿制御をオンにした場合です。それでは、元のデータの散布図マトリックスと、外挿制御をオンにした場合の解、そして外挿制御をオフにした場合の解をもう一度見てみましょう。
	これはJMPで作成した粉末冶金データの散布図マトリックスで、最適解も示されています。
	外挿制御ありの最適解は赤い点で、外挿制御なしの最適解は青い点で示されています。ここでも、外挿制御を行わない場合、
	最適解はデータの相関構造からかなり外れています。特に、比率と圧縮圧力の関係を見るとそれがよく分かります。
	それでは、プレゼンテーションをジェレミーに引き継いで、私たちの方法についてさらに詳しく説明したいと思います。
	こんにちは。プロジェクト開始時に設定した外挿制御の目標をいくつかご紹介します。
	多数の観測値と変数を用いて迅速に計算できる外挿指標が必要でした。また、その指標が外挿を示しているかどうかを迅速に評価する方法も必要でした。これは、プロファイラのトレースのインタラクティブ性を維持するためでした。
	最適化を実行するにはこれが必要でした。
	プロファイラーで利用可能な様々な変数タイプをサポートできるようにしたいと考えています。これらは基本的に連続型、カテゴリ型、順序型です。
	一部のモデリング手法ではこれらの観測値と??? が含まれるため、欠損セルを含む観測値を利用したいと考えました。
	私たちは、データ内の線形依存性に対して堅牢な手法を求めていました。線形依存性は、例えば変数の数が観測値の数よりも大きい場合に発生します。
	そして、多くのユーザー入力を必要とせずに簡単に自動化できるものを求めていました。
	最小二乗モデルの場合、線形モデルで外れ値を識別するためによく使用されるレバレッジを採用しました。
	新しい予測ポイントのレバレッジはこの式に従って計算されます。レバレッジには様々な解釈があります。一つの解釈は、
	これは、学習データの中心から予測点までの多変量距離です。別の解釈としては、これは尺度化された予測分散であり、予測点がデータの中心から離れるほど、予測の不確実性は増大します。
	そして、この距離が大きすぎるかどうかを判断するために、統計文献でよく使用される 2 つのしきい値を使用します。
	1つ目は最大レバレッジです。この閾値を超える予測点は、トレーニングデータの凸穴の外側にあります。
	2つ目は、レバレッジの平均の3倍です。これは、モデルの項の数を観測値の数で割った値の3倍に相当することが分かります。
	先ほど Laura が説明したように、これらのしきい値の乗数を変更することもできます。
	最後に、望ましさを最適化する場合、外挿制約は非線形制約となります。また、以前のプロファイラでは線形制約による制約付き最適化が可能でした。
	しかし、このタイプの最適化はより困難なため、ローラは遺伝的アルゴリズムを実装しました。遺伝的アルゴリズムについてご存じない方のために説明すると、遺伝的アルゴリズムは分子進化の原理を用いて複雑なコスト関数を最適化します。
	次に、線形モデル以外の 2 つのモデルの外挿制御を一般化するために使用するアプローチについて説明します。
	JMP で予測モデルを構築するときは、予測変数のセットと応答変数のセットから始めます。
	いくつかの教師ありモデルをトレーニングした後、プロファイラーを使用してモデルの表面を視覚化できます。
	JMPのプロファイラには様々なバリエーションがあります。モデリングプラットフォーム内でプロファイラを内部的に使用したり、予測式を出力したり、
	ローラが実演したように、複数のモデルに対応するプロファイラーを構築できます。アンサンブルモデル用のプロファイラーも構築できます。私たちは、これらすべてのシナリオに一般化できる外挿制御手法を求めていたため、特定のモデルに手法を限定するのではなく、教師なしアプローチを採用することにしました。
	予測点が予測空間内のデータ集中域から大きく外れている場合にのみ、予測点を外挿としてフラグ付けします。これにより、プロファイラー間で一貫性が保たれ、外挿制御メソッドをどのプロファイラーにも組み込むことができます。
	レバレッジの多変量距離解釈では、ホテリングのT2乗が一般的な外挿制御のための距離として示唆されました。実際、代数的な操作をいくつか行えば、ホテリングのT2乗はレバレッジをシフトしてスケールしたものに過ぎないことが分かります。
	この図は、ホテリングの T 二乗が、観測値がどの楕円上にあるかを測定する方法を示しています。楕円はデータの平均を中心とし、形状は共分散行列によって定義されます。
	線形モデルではなくなったため、この指標は予測分散とは関係がありません。そこで、線形モデルで使用されていた閾値に頼るのではなく、分布に関する仮定を立てて、
	予測ポイントの T の二乗は外挿として考慮する必要があります。
	ここでは、ホテリングのT2乗の式を示します。平均行列と共分散行列は、モデルのトレーニングデータを用いて推定されます。
	PがNより小さい場合（Pは予測変数の数、Nは観測変数の数）、
	予測変数が多変量正規分布に従う場合、予測点のT2乗はF分布に従う。しかし、我々は
	P が N より大きい連続データ セットとカテゴリ データ セットが混在するなど、複雑なデータ タイプを持つデータ セットを一般化します。
	欠損値を含むデータセット。そのため、各ケースで分布を解析的に計算するのではなく、実用上有効であることがわかった単純な保守的な管理限界を使用します。
	これは、トレーニング データからの T 二乗の経験分布を使用した 3 シグマ制御限界であり、Laura が述べたように、この乗数を調整することもできます。
	一つの複雑な点は、PがNより大きい場合、ホテリングのT2乗が定義されないことです。共分散行列にはパラメータが多すぎるため、利用可能なデータで推定することはできません。
	これは、部分最小二乗法のような外挿制御の典型的な使用例でよく発生します。そこで、私たちはホテリングのT二乗を計算するための新しいアプローチを採用しました。これはこれらのケースに対応しており、私たちはこれを「正規化T二乗」と呼んでいます。
	共分散行列を計算するために、SchaferとStrimmerが高次元ゲノミクスデータ用に開発した正規化推定値を使用します。これは、完全な標本共分散行列（ここではU）と制約ターゲット行列（D）の重み付き結合です。
	Lambda 重みパラメータについては、Schafer と Strimmer は、推定値を漸近的に最小化する解析式を導き出しました。
	SchaferとStrimmerは、いくつかの可能な目標行列を提案しました。私たちが選択した目標行列は、予測変数の標本分散を対角線上に持つ対角行列です。この目標行列は、外挿制御において多くの利点があります。
	まず、データを見る前に変数間の相関構造を想定しませんが、これは一般的な事前条件としてうまく機能します。
	また、Nが小さいか欠損値が大きいために共分散行列を推定するためのデータが少ない場合、
	楕円制約は対角行列に大きな重みを加えることで拡張され、外挿制御のためのより保守的な検定が可能になります。これは、偽陽性率を適切に制御するために必要であることがわかりました。
	もっと簡単に言うと、トレーニング データが限られている場合、正規化された T 平方では予測が外挿としてラベル付けされる可能性が低くなります。これは、共分散が偶然に観察される可能性が高いため、望ましい結果です。
	これらの詳細を示すシミュレーション結果がいくつかありますが、全てを説明する時間はありません。代わりに、コミュニティのウェブページにアーカイブされている論文へのリンクを掲載し、Journal of Computational Graphical Statisticsに投稿する予定です。
	次のスライドでは、考慮すべきその他の重要な詳細を示しています。カテゴリ変数をどのように扱うかを考える必要がありました。
	これらを指標コード化ダミー変数に変換するだけです。これは多重コレスポンデンス分析に相当します。
	もう一つの複雑な点は、欠損データがある場合にホテリングのT2乗をどのように計算するかです。JMP予測モデリングプラットフォームの中には、欠損データを含む観測値を用いてモデルを学習させるものもあります。
	これらには、Naive Bayes とブートストラップ フォレストが含まれ、これらの式は共分散行列を推定するために使用するペアワイズ削除法を示しています。
	行方向の削除がより一般的です。これは、共分散行列を計算する前に、欠損値を持つすべての観測値を削除することを意味します。これは最も単純な方法ですが、訓練データのサンプルサイズが小さい場合、有用なデータが失われる可能性があります。
	ペアワイズ削除では、対応するエントリを計算するために使用される変数のペアに欠損値がある場合にのみ、観測が削除されます。
	そして、これらの数式が示しているのはまさにそれです。利用可能なすべてのデータを使用するだけなので、一見単純なことのように思えますが、実際には多くの問題を引き起こす可能性があります。なぜなら、各エントリを計算するために異なる観測値が使用されるからです。
	これにより、負の固有値を持つ共分散行列などの奇妙なことが発生する可能性があり、これに対処する必要がありました。
	ここでは、評価において他の方法と比較したときに発見された正規化 T 平方の利点をいくつか示します。
	一つは、正則化が通常の正則化と同じように機能することです。訓練データへの過学習と推定値の過バイアスのバランスを取ります。これにより、推定値はノイズやモデルの誤指定に対してより堅牢になります。
	次に、SchaferとStrimmerは論文の中で、高次元設定において正則化によって推定値の精度が向上することを示しました。これは、外挿制御における距離ベースの手法のほとんどに見られる「次元の呪い」を軽減するのに役立ちます。
	そして、外挿制御の方法論を開発した分野では、
	多くの場合、高次元データと高度に相関した予測変数の両方を持ちます。例えば、ケモインフォマティクスやケモメトリクスでは、化学的特徴は高度に相関していることが多いです。
	外挿制御は、PCAモデルやPLSモデルと組み合わせて使用されることが多く、T2乗法やDModX法を用いて相関構造の違反を検出します。これは、モデル駆動型多変量管理図で行っていることと似ています。
	これは一般的な使用例なので、これらの方法から大きく逸脱しないオプションを用意したいと考えました。
	正規化されたT2乗は
	同じタイプの外挿制御ですが、投影ステップを必要としないため、いくつかの利点があります。
	これにより、他の種類の予測モデルへの一般化が容易になることがわかりました。
	また、評価では、予測変数間に非線形関係があるなど、線形投影がデータにうまく機能しない場合、
	これらの誤差により、投影ベースの方法の管理限界が過大になり、外挿に対する保護が不十分になる可能性がありますが、私たちのアプローチはこれよりも堅牢です。
	そしてもう一つ重要な点は、
	単一の外挿メトリックの使用と解釈ははるかに簡単でした。
	外挿制御の特徴を簡単にまとめると、この手法は、実行可能な領域をより良く視覚化します。
	プロファイラーにおける高次元モデル。柔軟な制約付き最適化のために、新しい遺伝的アルゴリズムが実装されました。
	また、正規化された T 平方は、P が N より大きい場合や連続変数とカテゴリ変数などの複雑な観測データを処理します。
	この手法はJMP 16 Proのほとんどの予測モデルで利用可能であり、それぞれのモデル特有の特性を多くサポートしています。また、グラフのプロファイラーでも利用可能で、あらゆる予測式に適用できるため、その有用性は飛躍的に高まります。
	そして、将来の方向性として、現在の相関構造の制約を超える、K 最近傍ベースの制約を実装することを検討しています。
	多くの場合、予測子は複数の分布によって生成され、予測子空間でクラスタリングが生じ、K 最近傍ベースのアプローチにより、クラスター間の外挿を制御できるようになります。
	ということで、この番組をご覧いただいた皆様に感謝申し上げます。さらにご質問がある場合は、メールでお問い合わせください。
ジェレミー・アッシュ、JMP	君達はまだそこにいるよ。
クリス・ゴットウォルト	そうですよ。
ローラ・ランカスター	ただ。

高度な統計モデリング基本的なデータ分析とモデリング消費者および市場調査データの探索と可視化実験計画法予測モデリングと機械学習品質およびプロセスエンジニアリング信頼性分析