JMP でのシミュレート メソッドとブートストラップ メソッド: いつ、そしてなぜどちらを使用するかこんにちは、みんな、
モデル推定を評価する際のシミュレートとブートストラップのアプローチの違い/類似点について、JMP の誰かが説明を提供できることを願っています。 (JMPプロ)
Gotwalt などによる以前の Discovery Summit プレゼンテーションへのリンクがいくつかあります。ここ、ここ、 そしてここ。 これらの方法の明確な違いの 1 つは、シミュレートでは列式を別の列式に交換する必要があるのに対し、ブートストラップではその必要がないことです。 パラメーター推定値を再計算するときのブートストラップの概念は理解していますが、同じデータをシミュレートするときに部分ランダム加重列を交換する必要がある理由がわかりません。 たとえば、上記の最初のリンクと、自動検証セットアップを使用したこのアプローチを説明した対応するプレゼンテーションを参照してください (この場合、DOE の結果を使用していました)。
私がもっと理解したいのは、どちらかのアプローチの長所と短所、そしてどのアプローチが他のアプローチよりも優れているのかということです。 いくつかのプロセス変数と製品品質の測定値を含む、幅広で背の高いデータテーブルがあります。 結果に影響を与える可能性のあるプロセス変数のセットを絞り込んで、どこを調査すべきかについて本番環境に提供したいと考えています。 これを行うために、私は彼らのプレゼンテーションから Null Factor のアイデアを採用し、それを真の確率変数としてモデルに組み込みます。 次に、因子と Y 出力に対して非常に基本的な GenReg モデルを実行し、推定値の列を右クリックして、パラメーター推定値に対してブートストラップ オプションまたはシミュレート オプションを実行します。
どちらの方法でも同じ結果が得られません。その理由を理解したいと思います。 また、これは DOE ではないため、あるアプローチが別のアプローチよりも適切ですか?
結果の例は以下のパレート図です。ヌル因子よりも少ない回数でモデルに導入された因子は単純に削除されます。 最初の画像は、Simulate メソッドを使用した結果を示しています。ここで、パレート プロットの右端の係数はヌル係数です。 同様に、2 番目の画像はブートストラップ法を使用した結果を示しています。ここでも Null Factor が右端にあります。
2 つの方法で 2 つのまったく異なる結果が得られるのはなぜですか? 一方は他方よりも「信頼できる」でしょうか? ある方法を他の方法ではなく使用する理由は何ですか? 一方の方法は他方よりも堅牢ですか? 異なる結果が得られる場合、JMP Pro に 2 つのオプションがあるのはなぜですか?
これに関する洞察をいただければ幸いです。
ありがとう！、
DS
高度な統計モデリング実験計画法予測モデリングと機械学習Re: JMP でのシミュレート メソッドとブートストラップ メソッド: いつ、そしてなぜどちらを使用するかブートストラップまたはリサンプリングは、基礎となる分布を経験的に置き換えようとします。 一般に、ブラッドリー・エフロンがこの方法論を発明し、開発したと考えられています。 彼はその欠点についても調査しました。 ブートストラップ サンプルは、サンプル統計と間隔を経験的に決定できます。 人口分布は想定されていません。 これらの推定値の精度と安定性は、元のサンプルのサイズとリサンプルの数によって異なります。
このシミュレーション方法では、リサンプルの生成元となる分布モデルを想定しています。 推定値はモデルの仮定に大きく依存します。
この回答は高レベルであり、詳細は説明されていません。 両方の方法の例と、それらがどのように成功するか、または見事に失敗するかを想像することができます。
Re: JMP の Simulate メソッドと Bootstrap メソッド: いつ、そしてなぜどちらを使用するかこんにちは@Mark_Bailey 、
フィードバックやご意見をお寄せいただきありがとうございます。
したがって、（大まかに見ると）主な違いは、シミュレートまたはブートストラップが母集団分布をどのように想定するか、想定しないかに帰着するように思えます。 母集団分布要件のこの違いにより、2 つのメソッドは推定プロセスに異なるアプローチをとり、その結果、シミュレート メソッドでは別の列の入れ替えが必要になります。
私は、ある方法が別の方法よりも堅牢であるかどうか、また、ある方法を他の方法よりもいつ使用するかをよりよく理解したいと考えています。 たとえば、シミュレーション方法の人口分布要件は何ですか? ある方法を別の方法よりも使用すべきではない場合の制限事項はありますか。
上記の例では、ヌル因子よりも頻繁にモデルに入力される因子について、各メソッドで非常に異なる答えが得られます。 モデルに残すべき要素と、実際にはモデル内で役に立たない要素について、実際に最も正確な推定を提供できる方法はどれですか? どの結果を「信頼」できるでしょうか?
JMP オンライン ヘルプでは説明が限られており、特定の方法の使用については詳しく説明されていません。
ありがとう！、
DS
Re: JMP の Simulate メソッドと Bootstrap メソッド: いつ、そしてなぜどちらを使用するか混乱させてください....
物議を醸す可能性が高い私の考えを述べる前に、あなたの投稿の最終的な目的は何ですか? ご質問の一部 (例:一方は他方よりも「信頼できる」でしょうか? ある方法を他の方法ではなく使用する理由は何ですか? 1 つの方法は他の方法よりも堅牢ですか?) 1 つの目的を示唆しています。 その他 (例: 2 つの方法で 2 つの非常に異なる結果が得られるのはなぜですか?、JMP Pro には 2 つのオプションがあるのはなぜですか?)何か違います。(プロセスまたはデータセット内に) すでに存在する変動を説明するモデル、または予測に役立つモデル (デミングの用語で分析) にどの方法が到達するかを判断しようとしていますか? それとも、2 つの方法に関する技術的な議論に興味があるだけですか?
Re: JMP でのシミュレート メソッドとブートストラップ メソッド: いつ、そしてなぜどちらを使用するかこんにちは@スタットマン、
混乱させて申し訳ありません。正直に言うと、すべてを少しずつ紹介していますが、まだ「最終」モデルに到達するまでには至っていません。 最も可能性の高い一連の要因に到達し、さらに調査することが多くなります。Predictor Screening プラットフォームのようなものです。
私は、ケアリーで開催された 2018 Discovery Summit で発表されたものと同様の修正された方法 (私の元の投稿の最初のリンク) を使用して、非常に大規模 (>130) の可能なプロダクション タグのセット (次のようなもの) から決定しようとしています。ポンプ速度、流量、オーブン温度、空気流量など）、QC で測定される結果 Y に寄与するもの。 GenReg アプローチ (例: 前方選択または枝刈り前方選択) を使用すると、モデル内の項の推定値を取得できます。これは、交互作用などを含まず、主要な要因のみに注目する非常に単純化されたモデルです。 これらの推定値の多くは、係数がゼロかゼロに近い値になります。
その後、推定値のシミュレーションまたはブートストラップ分析を実行できます。これは通常、推定値の取り得る値の範囲についてより信頼性を高めるために行われます。 ただし、どちらの方法でも分布統計から得られるもう 1 つのことは、その推定値がゼロ以外である回数の割合です。 各推定値のゼロ以外の比率値を Null 因子と比較すると、その因子が Null 因子よりも頻繁にモデルに現れるかどうかがわかります。 Null Factor は完全にランダムであり、実際の運用タグとは相関がないため、タグの出現頻度が Null Factor よりも低い場合、そのタグは将来のモデリング作業から除外される可能性があります。 これにより、130 を超える考えられる要因を、おそらく 12 個ほどのより管理しやすいセットに縮小することができます。 この時点で、以前よりもはるかに小さい要因セットについて、さらなる調査、実験、またはモデリングを行うことができます。
私がもっと理解したいのは、シミュレート方法とブートストラップ方法で異なる結果が生成される理由です。 マーク・ベイリーが話していた流通の問題でしょうか？ デフォルトの 2500 リサンプルを使用するだけでは十分ではなく、さらに多くのリサンプルが必要ですか? それとも、2 つの方法で異なる結果が得られる原因となる、より根本的な理由があるのでしょうか?
どちらの方法をいつ使用するかについて、より十分な情報に基づいた決定を下すために、2 つの方法の技術的側面をよりよく理解したいと考えています。 2 つの方法が同様の解決策に収束しない場合 (そうする必要があるわけではありません)、どちらの解決策が「正しい」解決策になります。
JMP のオンライン ヘルプには情報があまり多くないので、これらのツールを効果的に活用するために、これらのツールについてさらに理解したいと思います。
ありがとう！、
DS
Re: JMP でのシミュレート メソッドとブートストラップ メソッド: いつ、そしてなぜどちらを使用するかどちらの方法も優れた統計的な意味でも。 つまり、あらゆる場合において、どちらかが常に他方よりも優れたパフォーマンスを発揮するわけではありません。
結果の精度は、新しいサンプルを使用した新しい予測 (つまり、推定) を使用して独立して検証する必要があります。
ブートストラップとシミュレーションに関する文献は膨大です。 狭いスペースでの制限や欠点に関する広範な質問に、ここで簡単に答えることはできません。 たとえば、母集団の裾が広い場合や外れ値が見られる場合、サンプルは母集団の特徴を十分に捉えているでしょうか? 実際のサンプルと同様に、母集団からブートストラップ サンプルを生成しますか? 一方、シミュレーションに使用した分布モデルをどの程度信じますか?
2 人の調査員が一方の方法をもう一方の方法よりも信頼するには、異なる種類と量の証拠が必要になる可能性があるため、信頼性は主観的です。
ソフトウェアのドキュメントは教育を目的としたものではありません。 この場合の 2 つのアプローチについて学ぶには、他のソースを使用する必要があります。
Re: JMP の Simulate メソッドと Bootstrap メソッド: いつ、そしてなぜどちらを使用するか@SDF1私も意見を述べさせていただきます。 すべてに同意します@Mark_Baileyそして@スタットマンこれまで貢献してきた。 あなたの調査の経路は、私が化学プロセス業界で働いていた時代に繰り返し課せられたものと不気味なほど似ています。 私たちは生産/製造のリアルタイム データを大量に持っているので、昨夜の生産実行中に物理学、化学、生物学の魔法がうまく機能しなかった場合に、プロセス/製品のばらつきを理解したり、修正措置を講じたりするために活用しようとしました。 今、「なぜ」を解明するために総力を挙げて取り組んでいます。 すべてを説明する「最終的な」モデルを考え出そうとしているように聞こえます。 このために運用データを使用することは、問題解決という点で全体的に効率的な問題解決アプローチではないことがわかりました。 データはあまりにも乱雑で、不完全で、あるいは、影響力のあるノイズ/迷惑要因が欠落しているため、将来遭遇する可能性のあるものを有用かつ代表するには役に立ちませんでした。 それで、私たちは何をしたのでしょうか？ 私たちは、手元にあるデータを使用して、おそらく重要な要素を特定します。 次に、「オフライン」にして、計画された実験を含む思慮深いプロセス空間を実行して、因子の変動を連続的に誘導し、最終的な問題解決への効率的な (モデル/統計的ではなく、リソース的) パスを導きます。 結局のところ、私が一緒に働いていたエンジニアの 1 人がよく言っていたように、「故障モードをオフにしたりオンにしたりできるまでは、故障モードの根本原因は分からない」ということです。 その知識を得る方法について私が知っている唯一の効率的な方法は、DOE を使用することです...偶然のデータをモデルに組み込むことではありません。 あくまで私の意見です。 価値があるものとして受け取ってください。
Re: JMP でのシミュレート メソッドとブートストラップ メソッド: いつ、そしてなぜどちらを使用するかこんにちは@P_Bartel 、
お返事をありがとうございます。 あなたが過去に経験したことについてのあなたの説明は、私が以前の投稿で説明しようとしたことに最も近いものです。 このアプローチの目標は、完全に機能するモデルを見つけることではなく、生産現場で重要でないプロセス データを取り除くのを支援することです。 私たちのプロセスでは、本番環境で真の DOE を実行することはできません。コストがかかりすぎます。 代わりに、考えられる本番データ ストリームを、最も影響力のあるものに絞り込むことができれば、ご指摘のように、ラボで DOE を行うことができます。 これが私たちのやっていることです。
私たちは研究開発ラボから、特定の要因が特定の結果に、どのように、そしてなぜ影響を与えるかを知っています。 ただし、研究室で当社の製品を製造する少量のバッチ（1 日あたり数 kg）および高度に制御された環境は、1 日に 500 トンを超える材料を製造する連続的な本格的な生産とは大きく異なります。 連続生産装置は、実験室の小規模なバッチ設定で物事が行われる方法とは異なる方法で結果に影響を与えます。 また、私たちのプロセスには、バッチを連続プロセスに、またはその逆に単純に変換できる「スケールアップ」または「スケールダウン」要素はありません。 したがって、連続生産では、どのプロセスがドリフトまたは変動し、仕様外の製品につながる可能性があるかを特定することが非常に困難になります。
そこで、最初に学ぼうとしていたことに戻り、技術的な議論を通じて 2 つの方法の類似点と相違点についてさらに学びたいと思います。 ある方法が別の方法よりも優先される場合はありますか?またその理由は何ですか?そうすることで、2 つの方法でなぜこれほど異なる結果が得られるのかを知り、さらに調査する必要がある最も可能性の高い要因を特定するための、より信頼性が高く堅牢なアプローチを見つける方法を計画できるようにしたいと考えています。 この最後のステップは、JMP コミュニティ経由ではなく、会社のグループと協力して取り組むものです。
繰り返しになりますが、JMP ドキュメントには、これらのメソッドに関する情報が限られており (おそらくシミュレートに関する詳細が)、各メソッドの詳細情報の入手先に関する情報も限られています。 これらの手法の専門家ではないので、シミュレート手法とブートストラップ手法に関するアイデアや意見を求めてディスカッション フォーラムに行こうと考えました。 ここまでの議論から、ブートストラップはリサンプルの分布を想定していないのに対し、シミュレートはリサンプルの分布を想定しており、どちらが優れているというわけではないことがわかりました。 これらはどれも、私が学びたかったことを実際に解決するものではありませんでした。JMP ヘルプには役立つ情報がいくつかありましたが、すべてではありませんでした。JMP ヘルプ ページの下部に宣伝されているように、次のようになります。
したがって、さらに詳しく知りたいと思って、コミュニティのディスカッションに参加しました。 繰り返しになりますが、私はこれらの方法の専門家ではありませんが、コミュニティ ページの誰かが専門家であり、さらに学ぶために読むことができるより多くの情報やリソースを提供してくれることを期待していました。
ありがとう！、
DS
Re: JMP でのシミュレート メソッドとブートストラップ メソッド: いつ、そしてなぜどちらを使用するかJMP のブートストラップとシミュレーションに関する一般的な知識を知りたい場合は、リンク (2) と (3) がより適切です。 リンク (1) はより高度なトピックであり、DOE に固有です。
William Meeker は (2) と (3) の講演者の 1 人です。 彼の著書『Statistical Methods for Reliability Data』第 2 章の第 9 章をチェックしてみてください。編初版にしかアクセスできない場合は、第 9 章もチェックしてください。 非常に詳細な説明がそこに文書化されています。 私たちの多くはそこで技術を学びました。 しかし、他にも参考になるものがあると思います。 Meeker の資料は、技術の一般概念と信頼性解析の特殊なアプリケーションの両方をカバーしています。 信頼性分析の部分が無関係な場合は、読み飛ばしても問題ありません。
この本の内容とマークの説明を要約すると、次のようになります。
「ブートストラップ」、別名「ノンパラメトリック ブートストラップ」の手順は次のとおりです。
- データからのサンプル
- 何かをする
- 興味のある数量を計算し、数量を収集します
- 繰り返す。
「シミュレート」（別名「パラメトリック ブートストラップ」）の手順には次のものが含まれます。
- いくつかの既知のパラメータを持つモデルから始まり、そこからサンプルをシミュレートします
- 何かをする
- 興味のある数量を計算し、数量を収集します
- 繰り返す。
前述したように、目的は「信頼区間」を取得することです。 どれを選びますか？ それはあなたのタスク次第です。 あなたが説明したタスクについて話すことはできません。 しかし、リンク (2) と (3) を見てください。リンク (2) と (3) の大部分は、「ノンパラメトリック ブートストラップ」 (またはブートストラップ) の適用に関連しています。これは、タスクが推定値の信頼区間をより適切に定量化することであるためです。この状況では、大規模なサンプル近似は最も効果的なアプローチではありません。 ここで、リンク (3) で電力計算のために「パラメトリック ブートストラップ」(またはシミュレート) が使用される場合を見てみましょう。 電力計算とは何ですか? そのような計算をするためには真実を知らなければならないので、ある方法で意思決定を行う場合には、仮説検定の決定が正しいかどうかを知らなければなりません。 次に、結論を次の表の正しい象限にまとめます。タイプ I およびタイプ II エラー。 どうすれば真実を確信できるでしょうか？ 真実から始めてください。 このような場合には、「パラメトリック ブートストラップ」がより適切です。
ブートストラップ手法は多用途のテクノロジーですが、私が説明したのは氷山の一角であると確信しています。 しかし、マークが言ったことは、違いを要約したものです：彼らは異なる出発点を持っています。
あなたの特定のタスクについて、1 つ質問があります。シミュレーションを行ったとき、数式列はどのように作成しましたか? あなたが知っているのは真実ですか？
Re: JMP でのシミュレート メソッドとブートストラップ メソッド: いつ、そしてなぜどちらを使用するかおお！ 私たちは同じ会社で働いていたはずです...あなたは、私がイーストマン・コダック社で私のキャリアの半分をどのように過ごしたかを正確に説明しました。 生産フィルム/紙コーティングプロセス/機械に関する DOE は、コストと生産能力を理由に廃止されました。 ラボベンチからパイロット、本番環境に至るまでのスケーラビリティは紙に書かれた夢物語でした。 私たちの救いは、最善を尽くしている賢い人々がたくさんいたことでした。 コミュニティ メッセージング機能を使用して、いくつかの追加の考えを添えてプライベート メッセージを送信します。
Re: JMP でのシミュレート メソッドとブートストラップ メソッド: いつ、そしてなぜどちらを使用するかDS によって提起された質問に関して、何の価値も持たず、役に立たない可能性のある私の考えをいくつか紹介します。 私も似たような経験をしているので、私の考えはピートの考えと一致しています。因果関係を理解しようとする壮大な計画には、さまざまなアプローチがあります。すべての場合において、反復が必要です。 これらのアプローチのうち 2 つを単純化して説明します。
1. 統計的アプローチ: これは、既存の歴史/観察データから手がかりを探す試みです (別名データ マイニング)。これには多くの場合、ある種の回帰アプローチ (多数あります) の使用が伴い、最終的に応答変数 (Y など) のパターンを探し、それらを入力変数 (X) のパターンと関連付けようとします。単なる定量的な調査 (ブートストラップ、シミュレーションなど) の代わりに、グラフィカルな方法を使用してパターンを探します。 パターンの相関関係は、なぜそれらのパターンが存在するのかについての説明を促すはずです。これらの説明は仮説です。仮説が策定されたら、有向サンプリング (DOE など) によってデータを収集し、因果関係の信頼性を高めます。
2. 科学/工学的アプローチ (別名科学的方法): このアプローチは、応答変数に対する因子の潜在的な影響に関する仮説から始まります。これらの仮説は、中小企業の経験、直感、教育、受け入れられている科学理論の理解などによって決まります。変数の数が多く (たとえば、15 を超える)、仮説が一般的である場合、有向サンプリングを使用して変動の成分を分離し、より小さなサブセットに分割できます。 プロセスを「妨害」しないため、生産プロセスにはこのアプローチを強くお勧めします。 潜在的な影響を与える要因の数が減ると、(あなたが指摘したように) 因果関係の信頼を築くために実験を使用できます。
どちらのアプローチがより効果的かつ効率的になるかは、常に状況によって異なります。知識の連続体が極端に少ない場合 (たとえば、主題に関する知識が不足している場合)、おそらくアプローチ 1 が有利になるでしょう。 仮説がすでに存在する場合は、アプローチ 2 の方が有利である可能性があります。
(短期的な考え方と長期的な考え方について議論することなく) 生産プロセスを実験できないことに関しては、調査がさらに複雑になる可能性があります。問題は推論空間です。 求められているのは、パイロット ラインが生産プロセスを反映することです。愚かな嘘は若者の中にあり、完全に異なる推論空間であることが多いため、これは困難です。 多くの場合、これはノイズを除去する必要があることを意味します。追加したパイロットラインに送られます（例：周囲条件を変える、複数のロットの原材料を使用する）。小規模な研究を行う場合は、効果を誇張することが重要です。因子効果 (大胆なレベル設定など) とノイズ効果の両方。誇張されたノイズ効果は、ブロッキング戦略と分割プロット戦略を使用した実験で調整できます。
私見では、シミュレーションとブートストラップ (または任意の定量的手法) は、データの取得方法と、データが将来の状態をどの程度代表しているかに完全に依存します。シミュレーションまたはブートストラップに使用されるデータが代表的でない場合、どちらの方法も役に立ちません。
Re: JMP のシミュレーションとブートストラップ法: いつ、なぜどちらを使うべきか私の返信は元の投稿とは関係ありませんが、あなたの説明には Bootstrap と Simulate の違いに関する概念が含まれています。
JMPの非線形フィットにおけるパラメータブートストラップのケースにこれらの概念をどのように適用するか明確にしたいと思っています。添付のJPGファイルでは、「非線形フィット」分析のパラメータ「推定値」列でワンクリック「ブートストラップ」機能を使用しています。これはパラメトリックブートストラップを使用しているのでしょうか？
