既存モデルの評価こんにちは、みんな、
私は予測モデルを作成しましたが、最近、QC の同僚が製品のバッチ処理を続けるために、モデル内の多くの変数のうちの 1 つである成分の 1 つを変更する必要がありました。 データがまだ十分ではなく、変更すると精度が低下するため、モデルを微調整するのではなく、既存のモデルを評価したいと考えています。 新しい成分を使用した新しい測定された応答があり、それをモデル予測と比較するために使用できます。 それがモデルを評価する 1 つの方法です。 しかし、JMP には、これを行うために使用できるツールや、さらに深く掘り下げるために使用できるツールがすでにあるのかどうか疑問に思っています。 からの何でも統計的プロセス管理 (SPC) チャート?!
いかなる提案も大歓迎です。
Re: 既存モデルの評価について@スタットマンリンク、本、そしてまたお時間をいただきありがとうございます。
1. スクリーニング係数と寄与係数の列に従って有意です。 新しい成分は別の供給者からのものです。 同じタイプの場合でも ASTM の制限内にあります。 はい、実験できます。 近い将来そうします。
1. はい、それは承知しております。 Boosted Treeではおそらく調整されたR2は得られません。
2. はい、明らかにデルタの場合です。 どのデルタを使用するかという意味でした。 しかし、それは私の独断に基づいているようです...もう一度ありがとう。
Re: 既存モデルの評価について参照してください一変量等価性このテストの詳細については、「配布」を参照してください。 見る一方向の等価性Oneway の情報については、
Re: 既存モデルの評価についてフォローアップディスカッション:
1. 以前のモデルにおける以前の化学物質はどの程度重要でしたか? 新しい化学物質はどれくらい違うのですか？ この変数を試してその効果を確認できますか?
1. R^2 はモデルの精度とは関係ありません。 R^2 は、モデルによって説明されるデータセット内の変動量です。 R^2 を単独で評価しないでください。 R^2 を調整した R^2 と比較する必要があります。 モデルの自由度を増やすと (明らかにモデルに多くの DF がある)、R^2 は常に増加しますが、重要なのはモデルに重要な変数のみを含めることです。 調整された R^2 はモデル内の重要でない項を考慮するため、R^2 と調整された R^2 の間のデルタが最小になるようにする必要があります。
2. 以前のモデル (列 1) と新しいモデル (列 2) の間の差分の列を作成するには、2 つの列を減算する式を含む列を作成するだけです。
管理図の使用について理解するには、以下を読む必要があります。
ドナルド・ウィーラーとデイヴィッド・チェンバース (1992)統計的プロセス制御を理解する『SPC出版局』（ISBN 0-945320-13-2）
ディストリビューションの場合: https://www.jmp.com/support/help/en/15.1/?os=mac&source=application&utm_source=helpmenu&utm_medium=application#page/jmp/compare-distributions.shtml
Re: 既存モデルの評価について@Mark_Baileyご回答ありがとうございます。 例とこれを JMP で実行する方法を確認できるページはありますか? とても有難い。
Re: 既存モデルの評価についてありがとう@スタットマンそして@Mark_Bailey 。 先に進み、あなたの質問に答えて、最終的に最善の考え/解決策が得られることを願っています。 お時間をいただき、また親切にサポートしていただきありがとうございます:
1. 現在のモデル (Boosted Tree) はうまく機能していると思います。 R2 は 92% で、新しい測定された応答でその予測を確認しました。QC は非常に満足しています。 私が言及している反応は、同じ 30 種類の成分を使用した作品からのものです。 最近、原材料が1つだけ変更されました。輸入できず、代替品を使用しているためです。
2. #1 で答えたと思います。 したがって、私が作成した唯一のモデルは、数年間にわたって取り組んできた 30 個の変数を使用しています。 そのうちの 1 つは最近変更する必要があり、これは似たタイプですが、化学組成がわずかに異なります。
3. ああ、ごめんなさい。 モデルからは何も削除されていません。 私が作成した唯一のモデルが依然として応答を適切に予測するかどうかを確認したいと考えています。
4. 前モデルと同じ精度が欲しい。 その 92% の R2 はトレーニング、検証、テスト セットに使用されました。 素晴らしいモデルです。 以前の 29 個の変数と新しい成分 (合計 30 個) を使用して新しいモデルを作成したい場合、適切なモデルをトレーニングするのに十分なデータ セットがありません。 したがって、十分なデータが得られるまで少なくとも 1 年は待たなければなりません。デルタについて、同じ精度が維持されていることを確認するにはどのように計算すればよいですか? メニューからモデル比較を使用できますか?
したがって、最後の段落は非常に興味深いと思います。 これらのグラフに予測式を適用する方法の例はありますか?
私はこれらのチャートの初心者です。 また、分布概要とはどういう意味ですか? 申し訳ありませんが、少し混乱しています。
Re: 既存モデルの評価について追加する@スタットマン、デモしたい等価成分を変更した後も、現在のモデルが依然として正確であることを検証します。 その目的は、帰無仮説と対立仮説を逆転させます。 等価性テストは、Distribution プラットフォームまたは Oneway プラットフォームで実行できます。 結果が実質的に同じであるとみなされる間隔を指定する必要があります。
Re: 既存モデルの評価についていくつかの考えと質問:
1. 方法良い成分を変更する前に予測モデルは機能していましたか?
2. 現在のモデルはまったく異なる成分を使用していますか、それとも科学理論的観点から「関連」していますか?
3. モデルの「微調整」が何を意味するのかわかりません。 モデルから変数を削除した場合、モデル内の他の項のベータ係数の点で、モデルは完全に異なるものになる可能性があります。 その項がモデルから削除されると、履歴データのモデルの精度はどうなりますか?
4. (式からの) 現在の予測値を含む列、測定された応答変数の列、および 2 のデルタである列を用意するというアイデアは、比較する簡単な方法だと思います。 どのくらいの違いがあなたにとって重要ですか？
管理図は診断です。 これらは、変動のさまざまなソースを比較し、最大の影響力がどこにあるのかを判断することを目的としています。 彼らは、最初に比較基準の安定性を評価することによってこれを行います (範囲グラフ - サブグループ内の変動源の安定性を、その頻度で変化する変数の関数として評価します)。 次に、これらの情報源が研究内の他の情報源に対する応答の変動に及ぼす影響を比較します (x 棒グラフ - サブグループ内の変動 (管理限界) とサブグループ間の変動源を比較します。
これで、成分が変更される前に機能していたプロセスのサンプリングを行うことができます (診断を求めずに簡単に確認するだけの場合は、時系列データの MR、X チャートを使用できます)。成分を変更した後、反応に明らかな変化があったかどうかを確認しました。 また、分布の概要を見てグラフを確認することもできます。
