回帰モデルを最適化するために独立パラメータを選択する方法こんにちは、チームの皆さん
モデルの適合を行っている際に、パラメータの選択によって結果が異なることに気づきました。モデルを作成した後、スチューデント化残差が大きいデータポイントを調べ、それらが妥当かどうかを検証しました。適切なモデルを得るには、パラメータの選択作業を何度も繰り返す必要があります。以下の例を見てみましょう。
モデル1:
モデル2:
ご覧のとおり、モデル2にはモデル1と比較して、スチューデント化残差の高いデータポイントが多数あります。これらのスチューデント化残差の高いデータポイントを検証したところ、これらのデータポイントは「Bad」に分類されました。モデル2の方が堅牢であるようです。
2つのモデルともRSquareスコアが高いのに、モデル2ではなぜより多くの不良データポイントを除外できたのか、疑問に思います。モデル作成時に選択したパラメータが原因かもしれません。
質問:
- データ セットの新しい列でデータ ポイントを良好/不良として分類する場合、モデルがより堅牢になり不良データ ポイントを除外できるように、どのパラメーターを選択すべきかを提案する JMP のメソッドはありますか。
- データ ポイントを分類しない場合、モデルをより堅牢にして不良データ ポイントを除外できるように、どのパラメーターを選択すべきかを提案する JMP のメソッドはありますか。
コミュニティからアドバイスをいただければ幸いです
感謝する
高度な統計モデリング基本的なデータ分析とモデリング予測モデリングと機械学習回帰モデルを最適化するための独立パラメータの選択方法より多くの情報を提供することをお勧めします。確かに 2 番目のモデルは 1 番目のモデルよりもデータに適合しているように見えますが、どちらのモデルを使用するか (またはどちらか一方を使用するか) を決定するにはそれだけでは不十分だと思います。異なるパラメーターを選択したとのことですが、モデルの要素として異なる変数を選択したという意味だと思います。どの変数を使用するかを決定することは複雑な問題であり、その答えは、モデルがデータにどの程度適合しているかによってのみ部分的に得られます。どちらのモデルも線形モデルのようですので、特に外れ値が気になる場合は、さまざまな非線形モデルを試してみるとよいでしょう。大きな残差に関して、2 つの考えがあります。1 つ目は、データが非常に多いため、大きな残差がモデルに大きな影響を与えるとは思えないということです。2 つ目は、大きな残差を懸念する理由を説明する必要があります (試すことができる 1 つのオプションは対数変換です)。
一般的に、応答変数が何であるか、どのようなデータを持っているか、そして分析の目的は何であるかについて、もっと詳しく知る必要があります。「最適なモデル」は分析の一部に過ぎません。また、「最適なモデル」の尺度のほとんどは、特定の種類の観測値ではなく平均値に基づいています。大きな残差に対する懸念は、特定の点が他の点よりも重要であることを示唆しているように思われます。もしそうであれば、線形回帰モデルは推奨されない可能性があります（大きな残差はそれほど重要ではありません。例えば、平均ではなく特定の観測領域におけるモデルの精度を重視する場合は、四分位回帰の方が適しているかもしれません）。
回帰モデルを最適化するための独立パラメータの選択方法「分析の目的は何ですか？」
通常、製品（重量）を作るためのレシピには、5つの要因（温度、力、高さ、厚さ、時間）があります。製品として考慮される要因（温度、力、高さ、厚さ、時間）と従属変数（重量）の十分な履歴データセットがあれば、モデルを作成して、y = bo + b1x1 + b2x2 + ...のようなモデルの式を取得できると仮定します。次に、この式をオンラインプロセスシステムに適用して、実際の重量とモデルから予測された重量を比較します。正しいかどうかはわかりませんが、残差が大きいほど、要因のうち1つまたは2つが異常である可能性が高く、残差が大きくなると仮定しました。これが、この目的で回帰モデルを使用する理由です。
上記の例に戻ると、履歴データセットがあり、どの出力が不良品であるかを明確に把握していました。そこで、回帰モデルが不良品を選別できるかどうかを確認するために、モデルを実行しました。上記の2つのモデルのうち、モデル2は残差の大きいデータポイントを指摘したため、私が探していたものでした。しかし、このモデル2を得るためには、適切なモデルが得られるまで、多くの時間をかけて様々な試行錯誤を重ねる必要がありました。
回帰モデルを最適化するための独立パラメータの選択方法履歴データに基づいてモデルを開発することは、困難で危険です。履歴データを用いて、実験計画を通して検証可能な仮説を立てることをお勧めします。履歴データには文脈が欠けています。例えば、各xとyの値に関連する測定誤差を把握していますか？データ収集中に他の要因がどのような影響を与えていたか把握していますか？データの歪みの問題はありますか？潜在的な要因の遅延効果はどうですか？原材料のばらつきはどうですか？あなたの考え方は間違っていませんが、危険です。大きな残差値が得られた場合、それはモデルの問題を示しており、あなたが示唆するような「不良」データではありません。経時的な重量の一貫性を評価するツールが必要な場合は、サンプリングがより効果的なツールです。
唯一の正しい方法はありませんが、履歴データからモデルを構築する場合、私は通常、加法的なアプローチを提案します。また、これは SME なしでは実行できません。最初の順序から始めて、必要に応じて順序を追加します。役立つ統計量は多数あります (例: R-sq Adj、R-sq Adj-R-sq、RMSE、p 値、残差、AIC、BIC など)。残差は、(モデルから) 実際に予測された値です。残差は、基本的な仮定 (NID(0、定数分散)) に関する洞察を提供するために使用されます。残差は、モデルが特定のデータ ポイントをうまく予測できない場合に、外れ値を識別するのに役立ちます。また、平均 0 のランダム エラーの仮定に関する問題を評価することもでき、これもモデルの問題を示唆しています。残差は多くの場合、モデルの不適切さを検出できるため、非線形項を導入する必要があります。
