線形近似と対数近似のパフォーマンスを評価するこんにちは、みんな、
線形モデルと対数モデル（つまり、応答のみを対数変換したもの）の性能を評価する方法について、何かアドバイスがあれば教えていただけないでしょうか。予測可能性と精度の観点から、どちらのモデルが優れているかを評価しようとしています。
最初は R 二乗値と RMSE 値を比較しようと思いましたが、2 つのモデルの単位が異なるため、直接比較することはできないようです。
よろしくお願いいたします、ヤンネマン
高度な統計モデリング基本的なデータ分析とモデリング予測モデリングと機械学習信頼性分析Re: 線形近似と対数近似のパフォーマンス評価こんにちは@Janneman 、
モデルの目的とその適用性/対象範囲/一般化をより深く理解するために、答えるべき質問がたくさんあるかもしれません。
- モデリングの目的は何ですか: 説明的、予測的、またはその両方...?
- データはどのように収集されましたか？データ収集には何らかの設計が関わっていますか？
- モデルの期待される「パフォーマンス」について考えるのに役立つその他の質問： ベストモデル
モデルの説明性能（R² / R²調整値、単位なし）、予測性能（RMSE、MAEなど）、統計的有意性（モデルのp値、個々の項のp値など）、モデルの複雑性／調整（AICc、BICなど）を比較するための評価指標に加えて、残差の可視化と分析を通してモデルをまず評価し、「デバッグ」することが重要だと思います。モデルの比較と選択に関する詳細については、 「モデルの削減」を参照してください。
応答を変換するということは、平均応答と分散応答の両方を変換することを意味します。その後、変換された応答モデルの残差が、元の応答モデルよりも回帰モデルの仮定をよりよく尊重するかどうかを確認できます。状況が改善しないように思われる場合は、平均応答と分散応答を個別に処理する一般化回帰モデルを使用できます。このタイプのモデルは、すべてを変換しようとするのではなく (たとえば、log 変換によって)、リンク関数を使用して平均を予測変数の線形関数に変換し、分散関数を使用して分析で分散の異質性を考慮します。応答を完全に変換するか (log 変換またはBox-Cox Y 変換によって)、または一般化回帰モデルを使用すると、元のモデルと同等かそれ以上に単純なモデルになります (モデル内の項が少なくなるため、AICc/BIC が低くなります)。
応答を変換する必要があるという強い兆候がない限り、応答を変換しません (応答を変換することで、応答を変換したモデルが簡素化され、残差パターンが改善されます)。
これら 2 種類のモデルの違いの詳細については、適合モデルにおける「最小二乗法」と「一般化線形法」の違いを参照してください。
この統計的評価が完了し、両方のモデルを維持できる場合は、正規化された予測メトリックや単位のない予測メトリックを使用してモデルを比較し、変換による偏った比較を回避できます。
この回答がお役に立てれば幸いです。
Re: 線形近似と対数近似のパフォーマンス評価こんにちはビクターG 、
まず初めに、丁寧なご回答をありがとうございます。
このモデルの目的は、予測と説明の両方を実現することです。データは多因子CCD法によって収集されました。
応答の分布からは、データが正規分布しているのか対数正規分布しているのか明確には分かりません。そのため、線形分布と対数正規分布の両方を用いて、どちらがより予測力と説明力に優れているかを評価します。
私は、p < 0.05 の因子が反復プロセスで選択される段階的プロセスを使用してモデルを適合させました。
両モデルを維持するのに十分な統計的評価だとお考えですか？さらに、線形モデルと対数線形モデルの決定係数（R2）と調整決定係数（RE2）は非常に似ていますが、RMSEにはかなり大きな影響を与えます。そのため、両モデルを公平に比較する方法を探しており、最適なモデルを選択しました。
モデルを比較し、変換による偏った比較を避けるために、他にどのような正規化された予測指標や単位のない予測指標を使用できますか？ R2/R2adjについては既に言及されています。
Re: 線形近似と対数近似のパフォーマンス評価@Victor_G さんの投稿にすべて同意します。唯一付け加えたいのは、RMSE の比較についてです。対数変換モデルの RMSE は、変換されていないモデルの RMSE と同じスケールではないことは明らかです。
これを修正するには、次の操作を実行できます。
- すべての観測について対数スケールで予測を取得します。
- これらの予測を指数化して逆変換します。
- ここで、スミアリング再変換（Duan）について調べてみましょう（Wikipediaにわかりやすい記事があります）。これは基本的に、逆変換された予測値にスミアリング定数を掛け合わせることで、実行中の変換を補正するものです（Jensenの不等式を参照）。そうしないと、偏った予測値になってしまいます。
- 逆変換された予測値と変換されていない観測値を使用して残差を計算します。
- 最後に、それらの残差を使用して RMSE を計算します。
次に、この RMSE を通常の線形モデルの RMSE と比較できます。
Re: 線形近似と対数近似のパフォーマンス評価まず、回帰モデルが帰無仮説の下で仮定したように、応答は正規分布すると期待されるだけです。予測変数のいかなる影響も、応答の非正規分布を生み出します。残差の条件付き応答は、この仮定を評価するより良い方法です。
次に、2 つのモデルを、1 つは応答への影響に関心のあるものとして、もう 1 つは応答の大きさの順序への影響に関心のあるものとして考えることもできます。
Re: 線形近似と対数近似のパフォーマンス評価まず、 @マーク・ベイリーが説明しているように、正規分布は残差に対する仮定であり、データそのものではありません。その背後にある考え方は、モデリング後にはデータにパターンは残らず、ランダムな誤差が正規分布しているだけであり、すべてのパターンは回帰モデルによって捕捉されるというものです。
第二に、ステップワイズ選択法は、想定モデル（中心複合設計にリンクされた応答曲面モデル）を用いてデータを収集しているため、計画された実験データには適切ではない可能性があります（特にp値の閾値がある場合）。使用するプラットフォームと適用するルールによっては、 効果の遺伝を強制しないモデルが作成され、高いパフォーマンスを示す一見満足のいくモデルが生成される場合がありますが、そのパフォーマンスは適切に一般化されません（堅牢ではありません）。ルールで遺伝を強制するか、GenRegモデルでプルーニングアプローチを使用する方が適切です（または、完全な想定モデルから始めるだけでも良いでしょう）。ステップワイズ回帰のその他の落とし穴：
- モデルのR²値は上方に偏っている
- 効果の有意性を判断するために使用されるFおよびカイ二乗検定統計量は、宣伝されている分布を持っていない。
- モデル係数の信頼区間が小さすぎる（標準誤差が縮小している）ため、モデル係数が過大評価されている
- モデル係数のP値は、暗黙の多重比較に基づいているため、もはや意味をなさない。
- モデル予測変数の共線性は、選択された変数に大きな影響を与え、選択を恣意的なものにしてしまう。さらに、共線性について適切な対処さえ行われていない。
段階的選択アルゴリズムは統計的推定値をほぼ常に台無しにする
主な目的が予測性能である場合は、この目的を優先し、それを確実に達成するように評価指標を選択する必要があります。統計的有意性は必ずしも優先されない場合が多いため（重要/効果の高い項のp値が低い（有意な）値を持つ場合でも）、ステップワイズ選択における停止規則としてAICcまたはBICを使用することは、モデル構築においてより適切である可能性があります。比較と選択のために、モデルの残差からMAPE（平均絶対パーセント誤差）を次の式に従って計算するか、RMSPE（平均二乗パーセント誤差）を次の式に従って計算することができます。
他にも利用できるメトリックはありますが、これらの「パーセンテージ」バージョンは、同じパーセンテージ スケールで 2 つのモデルを比較するのに役立ちます。
この補足的な回答がお役に立てれば幸いです。
