332747_zh-TW

liliconcom

如何根據 Minimize() 函數傳回的 Hessian 矩陣計算參數標準差（或標準差）？

你好，

我在使用帶有可選參數<的minimum()計算參數估計的標準誤差時遇到問題

我對 Hessian 矩陣的（相當基本的）理解是對角線元素應該是方差倒數的良好近似。然而，我在提取的值和從簡單線性迴歸得到的值之間沒有得到很好的一致性。

為了說明這一點，這裡舉個例子：

x = [1.309, 1.471, 1.49, 1.565, 1.611, 1.68];
y = [2.138, 3.421, 3.597, 4.34, 4.882, 5.66];
b1 = 1; /*starting value for b1 */
b2 = 5; /*starting value for b2 */
sseExpr = Expr(
       Summation( i = 1, 6, (y[i] - (b1 +b2*x[i] )) ^ 2 )
);
//Use Minimize 
{objVal, iters, gradient, hessian}  = Minimize( sseExpr, {b1, b2} ,<<SHOWDETAILS></SHOWDETAILS><BR />

結果如下圖所示

nParm=2  Newton   ******************************************************

Iter   nFree   Objective  RelGrad    NormGrad2  Ridge   nObj   nGrad   nHess   Parm0      Parm1      
0      2       128.6484   20788.83   4982.355   0       1      1       1       1          5          
1      2       0.074605   7.56e-25   1.88e-25   0       1      1       1       -10.427    9.489346   
Convergence SUCCESS: Gradient
Time: 0.0166666667209938


********************************************************************
************     Parameter Estimates      **************************
********************************************************************
Term           Estimates      Std Error      t Ratio        Prob>|t|       
********************************************************************
Intercept      -10.42696      0.72006        -14.48064      0.00013        
b1             9.48935        0.47199        20.10486       0.00004        
********************************************************************
RSquare:0.990201015051942
RSquare Adj:0.987751268814928

"Parameter b1=";
Estimates[1] = -10.4269614637334;
b1 = -10.4269614637335;
"Parameter b2";
Estimates[2] = 9.48934569169413;
b2 = 9.48934569169416;
"Std_error in b1";
std_error[1] = 0.720062429496937;
min_stderror[1,1] = 1.5220348519284;
"Std_error in b2";
std_error[2] = 0.471992539497802;
min_stderror[2,2] = 0.997676125760012;

雖然參數估計值完全一致，但誤差卻不然。

因此問題是：如何根據 Minimize() 函數傳回的 Hessian 矩陣計算參數標準差（或標準差）？

感謝您的協助

數據探索和視覺化品質和工藝工程回复：如何從 Minimize() 函數返回的 Hessian 矩陣計算參數標準誤差（或標準差）？

一位同事幫助我弄清楚出了什麼問題。

標準誤差的計算不正確。 它應該是：

{objVal, iters, gradient, hessian} = Minimize( sseExpr, {b1, b2} ,<<SHOWDETAILS></SHOWDETAILS>if(!isempty(objVal),<BR />y_est=b1+b2*x;<BR />stderror=sqrt(sum((y-y_est)^2)*inverse(hessian/2)/(nrows(x)-nrows(Estimates)));<BR />);

 

它給出了與線性回歸相同的標準誤差。