关于回归分析的“参数估计”输出,我可以显示标准化偏回归系数(标准化β系数),但我不知道如何显示这些系数的95%置信区间。如果有人知道如何操作,请告知,我将不胜感激。
感谢您的合作。
PS:我原以为可以使用公式“标准化偏回归系数 = 偏回归系数 x (解释变量的标准差 / 因变量的标准差)”计算标准化偏回归系数的 95% 置信区间,所以我尝试使用从“单变量分布”中获得的“解释变量的标准差”和“因变量的标准差”来计算标准化偏回归系数(标准化 β),但计算值与报告中的标准化偏回归系数(标准化 β)略有不同。
(日语)
■关于点估计:正如您所提到的,线性回归分析模型中常用最小二乘法 (OLS) 估计的偏回归系数的点估计如下:
标准化偏回归系数 = 偏回归系数 × (解释变量的标准差 / 因变量的标准差)
这就是它们之间的关系。
然而,在“模型拟合”中,缺失值默认使用列表方法处理。如果因变量 y 和自变量 x1, x2, ..., x_p 中哪怕只有一个缺失值,列表方法都会从计算中排除该行。
如果所有解释变量都是连续的,则可以使用“多元相关”方法在逐个移除变量后找到均值和标准差。
(1)选择[分析] > [多元相关性] 。
(2)在弹出的启动窗口中,在左下角的“方差估计”组合框中选择“列表式” 。
(3)在[Y, 列]中指定所有因变量 (y) 和自变量 (x1, x2, ... x_p) 对,然后单击[确定]按钮。
(3)点击顶部“多元”旁边的红色三角形按钮,然后选择[基本统计] > [多元基本统计] 。
或者,您可以按照以下步骤创建一个仅包含无缺失值的数据表:
(1)选择[表格] > [显示缺失值模式] 。
(2)在[添加列]中指定所有因变量(y)和自变量(x1,x2,...x_p)对,然后单击[确定]按钮。
(3)选择已创建数据表的第一行。在第一行中, “缺失值列数”为 0,所有“模式”均为 0。
(4)激活原始数据表。由于上述(3)步骤的操作,仅选中没有缺失值的行。
(5)选择[表] > [子集] 。
(6)使用单选按钮选择“选定行”和“所有列” ,然后单击“确定”按钮。
如果数据中没有缺失值,且与手动计算结果的差异非常小,则可能是因为您在手动计算时对数字进行了四舍五入。JMP 报表显示的是四舍五入后的数字。要显示更多小数位数,请右键单击表格中的某一列,然后从出现的菜单中选择“列格式” ,再将小数位数更改为“20”或类似值。或者,右键单击表格,然后从出现的菜单中选择“输出到数据表” 。这将把结果输出到 JMP 数据表中,您可以在其中单击单元格以复制未四舍五入的详细数字。
仅当数据的缺失机制完全随机(MCAR)时,列表法才是处理缺失值的有效估计方法。如果您使用的是 JMP Pro 或 JMP 学生版,可以在“结构方程模型”平台中执行假设多元正态分布的全信息最大似然估计。您可以从【分析】 > 【多元】 > 【结构方程模型】启动“结构方程模型”平台。 “结构方程模型”平台需要使用路径图指定模型。如有兴趣,请回复。假设多元正态分布的全信息最大似然估计适用于总体分布为多元正态分布且缺失机制为随机(MAR)的情况。
■关于置信区间:对于标准化偏回归系数的置信区间,由于点估计值为 b sy/sx_j(其中 b 为偏回归系数,sy 为因变量的标准差,sx_j 为第 j 个自变量的标准差),因此可以使用 (l sy/sx_j, u sy/sx_j) 作为近似置信区间。这里,l 为置信区间的下限,u 为上限。然而,这种近似仅在 sy 和 sx_j 的估计精度较高且 sy/sx_i 可视为常数时才有效。通常情况下,与 b 一样,sy 和 sx_j 也存在一定的变异性,因此这种方法并不理想。
对于简单回归系数,标准化偏回归系数与相关系数一致。当总体分布为二元正态分布时,相关系数的抽样分布在 Cramer (1946, pp.397-401) 中给出。虽然需要数值积分,但理论上可以获得精确的置信区间(当总体分布为二元正态分布时)。然而,由于需要数值积分,在实践中,Fisher z 变换法通常被广泛用于获得置信区间。JMP 的多元相关分析也使用 Fisher z 变换法来获得相关系数的置信区间。
自助法是一种统计方法,常用于难以找到能够提供良好近似值的样本分布的情况,不仅适用于标准化偏回归系数。自助法也可以在Model Pair的线性回归分析和“结构逻辑模型”平台中执行。
<在使用模型配对的线性回归分析中>
(0)下面的(5)中的计算将需要一些时间,因此,如果您在 JMP 中执行任何分析或数据处理,请保存以防万一。
(1)右键单击报告中的“参数估计”表,然后选择[标准β] 。
(2)右键单击显示的“标准 β”列,然后选择[Bootstrap] 。
(3)指定[自助法样本量] (例如,10,000 次)
(4)指定一个随机数种子值,以确保结果可重复。
(5)单击[确定]按钮。
→ Bootstrap 抽样即将开始。这需要一些时间。
(6)在创建的数据表中,单击“单变量分布”表脚本左上角的绿色三角形按钮。
以上步骤将显示自助法分布及其计算出的置信区间。
“BC”代表“偏差校正”,bootstrap置信区间是使用偏差校正百分位数方法计算的,如Efron(1982,第82-84页)所述。
*当对模型配对进行线性回归分析且存在缺失值时,如果使用自助法,最好在使用上述“缺失值模式显示”功能获取完整数据后再运行。无论如何,与点估计一样,它仅适用于完全随机缺失(MCAR)数据。
<适用于JMP Pro或JMP学生版中的结构方程模型>
(0)下面的(2)中的计算需要一些时间,因此,如果您在 JMP 中执行任何分析或数据处理,请保存以防万一。
(1)绘制路径图并拟合线性多元回归模型后,从模型报告中选择“标准化参数估计” 。
(2)从报告顶部的“结构模型”的红色三角形按钮中,选择[推理方法] > [Bootstrap 推理] 。
■补充
虽然 JMP、JMP Pro 和 JMP 学生版均不支持多重插补法,但有一种称为多重插补的方法来处理缺失数据。与自助法类似,多重插补法是一种通用的统计技术,无需特别复杂的分析推导。理论上可以同时进行自助法和多重插补,但 JMP、JMP Pro 和 JMP 学生版均不支持多重插补法。此外,即使可行,计算时间也可能相当长。
■参考文献
Cramér, H.(1946)统计学的数学方法。普林斯顿大学出版社。
Efron, B.(1982) Jacknife、Bootstrap 和其他重采样方案。工业与应用数学学会。
”大変丁寧なご回答をいただき、誠にありがとうございます。お陰様で、JMPの標準偏回帰係数と計算した値で違いが生じる理由や、計算で求めた標準偏回帰係数の信頼区間が近似値となる理由をよく理解することができましたご説明いただいた標準偏回帰係数の信頼区間を求める方法も試してみたいと思います。また追加でご質問させていただくかもしれませんが、どうぞよろしくお願い致します。
使用“<使用模型拟合进行线性回归分析>”中解释的自助法,我获得了简单回归分析中标准化偏回归系数的95%置信区间。谢谢!
我还有一个后续问题:这种方法适用于多元回归分析吗?我在多元回归分析的标准 beta 列中选择了“bootstrap 方法”,实际运行后,得到的值与使用偏回归系数的 95% 置信区间乘以(解释变量的标准差/因变量的标准差)计算出的值非常接近。很抱歉又问了一个问题,但非常感谢您的帮助。
自助法通过对原始数据进行重复抽样来近似置信区间,可用于多元回归分析。虽然当样本量过小或解释变量数量过多时,自助抽样可能导致多元回归估计失败,但它既可用于简单回归分析,也可用于多元回归分析。下图中的红线代表使用偏差校正百分位法得到的自助置信区间。

当估计分布边缘的参数时,例如最大值或最小值,或者第 1 或第 99 百分位数,自助法总是会失败。因为自助样本的最大值(或最小值)永远不可能超过数据的最大值(或最小值),所以自助估计总是会失败。
我忘记提及一个重要点:自助法是基于渐近理论的,当样本量较小时,其近似效果会变差。
再次感谢您的回复。我现在明白了引导方法在哪些情况下会失效。
我使用了至少 400 个数据点,而且我不需要估计“分布”边缘的参数,所以我认为这种方法完全可以接受。
然而,“多元回归”分析中使用的解释变量的最大数量为 19,如果这个数字太大,最好不要使用。