具有相关变量的多元回归大家好，
我需要一些关于多元回归的帮助，非常感谢任何帮助！ 先感谢您 ：）
简而言之，这是一个问题 -
- 我有连续的 Y 和 16 个 X
- 当我运行多变量分析时，我可以看到一些项是相关的。 说 X1 和 X2 是相关的，我只能使用其中一个
- 但是，我确实想任意选择 X1 而不是 X2。 所以，我现在正在做的是先用 X1 然后用 X2 运行回归。 然后，我将模型与这些术语进行比较。 但是我需要运行的组合数量实在是太多了，手动操作非常耗时并且容易出错。
- 想检查是否有更聪明的方法来解决这个问题。
- 我知道这可以通过编写脚本在某种循环中运行并突出显示最佳模型来解决 -
- 但是，没有编写脚本的知识。
- 任何其他提示，技巧也很棒！ （我没有 JMP Pro）
期待您的来信。
此致，
维普
美国能源部其他脚本回复：具有相关变量的多元回归太感谢了@David_Burnham ！ 非常感谢您的反馈，这非常有帮助。 非常感激。
此致，
维普
回复：具有相关变量的多元回归谢谢@statman分享您的想法。 这非常有帮助。 非常感激 ：）
此致，
维普
回复：具有相关变量的多元回归再次感谢你，维克多。 这是非常有帮助的反馈。 我尝试了逐步回归和 PCA 方法，这对我们有很大帮助。
再一次感谢你。
此致，
维普
回复：具有相关变量的多元回归你好@vipul ,
不同的模型将导致处理多重共线性的不同方法和方法。
考虑到 X1 和 X2 是一对与其他预测变量高度相关的预测变量，模型将做出不同的反应：
- 使用逐步回归方法（或决策树），模型将从模型中删除高度相关的预测变量，并仅保留信息量最大的预测变量。 在你的情况下，你最终只会得到 X1 或 X2（取决于哪一个会给你最好的建模/性能）。
- 使用随机森林（或 JMP 的预测因子筛选）方法，将构建多个决策树，每棵树的预测因子子集。 这意味着 X1 和 X2 将在相同数量的预测变量子集中进行测试，因此它们将有相同的机会在模型中被选中。 根据哪个带来更多信息，两个预测变量中的一个将比另一个具有更高的特征重要性（模型贡献），但模型中可能会考虑这两个。
- 使用 PLS/PCA 方法，您可以将预测变量的数量减少到不相关预测变量的较小子集，因此您可以保留大部分预测变量信息（取决于您保留的主成分数量）。 您的输入已转换/组合且不相关（新的 X' 可能会创建为 X1 和 X2 的组合）。
您将选择的方法取决于模型的性能，但更重要的是，取决于您对该主题的领域知识。 不同的建模可能会导致不同的解释和关于不同预测变量的意义或重要性的不同假设，因此领域知识应该指导您选择最合适/合理的模型。
希望对你有帮助
回复：具有相关变量的多元回归David 提供了一些平台供您尝试。 组合不是统计过程，而是工程/科学过程。
让我给你一个假设的例子：
想象一下，您正在尝试确定哪些因素会影响使用橡皮筋发射弹丸的距离（Y = 距离）。 许多感兴趣的变量（射弹质量、射弹几何形状、发射角度、环境气流、释放技术等）中的两个是：
1. X1 = 橡皮筋被拉伸的长度
2. X2 =“弹簧常数”，通过改变橡皮筋的宽度而变化
这两个变量在数据集中看起来是相关的，并且都对提供给系统的能量有直接影响（假设）让我们认为它们是共线的。 与其在实验中将它们视为独立变量，不如将它们组合成一个因子，其水平包括：
- = 较短的拉伸长度和较窄的宽度带
+ = 较长的拉伸长度和较厚的宽度带
然后在实验中将这个“组合因素”与许多其他因素进行比较。 如果这个因素显得很重要，可以运行后续实验以进一步了解如何最有效地管理能量进入系统（这成为一个新的响应变量）。
回复：具有相关变量的多元回归仅供参考，您描述的在所有 X 上一次安装一个的过程由响应筛选在 Analyze > Screening 下找到的平台。
回复：具有相关变量的多元回归您可能还想看看聚类变量分析>聚类下的实用程序。相关的 X 将被放置在同一个集群中。然后，对于每个集群，您可以选择一个“代表性变量”以包含在回归中。红色三角形中甚至还有一个“启动适配模型”选项。
回复：具有相关变量的多元回归你好@statman ,
感谢您花时间分享您的观点。 您能否详细说明如何组合多个相关的 X？
再次感谢您。
此致，
维普
回复：具有相关变量的多元回归你好@维克多_G
感谢您抽出时间回答。 我一定会立即使用预测筛选模块。 希望它能提供一些线索。
但是，您认为这会解决多重共线性问题吗，因为（比如说）X1 和 X2 将再次成为最有可能的预测变量，对吗？
回复：具有相关变量的多元回归这是我的想法：没有统计程序选择当存在多重共线性时，您的研究中应包括哪些因素。 该决定必须由 SME（主题专家）做出。 可能影响这一点的事情包括：
1. 管理 X 的难易程度或成本
2. 是否纳入的科学依据（假设）（我建议这些是预测而不是在获得数据后发展）
3.对其他Y的影响
现在，您还可以做其他事情：
1. 将相关的 x 组合成一个 X
2. 开发备用响应变量
3. 尝试不同的转换（例如 PCA），尽管这可能会混淆科学关系
4. 对因素进行实验
回复：具有相关变量的多元回归你好@vipul ,
也许在“Fit Model”平台中使用“Stepwise”特性确实符合您的需要，因为 JMP 将尝试使用倾向于创建具有最小 BIC/AICc 或具有 p 值阈值的模型的变量。 通过点击平台的红色三角形，还有一个选项可以测试“所有可能的模型”，您必须在其中指定模型中最多的项（因子）数量，以及要查看的最佳模型的数量。 然后 JMP 将提供一个表格，其中包含所有测试的模型，以及每个模型中的项数、R²、RMSE、AICc 和 BIC，如果您发现一些足够有趣的模型，您可以运行任何测试的模型。
但是，对于数据集中的多重共线性问题，我认为这不是一个好主意。 如果您有 JMP 和具有高度相关变量的数据集，则可以尝试这些选项，具体取决于您是否对可解释性和/或可预测性感兴趣：
- 使用“预测筛选”（在分析 -> 筛选中）找到对您的响应最重要的变量。 选择 n 个最重要的（你可以改变阈值 n，你想要保留的重要变量的数量取决于领域专业知识或任意阈值，如“我想要 5 个顶级预测变量”），点击“复制选择”，然后使用您复制的变量运行回归模型（拟合模型）。
- 使用主成分分析，将最初的 16 个 X 减少为一组较低的独立变量，其中包含大部分初始信息。 然后尝试使用您的主成分而不是原始 X 的回归模型。
- 使用偏最小二乘法（分析 -> 多变量 -> 偏最小二乘法）创建具有相关变量的模型。
我认为这些选项可能比尝试拟合所有可能的模型并根据 R² 或其他指标选择最佳模型更稳健/可靠，因为您提到的原始方法会删除一些可能仍然包含有价值的相关 X信息。
还有许多其他可能的选项，但在 JMP Pro 中可用（例如，使用惩罚回归模型技术）。
我认为前三个选项可能已经对您有所帮助 
