如何选择独立参数以优化回归模型大家好，
在进行模型拟合的过程中，我发现选择不同的参数会产生不同的结果。获得模型后，我尝试查看学生化残差较高的数据点，并验证它们是否有效。我需要反复尝试选择参数才能获得合适的模型。下面我们来看一个例子。
模型 1：
模型 2：
如您所见，与模型 1 相比，模型 2 有许多数据点具有较高的学生化残差。当我验证这些具有较高学生化残差的数据点时，这些数据点被归类为“不良”数据点。看来模型 2 更稳健。
我的问题是，尽管两个模型的 R 平方值都很高，为什么模型 2 能筛选掉更多的不良数据点？这可能是因为我为创建模型选择的参数造成的。
问题：
-如果我将数据集新列中的数据点分类为好/坏，JMP 中是否有任何方法可以建议我应该选择哪些参数，以便模型能够更稳健地筛选出坏的数据点？
-如果我不对数据点进行分类，JMP 中是否有任何方法可以建议我应该选择哪些参数，以便模型能够更稳健地筛选出坏数据点？
希望我能从社区获得一些建议。
感激
高级统计建模基础数据分析与建模预测建模和机器学习回复：如何选择独立参数以优化回归模型我的建议是，请提供更多信息。诚然，您的第二个模型似乎比第一个模型更符合数据，但我认为这不足以决定使用哪个模型（如果有的话）。您说您选择了不同的参数，但我认为您的意思是您在模型中选择了不同的变量作为因子。决定使用哪些变量是一个复杂的问题，模型与数据的拟合程度只能部分地回答这个问题。看起来两个模型都是线性模型，因此您可以尝试各种非线性模型——尤其是在您关注异常值的情况下。关于较大的残差，我有两点想法。首先，在数据量如此庞大的情况下，我怀疑较大的残差对模型的影响不大。其次，您应该解释一下您为什么关注较大的残差（您可以尝试对数变换）。
一般来说，我需要了解更多关于您的响应变量是什么、您拥有什么类型的数据以及您的分析目的。“最佳拟合模型”只是分析的一部分。而且，大多数“最佳拟合”指标都着眼于平均值，而不是特定类型的观测值——您对较大残差的担忧似乎表明，对您而言，某些点比其他点更重要。如果是这样，那么线性回归模型可能并非最佳选择（这些较大的残差影响不大——例如，如果您更关注模型在特定观测区域的准确性，而不是平均值，那么分位数回归可能更合适）。
回复：如何选择独立参数以优化回归模型“你的分析目的是什么？”
通常，我的配方中包含五个因素（温度、力、高度、厚度和时间），用于计算产品重量。我的假设是，如果我拥有足够的历史数据，包括这些因素（温度、力、高度、厚度和时间）以及作为产品的因变量（重量），我就可以建立模型，并得到类似 y=bo+b1x1+b2x2+... 的模型公式。然后，我将这个公式应用到我的在线流程系统中，以比较实际重量和模型预测的重量。我不确定我的理解是否正确，但我假设残差越大，说明其中一个或两个因素异常的可能性就越大，从而导致残差过高。这就是我为什么想使用回归模型的原因。
回到我上面的例子，因为我有历史数据集，所以我很清楚哪个输出是坏的。然后我运行模型，看看回归模型能否筛选出坏产品。在上面的两个模型中，模型2正是我想要的，因为它指出了残差较高的数据点。然而，为了得到这个模型2，我花费了大量时间进行各种尝试，直到找到合适的模型。
回复：如何选择独立参数以优化回归模型基于历史数据建立模型既具有挑战性又存在风险。我建议利用历史数据提出假设，并通过实验设计进行验证。历史数据缺乏背景信息。例如，您是否了解每个 x 值和 Y 值的测量误差？您是否了解数据收集期间其他因素的影响？是否存在数据失真问题？是否存在潜在的滞后因素效应？原材料的波动情况又如何？虽然您的想法没错，但却存在风险。如果您得到较大的残差值，这表明模型存在问题，而不是像您所说的数据“不好”。如果您需要评估重量随时间变化的稳定性的工具，抽样是更有效的方法。
虽然没有绝对正确的方法，但在利用历史数据构建模型时，我通常建议采用加性方法。此外，这离不开专家支持。从一阶模型开始，然后根据需要增加阶数。有很多统计量可以提供帮助（例如，调整后的R平方、调整后的R平方-R平方、均方根误差、p值、残差、AIC、BIC等）。残差是实际值与模型预测值之差。它们用于深入了解基本假设（例如，均值为0的随机误差，方差恒定）。残差有助于识别异常值，即模型对特定数据点的预测效果不佳。残差还可以评估均值为0的随机误差假设是否成立，这同样表明模型存在问题。残差通常可以检测出模型的不足之处，例如是否需要引入非线性项。
