偏最小二乘参数方差希望这个问题有道理。 我正在进行逻辑回归，N = 2000观察和p = 160协变量。 设计矩阵中存在明显的相关结构，我可以看到，当我进行简单的逻辑回归时，只需查看VIF。 然后我做了PLS并获得了一组不同的系数，尽管由于PLS没有进行变量减少，因此仍有160个系数。 PLS报告中是否有位置可以找到新系数集的方差，看它们是否减少了？我想看看这些是否有意义，因为我可能会对差异进行交易偏差。
Re：偏最小二乘参数方差谢谢彼得，
困扰我的一件事是选择自适应套索时模型的巨大差异。 您可以在自适应模型中看到Scaled-LogLikelihood值没有明确定义的最小值。 另一个问题是你已经建模了Y = 0，你在模型中得到59个术语。 如果您的目标是Y = 1，那么您将得到一个完全不同的模型，包含71个术 我不懂。 如果没有自适应集，无论我是0还是1，模型都是相同的，除了术语有不同的符号。 由于我发现自适应结果难以理解，更不用说向我的客户解释，我坚持使用香草套索。
使用香草套索，我们可以在混淆矩阵中获得合理的性能，阈值为.1522。 我认为可能符合所需的敏感性和特异性。
也就是说，我们仍然存在是否需要进行正规化的问题。 即使是香草逻辑回归也导致te A AUC略微接近。 但我们不想使用LR，因为我们知道存在严重的相关性。 因此，如果没有过度拟合的重要证据，我将转向PLS，以便仅解决相关性问题。 但由于JMP将目标建模为连续目标，因此我们未在报告中获得所有ROC，AUC和混淆矩阵。 我可以通过将logit应用到线性预测器来获得它们，我认为这是合法的...并且回到我原来的问题，关于如何处理模型比较的PLS结果，而其他模型严格基于logit转换线性预测器。
顺便说一句，我非常感谢你深入研究这些问题，因为我自己彻底了解我正在做的事情对我来说非常重要。
我已经包含了与更多模型相同的数据表。
Re：偏最小二乘参数方差当您有足够的观察时，一种常用的检查过度拟合的技术是使用Predictive Modeling平台集合中的Make Validation子平台将原始数据集划分为训练，验证和可选的测试分组。对于分类问题，最佳做法是在Y上创建分层样本，以便在每个培训，验证和可选测试组中具有相同比例的所有响应级别。您的响应在1级和0级之间存在相当大的不平衡。所以你可能想尝试一些平衡接近50/50的场景？一旦你适合模型，然后检查每个分组的ROC曲线......如果与每个分组相关的AUC相当接近......那么就没有过度拟合的证据。还要查看Confusion Matrices ...我对我在原始数据表中创建的训练/验证集的结果感到有点担心......模型做得很糟糕，将实际1的错误分类为0。无论我使用哪种建模方法，target = 0。请参阅附加数据表中的三个不同分析脚本... logistic，Gen Reg / Lasso和Neural Net。如果从实际的角度来看这是有问题的，那么你的模型根本就不合适......忘记过度拟合......它只是一个糟糕的分类器。
Re：偏最小二乘参数方差谢谢彼得，
在我的例子中，它实际上是关于预测变量的相关结构。 我不相信在我的申请中可以减少变量。 事实上，这是一个我还没有回答的问题，我正在寻找一种确定的方法，以测试即使我使用所有预测器也会发生过度拟合。 我有N = 1839个观察值，p = 148个协变量。 我已经包括了这张桌子。 如果我们只使用常规回归（将标称输出视为连续），我们可以看到有很多非常大的VIF。 所以我们知道在进行逻辑回归时我们也会遇到问题。 我们有相关的问题，但可能不是一个过度拟合的问题。 这就是我选择PLS的原因。 如果您对变量进行聚类，则只获得35个聚类，这表明148个协变量中只有35个左右的信息功能。 那么为什么要专注于消除它们中的任何一个而不仅仅是使用一种强健的相关方法。
当我运行逻辑回归时，我得到的AUC仅为.815。 因此即使使用所有协变量也不能完美契合。 AUC <1是判断过度拟合不是问题的合法方式。
我欢迎您的任何想法。
Re：偏最小二乘参数方差基因：
你的问题是有道理的......但是我可以提供另一种思路吗？如果变量减少是您实际问题的关键，您是否考虑使用适合模型 - >广义回归个性/平台中的Lasso或Elastic Net子个性？这些技术适用于预测变量之间的多重共线性......但它们也有一些重要的特性需要考虑......这些在JMP文档中有解释。两者都可以与分类响应一起使用......并且“最终”参数估计置信区间与参数估计表一起报告。
