人们是否曾经使用 PLS 对历史数据进行变量选择，以找到作为 DOE 输入的重要变量？我看过几次 JMP 网络研讨会，他们使用 Bootstrap 森林来查找 VIP 变量，通常随后使用弹性网络或逐步回归来进一步缩小可能对未来 DOE 很重要的术语？
我很好奇是否有人在这个过程中使用 PLS 回归 - 也许在 Bootstrap 森林之后，在进行 Elastic Net 等之前进一步识别重要或相关的变量，或者 Elastic net 保留/删除相关变量集的事实是否否定了这样做的必要性？
只是想知道是否有人在他们的过程中使用这个？我看过一些网络研讨会，其中PLS用于挖掘生物过程数据？
预测模型和机器学习回复：人们是否曾经使用 PLS 对历史数据进行变量选择，以找到作为 DOE 输入的重要变量？你好@mjz5448 ，
与所有统计方法一样，最简单的答案是“视情况而定”。您说得对，弹性网络 (EN) 已经能够高效地进行变量选择，因此您可能不需要/不想在此基础上再应用 PLS——另一个优势是弹性网络 (EN) 中的模型系数可以直接解释，因此您可以将预测变量与响应变量直接关联起来。您还需要考虑 PLS 的用途，它主要用于生成预测模型，而非解释模型（尽管您可以这样做，但由于所有因子的负载和线性组合，复杂性有所增加）。因此，在选择实验设计 (DOE) 因子时，您应该尝试使用一种更适合解释模型而非预测模型的方法。
希望这会有所帮助，我相信其他人也会有一些有价值的讨论可以补充。
谢谢，
本
回复：人们是否曾经使用 PLS 对历史数据进行变量选择，以找到作为 DOE 输入的重要变量？几年前，我在一家大型化学公司工作，该公司非常擅长在基材上涂覆材料（例如摄影胶片和纸张），我们一直使用 PLS 来帮助指导设计实验，原因如下：
1. 制造业中，运行次数极少，输入因素众多。考虑宽泛且简短的数据集。专为 PLS 量身定制。
2. 因素之间存在大量多重共线性。
3. 真正的工艺流程理解已经失传了……有些产品我们已经生产了几十年，而制造过程中通常的口头禅是“像上次一样生产”……因为我们真的不知道这一切是如何运作的。
4.基于惩罚回归/树的变量选择方法尚未在软件中普及。
5. 推动整个努力的动力是“昨晚当我们试图制造（填空）时，物理、化学或生物的魔力并没有融合在一起。我们不知道根本原因。”
因此，我们使用偏最小二乘法 (PLS) 来尝试识别关键因素，然后进入中试/小规模设施进行设计实验，以此来加深对流程的理解，最终找到系统性故障模式的根本原因。我曾与两位工程师共事，他们说过一些话，引起了我的共鸣（我曾担任过许多此类问题解决团队的统计员）……“有时候，知道‘不是’和知道‘是’一样重要。”另一位工程师说：“除非你能开启和关闭故障模式……否则你永远无法知道根本原因。”
简而言之，正是 PLS 和 DOE 的结合才让我们实现了目标。希望以上信息对您有所帮助？
回复：人们是否曾经使用 PLS 对历史数据进行变量选择，以找到作为 DOE 输入的重要变量？你好@mjz5448 ，
我完全同意@P_Bartell关于PLS用法的观点，主要是在涉及输入和输出之间共线性/相关性的情况下，输入变量的数量大于实验次数。 偏最小二乘法用于利用Y和X之间的相关性来构建模型。
PLS 是化学计量学中常用的光谱数据分析模型，因为您拥有大量相关的 X（例如，每个波长的强度），而用于预测某些响应的观测/实验却很少。在这种情况下，您可以利用 X 之间的相关性，通过使用 PLS（并结合适当的验证和测试方法）来获得良好的预测模型。此类模型具有可解释性/可解读性，在化学计量学中，您可以使用变量重要性图和其他图表来识别与特定化学功能/基团/分子相关的重要波长带/区域。该平台提供的 Profiler 工具也有助于以交互方式可视化变量的重要性，您还可以通过“ 评估变量重要性”选项在 Profiler 中计算Sobol 灵敏度指数。
任何建模方法的使用都应与先前知识的水平、目标和实验环境相联系。
在非常早期的筛选阶段，由于先验知识匮乏且实验运行次数较少，目标通常是识别重要效应，而无论效应估计的精度如何（之后可以通过实验设计 (DoE) 收集信息丰富的数据来确认和精确化效应）。在这种情况下， 惩罚回归（Lasso、Ridge、弹性网络、Dantzig 选择器）通常有助于识别重要效应，但代价是会增加效应估计的偏差。请注意，不同惩罚方法的使用取决于您对效应稀疏性的假设：Lasso 会通过强制相关变量的估计值为 0 来进行变量选择，如果您预期在大量候选变量中只有少数重要的预测变量，这种方法会很有效。一种不那么“激进”的方法是 Ridge，它会减小相关效应的规模，但不在 0 处进行任何估计（在存在多个重要性相似的相关预测变量的情况下），或者使用 Elastic Net 估计，它结合了 Lasso 和 Ridge 惩罚。
如果您有更多观察/实验，可以尝试其他不依赖偏差/惩罚的特征选择方法，例如随机森林，或将其用作预测器筛选选项，通过使用特征重要性（列贡献）来识别最重要/最活跃的特征。您还可以尝试使用预测器选择助手插件，该插件基于升级版的预测器筛选，使用 Boruta 特征选择方法和随机森林来帮助选择变量。
您还可以查看以下主题中的相关对话：
具有相关变量的多元回归
最适合特征选择的 JMP 平台是什么？
JMP 中是否存在与分类变量的多重共线性相当的现象？
我的建议是测试、比较并（最终）结合上述（以及更多）不同的建模方法，并比较所得模型，看看它们包含哪些术语，以及这些模型的相似/不同之处。这将极大地帮助你理解最重要的因素。
希望这个答案能对你有所帮助，
回复：人们是否曾经使用 PLS 对历史数据进行变量选择，以找到作为 DOE 输入的重要变量？没有一种正确的工具，也没有一种正确的工具使用顺序，能够为所有人提供洞察。毫无疑问，我们每个人都会根据具体情况，选择最有效或最高效的工具。无论如何，答案并不在于工具本身。关键在于批判性思维，而批判性思维需要反复练习。
可以从基于科学或工程的假设入手（例如热力学、熵）。如果没有假设，那么“数据挖掘”或许会有所帮助。我经常使用数据挖掘。基本上，我通过查看数据来发现模式（或者寻找模式的缺失）。当然，最好用图形的方式。
有许多回归方法试图量化相关关系（例如，OLS、逐步回归、PCR、岭回归、PCA、PLS 等）。如果这些方法要求研究者解释结果，这将非常有用（例如，为什么这个因素看起来显著，或者为什么这个因素不显著）。这可以作为假设的提出（或许可以在设计实验中进行验证）。
只是使用历史或观察数据时的一些警告。
1. 如果某个因素在过去某个时间点（无论以何种方式）被认为是关键因素，那么可能存在一些控制措施，使其无法发生太大变化。对该因素的分析可能会表明，在任何回归分析中，它都不显著（它变化不大）。
2. 可能存在隐藏的混杂因素（数据集中未识别或标记的 x）。
3.能够模拟发生的事情并不意味着我们能够预测将会发生什么。
4. 在没有理解的情况下，将模型外推到收集到的 x 的范围之外，可能会危险.
5.使用历史数据进行回归分析时没有考虑获取数据的背景（例如，您知道测量不确定度吗？）
6.很容易受到“坏”数据点的影响。
