预测刻画器和意愿函数大家好，
JMP 专业版 16.1.0。
我正在使用 Prediction Profiler 来完成模型调整的一些验证，并且想知道是否有一种方法可以“欺骗”合意性函数来执行它们并非真正设计用于执行的操作。 使用合意性的标准设置，您可以选择最大化、匹配目标、最小化或无。
在模型调整过程中，我记录了用于训练和验证的 R^2 值，以及两者之间的差异。 我在模型调优时尝试寻找的一件事是参数设置，它不仅可以最大化训练和验证的 R^2，而且可以最小化两者之间的差异。 例如，如果我的模型具有 0.4 的 R^2 训练和 0.35 的 R^2 验证，则比具有 0.7 的 R^2 训练和 0.25 的 R^2 验证更好。 即，训练集和验证集彼此越接近，即使更小的数据集在我的情况下往往表现更好。
问题在于，使用预测刻画器时，如果您同时设置训练和验证 R^2 以最大化和最小化差异，刻画器建议的设置会导致训练 R^2 为 0.6，验证 R^2 为 0.2 左右。 不是我想要的。
我真正希望 Profiler 做的是尝试收敛训练和验证 R^2，它们尽可能接近彼此，同时也尽可能大，以便在保持大 R 的同时最小化差异^2 个值。 不幸的是，改变重要性（0 到 1）或目标之类的东西并不能真正实现我所追求的。
如果有人知道如何让 Profiler 执行此类操作的技巧，那将是非常棒的。 或者，如果这不可能，它可能是一个非常好的新功能，能够指示 Profiler 尝试并收敛两个响应，同时最大化（或最小化）它们。
谢谢！，
DS
数据访问数据探索和可视化大规模定制回复：预测刻画器和合意性函数你好@ih ,
你们俩当然是对的，我无法回避我的想法和对流程和决策的主观影响，因此这使得整个过程有些主观并且容易受到某人的偏见。 最好尽可能多地删除这些内容，以限制任何人对手头问题的偏见。 毕竟，我们追求的是表现最好的模型，而不是某人想要/希望成为表现最好的模型。
同样真实的是，我不仅仅使用 R2 作为我生成的模型的指标。 然而，它是帮助驱动某些模型拟合的调整过程的更可靠的方法之一，例如使用提升树和引导森林。 这两种方法在过程中都有一些随机性，这很好，但微调模型的参数可能会变得相当不方便——生成大型调整表非常容易，因为有多个参数，使超参数空间非常大. 为了稍微帮助这个过程，Gaussian Fit 平台可以在迭代调整拟合时减少参数空间。 R2 作为该平台的一个非常有效的替代指标。
用于报告诊断的引导程序选项是我经常使用的一个非常有用的工具。 我发现它也非常有助于使用自动验证插件中的空因子来测试哪些因子（大集合中的）真正应该保留在模型中——一种预建模因子缩减技术。
如前所述，当训练和验证 R2 接近相似值时，模型往往表现更好。 另一个极端，高训练和低验证通常表现得更差。 在设置意愿函数和水平（或截止值）时，这可能是一个非常主观的部分，并且会严重影响结果。 更好的是可以为您优化该过程的算法。 当然，最终的决定仍然是需要用户做出决定——评估结果是否具有物理意义，而不仅仅是数学意义。 一个类比是光谱数据，例如拉曼光谱或光电子光谱，它们通常具有洛伦兹或高斯（或混合）线形。 从数学上讲，可能会有负的 sigma（标准偏差），因为在函数中，sigma 是平方的。 但在物理上，这具有零意义，因此可以丢弃建议曲线为负西格玛的算法的任何拟合结果，因为没有物理基础可以使测量具有负标准差。 同样，可以获得负的 R2 值，或者 R2 验证值大于训练集，但这些实例应该是主要的危险信号，在进一步分析中不予考虑。
最终，这种方法被用来帮助缩小超参数空间，从而找到一个更稳定的全局最小值比生成一个包含数十万行的庞大调整表来测试所有可能的组合更快更容易。 这仍然只提供调整参数的建议，并且仍然必须评估这些发现是否有意义。 该模型仍然在随机启动条件下迭代生成，但每次都会缩小到一组更稳定的参数。 这种方法对于具有许多用于调整它们的输入参数的其他建模平台很有帮助。
谢谢！，
DS
回复：预测刻画器和合意性函数我同意@马克贝利，您无法回避您的想法和观点成为您在此处提供的任何解决方案的一部分。
我鼓励您不要沉迷于 RSquared。具有较高的 R2 并不意味着您拥有一个有用的模型，而具有较低的 R2 并不意味着您的模型无法达到其目的。有人说你的模型的 RMSE 需要低于阈值是公平的，但他们说 R2 必须高于某个任意值是没有意义的。事实上，如果你预测的东西由于数据集中不存在的东西而有很多测量误差或变化，并且你有一个非常高的 R2 那么你可能有问题。
使用 R2 来比较测试和验证当然是有效的，它可以帮助检测过拟合模型。 尽管您认为只是在数据集中有不同的行预计R2 是不同的。例如，尝试使用大型数据集并使用年龄和体重的线性最小二乘模型预测身高。现在，如果您有 JMP Pro，请右键单击显示的 R 方值并选择 bootstrap。使用默认值，然后在结果表中进行分布，您应该得到类似于下面的分布。如果您没有 JMP Pro，您可以通过获取具有 30 个随机行的表子集并进行最小二乘拟合、记录 R2，然后重复该过程多次来获得类似结果。
模型没有改变，只是用于构建它的行发生了变化，但看看 R2 中的变化！因此，期望您的训练和验证 R2 始终在彼此的 10% 以内可能会对您的解决方案施加不必要的人为限制。
如果您想使用脚本解决方案测试过度拟合，除了对 R2 差异的一些“保持在路上”限制之外，您可以尝试使用 Col Shuffle 公式并使用随机 Ys 拟合您的模型，您应该看到R2 下降到接近零。如果不是，则您的模型能够对数据中的随机噪声进行建模。
回复：预测刻画器和合意性函数过程是客观的。 决定不是。
回复：预测刻画器和合意性函数你好@马克贝利和@ih ,
@马克贝利，您的第一个回复是“让它工作”。 不幸的是，它不是一个自动优化过程，因此它不会迭代地找到最佳条件。 尽管如此，手动更改每个响应的相对重要性肯定很容易。
结合您的建议和@ih事实证明，我的建议更符合我最终希望它做的事情。 只是对意愿函数进行了大量手动调整——要么手动更改数字，要么移动图表中的小方框。 如果能有一种更加自动化和稍微不那么主观的方法来获得我的最终目标，那就太好了。
@ih你是部分正确的，我不在乎 R2 Diff 是 0.01 还是 0.1，但是，如果我的 R2 Diff 是 0.1 并且我的训练 R2 是 0.8 并且我的验证 R2 是 0.7，我更喜欢 R2如果我的训练为 0.31 并且我的验证为 0.3，则差异为 0.01。 实际上，我的数据集更倾向于后者而不是前者——我希望我的两个 R2 可以高达 0.8 和 0.7！
混合这两个建议给了我很多可以玩的东西，只是希望不那么主观。
感谢您的反馈！，
DS
回复：预测刻画器和合意性函数您还可以更改合意性图表的形状，以指示差异越大惩罚越大。 它不必与中心的中间值呈线性关系。
注意：您可以在函数图的绘图上控制单击 (windows) 或命令单击 (macOS)，并在尝试不同的方案时快速更改值。 我建议不要更改合意性，而仅更改响应级别将中心值移向一端以使其非线性。
回复：预测刻画器和合意性函数我猜你不关心 R2 差异是 0.01 还是 0.1，但随着它增加到某个阈值以上，你会逐渐关心它。 您可以尝试使 R2 差异成为一个公式，该公式在低于某个值时是平坦的，然后在超过该限制时逐渐减小，或者您可以设置意愿函数来描述这一点。我经常在多元模型中使用 T2 指标来做后者。您可以在下面链接的视频中跳至 16:30 左右来查看示例。
优化多元模型：从数据收集到最佳条件和评分模型 (2021-US-45MP-927)
回复：预测刻画器和合意性函数您正在正确使用刻画器和意愿函数。 使用 desiriability = (0,1) 并没有错，但您可以尝试使用 1 之类的值来表示最大化，使用 2 来表示差值，看看这是否能让您更接近您想要的结果。 函数的定义（限制、重要性）是告诉探查器您想要什么的关键。
也就是说，不能保证你会得到你想要的！
