JMP 中的模拟与 Bootstrap 方法：何时使用以及为何使用大家好，
我希望 JMP 的某人能够提供解释，以解释评估模型估计时模拟与 Bootstrap 方法的差异/相似之处。 （JMP 专业版）
可以找到 Gotwalt 和其他人之前在 Discovery Summit 上的演讲的一些链接这里,这里， 和这里。 这些方法之间的一个明显区别是，模拟要求您将一个列公式替换为另一个列公式，而引导则不需要。 我理解重新计算参数估计时引导的概念，但我不清楚为什么在模拟相同数据时需要交换分数随机加权列。 例如，请参阅上面的第一个链接和相应的演示文稿，该演示文稿使用自动验证设置解释了这种方法（在本例中，他们正在使用 DOE 结果）。
我想更好地了解两种方法的优点/缺点以及一种方法何时比另一种方法更好。 我有一个又宽又高的数据表，其中有几个过程变量和产品质量测量值。 我想缩小可能影响结果的可能过程变量的范围，以便为生产提供一些关于在哪里进行调查的想法。 为此，我从他们的演示中汲取了“零因子”的想法，并将其作为真正的随机变量包含在模型中。 然后，我对因子和 Y 输出运行一个非常基本的 GenReg 模型，然后右键单击估计列并对参数估计运行引导程序或模拟选项。
我两种方式都没有得到相同的结果，我想了解原因。 另外，由于这不是能源部，因此一种方法是否比另一种方法更合适？
下面是帕累托图上的结果示例，其中引入模型次数少于空因子的任何因子都会被简单地删除。 第一张图显示了使用模拟方法的结果，其中帕累托图最右侧的因子是空因子。 同样，第二张图显示了使用 Bootstrap 方法的结果，其中空因子再次位于最右侧。
为什么这两种方法会得到两个截然不同的结果？ 一个比另一个更“值得信赖”吗？ 为什么我要使用一种方法而不是另一种？ 一种方法比另一种方法更稳健吗？ 如果确实得到不同的结果，为什么 JMP Pro 有这两个选项？
对此的任何见解都非常感激。
谢谢！，
DS
高级统计建模实验设计预测建模和机器学习回复：JMP 中的模拟与 Bootstrap 方法：何时使用以及为何使用哪个方法引导或重采样尝试凭经验取代基础分布。 人们普遍认为布拉德利·埃夫隆发明并开发了这种方法。 他也探讨了其缺点。 然后，引导样本可以根据经验确定样本统计数据和间隔。 没有假设人口分布。 这些估计的准确性和稳定性取决于原始样本的大小和重采样的数量。
该模拟方法假设一个分布模型，从中生成重采样。 估计很大程度上取决于模型假设。
这个答案很高级，并不详细。 您可以想象这两种方法的实例以及它们如何可能成功或失败。
回复：JMP 中的模拟与 Bootstrap 方法：何时使用以及为何使用哪个方法你好@马克贝利,
感谢您的反馈和想法。
因此，听起来（从高层次来看）主要区别在于模拟或引导程序如何假设或不假设人口分布。 由于人口分布要求的差异，两种方法的估计过程不同，这导致模拟方法需要另一列来换入和换出。
我仍然想更好地了解一种方法是否比另一种方法更强大，以及何时使用一种方法而不是另一种方法。 例如，模拟方法的人口分布要求是什么？ 当您不应该使用一种方法而不是另一种方法时，是否存在限制/限制。
在上面的示例中，对于每种方法中比空因子更频繁地进入模型的因子，我得到了截然不同的答案。 哪种方法能够真正为模型中应保留的因素和模型中真正无用的因素提供最准确的估计？ 我可以“相信”哪个结果？
JMP 在线帮助的解释有限，并且没有真正讨论使用一种或另一种方法。
谢谢！，
DS
回复：JMP 中的模拟与 Bootstrap 方法：何时使用以及为何使用哪个方法请原谅我的困惑......
在我提出我的想法（可能会引起争议）之前，您的帖子的最终目标是什么？ 您的一些问题（例如，其中一个比另一个更“值得信赖”吗？ 为什么我要使用一种方法而不是另一种？ 一种方法比另一种方法更稳健吗？）提出一个目标。 其他人（例如，为什么这两种方法会获得两个截然不同的结果？、为什么 JMP Pro 有这两个选项？）建议有些不同。您是否正在尝试确定哪种方法将得出一个模型来解释已经存在的变化（在过程或数据集中）或一个对预测有用的模型（用戴明的术语来说是分析）？ 或者您只是对这两种方法的技术讨论感兴趣？
回复：JMP 中的模拟与 Bootstrap 方法：何时使用以及为何使用哪个方法你好@statman ,
很抱歉造成混乱，说实话，这只是其中的一点点，但还没有达到“最终”模型。 更多的是找到最可能的一组因素来进一步调查——有点像预测筛选平台。
我正在使用一种修改后的方法，类似于 2018 年卡里探索峰会上提出的方法（我原始帖子中的第一个链接），尝试从一组非常大（>130）的可能生产标签（例如泵速度、流量、烘箱温度和空气流量），这些因素对 QC 中测量的结果 Y 有影响。 使用 GenReg 方法（例如，前向选择或修剪前向选择），您可以获得模型中项的估计 - 这是一个非常简单的模型，仅查看主要因素，没有交互作用，没有其他任何内容。 其中许多估计值的系数为零或接近于零。
然后，您可以对估计值执行模拟或引导分析 - 通常这样做是为了更好地了解所述估计值的可能值范围。 然而，您可以从任一方法的分布统计中得到的另一件事是该估计值非零的次数比例。 通过比较每个估计值的非零值与空因子的比例，您可以了解该因子是否比空因子更频繁地出现在模型中。 由于空因子是完全随机的，并且与实际生产标签没有相关性，因此如果标签出现的频率低于空因子，则可以将其排除在未来的建模工作之外。 这使您可以将超过 130 个可能的因素缩小到更易于管理的一组，大约有十几个。 此时可以在比以前少得多的因素集上进行进一步的调查、实验或建模。
我想更好地理解为什么模拟和引导方法会产生不同的结果。 这是马克·贝利所说的分配问题吗？ 使用默认的 2500 次重新采样是否还不够，我需要更多吗？ 或者是否有一些更根本的原因导致这两种方法提供不同的结果？
我想更好地了解这两种方法的技术方面，以便就使用哪种方法以及何时使用做出更明智的决定。 如果这两种方法没有收敛到类似的解决方案（并非它们需要），那么哪种解决方案是“正确的”解决方案。
JMP的在线帮助中的信息并不多，我想更好地了解这些工具，以便有效地利用它们。
谢谢！，
DS
回复：JMP 中的模拟与 Bootstrap 方法：何时使用以及为何使用哪个方法两种方法都不是优越的在任何统计意义上。 也就是说，在任何情况下，任何一个人的表现都不总是比另一个人好。
结果的准确性必须通过新样本的新预测（即估计）进行独立验证。
关于引导和模拟的文献非常多。 我无法在这里轻松回答有关小空间中的局限性和缺点的广泛问题。 例如，如果总体具有宽尾或表现出异常值，样本是否足以捕获总体特征？ 它会像来自总体的真实样本一样生成引导样本吗？ 另一方面，您在多大程度上相信用于模拟的分布模型？
信任是主观的，因为两名调查人员可能需要不同种类和数量的证据来信任一种方法而不是另一种方法。
软件文档无意作为教育用途。 您必须使用其他来源来了解本例中的两种方法。
回复：JMP 中的模拟与 Bootstrap 方法：何时使用以及为何使用哪个方法@SDF1我也将提出我的两分钱/意见。 我同意一切@马克贝利和@statman到目前为止已经做出了贡献。 您的调查途径听起来与我在化学加工行业工作期间反复执行的任务非常相似。 当物理、化学或生物学的魔力在昨晚的生产过程中没有发挥作用时，我们将拥有大量生产/制造实时数据，我们将尝试利用这些数据来理解过程/产品变化或采取纠正措施。 现在大家都在努力找出“为什么”？ 听起来您似乎正在尝试提出一个可以解释一切的“最终”模型。 我发现使用生产数据来解决问题并不是一种有效的解决问题的整体方法。 这些数据太混乱、不完整，或者缺少经常有影响的噪音/滋扰因素，无法发挥作用并代表我们未来可能遇到的情况。 那么我们做了什么？ 我们将使用您手头的数据来识别可能重要的因素。 然后“离线”并进行深思熟虑的过程空间，其中包括设计的实验，以顺序方式诱导因子变化，从而形成一条有效的（资源方面的，而不是模型/统计方面的）路径来最终解决问题。 归根结底，正如我经常合作的一位工程师所说，“除非您能够关闭和打开故障模式，否则您不会知道故障模式的根本原因”。 我知道如何获得这些知识的唯一有效方法是通过能源部……而不是将偶然数据折磨到模型中。 只是我的观点。 接受它的价值。
回复：JMP 中的模拟与 Bootstrap 方法：何时使用以及为何使用哪个方法你好@P_巴特尔,
感谢您的回复。 您对过去经历的描述最接近我在之前的帖子中试图解释的内容。 这种方法的目标不是找到一个功能完美的模型，而是帮助生产淘汰那些不重要的过程数据。 我们的流程实际上并不允许在生产中执行真正的 DOE - 太昂贵了！ 相反，如果我们可以将可能的生产数据流缩小到最有可能影响的数据流，那么我们就可以在实验室中进行 DOE，正如您所指出的那样。 这就是我们所做的。
我们从研发实验室了解到，某些因素会影响某些结果、如何以及为何。 然而，在实验室中小批量（几公斤/天）和高度受控的环境中生产我们的产品与每天生产超过 500 吨材料的连续大规模生产有很大不同。 连续生产设备对结果的影响与小实验室批次环境中的工作方式不同。 而且，在我们的工艺中，不存在可以简单地将批量工艺转换为连续工艺的“放大”或“缩小”因素，反之亦然。 因此，在连续生产中，要找出哪个过程可能出现漂移或波动并导致产品不合格要困难得多。
因此，回到我最初想要了解的内容，我想通过技术讨论来更多地了解这两种方法的异同。 是否存在一种方法优于另一种方法的情况，为什么？在此过程中，我希望了解为什么这两种方法会提供如此不同的结果，以便我能够制定一个计划，如何找到一种更可靠、更稳健的方法来确定我们需要进一步研究的那些最可能的因素。 最后一步是我与公司团队一起完成的工作，而不是通过 JMP 社区。
同样，JMP 文档中关于这些方法的信息有限（可能更多关于模拟的信息），并且关于在哪里可以找到每种方法的更多详细信息的信息也很有限。 我不是这些方法的专家，我想我应该去讨论论坛寻求有关模拟与引导方法的想法/输入。 到目前为止，从这次讨论中，我了解到 bootstrap 不假设重新采样的任何分布，而模拟确实假设重新采样的分布，并且两者都不优越。 这些都没有真正解决我希望学到的东西。JMP 帮助提供了一些有用的信息，但不是全部，正如 JMP 帮助页面底部所宣传的那样：
因此，来到社区讨论，希望了解更多信息。 再说一次，我不是这些方法的专家，但希望社区页面中的某个人可能是，并且可以提供更多信息或资源，我可以阅读以了解更多信息。
谢谢！，
DS
回复：JMP 中的模拟与 Bootstrap 方法：何时使用以及为何使用哪个方法如果您想了解有关 JMP 中的 Bootstrap 和仿真的一般知识，链接 (2) 和 (3) 更相关。 链接 (1) 是一个更高级的主题，并且特定于 DOE。
威廉·米克 (William Meeker) 是 (2) 和 (3) 的发言者之一。 您可能想查看他的书“可靠性数据的统计方法”第二章的第 9 章。编辑。如果您只能阅读其第一版，那么您还应该查看第 9 章。 那里记录了非常详细的描述。 我们中的许多人在那里学到了技术。 但我确信还有其他参考资料。 米克的材料涵盖了技术的一般概念和可靠性分析的特殊应用。 如果可靠性分析部分不相关，您可以安全地跳过。
如果我总结一下书中的内容以及马克的解释，以下是我的尝试。
“Bootstrap”（又称“非参数引导”）的步骤包括：
- 从您的数据中抽取样本
- 做一点事
- 计算您感兴趣的数量，收集数量
- 重复。
“模拟”（又名“参数引导”）的步骤包括：
- 从具有一些已知参数的模型开始，从中模拟样本
- 做一点事
- 计算您感兴趣的数量，收集数量
- 重复。
正如您所提到的，目的是获得“置信区间”。 选择哪个？ 这取决于你的任务。 我无法谈论您所描述的任务。 但是看看链接（2）和（3），链接（2）和（3）的大部分与“非参数引导程序”（或Bootstrap）的应用有关，因为任务是更好地量化估计的置信区间，对于这种情况，大样本近似并不是最有效的方法。 现在看看链接（3）中何时使用“参数引导”（或模拟），即用于功率计算。 什么是功率计算？ 对于这种计算，我们必须知道真相，所以当通过一种方法做出决定时，我们必须知道假设检验的决定是否正确。 然后可以将结论扫入表中正确的象限I 类和 II 类错误。 一个人怎样才能确定真相呢？ 从事实开始吧。 这就是“参数引导”更合适的时候。
引导方法是通用技术，我确信我所描述的只是冰山一角。 但马克的话概括了区别：他们有不同的出发点。
对于您的具体任务，我有一个问题，当您进行模拟时，您是如何想出公式列的？ 这是你知道的真相吗？
回复：JMP 中的模拟与 Bootstrap 方法：何时使用以及为何使用哪个方法哇！ 我们肯定在同一家公司工作过……您准确地描述了我如何在伊士曼柯达公司度过了一半的职业生涯。 由于成本和产能，美国能源部禁止生产薄膜/纸张涂层工艺/机器。 从实验室工作台到试点再到生产的可扩展性只是写在纸上的白日梦。 我们的可取之处是，有很多聪明人都在尽力而为。 我将使用社区消息传递功能向您发送一条私人消息，其中包含一些其他想法。
回复：JMP 中的模拟与 Bootstrap 方法：何时使用以及为何使用哪个方法我将提出一些我的想法，这些想法可能没有任何价值，并且对于 DS 提出的问题可能没有用。 我的想法与皮特的一致，因为我有类似的经历。在试图理解因果关系的宏伟计划中，有许多不同的方法。在所有情况下，都需要迭代。 我将过度简化其中两种方法：
1. 统计方法：这是一种在现有历史/观察数据中寻找线索的尝试（又名数据挖掘）。这通常需要使用某种回归方法（有很多），最终寻找响应变量（即 Y）中的模式并尝试将这些模式与输入变量（即 x）中的模式相关联。使用图形方法来寻找模式，而不是仅仅进行定量观察（例如引导、模拟等）。 模式的相关性应该能够激发对这些模式存在原因的解释。这些解释都是假设。一旦提出假设，就通过定向抽样（例如 DOE）收集数据，以建立对因果关系的信心。
2. 科学/工程方法（又称科学方法）：这种方法首先假设因素对响应变量的潜在影响。这些假设是中小企业经验、直觉、教育、对公认科学理论的理解等的函数。当存在大量变量（例如，>15）并且假设是一般性时，可以使用定向采样将变异分量分离并划分为更小的子集。 我强烈推荐您的生产过程采用这种方法，因为它不会“干扰”过程。 随着潜在影响因素数量的减少，可以使用实验来建立对因果关系的信心（如您所示）。
哪种方法更有效、更高效始终取决于具体情况。当我们的知识连续性极低时（例如，缺乏主题知识），也许方法 1 会更有利。 如果假设已经存在，则方法 2 可能更有利。
由于无法对生产过程进行实验（不涉及短期与长期思维的争论），这可能会增加调查的复杂性。问题是推理空间。 我们需要的是中试线能够反映生产过程。这是一个挑战，因为这个谎言是在一个小伙子身上，而且通常是一个完全不同的推理空间。 通常这意味着需要消除噪音添加到中试线（例如，改变环境条件、使用多批原材料）。在进行小规模研究时，夸大影响很重要。因素效应（例如，粗体级别设置）和噪声效应。在使用分块和裂区策略的实验中可以适应夸大的噪声影响。
恕我直言、模拟和引导（或任何定量方法）完全取决于您获取数据的方式以及数据对未来条件的代表性。如果用于模拟或引导的数据不具有代表性，则两种方法都没有用。
回复：JMP 中的模拟与引导方法：何时使用以及为什么使用虽然我的回复与原始帖子无关，但您的解释包含了有关 Bootstrap 和 Simulate 之间的差异的概念。
我想澄清一下在 JMP 非线性拟合参数引导法中应用于我的案例的这些概念。在附件的 JPG 文件中，我在“非线性拟合”分析的参数“估计值”列中使用了一键式“引导”功能。我在这里使用的是参数引导法吗？
