大家好。我叫戴尔·休曼，是美国威斯康星州密尔沃基市通用电气医疗集团的一名建筑工程师。
今天，我将讨论比较系统的方法。一般来说，我将重点讨论测量系统，无论是测量加工过程输出的加工系统，还是其他类似的过程。
我关注的是工业环境，但实际上这种比较技术可以在任何环境中使用，但我将更多地关注工业环境。
您可以看到，我的日志展示了我们将要讨论的不同主题。为什么我们首先要比较不同的系统？既然我们讨论的是测量系统，您可能会想到使用测量系统分析来进行比较，看看它们之间有何不同。我们稍后会详细讨论这个问题。
如果您熟悉统计比较工具，例如T检验和方差分析，那么您可能会想到另一种进行比较的方法。我们会讨论一下。然后，我们将讨论另一种您可能不太熟悉的技术，即使用特定的回归分析来比较测量系统。
好的，我们开始吧。
第一个话题，我们为什么要比较系统？在工业环境中，我们经常会用到同一系统的多个副本，用于测量零件的相同尺寸，以及测量流程的相同输出。在这张图中，您可以看到一些测量系统，例如坐标测量机 (CMM)。
如果您有多台机器都在测量相同的输出，您可能希望确保所有这些测量系统都能给出合理相似的结果，这样就不会出现纯粹由测量过程引入的差异。
也可能是因为您采用了略有不同的测量方式。例如，您今天使用的是如图所示的坐标测量机 (CMM)，并使用了接触式测头。也许您想换用速度更快的光学测量系统。但您仍然需要确保，如果使用这两个不同的系统测量相同的尺寸，它们能够获得相似的结果。
这些比较的目的实际上是为了确保如果我在任一系统上测量相同的部件，我会在不可接受的误差范围内得到相同的结果，当然，因为会存在一些测量误差。
这就是我们要讨论的内容。我在这里有一些关于“相同”和“相似”含义的注释。实际上，这需要与你的团队进行一些讨论和思考。你可以找一组领域专家，讨论你的系统之间可能存在的差异，并了解你认为这些差异会对你所观察到的系统输出产生什么影响。
例如，你会考虑软件版本之类的问题。这会对测量方式产生影响吗？我们是否使用相同的程序，还是需要在每台不同的机器上运行不同的程序？这是否会产生一些你可能担心的差异？如果必须使用夹具等等，所有系统是否都使用相同的夹具？每个系统都有自己的夹具吗？
当你试图说“我认为这些系统应该给我相同的输出”时，你需要考虑所有这些事情。当然，这里用引号表示“相同”。但这是你在领域专家系统上需要花时间研究的事情。
假设您已经完成了该过程，并且您有两台机器或三台或四台机器需要比较，并且您希望确保它们给您相似的输出。
好的。我们该怎么做呢？
我之前提到过，既然我们在讨论测量系统，那么接下来就来谈谈测量系统分析。希望你已经对你的测量系统做过测量系统分析。
但即使你有多个系统，你可能会想，“好吧，让我们在两个系统上都做一个 Gage R&R，然后比较一下这些 Gage R&R。” 你可能会考虑这么做。
我刚刚打开了一张数据表，您可以看到，如果我打开这里的统计列，我们会从两位操作员操作的五个不同部件中获得 30 个值。对于典型的量具 R&R 设计，我们有五个部件由两位操作员测量，在本例中，每个操作员测量三次。我们在两台不同的机器上测量，所以这里有两台不同机器的输出。
我们可以通过这些数据进行测量系统分析，试图了解是否存在差异。我将继续在“分析、质量和流程”菜单中执行量具 R&R 分析或测量系统分析，在这里进入测量系统分析，然后输入两台机器的响应，我将在这里同时执行这些操作。我们将在一份报告中看到它们。
然后，将操作员作为分组因子，并在零件样本字段中输入零件 ID。此处其他设置均保留默认设置。目前，您可以根据具体情况更改这些设置。
但为了我们的目的，我们先保留所有默认设置，然后点击“确定”，然后我们当然会看到一些图表，就像 JMP 通常显示的那样。它首先会以图形输出的形式显示数据，让你查看数据，确保没有任何异常。
不过，现在我实际上要隐藏这些图表。如果您在 JMP 中不知道这些图表的含义，可以按住 Control 键发送命令。我将按住 Control 键并隐藏平均值图和极差图。这只会同时隐藏机器 1 的输出和下面的机器 2 的报告。只是为了让事情变得简单一些。
然后，这次我要按住 CTRL 和 Alt 键，这样我就可以调出 Gage R&R（测量系统分析）选项对话框。为了简单起见，我只会启用两个选项。
对于那些可能使用 EMP 方法进行测量系统分析的人，我想看一下 EMP 结果。但是，对于那些倾向于在测量系统分析中查看这些指标中百分比公差的人，我也会打开 AIAG 量具 R&R 结果。
当我点击“确定”后，您会收到针对我们每台不同机器的几份报告。这是 1 号机器根据 EMP 流程的输出。如果您不熟悉 EMP 流程，那么该分析会查看您测量系统中不同类型的变异，AIAG 流程也是如此。
从根本上来说，这最终会为您的测量系统提供分类。
你可以拥有从一等到四等的测量系统。这些类别的定义如下。在本例中，对于机器1，也就是我在本报告中查看的机器1，它显示这是一个二等测量系统，这意味着它不如一等系统那么好。你的测量过程会引入一些额外的变量。重复性误差和重测误差可能比你预期的要高一些，但这就是从输出角度来看的。
下面是测量 2 的结果，如果我向下滚动，就会看到测量 2 的输出。最终，这是一个一流的测量系统，误差略小。这里的误差是 0.023，而上面的误差是 0.35 或 0.035。所以，从分类的角度来看，误差略小一些，就意味着测量系统的性能略好一些。
同样，如果您是 AIAG 组织，您可能会对诸如 % 公差之类的信息感兴趣。这是我们总量具 R&R % 公差行。在 1 号机器上，我们的公差约为 24%，高于我们通常使用的 10% 经验法则，低于 30%。所以现在您可能需要做更多调查。
如果我查看下面机器2的公差百分比，我可以看到它稍微好一点，为15.8%。所以仍然高于10%，低于30%。您可能需要做进一步的研究，才能了解这对于我们的流程来说是否可以接受。
但这里的问题是，你如何比较这两个结果？这里有什么东西可以让你说这两个系统足够不同以至于我关心它，或者这两个系统是相同的吗？
事实上，仅使用测量系统分析并不能轻易做到这一点。
好了，接下来我们来讨论其他技巧。我接下来会讲解如何通过假设检验进行比较。好了，先把这些话题都讲完，我们来谈谈假设检验。
如果您做过类似T检验或方差分析之类的分析，那么您就做过假设检验。这些检验的目的是检测差异，而您在这里做的可能就是假设检验。我们感兴趣的是，这些系统是否相同？或者换句话说，它们是否不同？您可能会考虑进行一些T检验或方差分析之类的分析，以便比较不同的系统。让我们来看一下。
这里还有另一个数据表，我们收集了来自四个不同系统的数据。我再次打开列统计信息。
您可以看到，这里有来自四个不同系统的 80 个数据点，它们之间有一定的范围。问题是：“我如何确定这些系统是否相同？”我在这里稍微展开一下。
因为我们这里有一个响应变量，即我们感兴趣的测量值，并且我们有一个分组因子，即测量特定值的系统，所以我们可以在这里进行“通过 X 分析拟合 Y”。
您可以访问“按 X 分析拟合 Y”平台。如果我们想了解观测值与测量这些观测值的系统之间的关系，我会进行方差分析（ANOVA）。我这就去做。我会把它带到这里。
再次，我们先从图表开始。就我个人而言，当我进行这种按分组因素分组的连续数据比较时，我喜欢看箱线图。
再次强调，我要按住 Alt 键并点击红色三角形，这样就能调出包含所有选项的对话框。我要关闭点阵图，打开箱线图。当然，这完全是个人喜好。我只是喜欢在有这样的分组时看箱线图。我的大脑喜欢这种直观比较的方式。你也可以保留点阵图，没问题。
但这里我们有一些箱线图，展示了这四个系统的数据分布情况。从视觉上看，它们看起来非常相似。这些箱线图的高度大致相同，这意味着中间 50% 的数据分布大致相同。
我们的须线长度大致相同。也许系统4的变异性稍微好一点，或者稍微低一点，但总体来说，它们看起来非常相似，所以看起来不错。但我们可以更进一步，进行实际的方差分析，因为我们想比较这四个系统的性能。
因为样本量超过两个，所以我们无法进行 T 检验，但可以进行方差分析。我将在红色三角形中选择方差分析。如果你熟悉方差分析，它就是比较四个不同系统的平均值，看看这四个系统的平均性能是否存在差异。
这本质上就是我们在方差分析中试图回答的问题。在方差分析中，绿色菱形显示的是每个不同系统平均值的95%置信区间。你可以看到它们都非常相似。
再次强调，系统 4 可能会略有偏移。但是，当你查看方差分析表时，你会看到下面有一个 p 值，标记为大于 F 的概率。这就是这里作为 F 检验的一部分计算的 p 值。
这远大于 0.05 或任何你可能使用的合理 Alpha 值。因此，你会得出结论，没有证据表明这两个系统之间存在差异。
这是比较不同系统非常常见的第一步。我们通常会说：“好吧，没有区别，所以这些系统是一样的。”但这并不是正确的做法。你需要思考两件事。第一，我在这里比较了平均值，但这还不够。因为比较不同群体时，你不仅要关注群体的中心位置，还要关注群体之间的差异。
我这里有一张小图表来强调这个想法。这里有两个分布，它们的均值相同，但它们显然是不同的分布。它们之间有不同的变化。
在大多数情况下，你可能不会认为这两者相同。到目前为止，我们通过方差分析比较了均值，但如果你想证明两个总体之间没有差异，你也应该进行变异比较。当然，我们可以在 JMP 中轻松做到这一点。
它提供了此处红色三角形的功能。您可以在同一分析中直接对红色三角形进行方差不齐检验。现在我们在这里添加了该检验。
我们可以看到，这张图表展示了我们四个不同系统的样本数据的标准差，它们都非常相似。同样，系统4略低一些，但差别不大。当然，我们在这里列出了p值。这里还有另一个p值列表。在这种情况下，JMP现在提供了几种不同类型的p值。
所以你的团队可能需要弄清楚你想用哪一个。这里我将重点介绍Lovine检验。这是一个相当标准的检验，对异常值、稳健数据和非正态数据都适用。所以这里我将重点介绍Lovine检验的p值。
再次强调，这个p值远大于0.05。我们可以得出结论，这两个群体之间的变异没有差异。至此，我们比较了四个系统的平均性能，也比较了四个系统之间的变异，并得出结论，这些方面并无差异。
现在我们可以说：“好吧，均值没有差异，方差也没有差异。” 这些系统是一样的。同样，别这么快下结论。在进行统计假设检验（例如方差分析）时，还有一点需要记住，“没有差异”这句话和说它们相同是不一样的。
这是我们初学统计假设检验时学到的。我们已经证明，没有证据表明这两个系统的均值和方差存在差异。但这并不意味着它们完全相同。这只是意味着，我们目前还不能根据现有的数据样本断言它们存在差异。
我们必须想出另一件事来说明，我们能说它们是一样的吗？幸运的是，也有一个测试可以解决这个问题。
你可能见过等效性检验。我们来看看等效性检验。等效性检验试图利用假设检验，让你能够说“事物是相同的”，但实际上你想说的是，事物可能有所不同，但它们的差异还没有大到让我在意这种差异。
您必须能够定义一个等价范围，您可以使用它来表示：“只要差异小于这个范围，那么出于所有实际目的，我们都会认为这些东西是彼此等价的。”这就是等价测试为您做的事情。
我们可以做一个等效性检验。我这里有一份副本。我们用我们之前开始做的报告来做一下。还是用同一份报告，用同样的数据。现在我试着说：“我能否在我定义的等效范围内，认为这四个系统是等效的？”
在红色三角形上，你可以看到一个等效性检验菜单。我们现在只看均值，仅供参考。均值的等效性检验的目标是能够得出“这些系统的平均性能差异小于我关心的某个值”。
这就是进行等价性检验的思路。这里我们可以看到执行等价性检验的对话框。我们将继续使用 T 检验，因为我们想要比较均值。如果数据严重偏斜或严重非正态分布，您可以使用 Wilcoxon 检验进行排序。但为了验证等价性，我们将继续使用 T 检验。
你可以看到那里有几个选项。我不会一一列举，但基本上它们的作用是：要么是等价的，要么是肯定小于或大于，具体取决于你选择的版本。我坚持使用等价选项。
您可以选择在所有系统中使用合并方差，还是假设方差不等。因为我们刚刚进行了等方差检验，并表明这里没有差异，所以我们可以使用合并方差检验。我保留它，然后点击“确定”。
我是不是忘了输入差值了？抱歉。我们来做一下均值的等效性检验。假设我们和领域专家开会商量，决定只要这些系统中的值相差不超过10，就认为它们是等效的。所以，无论测量单位是什么，只要每个系统的差值不超过10，我们就认为它们是等效的。
我们将在此处的差异框中输入 10，然后点击“确定”。然后，您将收到一份报告，其中显示等效性分析的结果。这实际上是在进行所谓的 TOST 方法，即两个单侧检验方法。它实际上是在进行两个假设检验，但它们是单侧假设检验，目的是显示您是否可以认为差异小于您输入的关注范围。
在这个输出中，我们有一个表格，比较了两个系统。每一对系统都进行了比较，然后你会看到下面的图表，显示差异的范围。
如果你的目标是证明事物是等效的，那么你希望看到的是，每个系统之间、每个系统平均值计算出的置信区间都在这个蓝色带内。蓝色带代表实际等效值的范围，任何超出该范围的值，根据你输入的差异值，都会被认为是不同的。
当然，我们在这里可以看到，我们所有的比较都超出了该范围，这基本上意味着我们无法得出这些系统是等效的结论，而 JMP 就在这里告诉你这一点。
它针对所比较的每种系统组合给出了评估。如果我们进行这项分析的目的是为了证明这四个系统都是等效的，那么很遗憾，我们现在已经证明事实并非如此，至少在我们测量值的 10 个单位范围内是如此，正如本文所示。
然后我们可能需要做一些额外的分析，或者当然，您可能需要根据这些结果在您的环境中的含义来改变您的发展路径。
但这是另一个可以用来证明系统间等效性的工具，也就是等效性检验。实际上，它实际上是在进行差异检验，但它只是让你判断，如果存在差异，那么这个差异小于我们在流程或系统环境中实际关心的值。但从这个角度来看，它仍然是差异检验。
好的。等效性检验和假设检验就到这里。现在我关闭这些窗口，回到我们的日志。
我这里有一些笔记，关于如何确定实际差异范围的取值。你可以尝试以下几种方法。
领域专业知识通常是一种非常常见的方法。你会找到对你所分析的事物有详细了解的人，然后坐下来，从我们的角度思考：“事物之间到底有多大差异，我们才会认为它们是不同的？” 但在进行等效性检验之前，你必须考虑这一点。
如果您成功地采用了这种方法并说：“哦，我们已经证明了等效性”，那么您能说系统之间的事情确实是相同的吗？
但结果可能并非如此，因为您可能会考虑所有这些并说：“好吧，我真正想知道的问题是，如果我在系统 A 上测量一个部分，然后在系统 B 上测量同一部分，它们会给我相同的值吗？”
我们到目前为止所做的一切都不能保证情况确实如此。即使你证明没有证据表明存在差异，即使你进行了等效性检验并证明事物是等效的，在进行这些假设检验时要记住的是，它们比较的是总体统计数据、平均值、标准差等等。
这些测试并不能保证在逐个部件测量时获得相同的值。你可以想象这样一种情况：我这里有两个系统的数据样本，平均而言，我们认为它们是等效的。这些均值线彼此非常接近。它们小于我们确定的实际等效范围。所以我们说它们是等效的。
但是，如果你查看单个值，你会发现该部件是在2号机器上测量的，它给出的数值大约是4.75。但当你在1号机器上测量同一个部件时，得到的数值更接近9。我们不会在统计假设检验中看到这种情况，因为这些检验关注的是总体汇总统计数据，例如平均值和标准差。它们关注的不是单个值。为了做到这一点，我们将进行回归分析。
这是一种技术，如果你真的想证明事物在你所拥有的测量误差范围内逐个部分是相同的，那么你可以使用这种技术来做到这一点。
好的。我们来看一组数据，这些数据是我们在两个不同的系统上测量的。这是另一个数据表，其中我们在两个不同的系统上测量了20个零件。假设这20个零件是在我们使用多年的旧系统上测量的，现在我们有了一个测量相同零件的新系统，我们在这个新系统上测量这20个零件。
问题是：“这些机器能保持相同的性能吗？”我们该怎么做呢？好吧，你可以想想，如果将这些数据作图，因为测量的是相同的零件，这些测量结果应该会给出相同的值，那么你应该会在两个系统之间看到一条直线，斜率通常接近1，截距最好接近0。因为如果我在旧系统上测量某个零件的值为60，那么在新系统上也应该得到60左右的值，因为我测量的是相同的参数。同样，如果我在旧系统上测量的是120，那么在新系统上也应该得到120左右的值。
这就是我的想法。
您可能会考虑进行最小二乘拟合回归，这是我们很多人开始进行分析时使用的非常典型的回归。
在这个特殊情况下，您可以看到，“好吧，如果我有 Y 等于 X 的线，那么我有一个截距为零、斜率为一的线。是的，这似乎很符合我的数据。”
但我们知道这些数据中存在一些误差。我们来做个最小二乘拟合，我已经在这里做了。你可以看到我们得到了另一个方程。抱歉，如果我能用激光笔的话。
这里我们有一个最小二乘回归模型，我们可以看到，截距再次接近于零。它不完全是零，但很小，斜率非常接近于1。如果你这样做，你会说：“这看起来很有希望。我的斜率是1，截距接近于零。我应该可以说，在我测量的数值范围内，这两个系统在各个部分上给出的值是相同的。”
好的开始。问题是，在这种情况下，最小二乘回归不能以正确的方式解释误差。
如果你学过最小二乘回归，那么你可能也学过回归中的残差。想象一下，在左边，我们有一堆数据点，我们用最小二乘回归绘制了一条最佳拟合线。然后，你在最小二乘回归中进行的所有模型诊断，都是在最佳拟合线中查看观测值和数据之间的残差，也就是图中这些灰线突出显示的部分。
在最小二乘回归中，所有误差始终存在于 Y 维度中。我们假设误差存在于响应变量中。对于您的回归模型，X 变量中没有误差。
但在这种情况下，我们有两台机器进行测量，当然，两台机器都会有测量误差。所以我们真正想要做的是，误差同时出现在Y方向和X方向上，因为我们多年来使用的产量系统存在误差，我们的新系统也存在误差。现在，这些误差可能相同，也可能不同。没关系。你可以考虑到这一点。
但是您想允许模型的两个因素都出现错误。
我们能做什么呢？这叫做正交回归。之所以叫正交回归，是因为你的误差是与你这里的最佳拟合线正交计算的。我们可以这样做。好的。
幸运的是，当你拥有两个系统之间的一些数据时，你可以进行“以 X 拟合 Y”分析。我将再次进入“以 X 拟合 Y”分析平台。我将在这里将新系统作为 Y，将旧系统作为 X，然后点击“确定”。
再说一遍，我们看到这张图表。我们希望能够进行回归分析，以了解“我们能说这些系统是相同的吗？”
所以我要看红色三角形。通常，你可能会用典型的最小二乘回归拟合线，但我实际上要用下面的正交拟合。关于正交拟合，需要注意的一点是，你需要了解这两个系统之间的误差关系。你可能需要说我相信这两个系统具有相等的变异。
如果您将完全相同的副本带入您现在使用的机器，那么可以合理地预期这两个系统之间的测量系统变异是相同的。因此，您可以选择等方差，也可以指定方差比。
您可能会这样做，因为您已经对这两个系统进行了测量系统分析，因此您知道日志中显示的测量系统的标准偏差。
一旦计算出标准差，您就可以取这些标准差的平方比、方差比，并指定该值（如果已经这样做了）。
为了我们的目的，我会说“等方差”。我期望这两个系统之间的变异相同，所以在这里我选择了等方差分析。JMP 在这里拟合了一条正交回归线。同样，它看起来与最小二乘回归非常相似。事实上，我可以在这里选择拟合线来启用最小二乘回归。你可以放大这些图表（我在期刊上就是这么做的），我把它们放大了一点，这样更容易看清。
它们看起来非常相似。基本上，它们就叠在一起。让我回到另一个窗口。
但是如果你放大这些坐标轴，比如我这样操作，只抓取那个小方块作为例子，你就能开始看到它们之间可能稍微分离了一点。这样就更清晰一些了。
但从根本上来说，这些线是互相重叠的。在这个特殊情况下，这只能说明：“是的，即使我在这两个系统中都存在测量误差，但由于 Y 和 X 的误差相同，所以我的线与最小二乘回归线并没有太大区别。”
在其他情况下，你会看到它们呈现出截然不同的线条。即使它们看起来相同，但从分析角度来看，你真正需要关注的是正交回归线，因为在这种情况下，由于 Y 和 X 变量都有误差，所以正交回归线更能准确捕捉误差。
如下图所示，当你进行正交回归时，你会得到斜率和截距的数值。如果你的目标是证明等价性，那么你真正想要展示的是截距接近于零。
在这种情况下看起来不错，-0.95。那么你希望斜率是1。更具体地说，你真正关注的是斜率的置信区间，如图所示。只要1在这个范围内，也就是置信区间下限小于1，置信区间上限大于1，那么你实际上会说：“是的，这条线的斜率在合理的置信水平下可以是1。因此，我会得出结论，这些系统在各个部分的基础上是相同的。”
再次强调，这里的关键在于，这项技术允许你逐个值地测量我们测量的数值范围，这些系统给出的值是相同的。这就是正交回归的原理。与最小二乘回归略有不同。在 JMP 中操作同样简单。同样，它就在红色三角形上。太棒了。
你只需要稍微了解一下你试图比较的测量系统中方差或误差之间的关系。然后你就可以进行分析，得出某种结论，对吗？是的，我们可以认为这些值在这个范围内是相同的，也可以认为不是。
然后你可能会想：“那为什么它们不一样呢？”当然，这总是有可能的。好的。
好的。主题就是这样。我们探讨了几种比较系统的不同方法。因为我们讨论的是测量，你可能会想到比较测量系统分析，但实际上，这并非易事。当然，你仍然希望进行这些测量系统分析，以便了解你所拥有的每种不同测量系统的准确度和精度。
你可能会考虑进行假设检验，它实际上允许你说“我无法判断事物有什么不同”，但严格来说，它不允许你说事物是一样的。然后你可能会考虑等效性检验，它至少允许你说，即使存在差异，这个差异也比我关心的要小。这就是等效性检验。
然后，正如我们最后讨论的那样，正交回归会逐点显示，我会认为这些系统给出的值是否相同，当然。这部分你可能需要进一步思考。今天就到这里。
如有任何问题，请告诉我。非常感谢。
