大家好。我叫戴爾休曼（Dale Human），是美國威斯康辛州密爾瓦基市通用電氣醫療集團（GE Healthcare）的建築工程師。
今天，我將討論比較系統的方法。通常，我將重點討論測量系統，無論是測量加工過程輸出的加工系統，還是其他類似的過程。
我關注的是工業環境，但實際上這種比較技術可以在任何環境中使用，但我將更專注於工業環境。
您可以看到，我的日誌展示了我們將要討論的不同主題。為什麼我們要先比較不同的系統？既然我們討論的是測量系統，您可能會想到使用測量系統分析來進行比較，看看它們之間有何不同。我們稍後會詳細討論這個問題。
如果您熟悉統計比較工具，例如T檢定和變異數分析，那麼您可能會想到另一種進行比較的方法。我們會討論一下。然後，我們將討論另一種您可能不太熟悉的技術，即使用特定的迴歸分析來比較測量系統。
好的，我們開始吧。
第一個話題，我們為什麼要比較系統？在工業環境中，我們經常使用到同一系統的多個副本，用於測量零件的相同尺寸，以及測量流程的相同輸出。在這張圖中，您可以看到一些測量系統，例如座標測量機 (CMM)。
如果您有多台機器都在測量相同的輸出，您可能希望確保所有這些測量系統都能給出合理相似的結果，這樣就不會出現純粹由測量過程引入的差異。
也可能是因為您採用了略有不同的測量方式。例如，您今天使用的是如圖所示的座標測量機 (CMM)，並使用了接觸式測頭。也許您想換用速度更快的光學測量系統。但您仍然需要確保，如果使用這兩個不同的系統測量相同的尺寸，它們能夠獲得相似的結果。
這些比較的目的實際上是為了確保如果我在任一系統上測量相同的部件，我會在不可接受的誤差範圍內得到相同的結果，當然，因為會存在一些測量誤差。
這就是我們要討論的內容。我在這裡有一些關於“相同”和“相似”含義的註釋。實際上，這需要與你的團隊進行一些討論和思考。你可以找一組領域專家，討論你的系統之間可能存在的差異，並了解你認為這些差異會對你所觀察到的系統輸出產生什麼影響。
例如，你會考慮軟體版本之類的問題。這會對測量方式產生影響嗎？我們是否使用相同的程序，還是需要在每台不同的機器上執行不同的程序？這是否會產生一些你可能擔心的差異？如果必須使用夾具等等，所有系統是否都使用相同的夾具？每個系統都有自己的夾具嗎？
當你試圖說「我認為這些系統應該給我相同的輸出」時，你需要考慮所有這些事情。當然，這裡用引號表示「相同」。但這是你在領域專家系統上需要花時間研究的事情。
假設您已經完成了該過程，並且您有兩台機器或三台或四台機器需要比較，並且您希望確保它們給您相似的輸出。
好的。我們該怎麼做呢？
我之前提到過，既然我們在討論測量系統，那麼接下來就來談談測量系統分析。希望你已經對你的測量系統做過測量系統分析。
但即使你有多個系統，你可能會想，「好吧，讓我們在兩個系統上都做一個 Gage R&R，然後比較一下這些 Gage R&R。」你可能會考慮這麼做。
我剛剛打開了一張數據表，您可以看到，如果我打開這裡的統計列，我們會從兩位操作員操作的五個不同部件中獲得 30 個值。對於典型的量具 R&R 設計，我們有五個部件由兩位操作員測量，在本例中，每個操作員測量三次。我們在兩台不同的機器上測量，所以這裡有兩台不同機器的輸出。
我們可以透過這些數據進行測量系統分析，試著了解是否有差異。我將繼續在「分析、品質和流程」選單中執行量具 R&R 分析或測量系統分析，在這裡進入測量系統分析，然後輸入兩台機器的回應，我將在這裡同時執行這些操作。我們將在一份報告中看到它們。
然後，將操作員作為分組因子，並在零件樣本欄位中輸入零件 ID。此處其他設定均保留預設設定。目前，您可以根據具體情況變更這些設定。
但為了我們的目的，我們先保留所有預設設置，然後點擊“確定”，然後我們當然會看到一些圖表，就像 JMP 通常顯示的那樣。它首先會以圖形輸出的形式顯示數據，讓你查看數據，確保沒有任何異常。
不過，現在我實際上要隱藏這些圖表。如果您在 JMP 中不知道這些圖表的含義，可以按住 Control 鍵來發送命令。我將按住 Control 鍵並隱藏平均值圖和極差圖。這只會同時隱藏機器 1 的輸出和下面的機器 2 的報告。只是為了讓事情變得簡單。
然後，這次我要按住 CTRL 和 Alt 鍵，這樣我就可以調出 Gage R&R（測量系統分析）選項對話框。為了簡單起見，我只會啟用兩個選項。
對於那些可能使用 EMP 方法進行測量系統分析的人，我想看 EMP 結果。但是，對於那些傾向於在測量系統分析中查看這些指標中百分比公差的人，我也會打開 AIAG 量具 R&R 結果。
當我點擊「確定」後，您會收到我們每台不同機器的幾份報告。這是 1 號機器根據 EMP 流程的輸出。如果您不熟悉 EMP 流程，那麼該分析會查看您測量系統中不同類型的變異，AIAG 流程也是如此。
從根本上來說，這最終會為您的測量系統提供分類。
你可以擁有從一等到四等的測量系統。這些類別的定義如下。在本例中，對於機器1，也就是我在本報告中查看的機器1，它顯示這是一個二等測量系統，這意味著它不如一等系統那麼好。你的測量過程會引入一些偏差。重複性誤差和重測誤差可能比你預期的要高一些，但這就是從輸出角度來看的。
下面是測量 2 的結果，如果我向下捲動，就會看到測量 2 的輸出。最終，這是一個一流的測量系統，誤差略小。這裡的誤差是 0.023，而上面的誤差是 0.35 或 0.035。所以，從分類的角度來看，誤差略小一些，就代表測量系統的表現略好。
同樣，如果您是 AIAG 組織，您可能會對諸如 % 公差之類的資訊感興趣。這是我們總量具 R&R % 公差行。在 1 號機器上，我們的公差約為 24%，高於我們通常使用的 10% 經驗法則，低於 30%。所以現在您可能需要做更多調查。
如果我查看下面機器2的公差百分比，我可以看到它稍微好一點，為15.8%。所以仍然高於10%，低於30%。您可能需要做進一步的研究，才能了解這對我們的流程來說是否可以接受。
但這裡的問題是，你要如何比較這兩個結果？這裡有什麼東西可以讓你說這兩個系統足夠不同以至於我關心它，或者這兩個系統是相同的嗎？
事實上，僅使用測量系統分析並不能輕易做到這一點。
好了，接下來我們來討論其他技巧。我接下來會講解如何透過假設檢定進行比較。好了，先把這些話題都講完，我們來談談假設檢定。
如果您做過類似T檢定或變異數分析之類的分析，那麼您就做過假設檢定。這些檢驗的目的是檢測差異，而您在這裡做的可能是假設檢定。我們感興趣的是，這些系統是否相同？或者換句話說，它們是否不同？您可能會考慮進行一些T檢定或變異數分析之類的分析，以便比較不同的系統。讓我們來看一下。
這裡還有另一個數據表，我們收集了來自四個不同系統的數據。我再次打開列統計資料。
您可以看到，這裡有來自四個不同系統的 80 個數據點，它們之間有一定的範圍。問題是：「我如何確定這些系統是否相同？」我在這裡稍微展開一下。
因為我們這裡有一個響應變量，即我們感興趣的測量值，並且我們有一個分組因子，即測量特定值的系統，所以我們可以在這裡進行“通過 X 分析擬合 Y”。
您可以造訪「按 X 分析擬合 Y」平台。如果我們想了解觀測值與測量這些觀測值的系統之間的關係，我會進行變異數分析（ANOVA）。我這就去做。我會把它帶到這裡。
再次，我們先從圖表開始。就我個人而言，當我進行這種按分組因素分組的連續資料比較時，我喜歡看箱線圖。
再次強調，我要按住 Alt 鍵並點擊紅色三角形，這樣就能調出包含所有選項的對話框。我要關閉點陣圖，打開箱型圖。當然，這完全是個人喜好。我只是喜歡在有這樣的分組時看箱線圖。我的大腦喜歡這種直觀比較的方式。你也可以保留點陣圖，沒問題。
但這裡我們有一些箱線圖，展示了這四個系統的資料分佈。從視覺上看，它們看起來非常相似。這些箱線圖的高度大致相同，這意味著中間 50% 的資料分佈大致相同。
我們的須線長度大致相同。也許系統4的變異性稍微好一點，或者稍微低一點，但總體來說，它們看起來非常相似，所以看起來不錯。但我們可以更進一步，進行實際的變異數分析，因為我們想比較這四個系統的表現。
因為樣本量超過兩個，所以我們無法進行 T 檢驗，但可以進行變異數分析。我將在紅色三角形中選擇變異數分析。如果你熟悉變異數分析，它就是比較四個不同系統的平均值，看看這四個系統的平均表現是否有差異。
這本質上就是我們在變異數分析中試圖回答的問題。在變異數分析中，綠色菱形顯示的是每個不同系統平均值的95%信賴區間。你可以看到它們都非常相似。
再次強調，系統 4 可能會略有偏移。但是，當你查看變異數分析表時，你會看到下面有一個 p 值，標記為大於 F 的機率。這就是這裡作為 F 檢定的一部分計算的 p 值。
這遠大於 0.05 或任何你可能使用的合理 Alpha 值。因此，你會得出結論，沒有證據表明這兩個系統之間存在差異。
這是比較不同系統非常常見的第一步驟。我們通常會說：「好吧，沒有區別，所以這些系統是一樣的。」但這並不是正確的做法。你需要思考兩件事。第一，我在這裡比較了平均值，但這還不夠。因為比較不同群體時，你不僅要關注群體的中心位置，也要關注群體之間的差異。
我這裡有一張小圖表來強調這個想法。這裡有兩個分佈，它們的平均值相同，但它們顯然是不同的分佈。它們之間有不同的變化。
在大多數情況下，你可能不會認為這兩者相同。到目前為止，我們透過變異數分析比較了平均值，但如果你想證明兩個總體之間沒有差異，你也應該進行變異比較。當然，我們可以在 JMP 中輕鬆做到這一點。
它提供了此處紅色三角形的功能。您可以在同一分析中直接對紅色三角形進行方差不齊檢定。現在我們在這裡添加了該檢驗。
我們可以看到，這張圖表顯示了我們四個不同系統的樣本數據的標準差，它們都非常相似。同樣，系統4略低一些，但差異不大。當然，我們在這裡列出了p值。這裡還有另一個p值列表。在這種情況下，JMP現在提供了幾種不同類型的p值。
所以你的團隊可能需要弄清楚你想用哪一個。這裡我將重點介紹Lovine檢驗。這是一個相當標準的檢驗，適用於異常值、穩健資料和非常態資料。所以這裡我將重點介紹Lovine檢定的p值。
再次強調，這個p值遠大於0.05。我們可以得出結論，這兩個群體之間的變異沒有差異。至此，我們比較了四個系統的平均性能，也比較了四個系統之間的變異，並得出結論，這些方面並無差異。
現在我們可以說：「好吧，平均值沒有差異，變異數也沒有差異。」這些系統是一樣的。同樣，別這麼快下結論。在進行統計假設檢定（例如變異數分析）時，還有一點需要記住，「沒有差異」這句話和說它們相同是不一樣的。
這是我們初學統計假設檢定時學到的。我們已經證明，沒有證據表明這兩個系統的平均值和變異數存在差異。但這並不意味著它們完全相同。這只是意味著，我們目前還不能根據現有的資料樣本斷言它們存在差異。
我們必須想出另一件事來說明，我們能說它們是一樣的嗎？幸運的是，也有一個測試可以解決這個問題。
你可能見過等效性檢定。我們來看看等效性檢驗。等效性檢定試圖利用假設檢驗，讓你能夠說“事物是相同的”，但實際上你想說的是，事物可能有所不同，但它們的差異還沒有大到讓我在意這種差異。
您必須能夠定義一個等價範圍，以便您可以說：「只要差異小於這個範圍，那麼出於所有實際目的，我們都會認為這些東西是彼此等價的。」這就是等價測試為您做的事情。
我們可以做一個等效性檢定。我這裡有一份副本。我們用我們之前開始做的報告來做一下。還是用同一份報告，用同樣的數據。現在我試著說：“我能否在我定義的等效範圍內，認為這四個系統是等效的？”
在紅色三角形上，你可以看到一個等效性檢驗選單。我們現在只看均值，僅供參考。平均值的等效性檢定的目標是能夠得出「這些系統的平均效能差異小於我關心的某個值」。
這就是進行等價性檢驗的想法。這裡我們可以看到執行等價性檢定的對話框。我們將繼續使用 T 檢定，因為我們想要比較平均值。如果資料嚴重偏斜或嚴重非常態分佈，您可以使用 Wilcoxon 檢定進行排序。但為了驗證等價性，我們將繼續使用 T 檢定。
你可以看到那裡有幾個選項。我不會一一列舉，但基本上它們的作用是：要么是等價的，要么是肯定小於或大於，這取決於你選擇的版本。我堅持使用等價選項。
您可以選擇在所有系統中使用合併方差，還是假設方差不等。因為我們剛剛進行了等方差檢驗，並顯示這裡沒有差異，所以我們可以使用合併方差檢定。我保留它，然後點擊“確定”。
我是不是忘了輸入差值了？抱歉。讓我們來做一下平均數的等效性檢定。假設我們和領域專家開會商量，決定只要這些系統中的值相差不超過10，就認為它們是等效的。所以，無論測量單位是什麼，只要每個系統的差異不超過10，我們就認為它們是等效的。
我們將在此處的差異框中輸入 10，然後點擊「確定」。然後，您將收到一份報告，其中顯示等效性分析的結果。這實際上是在進行所謂的 TOST 方法，即兩個單側檢定方法。它實際上是在進行兩個假設檢驗，但它們是單側假設檢驗，目的是顯示您是否可以認為差異小於您輸入的關注範圍。
在這個輸出中，我們有一個表格，比較了兩個系統。每一對都被比較，然後你會看到下面的圖表，顯示差異的範圍。
如果你的目標是證明事物是等效的，那麼你希望看到的是，每個系統之間、每個系統平均值計算出的置信區間都在這個藍色帶內。藍色帶代表實際等效值的範圍，任何超出該範圍的值，根據你輸入的差異值，都會被認為是不同的。
當然，我們在這裡可以看到，我們所有的比較都超出了該範圍，這基本上意味著我們無法得出這些系統是等效的結論，而 JMP 就在這裡告訴你這一點。
它針對所比較的每種系統組合給出了評估。如果我們進行這項分析的目的是為了證明這四個系統都是等效的，那麼很遺憾，我們現在已經證明事實並非如此，至少在我們測量值的 10 個單位範圍內是如此，正如本文所示。
然後我們可能需要做一些額外的分析，或者當然，您可能需要根據這些結果在您的環境中的意義來改變您的發展路徑。
但這是另一個可以用來證明系統間等效性的工具，也就是等效性檢定。實際上，它實際上是在進行差異檢驗，但它只是讓你判斷，如果存在差異，那麼這個差異就小於我們在流程或系統環境中實際關心的值。但從這個角度來看，它仍然是差異檢定。
好的。等效性檢定和假設檢定就到這裡。現在我關閉這些窗口，回到我們的日誌。
我這裡有一些筆記，關於如何確定實際差異範圍的值。你可以嘗試以下幾種方法。
領域專業知識通常是一種非常常見的方法。你會找到對你所分析的事物有詳細了解的人，然後坐下來，從我們的角度思考：「事物之間到底有多大差異，我們才會認為它們是不同的？」 但在進行等效性檢驗之前，你必須考慮這一點。
如果您成功地採用了這種方法並說：“哦，我們已經證明了等效性”，那麼您能說系統之間的事情確實是相同的嗎？
但結果可能並非如此，因為您可能會考慮所有這些並說：“好吧，我真正想知道的問題是，如果我在系統 A 上測量一個部分，然後在系統 B 上測量同一部分，它們會給我相同的值嗎？”
我們到目前為止所做的一切都不能保證情況確實如此。即使你證明沒有證據表明存在差異，即使你進行了等效性檢定並表明情況是等效的，在進行這些假設檢定時要記住的是，它們比較的是總體統計數據、平均值、標準差等等。
這些測試並不能保證在逐個部件測量時會獲得相同的值。你可以想像這樣一種情況：我這裡有兩個系統的資料樣本，平均而言，我們認為它們是等效的。這些均值線彼此非常接近。它們小於我們確定的實際等效範圍。所以我們說它們是等效的。
但是，如果你查看單一值，你會發現該零件是在2號機器上測量的，它給出的數值大約是4.75。但當你在1號機器上測量同一個部件時，得到的數值更接近9。我們不會在統計假設檢定中看到這種情況，因為這些檢定關注的是總體匯總統計數據，例如平均值和標準差。它們關注的不是單一值。為了做到這一點，我們將進行迴歸分析。
這是一種技術，如果你真的想證明事物在你所擁有的測量誤差範圍內逐部分相同，那麼你可以使用這種技術來做到這一點。
好的。我們來看一組數據，這些數據是我們在兩個不同的系統上測量的。這是另一個數據表，其中我們在兩個不同的系統上測量了20個零件。假設這20個零件是在我們使用多年的舊系統上測量的，現在我們有了一個測量相同零件的新系統，我們在這個新系統上測量這20個零件。
問題是：「這些機器能保持相同的效能嗎？」我們該怎麼做呢？好吧，你可以想想，如果將這些數據作圖，因為測量的是相同的零件，這些測量結果應該會給出相同的值，那麼你應該會在兩個系統之間看到一條直線，斜率通常接近1，截距最好接近0。因為如果我在舊系統上測量某個零件的值是60，那麼在新系統上也應該得到60左右的值，因為我測量的是相同的參數。同樣，如果我在舊系統上測量的是120，那麼在新系統上也應該得到120左右的值。
這就是我的想法。
您可能會考慮進行最小平方法擬合迴歸，這是我們許多人開始進行分析時使用的非常典型的迴歸。
在這個特殊情況下，您可以看到，“好吧，如果我有 Y 等於 X 的線，那麼我有一個截距為零、斜率為一的線。是的，這似乎很符合我的數據。”
但我們知道這些數據中存在一些誤差。我們來做個最小平方法擬合，我已經在這裡做了。你可以看到我們得到了另一個方程式。抱歉，如果我能用雷射筆的話。
這裡我們有一個最小平方法迴歸模型，我們可以看到，截距又接近零。它並非完全為零，但很小，斜率非常接近1。如果你這樣做，你會說：“這看起來很有希望。我的斜率是1，截距接近於零。我應該可以說，在我測量的數值範圍內，這兩個系統在各個部分上給出的值是相同的。”
好的開始。問題是，在這種情況下，最小平方法迴歸不能以正確的方式解釋誤差。
如果你學過最小平方法迴歸，那麼你可能也學過迴歸中的殘差。想像一下，在左邊，我們有一堆資料點，我們用最小平方法迴歸繪製了一條最佳擬合線。然後，你在最小二乘迴歸中進行的所有模型診斷，都是在最佳擬合線中查看觀測值和資料之間的殘差，也就是圖中這些灰線突出顯示的部分。
在最小平方法迴歸中，所有誤差始終存在於 Y 維度中。我們假設誤差存在於反應變數中。對於您的迴歸模型，X 變數中沒有誤差。
但在這種情況下，我們有兩台機器進行測量，當然，兩台機器都會有測量誤差。所以我們真正想要做的是，誤差同時出現在Y方向和X方向上，因為我們多年來使用的產量系統有誤差，我們的新系統也有誤差。現在，這些誤差可能相同，也可能不同。沒關係。你可以考慮到這一點。
但是您想允許模型的兩個因素都出錯。
我們能做什麼呢？這叫做正交回歸。之所以叫正交迴歸，是因為你的誤差是跟你這裡的最佳擬合線正交計算出來的。我們可以這樣做。好的。
幸運的是，當你擁有兩個系統之間的一些數據時，你可以進行「以 X 擬合 Y」分析。我將再次進入「以 X 擬合 Y」分析平台。我將在這裡將新系統作為 Y，將舊系統作為 X，然後點擊“確定”。
再說一遍，我們看到這張圖表。我們希望能夠進行迴歸分析，以了解“我們能說這些系統是相同的嗎？”
所以我要看紅色三角形。通常，你可能會用典型的最小平方法迴歸來擬合線，但我實際上要用下面的正交擬合。關於正交擬合，需要注意的一點是，你需要了解這兩個系統之間的誤差關係。你可能需要說我相信這兩個系統有相等的變異。
如果您將完全相同的副本帶入您現在使用的機器，那麼可以合理地預期這兩個系統之間的測量系統變異是相同的。因此，您可以選擇等方差，也可以指定方差比。
您可能會這樣做，因為您已經對這兩個系統進行了測量系統分析，因此您知道日誌中顯示的測量系統的標準偏差。
一旦計算出標準差，您就可以取這些標準差的平方比、變異數比，並指定該值（如果已經這樣做了）。
為了我們的目的，我會說「等方差」。我期望這兩個系統之間的變異相同，所以在這裡我選擇了等方差分析。 JMP 在這裡擬合了一條正交迴歸線。同樣，它看起來與最小二乘回歸非常相似。事實上，我可以在這裡選擇擬合線來啟用最小二乘迴歸。你可以放大這些圖表（我在期刊上就是這麼做的），我把它們放大了一點，這樣更容易看清。
它們看起來非常相似。基本上，它們就疊在一起。讓我回到另一個視窗。
但是如果你放大這些座標軸，像我這樣操作，只抓取那個小方塊作為例子，你就能開始看到它們之間可能稍微分離了一點。這樣就更清晰一些了。
但從根本上來說，這些線是互相重疊的。在這個特殊情況下，這只能說明：“是的，即使我在這兩個系統中都存在測量誤差，但由於 Y 和 X 的誤差相同，所以我的線與最小二乘回歸線並沒有太大區別。”
在其他情況下，你會看到它們呈現出截然不同的線條。即使它們看起來相同，但從分析角度來看，你真正需要關注的是正交迴歸線，因為在這種情況下，由於 Y 和 X 變數都有誤差，所以正交迴歸線更能準確捕捉誤差。
如下圖所示，當你進行正交迴歸時，你會得到斜率和截距的數值。如果你的目標是證明等價性，那麼你真正想要展示的是截距接近零。
在這種情況下看起來不錯，-0.95。那你希望斜率是1。更具體地說，你真正關注的是斜率的置信區間，如圖所示。只要1在這個範圍內，也就是置信區間下限小於1，置信區間上限大於1，那麼你實際上會說：“是的，這條線的斜率在合理的置信範圍內可能是1。因此，我會得出結論，這些系統在各個部分的基礎上是相同的。”
再次強調，這裡的關鍵在於，這項技術允許你逐一測量我們測量的數值範圍，這些系統給出的值是相同的。這就是正交回歸的原理。與最小平方法回歸略有不同。在 JMP 中操作同樣簡單。同樣，它就在紅色三角形上。太棒了。
你只需要稍微了解一下你試圖比較的測量系統中變異數或誤差之間的關係。然後你就可以進行分析，得出某種結論，對嗎？是的，我們可以認為這些值在這個範圍內是相同的，也可以認為不是。
然後你可能會想：「那為什麼它們不一樣呢？」當然，這總是有可能的。好的。
好的。主題就是這樣。我們探討了幾種比較系統的不同方法。因為我們討論的是測量，你可能會想到比較測量系統分析，但實際上，這並非易事。當然，你仍然希望進行這些測量系統分析，以便了解你所擁有的每種不同測量系統的準確度和精確度。
你可能會考慮進行假設檢驗，它實際上允許你說“我無法判斷事物有什麼不同”，但嚴格來說，它不允許你說事物是一樣的。然後你可能會考慮等效性檢驗，它至少允許你說，即使存在差異，這個差異也比我關心的要小。這就是等效性檢定。
然後，正如我們最後討論的那樣，正交回歸會逐點顯示，我會認為這些系統給出的值是否相同，當然。這部分你可能需要進一步思考。今天就到這裡。
如有任何問題，請告訴我。非常感謝。
