883609_zh-TW

liliconcom

如何透過擬合模型預測異常值

大家好，

目前，我嘗試使用擬合模型來建立模型，以便能夠根據輸入變數預測輸出，並判斷預測是否為異常值。然而，我遇到的一個問題是，在得到模型後，模型無法清楚地指出以紅色突出顯示的異常值。

即使我嘗試對資料來源進行預處理，例如從資料來源中排除異常值，然後訓練模型，但異常值並沒有真正被篩選出來

有什麼方法可以訓練模型，以便區分異常點

謝謝

基礎資料分析與建模回覆：如何透過擬合模型預測異常值

你好@PhamBao ，

異常值檢測和分類可能是一個很深很深的領域，有很多不同的方法可以讓你涉足其中。你應該考慮的一件事是如何定義異常值（這在你的文章中不太清楚）：你是在尋找與你的模型不匹配的異常值，還是你定義的紅色區域中的點就是異常值？

簡單來說，這裡有一些可以嘗試的領域：

- Cooks D 異常值 - 這定義瞭如果移除一個點，模型係數會發生多大的變化 - 通常，任何大於 4/n（n= 行數）的閾值都是一個不錯的起點。此連結提供了許多關於 Cooks D 的指南。

- 學生殘差圖 - 這些圖表可以很好地視覺化行中的殘差，並有助於將進入某個區域的點定義為可能的異常值。

查看此處和此處的兩個連結以獲取更多資訊。

謝謝，

本

回覆：如何透過擬合模型預測異常值

你好@PhamBao ，

我同意@Ben_BarrIngh的觀點，處理異常值問題時有很多可能性。

首先要考慮的是異常值的性質：基於模型（與特定模型擬合相關）還是與模型無關？

識別異常值的方法取決於其性質：

• 與模型無關的異常值檢測方法，例如馬氏距離，不依賴指定的模型，僅基於變數/因子/特徵比較點之間的距離。因此，透過此類方法識別出的異常值表明該點看起來“奇怪”，並且似乎不屬於其他點的因子分佈。請參閱「多變量平台」中的「異常值分析」選項。
• 基於殘差（學生化殘差，或其他指標，如 PRESS RMSE/R2…）的模型異常值偵測方法，能夠辨識模型適配/預測不佳的異常值。這可能表示模型缺少一些重要項（如交互作用或非線性效應），或者模型可能不適用於資料。您可以使用其他診斷面板/工具，根據模型的統計顯著性，以及根據您的目標使用不同的指標，例如資訊準則/RMSE/R2…來檢查模型是否與您的資料擬合良好。您也可以透過計算庫克距離來檢查偵測到的基於模型的異常值是否對您的模型產生重大影響： https://www.jmp.com/en_us/statistics-knowledge-portal/what-is-multiple-regression/mlr-residual-analy...如果這些點的值較高和/或異常，則表示這些點可能對模型產生影響，並可能產生偏差。您應該調查這些點是什麼，以及測量值是否有效，然後再決定是否要減少它們對模型的影響或移除它們。模型擬合完成後，請參閱平台「擬合模型」或「模型擬合選項」中的「行診斷」選項。

請格外注意異常值的原因/來源及其正確處理方式。移除異常值或許能讓分析更容易，但這並不能解決您的問題，也無法阻止異常值再次出現。

希望這個答案能對你有幫助，

回覆：如何透過擬合模型預測異常值

你好@Victor_G和@Ben_BarrIngh ，

非常感謝您的意見。就我而言，我對擬合模型和統計數據的知識有限，所以只是想尋求更多建議。讓我先明確一下我想要什麼。根據下圖，紅色數據點是根據我們的製造標準確定的壞數據點。我想要的是將壞數據點從擬合線中分離出來。第一次，我使用模型1，但發現壞數據點離擬合線並不遠。第二次，我嘗試使用與模型1相同的輸入，但這次我對一個參數進行了二次多項式計算，然後我發現與模型1相比，壞數據點離擬合線更遠。

1. 相較之下，模型 1 和模型 2 的適配度表總結起來比較類似，但模型 2 似乎才是我想要的。問題：有沒有方法可以將實際中不良資料點與擬合線分開？
2. 對於模型 1，我不太明白為什麼壞數據點會如此靠近擬合線。有什麼方法可以將它們分開嗎？
我期待你的答复

回覆：如何透過擬合模型預測異常值

在 JMP 中，您可以透過擬合模型（例如迴歸或分類模型）並分析殘差或預測誤差來預測異常值。擬合模型後，找出殘差、槓桿率或影響力異常大的資料點（例如，使用 Cook 距離或學生化殘差）。 JMP 還提供諸如槓桿率與殘差圖之類的視覺化工具，以幫助識別潛在的異常值。標記後，您可以進一步探索這些點，以確定它們是真正的異常值還是資料輸入問題。

回覆：如何透過擬合模型預測異常值

你好@PhamBao ，

您的問題中有幾個主題，一個與模型擬合（和模型比較+驗證）有關，另一個與異常值檢測有關。

• 關於模型擬合，我建議比較模型的指標並分析殘差。在您最後一張截圖中，您可以看到除了模型 2 中添加了二次效應之外，其他模型非常相似。在 R²/R² 調整後和 RMSE 方面，添加這個二次效應僅有輕微的改善。它也會在殘差中強制呈現非隨機曲率模式，因此我對模型的評估和比較非常謹慎。或許使用驗證點或將資料集拆分為訓練集和驗證集，可以幫助區分最適合您資料的模型。
• 關於異常值檢測，正如我在第一條回覆中提到的，有很多方法可供選擇。如果您已經知道這些點是異常的或不正常的，為什麼不將它們標記為異常值，並嘗試了解哪些因素（以及範圍值）可能導致這些點？您可以建立一個分類模型（例如邏輯回歸），其中您的回應將是二分類回應（例如「正常」和「異常值」），而您的因素將是您的輸入變數（如所示的模型中所示）。
  根據該分類模型的結果/性能（混淆矩陣、錯誤分類率等），您可以調查哪些因素導致了這種情況，並使用預測機率公式根據測量值預測新點可能奇怪/異常的機率。

希望這些建議能對你有幫助，

回覆：如何透過擬合模型預測異常值

我認為 Victor_G 的第二點完全正確。您指出的「不好」的點並非傳統意義上的異常值——它們距離迴歸線並不遠。真正的問題是您（根據專業知識）知道這些數據點有問題。所以，您需要一個能夠預測這些問題的模型，而您提供的迴歸模型並不能做到這一點。我不會尋找其他迴歸模型——我認為您真正想要的是一個分類模型來預測您已知有問題的點。這是一種不同類型的模型，大多數相同的方法都可以在 JMP 中使用，但使用的是名義響應變量，而不是您使用的連續響應變量。

回覆：如何透過擬合模型預測異常值

感謝 Victor 和其他成員。我一定會試試你們的建議。