異常值檢測你好
如果我想計算分類問題中神經網路預測的殘差以檢測異常值
我應該使用什麼公式來計算殘差?
該軟體可以做到這一點嗎?
進階統計建模預測建模和機器學習回覆:異常值檢測嗨@maryam_nourmand ,
如果您使用模型來預測連續數值,某些模型允許您直接將殘差保存在資料表中,方法是按一下紅色小三角,選擇“儲存列”,然後選擇“殘差”。對於神經網絡,您需要一些手動工作,將預測公式保存在表中(紅色三角形,“保存公式”或“保存快速公式”),然後使用公式創建一個新列“殘差”:實際值- 預測值
請注意,當您點擊紅色三角形時,您已經可以選擇在神經網路平台中繪製「預測殘差」圖。
如果您使用模型來預測類別,則不會有殘差,但您可以獲得有關錯誤分類和計算機率的資訊。然後,您可以保存這些機率列(與先前相同的選項),並嘗試了解錯誤在哪裡,例如透過繪製預測的主類別的機率並查看是否需要調整分類機率閾值。
如果您對評估分類模型感興趣,還有各種圖表可以幫助您評估分類器模型的效能: ROC 曲線、 提升曲線、 混淆矩陣…
希望這個回答對你有幫助
回覆:異常值檢測但我們可以計算邏輯迴歸中的殘差
它也是一種分類模型
我附上計算偏差殘差的公式的圖片
現在我想知道何時使用神經網路來解決分類問題
我要怎麼計算殘差呢?
回覆:異常值檢測事實上,您可以計算廣義線性模型中的偏差: 模型選擇和偏差的統計詳細信息
例如,在 JMP 資料集“Detergent”上,使用“brand”作為分類回應 Y,我確實可以選擇直接計算殘差偏差並將其保存在資料表中:

偏差是統計模型擬合優度的指標,其中模型擬合是通過最大似然實現的,這可能不適用於使用不同損失函數的機器學習模型: 偏差(統計)- 維基百科
因此對於某些使用不同擬合函數的模型可能無法計算。
回覆:異常值檢測那麼機器學習模型中統計模型中殘差的同等概念是什麼呢?
但我認為我們在機器學習模型中每個類別都有機率,所以我們也應該可以計算殘差
回覆:異常值檢測殘差分析在統計模型中不僅用於評估預測效能,還用於驗證其正確使用背後的假設: 迴歸模型假設|統計學概論|聯合管理計劃
在機器學習模型中,通常沒有那麼「嚴格」的假設,因為我們不假設真實的關係是線性的,誤差是常態分佈的,等等...
使用機器學習模型背後的一個重要共同假設仍然是資料是獨立同分佈的: 獨立且同分佈。其他假設更多地與特定演算法的使用及其學習數據的方式相關。您可以在這裡閱讀更多相關資訊:
- https://www.kdnuggets.com/2021/02/machine-learning-asminations.html
- 機器學習系列中的歸納偏差: https://mindfulmodeler.substack.com/p/from-theory-to-practice-inducing
任何分類模型都會計算資料點屬於每個類別的機率。根據指定的閾值(例如,二元分類> 0.5),它將輸出與最高類別機率對應的預測類別。處理和視覺化預測機率可以幫助您更好地定義預測類別的輸出閾值,並幫助您評估您的模型是否可以正確地區分類別。
我不知道是否有一種指標或方法可以直接使用這些預測機率來計算 JMP 中的某種殘差?
回覆:異常值檢測
如果您找到了一種直接使用這些預測機率在 JMP 中計算某種殘差的方法,或者找到一種不僅僅在 JMP 中使用這些預測機率來計算殘差的方法,請在這篇文章中告訴
謝謝
回覆:異常值檢測您可以計算 Brier 分數。但也許你應該多說一點你到底想做什麼。有很多方法可以衡量和評估分類模型的準確性。我發現殘差是最不直觀的,因為分類模型產生機率,每個觀察結果要么被正確分類,要么不被分類。錯誤分類的機率越極端,模型就越差(我認為殘差可以衡量這一點 - 但我認為有更直觀的方法來看待這一點)。那麼,您想用殘差做什麼呢?
回覆:異常值檢測我想檢查我的模型預測響應的能力如何
回覆:異常值檢測您已將您的問題描述為分類模型。 JMP 將計算每個觀察結果的離散結果的機率(最好使用驗證並專注於驗證資料而不是訓練資料)。您可以使用這些機率來計算 Brier 分數等度量,也可以使用上述各種方法來衡量模型的準確性。我真的不明白你所說的殘差是什麼意思,也不明白你為什麼要注意這些。假設您的分類模型是二元的:預測反應 0 或 1。現在,假設特定觀察的實際分類為 0(或 1)。您將這個觀察結果的「殘差」稱為什麼?如果預測正確,例如 1,那麼機率越接近 1,您的模型就「越好」。如果它實際上是 0,那麼模型的機率越接近 1,您的模型就越「差」。 Brier 分數是一種常用的方法來衡量模型的好壞(我不相信 JMP 會計算 Brier 分數 - 至少我沒有見過 - 但手動計算應該很容易)。另外,AUC、錯誤分類率、AIC 等都是 JMP 隨時提供的衡量模型的好壞的指標。
但是,您對「殘差」的關注遠不是實現確定「我的模型可以預測響應的效果」這一目標的最直觀方式。殘差是確定連續反應變數而不是分類模型的自然方法,並且 JMP 可以輕鬆計算這些類型模型的殘差(內置於「保存列」的紅色三角形中,或者只是創建一個使用ABS(實際預測)的列。