選擇從 DoE 中的 2 個相等異常值中排除你好,
是否有其他指標可以幫助我確定哪個異常值更可能是資料集中的真正異常值?
我執行了 DoE,並在建模過程中註意到有兩個相等的異常值(透過外部學生化殘差:48 和 -48)。如果我排除其中一個,模型的調整 R2 會立即大幅提高,從大約 0.65 提高到 0.99,現在發現另一個異常值處於趨勢之內。
根據我選擇排除的異常值,它會影響我的模型。在一種情況下,我只得到線性和交互效應,在另一種情況下,我還得到了一些二次效應(我預計是二次的,但不能確定)。
是否有其他指標可以幫助我確定哪個異常值更可能是資料集中的真正異常值? I want to avoid any scientific bias if at all possible. In looking at the experiment, I cannot identify anything incorrect in the execution of the conditions which would sway my decision.
實驗設計視窗回覆:選擇從 DoE 中的 2 個相等異常值中排除你好@MetaLizard62080 ,
學生化殘差可能是識別異常值的好方法 基於 一個 假設 模型.有關如何計算學生化殘差的更多信息,請參見此處: 行診斷(jmp.com)
「位於紅色界限之外的點應被視為可能的異常值。位於綠色界限之外但在紅色界限之內的點應被視為可能的異常值,但確定性較低。 ”從定義中可以看出,對於異常值的性質沒有明確的確定性,因為它可能取決於您正在擬合的假設模型。
也許您擬合的模型過於簡單/與收集到的所有點和測量值不相關(這些二次效應似乎可能相關)?
您可以做的是使用與模型無關的異常值方法分析您的資料集,檢查這兩點是否看起來“奇怪”,或者是否只是充分模型擬合的問題。與模型無關的異常值檢測方法,例如馬哈拉諾比斯距離或刀切距離,不依賴指定的模型,只是根據變數/因素/特徵比較點之間的距離。因此,透過這種方法識別的異常值表明該點看起來「奇怪」並且似乎不屬於其他點的因子分佈的一部分。
異常值第 3 集:使用馬哈拉諾比斯距離(和 T2)檢測異常值
異常值第 4 集:使用刀切距離偵測異常值
從提供的有限資訊和僅針對特定模型擬合進行的診斷來看,如果您沒有根據統計屬性(異常值,... )和領域專業知識(錯誤值,測量記錄中的拼寫錯誤,測量系統中的錯誤/問題,...)證明您「可以」做到這一點,那麼您不應該刪除任何點。在您的範例中,您仍然可以比較兩個模型的結果,一個模型包含所有點,另一個模型透過「隱藏和排除」兩個「奇怪」的點(或簡單地添加一列來對這兩個異常點的權重低於其他點),看看結果是否有很大差異。但您可以在使用其他一些選項之前進行檢查,例如按 RMSE/R2、 Cook 距離等指標,以及檢查多元線性迴歸假設,以檢查您的模型是否可接受。也許您的資料可以使用Box-Cox Y 變換?
希望這個答案能幫助你,
回覆:選擇從 DoE 中的 2 個相等異常值中排除這是我的想法,我同意 Victor 的觀點,不要在不知道治療情況的情況下刪除數據(這些數據點可能是您研究中最有用的信息):
1. 使用戴明術語,諷刺的是,實驗中的特殊原因資料點並不是那麼不尋常。這可能是因為您在實驗中做了一些非常不尋常的事情(例如,在粗體等級設定下操縱因素)。關於這些特定數據點的問題是;它們是由於實驗中的因素造成的還是由噪音造成的?
2. 有很多方法可以診斷實驗數據的質量,殘差分析就是其中之一,它非常有用,因為殘差分析是在定義模型並了解模型解釋的變化之後進行的。例如,診斷資料品質的其他方法:
- 將 Y 排序(每個 Y 向下),依照從好到壞的順序排列。取得 MR 圖表。 MR 圖表兩端的 OOC 點可能不是由於治療效果而是由於噪音。 (這個方法叫ANOG,分析的不錯)
- 將每次治療的實際數據與預測值進行比較(這需要您先驗地預測數據)。不要關閉工程!您對每次治療的結果有何假設?請記住,對於殘差,實際數據可能看起來不那麼不尋常。事實是,該模型在預測感興趣的特定治療結果方面表現不佳。為什麼模型對這些治療方法的效果不佳?
- 執行等級分析。依 ANOG 方式對資料表進行排序後,新增一個新欄位並將其標記為「排名」。在該列中輸入連續的數字(例如,對於 16 次運行的實驗,您將有許多 1-16)。分析排名以及實際的 Y,看看結果如何比較。排序消除了實際數據中的較大跳躍,因此特殊原因數據點的槓桿效應被最小化。
如果您已經預見了潛在的特殊原因,則可以進行重複試驗,如果其中一個重複的數據點不尋常,您仍然可以使用該治療進行其他重複分析。
對 DOE 數據進行診斷總是好的。套用我最喜歡的一位 DOE 作者 (Cuthbert Daniel) 的話:
DOE 中最常見的缺陷是
- 過度飽和:治療次數過多,效果不佳
- 過於保守:對於期望的估計,觀測次數過多
- 未能研究數據中的錯誤值
- 未能考慮所有混疊
- 由於誤解誤差方差而導致的不精確。
附註:您應該對 R 平方和 R 平方調整後的模型細化之間的差異更感興趣,並使用 R 平方調整後的值來評估模型的充分性。