在縮小模型時何時移除異常值?你好,
當我簡化模型時,我會觀察外部學生化的殘差以了解異常值何時出現。在整個模型簡化過程中,我應該何時移除這些異常值?
如果當模型包含所有項目時我沒有看到異常值,但是當我刪除一個項目時出現異常值,您是否會立即刪除該異常值並繼續減少,還是繼續減少然後在最後刪除異常值?
實驗設計視窗回覆:在縮小模型時何時移除異常值?你好@MetaLizard62080 ,
您是否閱讀過@statman和我對您之前的帖子“選擇從 DoE 中排除 2 個相等異常值”的回复?
為了清楚起見,重複一遍,學生化殘差可能是識別異常值的好方法 基於 一個 假設 模型.有關如何計算學生化殘差的更多信息,請參見此處: 行診斷(jmp.com)
「位於紅色界限之外的點應被視為可能的異常值。位於綠色界限之外但在紅色界限之內的點應被視為可能的異常值,但確定性較低。 ”
您可以將它們用作適合資料的模型的複雜性充分性的模型診斷。這明顯地說明了學生化殘差結果如何/為何依賴模型,因為在模型中刪除/添加一個項會改變哪些點可能是基於模型的異常值的診斷:這些點的行為不能被模型很好地描述/預測,但這並不意味著它們在所有其他情況/建模選項中都是異常值。
您不應該根據基於模型的異常值分析丟棄/刪除點,這些工具非常適合在其他統計指標和標準(R²/R²調整、RMSE、p值、資訊標準如AICc/BIC等)的幫助下完善您的模型並調整其複雜性。
在建模之前,應該使用適當的工具來識別和分析異常值。如果您想調查資料集中的點是否可能是異常值,請嘗試使用基於距離的多元方法,例如馬哈拉諾比斯距離、刀切距離或 T² 距離: 異常值分析您也可以在選單探索異常值中進行一系列其他分析。
無論如何,統計分析不足以丟棄可能為異常值的點,您必須調查這些奇怪的點並了解這些點的測量值與其他點相比如何/為何顯得奇怪:測量誤差、實驗誤差、操作員變化/錯誤,或者可能發生了意想不到的事情?
希望這個答案能幫到你,
回覆:在縮小模型時何時移除異常值?嗨,維克多,
我確實讀過回覆。在我的工作中,檢測結果經常存在很大差異,這很容易解釋被視為異常值的異常結果。
我通常使用多元平台透過 JackKnife Z 開始分析,以評估一般反應。但這並不總是能揭示模型的異常值。例如,在我上一個 DoE 中,JackKnife 顯示,在每種情況下外部學生化殘差都會發現一個異常值 < 2。我無法找到該點成為異常值的原因,但如果不刪除它,我的模型顯示調整 R^2 為 0.61,而刪除該點後,調整 R^2 增加到 0.99。除此之外,移除該點的模型也具有“科學意義”,而未移除該點的模型則總體上是混亂的。
當我刪除異常值時,我總是喜歡比較可能的模型,看看是否對預測有重大影響。在這種情況下,根據我何時刪除模型簡化點(開始、中間或結束),我確實發現我有不同的模型,但實際的預測能力大致相同。在某種情況下,我有一個非常輕微的二次函數,但它不是一個主要因素。雖然在這種情況下,所有這三種模型很可能同樣有用,但我想知道確定最有可能的模型的最佳實踐。
我理解,刪除點不僅僅是遵循學生化殘差過程,但是,如果我知道存在異常值或強烈感覺到可能存在異常值,最好在模型縮減之前、中間或之後將其刪除,因為這會影響模型收斂的結果。
回覆:在縮小模型時何時移除異常值?你好@MetaLizard62080 ,
如果您預期分析結果會有較高的變異性,您是否會使用阻塞來解釋這個噪音源?
如果您可以擁有一個能夠利用領域專業知識進行驗證的模型,那就太好了,這應該可以減少錯誤的可能性。您能重複一下那些看似奇怪的測試(或只是測量)嗎?這可以幫助您確定它是“系統錯誤”還是“隨機錯誤”,並為您的決策提供參考。
我不會直接刪除那些看起來奇怪且模型沒有準確描述的點,而是仍然使用它們,但降低它們對模型的影響,方法是創建一個列“權重”,將“正常”點的值為 1,“奇怪”點的值為較低的值,並在“模型”對話框中將此“擬合權重”列用作“擬合模型啟動視窗中的權重變量:元素”
為了讓模型收斂得更快而刪除一些點將會導致模型產生偏差,並且可能產生錯誤樂觀的模型結果。
希望這些觀點對你有幫助,