預處理功能你好,
我想在開始分析之前開始在數據庫中預處理我的特徵。 我正在尋求有關要遵循的步驟的幫助。
數據清洗後首先是什麼? 異常值去除、縮放(數據標準化)或缺失數據插補?
你會建議哪種順序?
問候
魯
回复:預處理功能我相信標準化是為集群完成的。JMP 文檔說,對於 KNN,每個變量都按其標準偏差進行縮放 - 正是為了避免您提到的問題類型。所以,我仍然認為你不需要額外的預處理來做你想做的事——比較一些不同的預測模型。
回复:預處理功能感謝戴爾的回复,
事實上,在預處理數據之前首先以圖形方式檢查數據非常重要。
我想比較幾種機器學習模型(KNN 等線性模型和隨機森林等非線性模型等)對我的數據的預測性能。 線性模型將特徵視為具有相同的比例。 但是生理變量的值在很多不同的尺度上,例如 pH 值和心率。 因此我想通過 Z 歸一化來縮放它們。 此外,聚類算法(K-mean 聚類)不會在 JMPpro 中自動估算缺失值。 這就是為什麼要先預處理我的數據
回复:預處理功能我會對此進行嘗試,儘管我認為您可能需要更具體才能獲得更好的建議。我不確定您如何將“清理”數據與“預處理”區分開來,但我建議您不要使用您列出的步驟。我從不建議刪除異常值 - 至少在您對異常值實際上是異常值的原因有所了解之前,至少要等到相當深入地進行分析。 我也不建議將規範化或重新縮放數據作為一般做法(儘管它可能對特定環境有用)——許多 JMP 分析平台會在有用的地方自動規範化數據。類似地,在大多數 JMP 平台中輸入缺失數據是不必要的,因為它是自動完成的(通常只需選中一個框以包括缺失)。有時您可能希望更仔細地估算缺失值,可能使用您自己的方法(例如,構建回歸模型來估算缺失數據),但這又取決於上下文。所以,我不建議你做任何你列為自動的事情。相反,我會首先以圖形方式檢查您的數據,以確保您了解正在測量的內容、似乎存在哪些類型的關係並且可能很重要,並確定某些“預處理”是否是一個好主意。