Building predictive models from data tables? Watch out for these 10 villains. Image courtesy of prettysleepy on Pixaby.Building predictive models from data tables? Watch out for these 10 villains. Image courtesy of prettysleepy on Pixaby.Building predictive models from data tables? Watch out for these 10 villains. Image courtesy of prettysleepy on Pixaby.Building predictive models from data tables? Watch out for these 10 villains. Image courtesy of prettysleepy on Pixaby.從資料表建立預測模型？ 小心這10個惡棍。 圖片由 Pixaby 上的 Prettysleepy 提供。
我一直沉浸在數據科學競賽的世界中，在盲態測試中的預測表現會將你和你的隊友排在排行榜上，並贏得獎品和街頭信譽。 為了在這些比賽中取得成功，你必須非常有效率和聰明地利用你的時間，因為一路上你可以做出數百個小決定和不同的方向。如果你搞砸了或浪費了時間，就會有人超越你。 有時，甚至覺得有危險故意絆倒你。 聽起來有點像現實生活，不是嗎？
對於我學到的每一次良好的實踐和對數據的熟練運用，我可能犯的錯誤數量是這個數字的十倍。 隨著時間的推移，我列出了 10 種需要不斷警覺和應對的危險。 正如我所描述的以前的帖子，數據永遠不會乾淨地來到我們面前，而這些麻煩總是潛伏著。 雖然該清單重點關注表格數據，但許多問題也適用於圖像、文字和其他類型的結構數據。
這些危險是如此真實和普遍，以至於它們可以呈現出自己邪惡的性格，事實上，為了好玩，我將每一個危險都與一個超級惡棍聯繫在一起。 在下表中，看看您是否能想像這些作惡者在您的資料表上巧妙地體現了他們的危險。
危險
|
超級反派
|
問題
|
答案
|
聯合管理計劃平台
|
1.形狀不當
|
魔形女，來自誘人的欺騙性變形者X戰警
|
A。桌子是否寬、不高或堆疊？
b.行是否對應於要訓練和/或預測的不同觀察結果，列是否對應於目標和特徵？
|
1.目視檢查
2. 根據需要執行資料操作和重塑
|
轉置、拆分、堆疊、連接、更新
|
2. 錯誤的價值觀
|
小丑從蝙蝠俠，總是想對你惡作劇
|
A。數據值是否正確？
b.可能是什麼導致了錯誤？
|
1.目視掃描
2. 單變量、雙變量、多變量圖和統計數據
3.必要時檢查並驗證原始資料來源
|
分佈、圖形產生器、多元
|
3. 缺失值
|
佛地魔從哈利波特，連名字都不能提的人可以神祕地刪除應該存在的值
|
A。值是隨機缺失的，還是有系統模式？
b.缺失值模式是否具有預測性？
|
1.認真研究缺失程度和模式；根據需要設計新功能
2. 建立缺失值指標並檢查它們是否與反應相關
3. 注意：梯度提升樹通常不需要插補
|
分析 > 螢幕 > 探索缺失值、列 > 重新編碼、圖形產生器
|
4. 無效的預測變數
|
伯恩斯先生從辛普森一家，自私地策劃和密謀，讓你的生活變得悲慘
|
A。是否有任何欄位不可行或不適合用於未來預測？
b.所有潛在的預測因子在科學和倫理上都有意義嗎？
|
1. 瀏覽所有欄位並理解每一欄的含義
2. 刪除無效列或將它們移到表格的開頭或結尾，這樣以後就不會選擇它們
|
列 > 刪除、列 > 重新排序、在左側面板中用滑鼠移動列
|
5. 高基數
|
萬磁王從X戰警，控制任何含有金屬的物體，並且可以同時向你扔很多碎片
|
A。哪些分類預測變數具有較高的等級？
b.什麼樣的數位編碼才有意義？
C。低頻類別是否應該折疊？
|
1.檢查數量和頻率
等級數
2. 根據需要重新編碼級別
3. 計算數字編碼，如果使用目標訊息，請特別小心，以避免過度擬合
|
分佈、列 > 重新編碼
|
6. 異常值和異常值
|
帶翅膀的猴子從綠野仙蹤，不斷地內外飛行，執行著邪惡女巫的邪惡命令
|
A。極值是否在合理範圍內？
b.是否有任何值意外地重複得太頻繁？
|
1. 檢查直方圖和分位數
2. 驗證異常值是否正確
3. 使用對數轉換來評估真正偏斜的連續分佈
4. 馬氏距離
|
分佈、多變量、分析 > 篩選 > 探索異常值
|
7. 重複數據
|
暹羅貓從女士和流浪漢，帶著雙重邪惡的意圖和一首令人惱火的朗朗上口的歌曲
|
A。是否有任何行或列意外重複？
b.是否有任何列同構？
C。每行的 ID 值是否唯一？
|
1.目視掃描
2. 雙向聚類散佈圖矩陣
|
摘要、排序、聚類（針對行）、多元（針對列）
|
8. 反應不平衡
|
赫特人賈巴從星際大戰，很樂意用他那噁心的鯨脂壓扁你、黏你
|
A。是什麼樣的回應？
b.對於二元或名義，比例是否代表您想要預測的總體？
C。對於連續的，它的分佈有意義嗎？
|
1. 檢查響應分佈
2.考慮加權、過採樣、欠採樣；可以取決於所需的性能指標
|
分佈、列 > 新列以建立權重變量
|
9. 訓練與測試的不一致
|
索倫之眼從魔戒，一直看著你發現你內心最矛盾並利用它們
|
A。在訓練、驗證和測試分組中，反應和預測變數的分佈是否相似？
b.未來的測試集是否會留在範圍內，或者是否確實需要進行推論？
|
1.新建一個變量，表示分裂；然後用它來動態探索分佈
2. 使用低維投影來比較子集的結構
|
透過 X 擬合 Y，其中 Y 是所有變量，X 是分割指標，為名目變數建立馬賽克圖，為連續變數建立經驗累積分佈比較，多變量
|
10. 資料外洩
|
烏蘇拉從小美人魚，可以用她漆黑的墨水完全讓你失明，並將其洩漏到不想要的地方
|
A。訓練、驗證和測試分割中是否有任何功能不恰當地使用了回應中的信息？
b. ID 列是否具有預測性？
|
1. 尋找意想不到的關係以及任何可能表明某個功能存在漏洞的線索
2. 設計具有簡單功能的新功能，以進一步檢查洩漏
|
透過 X 擬合 Y、圖形產生器、多元、聚類、選擇列 > 右鍵 > 新公式列
|
我們到底如何有效地處理這些麻煩的問題根源，尤其是當它們一起密謀而我們沒有足夠的時間來編寫和調試自訂程式碼時？ 最後一列包含聯合管理計劃我每天用來處理這些問題的例行公事——這是我的秘密、不可或缺的武器。靈感來自一位著名人物小超級英雄從 20 世紀 50 年代開始，Apple MacIntosh 永遠改變遊戲規則的使用者介面，聯合管理計劃30 年來，在由滑鼠驅動的統計和圖形超緊密整合的主要指導思想下，我們一直在穩步改進。
