John Sall explains why we need not be afraid of ghost data.John Sall explains why we need not be afraid of ghost data.John Sall explains why we need not be afraid of ghost data.John Sall explains why we need not be afraid of ghost data.約翰·薩爾 (John Sall) 解釋了為什麼我們不必害怕幽靈數據。
定量和定性數據。 數字和字符數據。 表達式和非結構化文本數據。 這些都是您可能已經了解並知道如何處理的所有類型的數據。
但還有另一類數據您可能還沒有聽說過：幽靈數據。 不，這不是我為萬聖節編造的東西。
SAS 聯合創始人兼執行副總裁 John Sall 一直在思考幽靈數據，即實際不存在的數據。 他說我們應該理解並欣賞幽靈數據。
作為 SAS JMP 部門的負責人，他與客戶交談並幫助開發軟件。 他還閱讀並思考了很多有關數據、統計和技術的內容。 你可能讀過他的博客文章關於為什麼統計數據至關重要和為什麼台式電腦還沒有消亡。 他是美國統計協會和美國科學促進會的會員。他是2017 年聖路易斯探索峰會，他將在這裡談論幽靈數據。請繼續閱讀他對我有關幽靈數據的問題的回答（包括一個愚蠢的問題）。
告訴我有關幽靈數據的事情。
幽靈數據是任何不存在的數據，並且有很多種類型。 例如，有虛擬數據，除非您查看它，否則它們並不存在。 表面上看起來足夠真實，但只有在需要時才會具體化。 數據稀疏，缺少數據就意味著為零。 稀疏性是多種分析中的關鍵計算推動因素。 還有數據缺失。 該數據有一個槽來保存一個值，但該值未知，因此該槽為空。 另一種類型的幽靈數據是假數據，即虛構的數據。 此類數據對於模擬非常重要，可以回答“如果？”。 幽靈數據的類型較多，但這四種對於數據分析很重要聯合管理計劃。
我們應該害怕幽靈數據嗎？
沒有必要害怕幽靈數據。 這只是不存在的數據。 它就像真實數據一樣自然。 正如我們欣賞我們擁有的數據一樣，我們也需要欣賞不存在的數據。 我們需要知道如何處理它，知道如何用它建模，並將其付諸實踐。 正確處理幽靈數據非常重要。
處理幽靈數據的一種方法是什麼？
讓我們看看缺失的數據。 過去，我們常常跳過缺少其中一個分析變量的行。 問題在於，如果缺失值不是完全隨機的，則該方法會在結果中引入偏差。 現在，我們將缺失值直接合併到模型中，假設缺失是可預測的。 這稱為“信息缺失”。 2008 年金融危機前幾年的抵押貸款數據就是信息缺失的一個很好的例子。 在對抵押貸款違約概率進行建模時，如果所有缺少“收入”和“債務收入比”等變量值的行都被刪除，結果就會有偏差。 通常，貸款申請人知道提供這些值將導致無法獲得貸款資格，因此省略了這些值。 在我們提供的樣本數據表中，債務收入比的缺失是抵押貸款違約最重要的預測指標。
如果你想成為萬聖節的幽靈數據，你的服裝會是什麼樣子？
要么是隱形人，要么是使用隱形斗篷的哈利·波特，或者是它的超材料版本。
@jon_stallings雖然能源部有很多策略來處理幽靈數據...我認為阻塞是處理實驗過程中潛在因素的一個來源的一種手段...在執行設計的實驗後也可以看到缺失...我們有多少次看到由於DOE 中的各種原因導致響應值缺失？
這就是為什麼每個數據分析師都需要接受實驗設計培訓。 隨機化的全部目的是減輕幽靈數據的影響。
