Virtual, sparse, missing or pretend data -- it's ghost data. Don't be spooked by it, says John Sall. Learn how to deal with it.Virtual, sparse, missing or pretend data -- it's ghost data. Don't be spooked by it, says John Sall. Learn how to deal with it.Virtual, sparse, missing or pretend data -- it's ghost data. Don't be spooked by it, says John Sall. Learn how to deal with it.Virtual, sparse, missing or pretend data -- it's ghost data. Don't be spooked by it, says John Sall. Learn how to deal with it.虛擬的、稀疏的、丟失的或假裝的數據——它們是幽靈數據。 約翰·薩爾說，不要被它嚇到。 了解如何處理它。
數據無處不在，其速度、數量和多樣性給試圖進行統計發現的科學家或工程師帶來了越來越大的挑戰。
但還有一種完全不同類型的數據約翰·索爾SAS 執行副總裁兼聯合創始人認為數據探索者應該意識到：幽靈數據–不存在的數據。
幽靈數據是約翰在會上的主題演講的主題2017 年探索峰會在密蘇里州聖路易斯。 John 領導 JMP 開發團隊，並仍然是該項目的首席架構師桌面統計發現軟件。
他說，科學家和工程師經常處理四種類型的幽靈數據。 以下是它們的含義以及如何處理它們。
1. 虛擬數據
虛擬數據是指在您查找或需要它之前並不存在的數據。 這種類型的幻影數據非常有用，因為它不會弄亂您的數據表。 兩個例子是變換列和虛擬連接聯合管理計劃。 轉換列可讓您及時具體化列的轉換版本（例如，採用對數轉換或兩列的比率）以生成圖形，而無需實際生成新列。 這可以保持數據表乾淨並節省內存。
虛擬聯接允許您通過鍵鏈接表，這使您可以從主表訪問輔助表中的列，而無需實際進行聯接。 這有助於表的可維護性和內存使用，特別是當物理連接涉及寬高或高寬數據表情況時。
2. 稀疏數據
稀疏數據是指數據點不存在意味著為零的情況。 它也是一種幽靈數據，當有效利用時，算法可以跳過它，從而大大加快計算速度。 稀疏數據的一個例子是文本分析中的文檔術語矩陣 (DTM)。 DTM 很稀疏，因為單個單詞在文檔語料庫中很少使用。 （我覺得這裡有一個關於幽靈數據語料庫的笑話。）
主成分分析 (PCA) 等多變量方法可以利用這種稀疏性，當在 JMP 的 PCA 平台內選擇稀疏方法時，在 2,000 個單詞的 DTM 上運行分析的時間從 10 分鐘縮短到約 1 秒。 JMP 中遍布稀疏方法，包括 PCA、判別分析、文本瀏覽器和混合模型。
3. 缺失數據
許多科學家和工程師報告定期處理丟失的數據。 這種幽靈數據是我們不知道或不存在的數據。 數據丟失的原因有很多——傳感器故障、網絡故障或受試者拒絕回答調查問題。 但僅僅因為數據丟失並不意味著它沒有用處。 JMP 中的許多建模平台可以利用這種“缺失”來構建更好的模型，而不是簡單地丟棄觀察結果。 例如，分區平台、擬合模型和神經網絡都可以通過利用所謂的信息缺失來使用缺失作為預測變量。 除了在建模中使用信息缺失之外，您還可以利用兩個建模實用程序：探索離群值和缺失值。 通過這些，您可以將數據中應被視為缺失的值（如機器錯誤代碼）更改為缺失，這樣它們就不會影響模型預測。 或者您甚至可以估算缺失值以估計可能的值。 通過適當地分類和處理缺失值，您最終不會錯過關鍵見解。
4. 假裝數據
最後一種幽靈數據是我們編造的數據。 假裝或模擬數據可用於檢驗假設，確定實驗設計是否有足夠的能力來檢測響應，或幫助使過程對因素變化具有魯棒性。 JMP 中的多個位置都提供了用於創建數據來回答關鍵問題的模擬工具。 Profiler 內置了蒙特卡洛模擬。 您可以使用 DOE 平台中的模擬響應選項聯合管理計劃以及預期的效應大小和誤差估計，以查看實驗中是否有足夠的運行來檢測效應。 您可以使用右鍵模擬功能JMP專業版深入挖掘分層貝葉斯中的功效分析或 MCMC，以了解每個單獨的主題以及他們根據偏好結構與其他個體有何不同。
對於探索數據的科學家和工程師，約翰有這樣的指導：“我們是數據世界中的偵探。 我們需要學會如何處理不存在的幽靈數據。 如果我們不這樣做，我們的效率可能會很低，我們可能會得出錯誤的結論，或者我們可能會錯過發現。”
您可以觀看一個約翰演講錄音請訪問 JMP 用戶社區。
