文本數據清理是統計和分析中一個不起眼但重要的步驟。手動輸入的數據充滿拼寫錯誤，印刷錯誤和不一致。如果兩個數據源在格式化方面存在分歧，即使是機器生成的數據也會導致問題。在分析數據之前必須修復錯誤，因為最微小的差異使得兩段文本看起來與計算機不同。2014年紐約時報文章估計數據科學家花費50％到80％的時間來清理數據。
我們認識到數據清理是關鍵步驟，因此我們在JMP 12中添加了幾個新功能以使其更容易。經過大修的Recode命令 JMP 是其中之一。我們擴展了Recode，它具有自動數據清理算法和改進的用戶界面，可用於手動清潔任務。
Recode的新“組相似值”命令可自動更正小數據輸入錯誤。錯字和不一致的拼寫在其他相同的文本中顯示為少量缺失，額外或不正確的字符。例如，通過刪除“i”字符可以將拼寫錯誤的“節奏”校正為“節奏”。組相似值在數據表中標識此類錯誤並對其進行分組，輸出對組的正確拼寫的最佳猜測。它提供對差異閾值的手動控制，以及空白，標點符號和區分大小寫。
自動工具可以節省大量精力，但無法始終獲得正確的答案。對於這些情況，我們重新設計了用戶界面以進行手動編輯，從而更輕鬆地處理大型數據集並驗證重新編碼的值是否正確。
Recode的屏幕截圖顯示了“組相似值”的結果，其中某些組已折疊。
重新編碼的新“分組顯示”清楚地表明兩個不同的字符串被重新編碼為同一個字符串。可以通過搜索查詢折疊或過濾組，從而可以輕鬆地關注大型數據集中感興趣的區域。右鍵單擊菜單提供對創建和拆分組的手動控制。現在每個操作都可以撤消。
最後，我們添加了許多新方法來保存，加載，修改和合併重複數據清理任務的Recode腳本。除數據表外，腳本現在可以保存到獨立文件中。在“重新編碼”對話框中加載腳本會顯示腳本對當前表數據的影響，並允許進一步編輯。加載或保存時，可以智能地合併腳本。
編者註： 這篇文章是一部分 JMP 12系列預覽由開發軟件的人編寫。
梅爾文亞歷山大中寫道：
我最近給出了一個包含數據表（包含嵌入腳本）和幻燈片的演示文稿，描述了清理和轉換數據的方法（例如，刪除停用詞，使用重新編碼來更改數據值，應用日誌轉換以準備用於奇異值分解的數據） SVD（）函數等）。
演講位於：
https://community.jmp.com/docs/DOC-7473
希望這可以幫助
詹姆斯普雷斯中寫道：
嗨邁克爾，謝謝你的反饋。我們目前沒有任何清理從數據庫或Excel導入的數據的示例。該主題在我們的下一版本的建議列表中。與此同時，在JMP 12之後將有一篇關於Recode的更深入的帖子。如果您（或任何讀者）有您想要分享的樣本數據或文本清理問題，請將其發佈在 JMP用戶社區這樣我們就可以了解更多有關客戶數據清潔需求的信息。
邁克爾克萊頓中寫道：
感謝您努力使雜亂的數據更易於分析。
希望HELP工具也得到更新，也許還有一些新的教程，案例研究等，可以解決任何與從DB或Excel（通常）中移動混亂數據的方法相關的問題，並根據需要對其進行重新組織。
