也許......但是凌亂的數據是一個更大的交易。
大數據在過去一年左右成為主流。我知道這是因為 BBC 製作了幾個涵蓋它的節目。我所聽到的是，沒有明確定義大數據是什麼以及重要的原因。當我問人們是否有大數據時，他們壓倒性地說“是”，他們是否有數千或數百萬行數據或觀察。那麼誰是對的？這取決於。
如今，統計軟件 ，包括那些旨在最大化桌面功能的那些 JMP Pro ，可以輕鬆處理數百萬行的數據集。更重要的是列數。非常高和非常廣泛的數據集真的很大。這些可能需要標準的統計方法，例如採樣來構建有用的模型，將模型構建置於台式計算機的強大功能之內。
因此，如果大數據易於管理，那麼今天的分析師，工程師和科學家面臨的真正挑戰是什麼？我們在最近在馬洛和愛丁堡舉行的兩個模特建築研討會上對代表進行了調查，發現了一個有趣的發現：所有代表都有雜亂的數據。
充分利用凌亂的數據
如果您缺少數據，空單元格，異常值或錯誤條目，則會出現亂碼數據。傳統的統計方法，如邏輯和線性回歸，會丟棄缺少單元格的行，從而導致模型更差。異常值也會使模型失效，使其變得不那麼有用。
約翰薩爾討論了一種處理凌亂數據的新方法，稱為“信息缺失” 他的博文 。這需要使用缺失數據而不是估算到新領域：缺少數據實際上可能會告訴您一些重要的事情，因此必須包含在您的模型中。一個例子是貸款申請人將其部分申請留空，以隱藏不良信用記錄;對於信用分析師來說，這將是一個重要的發現。如果您在製造環境中工作，數據可能會丟失，因為結果實際上是非規模的，這可能是在模型中捕獲的有用信息。如果您根據化學性質對物質的活動進行建模，如果在測量的溫度範圍內沒有看到物質分解，則可能缺少分解溫度的數據;因此，如果您在模型中包含此信息，您將獲得更好的活動預測。
有一種稱為收縮方法的新型建模技術，旨在為您提供可以預測的模型和變量數量最少，即使輸入變量之間有很強的相關性。該廣義回歸個性允許您在Fit Model平台內使用這些方法。與信息缺失一起使用時，它還具有在構建模型時使用所有數據行的額外好處 - 即使是雜亂的數據。
基於決策樹的方法對於處理異常值是有好處的，因為分裂發生的點沒有偏差。JMP Pro用戶告訴我們他們正在構建有用的模型，而不必因此而需要清理他們的數據信息缺失 ：借助強大的建模技術，您可以跳過數據清理和仍然會產生一個好的模型。現在這真的是革命性的。決策樹還具有視覺上的附加優勢，允許您向高管解釋您的發現。
如果我有凌亂的數據怎麼辦？
JMP Pro是該旨在處理凌亂數據的軟件。
我們將在英國為該軟件的新用戶舉辦一個獨家的實踐研討會 6月12日 ，如果你想加入我們Marlow，讓我知道 。
如果您希望您的經理了解JMP Pro如何處理這些問題，您可以要求他們加入網絡直播上 4月3日當我們將展示兩個案例研究時。
伯納德麥肯中寫道：
你是對的菲爾。對研討會代表的調查也證實了這一點。這就是為什麼這些技術如此有用。
菲爾凱中寫道：
有沒有人從來沒有雜亂的數據？
根據我自己的經驗，小規模試驗和實驗設計通常會產生完整的數據集而沒有太多問題。然而，進入數據挖掘和預測建模的領域......數據總是有些混亂。
沃爾克卡夫中寫道：
你好邁克，假設你在英國，我有一些好消息：現在我們正在探索在高中使用JMP包進行教學支持STEM相關課程的機會。如果您聯繫（volker.kraft@jmp.com），我將不勝感激，為您提供最新信息，並了解您在高中教育方面的要求。
伯納德麥肯中寫道：
嗨Mike，很多學校現在正在使用JMP Pro，因為這是JMP Academic Suite的核心產品。您可以在以下位置找到更多信息： http://www.jmp.com/uk/academic/ 。我想你在美國，不是嗎？如果是這樣，Curt Hinrichs可以提供幫助。如果在歐洲，那麼Volker Kraft是合適的人選。Volker的詳細信息可在以下網址找到： http://www.jmp.com/uk/software/buy-jmp-academic.shtml 。
邁克克萊頓中寫道：
非常感謝。
學生需要學習這些更先進的方法，但學校不支持JMP Pro，那麼免費網絡研討會以高中STEM課程可以受益的方式演示新概念的機會是多少？
