在最近統計學上講關於機器學習和人工智能的神秘化，著名作家，統計學家和教育家戴維·漢德（David Hand）的開幕大會為與我們的專家小組成員進行一些非常有趣的討論奠定了基礎：WL的統計學家Cameron Willden 血塊; Wildstats Consulting的創始人Sam Gardner； JMP的高級系統工程師Jason Wiggins。
在裡面以前的帖子，我們的小組成員回答了我們在直播活動期間收到的有關專業知識和培訓的問題。在這篇文章中，他們分享了有關數據和建模問題的想法。第一個問題是關於黑暗數據的，這是戴維·漢德（David Hand）最新著作的名稱，黑暗數據：為什麼您不知道重要（強烈推薦）。
暗數據的反面是亮數據。 那不是稀有嗎？
山姆：通常，在組織數據科學之旅的早期階段，他們發現自己存在許多暗數據問題。要解決的主要問題是如何獲取正確的數據。 真正想要解決問題並很好地解決問題的組織將擁有使他們能夠生成和收集“明亮的”和良好的數據的方法，策略和系統。
JMP是否可以“僅”擬合丟失的數據，例如使用支持向量機或GenReg？ 要以某種方式使用缺失數據的結構與現有數據進行擬合-有點像逆擬合？這與“信息缺失”有所不同。
傑森：我將在“探索缺失值”實用程序中檢查多元SVD插補和自動數據插補，看看它們是否可以滿足您的期望。
山姆： JMP和JMP專業版可以基於數據的相關結構進行多次插補。請參閱在線幫助估算缺失數據和探索缺失的價值。
我們可以使用哪種機器學習模型來處理不互斥的多標籤數據？
卡梅隆：如果我對您的理解正確，那麼您只需做出多個答复即可完成此任務。例如，模型可能會進行處理和圖像化，以將某人分類為年齡或年輕人，並將其分別分類為男性和女性。
對過程數據具有高可變性的過程輸出進行預測建模的最佳方法是什麼？
卡梅隆：克服高變異性的最佳方法是使用大量數據，例如，均值的標準誤差在分母中具有樣本大小的平方根。
傑森：確定過程變化的來源；持續投資以測量和收集數據。 您的過程中測量了多少關鍵過程輸入？ 是否有足夠的信息足以描述輸出中的變化？ 我參與並領導了旨在理解此類問題的項目。它們可能很棘手，但有必要。建模不是魔術。 您需要良好的信息才能成功。 在深入探討深奧模型之前，我會先在這裡投資。
當希望在較小的數據集上訓練新模型以便更快地獲得獎勵（省錢）時，這樣做的一些好實用提示-即使使用的模型不盡人意，但“夠好了。”
卡梅隆：在深度學習領域，轉移學習提供了一種事半功倍的方法。設計的實驗是獲取有關每個數據點關係的更多信息的另一種方法，因為您以最小化冗餘信息量的方式規劃這些點。也就是說，通常因素之間的相關性很小，因此方差膨脹因子等於或非常接近1。
傑森：當在較小的數據集上訓練模型以避免過度擬合時，“遺忘”或k折交叉驗證之類的策略可能會很有用。我已經使用兩種交叉驗證策略在小數據集上建立了懲罰回歸模型，並取得了成功。建立模型時，您多久檢查一次實際和預測？ 如果您的預測適合做出業務決策，則該模型可能“足夠好”。
以您的經驗，解決問題所需的持續/迭代學習模型與離線/一次性模型相比較的時間百分比是多少？各自的優缺點是什麼？
卡梅隆：這將因應用領域而有很大差異。 如果我基於領先指標對產品需求進行建模，則我絕對希望這些關係隨著時間的推移而發展。 使我的生產模型隨著時間的推移發展和適應將是非常有利的。 如果我基於一系列物理屬性對機器輸出進行建模，則這些關係可能會隨著時間的推移保持穩定，並且我不必擔心在線學習。 可能例外，如果我希望隨著更多數據的輸入，模型的參數估計值隨著時間的推移變得更加精確。
當您不在那裡調查/觀察過程時，您可能會漏掉問題的根源；同樣，COVID使這一點變得複雜。 作為研究者/問題解決者/數據科學家，當我們不能“在那裡”收集數據時，我們該怎麼辦？
卡梅隆：這是一個很好的問題，我唯一想說的就是弄清楚如何使收集數據的人員參與數據分析。 即使他們沒有分析背景，他們也可能足夠了解圖形分析以參加討論，並從第一手經驗中汲取見解，從而為討論和解釋做出貢獻。
傑森：這是困難的一個！您是否可以使用虛擬工具查看流程？ 誰在運行該進程？ 是否可以訓練他們對可以解釋數據中出現的問題的過程進行觀察？您可以進行虛擬流程遍歷嗎？
數據過多可能導致錯誤的安全性，即數據無偏。在新的反事實數據到來時使用大量有偏數據的緩解步驟是什麼？
山姆：測試您的模型。始終查看您開發的模型是否仍能很好地預測。確保已充分理解模型的“支持”（用於構建模型的預測變量的範圍），並進行檢查以查看使用該模型的新情況是否在“支持”範圍之外進行預測。當您收集了足夠的新數據後，可以對模型進行重新訓練，因此您應該將舊模型與新模型進行比較，以查看它們是否做出相似或不同的預測。
在AI / ML模型上需要什麼類型的計算機/機器？ 可以在具有足夠RAM的筆記本電腦上完成嗎？
卡梅隆：這實際上取決於您在做什麼。 並非所有ML都是使用包含數百萬個參數的龐大數據集和模型完成的。 您可能在智能手機上具有足夠的處理能力來執行許多AI / ML。 一旦開始使用甚至幾十GB大小的數據集，那麼即使您正在批量處理數據，也可能會遇到PC上可以做的限制。 如果您要對圖像或視頻進行深度學習，那麼並行和GPU計算就變得非常重要。那時，您可能正在使用組織內的共享計算資源或基於雲的服務。 Google Colaboratory是訪問GPU計算以進行深度學習的一種免費，便捷的方法。您也可以為訪問該服務的更高級別的GPU計算能力付費。
傑森：您要使用哪種類型的ML模型？您有多少數據？ 我完成的許多建模練習都是在筆記本電腦工作站上進行的：四核處理器，32 GB RAM等。 我參與了一個缺陷檢測項目，卷積神經網絡從過程中的攝像頭中識別出製造缺陷。 我們製造了高端定制遊戲PC來解決此問題，並在我離開該項目之前正在研究服務器的部署。 我的筆記本電腦工作站和遊戲機之間的最大區別是圖形卡。 如果您打算進行圖像分析和/或GPU計算，則筆記本電腦的圖形卡可能還不夠。 如果速度和內存成為問題，則可能要使用服務器或研究分佈式計算。
在您的職業生涯中，最能幫助您發展的工具/技術（清潔，組合，建模或其他）是什麼？
卡梅隆：好奇心，樂於嘗試的努力，頑強的決心找出克服障礙的方法以及邊做邊學比任何特定的工具和技術都重要得多。 您可以一路挑選所需的東西。
傑森：之前JMP有了Recode實用程序，我認為幫助我的一種工具是利用數組和矩陣進行數據清理。腳本中的一些矩陣數學，矩陣操作和/或邏輯索引可以用來發現和修復數據中的問題，這真是令人驚訝。 正則表達式是另一個工具，在清理/整理文本數據方面對我的職業產生了很大影響。 現在我們有了Recode，這是我最喜歡的數據清理工具！它支持文本正則表達式，並且可以輕鬆找到數字數據中的問題。 由於您可以將結果另存為公式，因此重新編碼會自動執行我以前執行的大多數腳本。“探索異常值”和“探索模式”實用程序還完成了我過去使用數據清理腳本處理的許多工作。 都是省時的！最重要的是，我想說的是，在分析工作流程的所有階段中利用數據可視化來解鎖數據背後的故事對我的職業影響最大。
山姆：老實說，製作好的數據圖可能是我能做的最有效的事情。 如果將其放在圖片中，它將說明數據的故事和問題。 第二個最重要的工具是寫作：傳達分析結果，總結已學到的知識並提出進一步行動的建議。 如果您不寫下來，人們將不會記得或不知道發生了什麼。
您如何說服以機械模型為基礎的流程（操作和控制）的化學或製藥行業跳入黑盒替代方案？混合方法是第一步嗎？
卡梅隆：機械模型是否以某種方式阻止了它們？ 對我而言，機械模型總是可以取用的。 就像您不需要進行物理教育就可以理解扔球時會發生什麼一樣，計算機可以通過查看大量示例來了解事物的工作原理。 但是，如果您了解所有物理計算和參數值，則幾乎不需要（如果有）數據即可進行準確的預測。 將情況分解為基本原則的情況越好，所需的數據就越少，也不必擔心外推。數據驅動的模型（我將使用它而不是“黑匣子”）對於解決知識鴻溝或跨複雜性近似非常有用。 如果要獲得100％的答案將花費數月，但您現在可以使用數據驅動的模型來獲得95％的答案，您會選擇什麼？ 第一種選擇的機會成本是多少（想想所有這些額外的時間可以做什麼）？
我們對Sam使用了什麼耳機（Plantronics 655 DSP）以及如何獲得本書有疑問。可以直接從訂購電子書SAS出版社和印刷版可在亞馬孫。第二版正在進行中，應於2021年上市！
您可以觀看此劇集的點播版本統計學上講並閱讀摘抄從科學的一章黑暗數據。能夠分類並更好地處理所有暗數據將使您的模型更加有用。 我們感謝觀眾提出這樣的好問題，也感謝Cameron，Sam和Jason分享了他們的更多專業知識！
