歡迎閱讀系列博文中的第一篇，我們將在其中探索建模驗證。 和我在一起——我知道這聽起來可能不是最令人興奮的話題。 但它是使現代數據分析成為可能的關鍵方法。 如果沒有驗證，支持向量機和神經網絡等複雜的機器學習算法幾乎毫無用處。 雖然它可以被視為一種相當“愚蠢”的方法，可以大大簡化從數據中學習的過程，但它也需要謹慎應用，使用你對生成數據的過程或系統的最佳理解。 了解驗證是您在現代數據分析時代取得成功的基礎。
在以後的博文中，我們將討論 Holdback 和交叉驗證的基礎知識，以及使用 JMP Pro 中的製作驗證列工具是多麼容易。 我們將看到一些來自科學和工程的案例研究，這些案例研究說明了確保匹配交叉驗證 (BCV) 和匹配引導分析 (BBA) 的必要性。 我們還將介紹前沿方法，包括用於較小數據（例如設計實驗）的自驗證集成模型 (SVEM)。 希望您會明白為什麼 JMP 在使科學家和工程師能夠自信地應用現代數據分析方面具有獨特的作用。 首先，我們將討論通用性的必要性。
普遍性和復制危機
本系列的主題來自與 JMP 首席數據科學家 Chris Gotwalt 和 KPA 集團主席 Ron Kenett 的討論。 我們談到了普遍性，它是統計學中的一個正式過程，也是人性的一部分。
Ron Kenett, Chairman of the KPA GroupKPA 集團主席 Ron Kenett
羅恩：“我們一直在概括。 根據我們在一家餐廳的體驗，我們可以推斷我們在同一連鎖店的另一家餐廳的體驗。 或者我們從一個工程項目推斷到另一個工程項目。”
Chris Gotwalt, JMP Chief Data ScientistJMP 首席數據科學家 Chris Gotwalt
克里斯：“這就是學習。 大多數情況不會發生在 JMP 數據表中！”
在學術研究中，可重複性一直很重要：科學的基石應該是可以獨立復制任何研究的結果。 自 2010 年代初首次提出“複製危機”一詞以來，隨著人們普遍認識到心理學和醫學領域的一些嚴重問題，它一直是一個特別熱門的話題。 但通用性在某些行業也處於領先地位。 通用性正在增強可重複性。
Chris：“在像製藥這樣受監管的行業中，了解一個聲明是否具有普適性並且可以作為‘真相’進行辯護一直是至關重要的。”如果您的藥物在一般人群中的安全性或有效性明顯低於您根據臨床試驗結果承諾的水平，那麼在各種方面都會付出高昂的代價。 但 JMP 用戶更多的是致力於工業問題的解決和改進。”
Ron：“我們將普遍性定義為影響信息質量的八個維度之一。 解決它可以提高從數據分析中獲得的信息的質量。”
普遍性可以忽略不計，但犯錯的代價仍然很高。 如果你從實驗中得出的解決方案在你投入生產時不起作用，那麼你很可能已經浪費了昂貴的材料、製造時間以及所有的努力，不得不返回研發中再次解決問題。相反，如果你做對了並且對你的解決方案充滿信心，你就可以避免浪費並加快創新的步伐。
現代分析的普遍性
在“小”數據的世界中，我們使用 p 值等統計指標來了解做出無法概括的推論的風險。 這些工具的發明是為了讓我們能夠使用少量數據樣本對我們真正關心的更大的人口或系統產生可靠的見解。 不幸的是，p 值可能會被誤解、誤用甚至濫用。
Ron：“許多人將 p 值理解為假設成立的概率，這是一種誤導。 它的教學方式大多是正確的，但它的使用方式大多是不正確的。”
儘管存在這些問題並且與我們之前提到的複制危機的原因有關，但 p 值在很大程度上為科學家和工程師提供了良好的服務。 對於更大的數據和更新的建模方法（如人工神經網絡），我們需要考慮使用不同的工具來確保通用性。
我希望你能和我一起閱讀本系列的下一篇文章，我們將在其中用科學和工程學的例子來說明這一點。 我們將首先向您展示如何生成不會一概而論的發現。 由於開發人員實施了所有保護措施，這在 JMP 中實際上相當困難。 這將有助於了解 JMP 中的工具如何保護您免受此類問題的侵害，以及驗證如何讓您輕鬆自信地應用分析。
