歡迎閱讀一系列部落格文章中的第一篇，我們將在其中探討建模中的驗證。聽我說——我知道這聽起來可能不是最令人興奮的話題。但這是使現代數據分析成為可能的關鍵方法。如果沒有驗證，支援向量機和神經網路等複雜的機器學習演算法幾乎毫無用處。雖然它可以被視為一種相當「愚蠢」的方法，極大地簡化了從數據中學習的過程，但它也需要謹慎應用，利用您對生成數據的過程或系統的最佳理解。了解驗證是您在現代資料分析時代成功的基礎。
在以後的文章中，我們將討論保留和交叉驗證的基礎知識，以及使用 JMP Pro 中的「建立驗證列」工具如何輕鬆實現這一點。我們將看到一些來自科學和工程的案例研究，這些案例研究說明了確保擬合交叉驗證（BCV）和擬合引導分析（BBA）的必要性。我們還將介紹尖端方法，包括用於較小數據的自我驗證整合模型（SVEM），例如設計實驗。希望您會明白為什麼 JMP 在幫助科學家和工程師自信地應用現代數據分析方面具有獨特的作用。首先，我們將討論普遍性的必要性。
普遍性和複製危機
本系列的主題源自於與 JMP 首席資料科學家 Chris Gotwalt 和 KPA Group 董事長 Ron Kenett 的討論。我們討論了普遍性，它是統計中的一個正式過程，也是人性的一部分。
羅恩： 「我們總是一概而論。根據我們在一家餐廳的體驗，我們可以推斷我們在同一連鎖店的另一家餐廳的體驗。或者我們從一個工程項目推斷另一個工程項目。”
克里斯： 「這就是學習。大多數情況不會發生在 JMP 數據表中！”
Chris Gotwalt, JMP Chief Data ScientistChris Gotwalt，JMP 首席資料科學家
Ron Kenett, Chairman of the KPA Group羅恩肯尼特 (Ron Kenett)，KPA 集團董事長
在學術研究中，可重複性一直很重要：能夠獨立重複任何研究的結果是科學的基石。自從2010年代初期「複製危機」一詞首次被創造出來以來，隨著心理學和醫學領域一些嚴重問題的廣泛認識，它一直是一個特別熱門的話題。但在某些產業中，通用性也處於領先地位。普遍性正在提高可重複性。
克里斯： “在像製藥這樣的受監管行業中，了解某個主張具有普遍性並且可以被證明是“事實”始終至關重要。如果你的藥物在一般人群中的安全性或有效性明顯低於你根據臨床試驗結果所承諾的，那麼從各方面來說，代價都會很高。但 JMP 用戶更致力於解決和改進工業問題。”
Ron： 「我們將普遍性定義為影響資訊品質的八個維度之一。解決這個問題可以提高數據分析所得出的信息的品質。”
普遍性可以忽略不計，但犯錯的代價仍然很高。如果您從實驗中得出的解決方案在投入生產時不起作用，那麼您可能會浪費昂貴的材料、製造時間以及必須返回研發再次解決問題的所有精力。相反，如果你做對了並且對你的解決方案充滿信心，你就可以避免浪費並加快創新的步伐。
現代分析的普遍性
在「小」數據的世界中，我們使用 p 值等統計指標來了解做出無法概括的推論的風險。發明這些工具的目的是讓我們能夠使用小數據樣本來產生有關我們真正關心的更大群體或系統的可靠見解。不幸的是，p 值可能會被誤解、誤用甚至濫用。
Ron： 「很多人將 p 值理解為假設成立的機率，這是一種誤導。它的教學方式大多是正確的，但它的使用方式大多是不正確的。”
儘管存在這些問題，並且與我們之前提到的複製危機的原因有關，但 p 值在很大程度上為科學家和工程師提供了良好的服務。對於更大的數據和更新的建模方法（例如人工神經網路），我們需要考慮不同的工具以確保通用性。
我希望您能和我一起閱讀本系列的下一篇文章，我們將用科學和工程的例子來說明這一點。我們將首先向您展示如何得出不具概括性的發現。由於開發人員採取了所有保護措施，這在 JMP 中實際上相當困難。這有助於了解 JMP 中的工具如何幫助您避免此類問題，以及驗證如何讓您輕鬆自信地應用分析。
了解更多：
考慮到這是一篇關於普遍性的文章，我認為「p 值在很大程度上為科學家和工程師提供了良好的服務」這一說法有些誤導。 p 值（可以說）可能有助於思考從樣本到其所抽取的總體的普遍性。但是，許多（如果不是大多數）應用程式涉及從樣本推廣到稍微不同的總體（不同的時間段、不同的地點、不同的人等）。在這些情況下，如果不假設您所推斷的總體與抽取樣本的總體基本上相同。這種假設對於工程領域來說可能是合理的，但對於社會科學來說就不那麼合理了。樣本對於所推論的總體的適當性經常被依賴 p 值以某種方式處理而掩蓋。
