關於驗證的概念問題我希望有比我更好的統計背景的人能夠解答這個問題。 JMP 對所有預測模型都具有強大的驗證功能，包括交叉驗證（儘管不在「擬合模型」平台中，但使用驗證集的能力除外）。資料科學家通常將他們的資料分成訓練和驗證（有時是測試）資料集。然而，大多數使用傳統統計方法（多元迴歸、邏輯迴歸）的已發表著作都沒有使用任何驗證。我一直想知道為什麼會這樣。我能想到的可能性包括：（1）人們認為統計顯著性使得驗證變得不必要；（2） 歷史實踐變化緩慢；（3）重點在於推理而不是預測（與布里曼的兩種文化類似）。無論如何，我不明白不使用驗證的任何理由，所以我想聽聽大家的想法。
預測模型和機器學習回覆：關於驗證的概念問題我懷疑缺乏驗證很大程度上來自於你的第二個選擇，特別是與其他變化緩慢的實踐/傳統相結合時。如果我們接受學術界傾向於只發表重要發現的觀點，並且我們接受「不發表就出局」的格言，那麼我們自然會在一定程度上抑制在發表前進行極其嚴謹的理解。這也許可以解釋最近發現的許多科學研究無法重複的部分原因。在我看來，如果科學界更容易接受驗證，並且更願意發表「平凡」的發現，我期望看到更容易複製的結果，但也許不那麼令人興奮。
然而，我可能很容易犯錯或過度概括。像您一樣，我也很想聽聽其他人的想法。
回覆：關於驗證的概念問題首先請定義驗證的意思。一種做法可能是從某個推理空間收集資料集並對其進行隨機劃分（？），以便只有一部分用於開發模型，其餘部分用於查看該模型如何很好地根據保留的資料預測資料。雖然這可能是一種可接受的做法，但這不是我的驗證想法（我可能是唯一有這種想法的人）。
我的一個信念是，為了真正「驗證」模型，我必須製作物理「樣本」並評估模型對這些實際樣本的預測效果。對我來說，驗證就是模型對未來（變化的條件）的預測有多好。如果您的研究設計得足夠好，推理空間足夠大（這可能非常具有挑戰性且資源密集），那麼您的模型在未來的預測中應該會表現得更好。
回覆：關於驗證的概念問題我指的是第一個定義（你不喜歡的定義），我認為這就是文獻中所指的驗證。當然，幾乎所有模型最終都用於樣本外預測，並且分區不會解決未來變化的條件。什麼事也不會發生（至少不是完美的）。最終，您的第二個想法是必要的——即使您已經從第一個意義上「驗證」了模型，您也應該監控其效能，以查看它是否運作良好以繼續使用。但大多數已發表的論文（數據科學期刊除外）甚至沒有進行第一種驗證，我想問為什麼。
回覆：關於驗證的概念問題我同意@statman和@Jed_Campbell 的所有貢獻。我唯一要補充的是，也許還有第四個「原因」？直到模型驗證被當作擴展問題解決過程的一項要求來教導（而建模只是其中的一個組成部分）之前，你不會在文獻中看到太多這樣的內容。這只是「歷史實踐改變緩慢」的另一個表現或結果。
回覆：關於驗證的概念問題你好@dlehman1 ，
感謝您提出一個有趣的概念問題。總的來說，我同意到目前為止大家的評論——在這種情況下定義「驗證」的含義很重要。然而，我想說驗證可以具有這兩種含義——保留集以改進模型預測以及產生測試模型預測能力的新樣本。
對我來說，兩者都很重要，都需要做——一個是為了改進模型，另一個是為了確保模型能夠工作，特別是在產生靠近參數空間邊界的新樣本時，模型往往不太準確。
至於為什麼已發表的作品往往不使用驗證，很大程度上是您和@Jed_Campbell所評論的：歷史實踐變化緩慢——但這更多的是科學界內部影響的結果，這種影響推動著人們尋找一個重要的結果，而不是一個強大的模型。我的背景是物理學，物理學家因針對一種情況創建簡單模型然後將其推廣到其他情況而聞名。以單擺為例。這是幾乎所有基本物理問題的基礎，但在實踐中它並不是最好的模型——為了使模型在其他非理想情況下發揮作用，對其進行了許多調整和改變（想想必須將電子自旋添加到原子電子態的軌道力學中）。
對我來說，這個簡單的鐘擺並不是一個非常強大的模型——但它確實滿足了在數據中「找到」一些重要的東西的興趣和願望。當然，這是一個很好的開始，我們都需要從某個地方開始。然而，如果想要產生一個更廣泛、更強大的模型，以用於更廣泛的領域，則需要在討論的兩個定義中進行驗證。
更「平凡」的結果最終可能會帶來更穩健、更好的模型和科學預測能力，但科學界的文化變革需要改變，並且可能需要淡化對引人注目、浮華的新發現的重視。
簡而言之，我想說，不僅歷史實踐變化緩慢，而且科學界也需要進行關於科學成果應該被認可什麼/如何認可的文化變革。一種優先順序的重新調整。
DS
回覆：關於驗證的概念問題我可以提供以下資訊：
文獻發展至今，似乎存在著失衡之處，因為它相對忽略了這個問題的科學性和邏輯性。這或許在意料之中，因為許多作者，儘管是才華橫溢的數學家，顯然從未將自己的思想投入到任何一門自然科學的特定教育學科中，從未親自負責過基礎實驗，也沒有直接體驗過所涉及的材料……”
羅納德·費舍爾爵士，Colloq。國際化百。納特。 《科學研究》，巴黎，第 110 期：13-19 (1962)
回覆：關於驗證的概念問題這是我所看到的普遍觀點，我當然從精神上同意它。但我認為，當處理社會科學時，這是不夠的。許多問題（最低工資的影響、競爭政策、社群媒體使用的心理影響等）無法像物理科學一樣透過科學實驗來解決。這並不能成為人們忽視良好科學實踐的藉口，但它確實留下瞭如何在這些研究領域繼續前進的空白（在我看來，這是一個很大的空白）。我認為這確實與驗證問題有關 - 在我看來，它使第一種驗證（隨機分區）在這些領域變得更加重要（儘管正如您所指出的那樣還不夠）。
回覆：關於驗證的概念問題你好@dlehman1 ，
關於社會科學的觀點很好。複製 DOE 或產生「新樣本」會變得更加困難，因為先前的運作不會影響參與者稍後的反應。一個人的生活經驗永遠不會與另一個人相同。
也許我們可以反過來把它看作是一份社會科學問卷。也許可以向社會科學界提出這樣的問題：在研究你的主題時，你是否在分析和建構模型時使用驗證的概念？為什麼要使用或不使用驗證？您是否了解使用驗證的做法？一些開放式的提示可以提供受訪者透露更多/額外資訊的機會。我猜你會得到很多不同的回應，但可能會有一些更常見的回應——至少從概念/一般想法而不是具體細節來看。
DS
回覆：關於驗證的概念問題嗯，讓社會科學領域的主題專家參與調查或抽樣計劃或 DOE 的製定或對來自此類工具的數據的解釋是否不夠？
為什麼它們不能「像物理科學一樣接受科學實驗」？同意測量系統相當具有挑戰性，但驗證（保留一部分資料）如何改善這一點？
回覆：關於驗證的概念問題我覺得這個評論很奇怪。假設我們想估計關稅對 GDP 的影響。實驗很難進行，成本昂貴，而且需要時間——在此期間許多其他事情也在發生變化（當然，我們現在正在進行這樣的實驗！）。這與社會科學實驗截然不同。然而，社會科學中存在這樣的實驗，有時也可以使用自然實驗（例如表現出大量變化的現有關稅制度）。因此，我不排除社會科學實驗，但我很難想像你會相信它們與物理科學實驗一樣可行。而且，我認為醫學介於兩者之間——有許多 RCT，但由於費用和道德問題，這些樣本量通常比我們想要的要小得多（從而省略了我們想要的許多亞組分析）。
你問驗證如何能改善事情。我認為它不足以取代你想要的理想實驗，但我認為在缺乏理想實驗的情況下它是必要的。如果該模型不適用於我們現有的數據，我們為什麼要相信它將來會起作用？
回覆：關於驗證的概念問題毫無疑問，我很奇怪，而且想法可能與你不同。如果您了解枚舉和分析情況之間的差異，我會告訴您我完全偏向分析方法（我是一個虔誠的決定論者）。同時使用定向採樣（基於假設）和實驗（重點是如何增加推理空間同時提高設計精度）。我對解釋性研究不太“感興趣”，而對預測模型更感興趣（儘管兩者都可能有用）。
沒有任何實驗是「理想的」（無論如何我們都不知道它們是否理想）。這就是為什麼我總是提議（並建議）研究人員制定多個不同的實驗/採樣計劃。應該對每個計劃進行評估，以獲得潛在的知識（例如，可以分配什麼（模型），什麼是混淆的，什麼是受限制的（推理））以及與所需資源相比的潛在知識。
我不想討論政治。我相信每件事的發生都有其原因。我不在乎紀律是什麼。每個學科在使用資料收集工具時都會面臨挑戰。這不是不使用它們的藉口。
