神經網路和小資料集 - 驗證和預測建模的解決方案是什麼？親愛的同事們，
這個問題可能比較哲學，我想聽聽專家的意見，以免引起猜測。
談論小型資料集，例如大約 80-300 個實例（行）的資料集，一般應用神經網路就足夠了嗎？ 如果是，那麼：
- 哪些指標對於絕對反應和連續反應最為關鍵？
- 除了 K 折交叉驗證之外，哪一種驗證策略較可取？ 還是只有K折交叉驗證？
我將非常感謝你的建議。
非常感謝，
麥可
品質和工藝工程回覆：神經網路和小數據集 - 驗證和預測建模的解決方案是什麼？上面2位的回覆真是太棒了！ 我幾乎總是說大小並不重要（實際上是為了強調代表性問題）。 我舉一個概念性的例子。 請問樣本數哪個比較好？
A。 10,000 或
b. 5
現在需要解決的問題是日常變化。 10,000個樣品是1天內採集的，5個是每天1個樣品，持續5天。 那麼哪個更好？...顯而易見。
回覆：神經網路和小數據集 - 驗證和預測建模的解決方案是什麼？只要資料集是來自某些感興趣群體的樣本，您就始終需要擔心資料集的大小。 但這不僅僅是規模……規模影響統計風險，但對代表性風險幾乎沒有貢獻。
為什麼你總是要擔心尺寸？ 因為無論樣本大小為何，總是會存在 I 類或 II 類錯誤的風險。 我記得幾年前，在羅徹斯特理工學院應用數理統計理學碩士課程的廣告宣傳冊中，他們將「統計」定義為「面對不確定性時做出決策的科學」。 這種不確定性由兩個部分組成：統計風險（部分受樣本量影響/控制）和代表性風險。 樣本量僅代表統計風險…而不代表代表性風險。
統計和代表性風險相互作用的一個小但說明性的例子：假設我們有大量（這是一個不科學的術語，表示大量數據）對試點設備和規模的觀察，並且我們有p 值.... ..幾乎可以肯定的是，我們的模型中擁有所有關鍵 x 變量，並且沒有任何非影響變量。 但是，這是一個很大的但是，我們現在要對製造流程和製造規模進行預測……例如從燒杯（中試）規模到軌道車（製造）規模。 我們的結果被發現與預測相差甚遠。 那麼樣本大小就毫無意義了。 代表風險會困擾你的大好時光。
為什麼人們只專注於樣本量而忽略代表性風險，這讓我感到難以置信。 我明白了……談論統計風險、阿爾法、貝塔、檢測差異、I 型和 II 型錯誤都很容易，所有這些都很容易讓你明白，我們現在有了計算機來告訴我們需要做什麼知道...不再需要那些討厭的ASQ/ANSI 查找表。
但永遠不要忘記代表風險…咆哮結束。
回覆：神經網路和小數據集 - 驗證和預測建模的解決方案是什麼？這是一個很大的話題，並不是一個容易回答的話題。我只想說，嘗試對數據進行建模總是值得的 - 但數據集越小，您就越需要對您認為發現的任何事物保持謙遜。當然，從給定數量的變數中得出的觀察數量並不一定是臨界值，而且顯然，變數越多，理解資料所需的觀察數量就越多。事實上，相反的情況值得思考——如果你只有幾個變量，你不需要那麼多的觀察來建立一個「合理的」模型，但這不應該成為信心的來源。恰恰相反——如果你只有幾個變量，那麼你就會錯過大部分（或大部分）圖片。這個難題的關鍵部分涉及您可以對資料強加多少理論結構。在物理科學中，通常有一個完善的理論或多或少直接導致資料建模的結構。在社會科學中，情況遠非如此。但是，對我來說最重要的是，除了嘗試建立模型之外別無選擇（如果你不建立任何模型，那麼決策將基於什麼？）。（對我來說）關鍵是不要誇大模型的力量，這與你有多少變數和觀察結果有關。
回覆：神經網路和小數據集 - 驗證和預測建模的解決方案是什麼？你是對的。 現在出現了一個新問題：是否值得為一般的小型資料集建立一組模型？ 不只是NN。 我擔心在這種情況下提出預測模型。
請讓我重新表述這個問題：多少個實例（行）和/或屬性（列）足以執行預測建模而無需擔心資料集的大小？
謝謝
回覆：神經網路和小數據集 - 驗證和預測建模的解決方案是什麼？特別是關於你關於神經網路的問題，我在小數據集上的神經網路方面並沒有取得太大的成功——我認為當你有大量數據時它們通常效果最好。然而，無論如何，我建議您運行各種預測模型 - 決策樹、提升樹、隨機森林、邏輯/多元迴歸等。我會根據它們的準確性（使用 ROC、R2、特定的興趣錯誤分類等）以及它們認為最重要的變數來比較它們。雖然預測與理解問題很重要，但我認為缺乏理解的預測最終將不如有意義的模型有價值。無需選擇一種建模技術 - 可以輕鬆地在相同的數據上運行它們並比較/對比您獲得的結果。
回覆：神經網路和小數據集 - 驗證和預測建模的解決方案是什麼？這是一次很棒的採訪，謝謝@P_巴特爾。 我會也是哲學的……我認為預測建模需要理解感興趣的「現象」的因果關係。 一些理性的思考順序可能如下所示：我們必須弄清楚如何量化感興趣的現象（以及測量系統是否足夠）。 然後我們建構關於現象為何變化的假設（我喜歡認為這些假設根源於自然科學）。 這導致透過定向抽樣或實驗來檢驗我們的假設。 是的，假設是在收集資料之前建構的。 如果你沒有假設，那麼你可以使用「資料探勘」技術來刺激你的頭腦創造/發展假設。 從我的角度來看，擁有一個描述手頭資料集（例如神經網路）的模型而不提供對因果關係的洞察和理解，不會是一個有效的預測模型。
生存準則：所有可以回答的問題、用於分析的工具、對得出的結論的信心以及推斷結果的能力都取決於數據的獲取方式。
回覆：神經網路和小數據集 - 驗證和預測建模的解決方案是什麼？我將把交叉驗證對話留給其他人。 這是我對神經網路的適用性的看法，我也會從哲學角度來闡述。 我認為，沒有上下文的適用性問題涉及當前的實際問題、數據（數據集是寬/窄、多重共線性等）、統計和表示的風險以及模型的最終用例，都將有一個與單獨的樣本大小相比，此方法的適用性影響更大。
例如：研究的目的是什麼？ 預測還是探索？ 是否有機會進行額外的研究…也許是在設計實驗的背景下？ 不斷地。
對於關於預測與探索結構的一些富有洞察力的評論，我建議看看：
https://www.jmp.com/en_us/events/ondemand/analytically-speaking/to-explain-or-predict-that-is-the-question.html
