機器學習的樣本量要求JMP 對機器學習方法有樣本量要求嗎?
JMP有很多機器學習方法來擬合合適的模型,如果我們想用機器學習方法來擬合模型,我們應該得到多少樣本?
或者是否有樣本大小除以因子大小的值的規則?
比如樣本量至少是分類數據類型因子大小的 10 倍。
謝謝你的任何建議。
Re: 機器學習的樣本量要求嗨,埃里克,
這是另一個我認為不可能給出明確答案的問題。
首先,並不是每個人都同意“機器學習”的相同定義。
對我來說,機器學習的一個重要部分是抑制驗證。 我告訴用戶您可能需要至少 100 行才能使用保留驗證。
如果您只有 2 或 3 個預測變量,您可能會使用較少行的保留。 但由於預測變量數量如此之少,可能不需要機器學習。
我認為您可以根據預測變量的數量輕鬆說出多少行。 因為所需的行數也將是系統中行為複雜性的函數,在您擬合模型之前您不會知道這一點。
當然,您可以使用其他驗證方法來應用具有較少行的機器學習方法(k-fold,SVEM)。
看看可能有用這個演示案例研究。完整的數據集有 4608 行。 只有 5 個預測變量,但它們是多級分類的,所以它是一個相當複雜的系統。 您可以隨機抽取樣本,看看機器學習方法與傳統統計建模相比有多好。 我沒有進行嚴格的研究,但我驚訝地發現 ML 似乎比具有相當小樣本(約 150 行)的標準模型做得更好。
我希望這會有所幫助,
菲爾
Re: 機器學習的樣本量要求我同意@Phil_Kay . 請記住,ML 和 AI 方法適用於預測模型,而不是解釋模型。 推理不是目標,因此樣本量不是考慮因素。 此外,幾乎所有案例都涉及大數據,因此推理也沒有實際意義。 使用開發的指標來比較預測性能與交叉驗證。 例如,AICc 可能在不止一種意義上是最好的。
Re: 機器學習的樣本量要求我當然同意菲爾和馬克的說法。 另一個想法是,如果通過機器學習,您的客戶實際上是指一個多元回歸模型(有或沒有更高階項),那麼他們可以使用 DOE 菜單中的評估設計選項,這將為模型項提供功率估計,前提是它們可以指示真實誤差變化。 否則,請遵循 Phil 和 Mark 的指導。