n = 8 的線性迴歸中有 6 項可以接受嗎？我目前正在分析具有 2 個水平和 3 個因子的完整析因實驗，未重複，n = 8。 根據 JMP 指南，此處正確的方法是使用階乘對模型進行 2 次擬合，假設高階交互作用不顯著，然後使用向後選擇將模型減少到其重要因子。
2x2x2 全因子分析的 JMP 指引： https://community.jmp.com/t5/Learning-Center/Analyzing-Full-Factorial-Experiments/ta-p/271995
我的問題是 - 假設資料顯示事實上所有主效果和所有雙向交互作用都是顯著的。 這樣我就得到了一個包含 6 個項的模型，描述了一個只有 8 個觀察值的資料集。 此時，由於項數較多，我的 r^2 非常高，且所有 6 個因子的 p < 0.05。 從分析的角度來看，這是否被認為是過度擬合，這是否被認為不是最佳實踐？
如果是這樣，查看此數據的更好方法是否是僅查看主要效果（即查看每個參數的“平均”效果而不是深入細節）？
謝謝。
品質和工藝工程回覆：n = 8 的線性迴歸中有 6 項可以接受嗎？謝謝， @statman 。這一切都非常有幫助。 我最終查看了數據，並意識到在設計的實驗中，如果我以圖形方式查看數據，我會得出與模型告訴我的相同結論。相互作用以及哪些因素是重要的。 因此，我稱之為好。
回覆：n = 8 的線性迴歸中有 6 項可以接受嗎？QW，這是我的想法：
1. 之所以在去掉不顯著的項後發現顯著的因子，是因為你對MSE有偏差。 當您刪除無關緊要的項目（可能具有較小的 SS）時，您還可以獲得每個項目的 DF。 由於 MSE 是 SS/DF，因此您可以降低 MSE（可能不切實際）。 F 值是 MS 因子/MS 誤差。 因此，如果不切實際地降低 MSE，則會誇大 F 值並隨後降低 p 值。 我的建議是始終考慮您正在比較的變異來源。
2. 常態/半常態圖（丹尼爾圖）不一定是直接解釋的。 Russel 的 PSE 試圖幫助解釋圖表，但 PSE 並不總是有用。 您必須考慮哪些效應是隨機誤差的函數（應該是相對直線）以及哪些效應是可分配的。 落在誤差的隨機分佈之外。 如果您的常態圖具有 S 曲線形狀或被破壞，則表示存在顯著的雜訊影響（可能存在多個隨機誤差分佈）。 從你的圖片來看，正常圖頂部的灰色 + 看起來很重要（我的猜測是這是 Column2(x)）。 將帕累托圖與正常圖結合確實很有幫助。 評估統計訊號和實際意義。
3. 我認為你在如何建立你的知識（也許還有數學模型）方面有了一個很好的開始。 我使用實用>圖形>定量方法：
首先，您在實驗中創建的數據有多少變化？ 這些數據有任何實用價值嗎（從中小企業的角度來看）？ 數據與您的預測相比如何？ 它與您用於確定研究中包含哪些因素的假設相比如何？ ANOG 和 MR 圖非常適合識別將因素效應與反應變數相關的模式。 永遠不要關閉工程。
其次，繪製數據圖表。 JMP 的圖形產生器非常有用。 是否有任何異常數據點（處理）？ 這也是常態圖和帕累托圖有用的地方（儘管它們對於飽和模型最有用）。
最後是定量的（效應、變異數分析、迴歸等）。
4. 關於使用 DOE 資料的定量方法進行模型細化：我們使用許多統計資料/圖表來執行此操作：
- R-square-R-square 調整後的增量（這比任何一個統計數據本身都更重要）
- RMSE（越小越好）
- p 值（注意有偏差的值，考慮比較的內容）
- 殘差（測試 NID（平均值、變異數）假設
在 DOE 中，我不建議逐步迴歸（這是一種加法模型建構方法，對於資料探勘或觀察/歷史資料迴歸最有用，當然您還需要擔心共線性）。 我建議採用減法（開始飽和並刪除項目）。 你的第 3 步聽起來很棒！
回覆：n = 8 的線性迴歸中有 6 項可以接受嗎？謝謝， @statman 。 我不想繼續說下去，感謝您抽空。 但是，我嘗試使用常態圖來指導飽和模型中的參數選擇。 然而，一旦我這樣做了，我注意到根據常態圖和 Lenth 的偽 p 值，我的參數都不顯著（附件的左側）。 但是，一旦我開始使用這些（偽或真實）p 值一次刪除一個不重要的項，我就得到了一個似乎很好地描述了我的情況的模型：調整後的R^2 = 0.95，p = 0.0351（依戀）。 需要結合偽/實 p 值和常態圖才能得到最佳模型，這樣的結論是否正確？
按照這個思路，您是否同意選擇參數的最佳方法涉及定量（p 值、adj.R^2）和定性方法（領域知識、常態圖、殘差）？ 換句話說，它是以下內容的組合：
1. 我的因子在常態/帕累托圖上看起來是什麼樣的？
2. 新增/刪除項目是否會提高定量值（adj. R^2，整個模型的 p 值）？
3. 它是否改變了資料的定性面（這些變化後殘差是否仍保持常態分佈，資料本身是否有意義）？
在這種情況下，最佳模型將首先透過查看常態/帕累托圖來指導，透過逐步/模型選擇進行微調，並透過殘差和實際資料的目視檢查進行驗證。
謝謝你！
回覆：n = 8 的線性迴歸中有 6 項可以接受嗎？歡迎來到社區。 這是我的想法：
您正在使用三階效應（三因子交互作用）來估計 MSE。 這可能就是為什麼所有影響都很顯著的原因。 查看數據的更好方法是使用常態圖和半正態圖（取決於水平設定的任意程度）和帕累托圖。 分析>擬合模型>使用宏>全階乘使模型飽和（所有 7 個 DF） 在輸出中，選擇響應旁的紅色三角形，然後選擇效果篩選。 檢查帕累托圖和常態圖。 常態圖將在沒有 MSE 偏差的情況下相互比較效果。 在帕累托圖中加入代表實際意義的值。
一旦發現顯著的影響，您可以刪除不顯著的項目並重新執行擬合模型以獲得殘差圖。
回覆：n = 8 的線性迴歸中有 6 項可以接受嗎？感謝您的回复，薩姆。
對於未重複的 2^3 因子實驗，它「理論上能夠」對所有主效應和 2 因子交互作用進行建模。 但從這個討論來看，這種能力在實務上似乎不那麼可靠。 當談到您想要多少自由度來建模主效應和兩因素交互作用時，是否有任何「經驗法則」？ 例如，DoF = 2x 模型項數嗎？
回覆：n = 8 的線性迴歸中有 6 項可以接受嗎？@QW您是正確的，您應該小心不要過度擬合模型，尤其是對於小資料集。但是，對於設計的實驗來說，所有兩個因素的交互作用可能都是顯著和/或重要的。如果實驗的計畫和執行很仔細，那麼實驗誤差相對於效果量可能很小。
最好透過以下方式評估數據：
- 繪製數據：
- 所有數據與因子的圖（有時稱為因子圖或主效應圖）。尋找異常值或其他異常資料。
- 問問自己，從科學/理論的角度來看，數據是否有意義
- 擬合模型，並繪製殘差（每行的擬合誤差）。
- 使用 Profiler 來探索模型的預測效果
- 顯著影響可能實際上並不重要，如果是這樣，您可以將其從模型中刪除，而與實際預測沒有太大差異。
如果您對過度擬合還有其他擔憂，您也可以嘗試對資料套用逐步迴歸模型擬合，
