在普通 JMP 中測試模型的預測能力您好，我已經開發了一個基於訓練數據集的模型，並且想在測試數據集上測試該模型的預測能力。 有什麼辦法可以在普通 JMP 中做到這一點嗎？ 我的模型由連續效應和分類效應組成。我想我必須能夠修復模型的參數。 或者這也許是購買 JMP Pro 的另一個好理由？
高級統計建模數據探索和可視化質量和工藝工程回复：在普通 JMP 中測試模型的預測能力我同意，我的模型中的至少一個變量在訓練數據集中遵循與測試數據集中完全不同的分佈（請參閱附件，其中 test=0 等於訓練數據，test=1 等於測試數據）。 趨勢分析表明該變量的水平已向上移動。 我不知道為什麼，但這是值得調查的事情。
回复：在普通 JMP 中測試模型的預測能力只是添加到@P_巴特爾的評論...如果您的原始數據集不能代表未來的情況，那麼從所述數據集創建的模型的能力對於預測來說不是很有用。 這並不意味著您沒有學到任何東西，但您需要擴展推理空間以提高模型的可預測性（並且模型可能需要隨著時間的推移進行修改）。
回复：在普通 JMP 中測試模型的預測能力當你說“後期”時......我從隨機選擇觀察結果放入訓練集中是基於我的前提，即基本上整個數據集合代表單個研究群體。 你願意承擔這個模型評估的問題。 現在，當你說“稍後”時......你有多願意假設這個單一人口的想法是正確的？ 假設您在兩個數據集中都有少量觀察結果......但是使用 K 折疊是一種交叉驗證形式，可以幫助使用相對少量的觀察結果來創建和評估過度擬合模型。
IMO，即使你的測試數據集中有少量的觀察結果......如果你的測試集沒有很好地擬合預測/實際結果，那麼這會告訴你一些事情......你的模型在預測未來方面並不是特別有效表現。 所以從某種意義上說，你的測試集並沒有讓你失望……它只是在尖叫著讓你謹慎地採用訓練模型作為福音。
此外，您還沒有共享任何訓練模型診斷...也許模型存在一些問題，導致擬合未來的觀察結果出現問題。 您能分享數據或診斷嗎？ 這些結果中可能隱藏著一些線索。
回复：在普通 JMP 中測試模型的預測能力謝謝。
我的訓練數據集由 95 個觀察值組成，我應用了帶有 k 倍選擇的逐步回歸。 然後，我使用普通最小二乘法進一步縮小模型，並應用 5% 的顯著性限制。 這個想法是使用一組新的觀察結果（來自較晚的時間段）作為測試數據集，這意味著數據不會隨機分配給訓練和測試數據集。 您認為這個程序有問題嗎？
應用你的程序，我得到了一個非常差的 R 平方來進行測試數據測試。我認為問題在於我的測試數據集太小（只有 20 個觀察值），而且解釋變量的值的範圍也比訓練數據集的範圍小。 我發現實際上不可能用這個測試數據集來評估我的模型的預測能力。
回复：在普通 JMP 中測試模型的預測能力使用哪個平台來創建模型？
回复：在普通 JMP 中測試模型的預測能力有一個問題要問您......希望您隨機選擇觀察結果以包含在您的“訓練”集中？ 如果沒有，我會回溯並從那開始。 假設你做了...
嗯，是的，如果您想使用訓練/驗證/測試結構來評估模型（這通常是預測建模工作的最佳實踐），那麼 JMP Pro 就是您的最佳選擇。 許多非常有用的功能，例如模型比較和公式庫平台，專門針對非常有效的多模型評估。
但是，由於缺少 JMP Pro，這裡有兩個簡單的想法供您考慮。 將您使用訓練數據集構建的模型保存到包含“測試”數據集的數據表中的新列公式，稱為“預測值”或類似構造。 您現在應該可以預測該列中的響應。 現在繪製“預測值”和響應的實際值的“Y × X 擬合”圖，並檢查兩組響應的“擬合優度”。 我會強製圖表上的 x 軸和 y 軸限制相等，但複製擬合模型平台報告的實際與預測圖。 用您的眼睛找到那條 45 度線...或者只是在圖形生成器中覆蓋一條線。
另一種變化是從實際值中減去預測值並以直方圖格式繪製殘差。
這些技術不會做任何事情來評估過度擬合......但如果你的重點是嚴格預測......那麼這是一個開始。
