部署模型你好
致所有人。
在附加的 2 個 jmp 檔案中。 名為 Training-validation-test 的模型用於建立 RF 模型，結果如下。
該文件包含一個數字響應和 20 個不同的預測變量，其中之一是分類變量，預測變量是感測器值。
正如您所看到的，偏差非常好，而變異數稍高 (92-69=23%)。
然後，使用包含模型從未見過的範例的新資料庫來模擬演算法在新資料上的部署。
令人驚訝的是，結果非常糟糕，預測反應與實際反應之間的 R2 接近零。 我們無法理解這種行為。 畢竟測試數據的 R2=68% 似乎不是很糟糕。 所以我們期望 R2 肯定大於零。
歡迎任何幫助/評論。
菲利斯-吉安
預測建模和機器學習分享和交流成果回覆：部署模型也許這可以幫助討論。 我使用了 jmp pro 中優秀的模型篩選選項，透過使用巢狀選項來調整超參數並結合 k 折交叉驗證。 這是 jmp 工作幾個小時後獲得的結果
令我驚訝的是這些模型在性能方面的巨大差異。 樹模型和 KNN 顯示 R2 高於 50%，而所有擬合模型顯示的值遠低於 50%（接近零），儘管使用了套索和嶺正則化。 也許這種差異可以解釋 RF/Boosted 模型在生產中部署後表現不佳的原因嗎？
你怎麼認為？ 有什麼意見/建議/幫助嗎？
費利斯.
回覆：部署模型我強烈懷疑您需要花更多時間準備數據。為了擬合時間序列模型，觀測值必須等距且沒有重複的時間值。您有 4 個感測器（？），它們的響應間隔不均勻。如果您想理解這些數據，我相信您需要聚合這些值，以便每個時間段都有一個觀察結果，並且您可能需要為定時觀察之間的時間長度建立變數。我還建議對每種類型的感測器進行單獨的分析，而不是使用感測器作為您的功能之一，因為每種感測器的行為似乎不同。
我不準備得出這樣的結論：您的功能無法預測 - 我認為混合感測器類型以及非標準時間間隔會引入太多噪音。如果解決這些問題，可能就會有一個很好的預測模型。建模部分不是問題 - 資料準備才是問題（通常是這樣）。至少我是這麼認為的。
回覆：部署模型嗨戴爾
不幸的是，透過使用反應變數差異，沒有一個迴歸模型能夠返回良好的結果。
因此，此時我可能需要假設我們的 X 變數不是反應的良好預測因子。
無論如何，對於像我們這樣的數據（感測器數據），我們是否必須通過考慮時間軸來分割訓練/測試，或者我們可以使用隨機分割技術，仍然存在疑問。 在文獻中，我發現了幾篇論文，其中對於感測器數據，他們使用隨機分割訓練/測試。 如果我們以同樣的方式做，結果似乎真的很好，直到我們將模型部署到生產中才明白模型是完全錯誤的。 那麼真相在哪裡呢？
在附件中，您可以找到一篇將機器學習技術應用於半導體工具（蝕刻機）的論文。 他們嘗試透過查看感測器數據來進行預測性維護。 所以數據應該要非常相似。 如果你看論文中以綠色突出顯示的部分，看起來他們會考慮時間軸來分割數據，然後將數據視為時間序列。
我希望除了戴爾之外還有更多的人能夠發表意見並幫助我們解決這個困境。
這些數據是否像我們的多時間序列一樣？
確實，預測變數 X 和反應 Y 取決於時間。 但是如果我們想根據 X 值預測 Y，為什麼時間變數應該如此重要？ 對我來說，Y 應該取決於機器在處理階段自動設定的 X 變數。 當然，這是按時間順序發生的，但 X 值取決於配方和機器狀態。 所以我有些難以接受對時間的依賴。
祝整個社區復活節快樂。
菲利斯
回覆：部署模型時間序列模型不是我的強項，所以希望有人能給你更明確的答案。我一開始不會區分這些特徵 - 我會建立模型並查看殘差，看看它們是否表現出相同的自相關性。如果他們這樣做，那麼也許我會嘗試區分某些功能。
回覆：部署模型嗨戴爾
由於預測變數也顯示相同的 PACF，您認為除了反應之外，區分預測變數是否也有用？
謝謝菲利斯
回覆：部署模型PACF 圖顯示前兩個滯後是相關的 - 到目前為止，第一個滯後是最重要的。所以，我認為簡單的一階差分是值得嘗試的好事情。其中一種機器學習模型（例如 RF、提升樹、神經網路）可能會表現良好，所以我會嘗試它們。但您也應該嘗試一些更標準的時間序列模型（您不會使用差異，因為時間序列模型是為了以各種方式考慮自相關而建立的）。理論上，如果您使用一階差分（並且這在很大程度上消除了時間結構），那麼您可能可以使用隨機的訓練-驗證-測試集進行建模。至少，我是這麼認為的——其他人可能更了解。
回覆：部署模型嗨喬治和戴爾
非常感謝您的回答。 我查看了所有預測變數和反應的滯後圖，令我驚訝的是，我發現了一個非常長的自相關（請參閱附圖）。
由於數據來自半導體晶圓廠，因此 ACF 中可見的值 25 與批次中晶圓的數量有關。
相反，滯後圖中的點線只是裝載到機器中的不同批次的第一批晶圓。 我認為自相關是由於我們的機器中存在內部回饋以保持工作點所致。 當然，這些調整隱藏在室內，不在我們的控制和理解之下。 回應還顯示出明顯的滯後，我無法解釋。 但有嗎。
我嘗試使用滯後、移動平均、平滑和其他預測因子特徵工程，但結果仍然很糟糕。
下一步我想嘗試戴爾提出的差異。 您認為簡單的差值 X(t)-X(t-1) 就足夠了嗎？
再見菲利斯
回覆：部署模型我有幾個建議。首先，我會嘗試先區分您的反應變量，然後再次嘗試隨機森林。對我來說，這是處理時間序列資料最簡單的方法 - 並且以這種方式查看資料可能會表現得更好。我仍然會手動建立驗證集作為最後一個時間段，而不是隨機選擇行。第二個想法是你注意到的——有時間分組，例如時間上緊密相連的多個觀察。您可以考慮透過總結時間上密切相關的觀察結果來使時間序列統一。如果時間變數是統一測量的，那麼時間序列的表現會更好，這意味著您的資料需要匯總為等間隔的時間間隔。正如您所建議的，現在是時候重新思考正在測量的內容以及如何測量了。
回覆：部署模型同時，我相信我將無法為數據擬合有效/合理的模型。
我的第一個方法是產生由 X 統計的驗證列。
時代系列暗示@dale_lehman很有用，所以我還以時間序列的方式查看了數據，
意識到隨著時間的推移，X 的組合會改變。 在我看來，「新」再次顯得不同。 是的，X 涵蓋了相同的範圍，但這還不夠。 我認為，「新」的組合是不同的，也就是說，它是一種外推。 這對於迴歸來說不是問題，但對於像 RF 這樣的方法來說這很重要（模型是多維且高度非線性的，因此很難深入了解）。
另一方面，我無法使用其他方法（神經、提升樹）來擬合合理的模型。 在我看來，我們在 X 列中沒有正確的資訊來建立實體模型。
所以我會研究這個過程的物理原理或其他什麼，
- X如何改變Y，
- 可能是什麼噪音
- 以及是什麼導致事物隨著時間的推移而變化，並將其包含到資料集中。
- 我也對資料結構感到好奇，有一些行具有相同的日期和相同的參數值
讓我驚訝的是，當我製作一個按時間分層的驗證列時，我得到了相同的結果（第一部分的公平模型，沒有新數據的模型）。
祝你好運，
回覆：部署模型現在我仔細觀察，發現這是時間序列資料。從我最初的觀點來看，這個過程似乎並沒有發生重大變化。然而，我認為問題在於訓練-驗證-測試範例並不真正適合時間序列資料。我建議創建一個不同的時間段（例如，第一個資料集的最後一個月）作為驗證集並重新估計模型。我的猜測是，如果您以這種方式估計模型，則驗證中的模型性能和以前從未見過的數據應該更加相似。我仍然有點擔心兩個資料集中 X 變數之間的顯著差異 - 它可能需要一些更複雜的時間序列建模（例如對潛在季節性進行建模）。
回覆：部署模型嗨戴爾和喬治
感謝您的回覆。
實際上，對我來說，每個預測變數的兩個分佈之間的差異似乎並沒有那麼不同（請參閱附圖中的直方圖。 使用 bls，我們指示 Training-Val-Test 集並 exp 模型從未見過的集）。 也許X20在以前沒有的數據中顯示出一個新的峰值。 但其餘分佈的人口數僅比以前的分佈少。
如果訓練集的預測變數分佈比測試集更寬，則模型應該「存取」了測試集預測變數所佔據的相空間。 正確的？ 那麼為什麼它會做出錯誤的預測呢？
無論如何，我透過隨機抽取2000 個實例（而不是隨機森林模型從未見過的最後2000 個實例）來確認（儘管對我們來說這很奇怪）你所說的內容，並且一旦訓練它就能夠正確預測響應。 因此，如果平均值/標準差方面的微小差異會在預測性能方面產生很大差異，我們如何在訊號連續變化的生產中使用這些模型？
參考值。費利斯/吉安
回覆：部署模型我同意@dale_lehman ，新數據有所不同。
我能夠擬合類似的模型，但在新數據上的表現也很差。
散佈圖矩陣顯示了一些細節，例如 X5 使用非常小的原始資料範圍，與 X11 相同...
在兩張圖片中都選擇了新數據。 也許這可以幫助您找到差異的原因。
回覆：部署模型平均而言，兩組之間幾乎所有 X 變數（X12、X13 和 X19 除外）均顯著不同。因此，我的猜測是，新數據不僅僅是來自同一群體的另一個隨機樣本，而是來自不同的群體。當新數據來自不同的群體時，您的模型與原始數據擬合得相當好，但在新數據上表現卻很差，這並不奇怪。
我想問的問題是為什麼它來自不同的人群？顯然，您認為數據是從同一人群（或接近人群）中提取的。但這些變數在兩組之間看起來一定如此不同，以至於這種假設顯然是不正確的。
為了查看差異，我連接了 2 個表，並僅使用 Fit Y by X，其中 Y 是所有 X 變量，X 是連接它們時創建的來源表。
