部署模型你好
致所有人。
在附加的2個jmp文件中。 一個名為Training-validation-test的訓練用於建立具有以下結果的RF模型。
該文件包含一個數值響應和20個不同的預測變量，其中之一是分類的。預測變量是傳感器值。
如您所見，偏差非常好，而方差略高（92-69 = 23％）。
然後，使用一個新數據庫，其中包含該模型從未見過的示例，用於模擬算法在新數據上的部署。
出乎意料的是，結果的確很差，R2在預測響應與實際響應之間接近零。 我們無法理解這種行為。 畢竟，測試數據的R2 = 68％似乎還不錯。 因此，我們期望獲得肯定大於2的R2。
請任何幫助/評論，歡迎。
費利斯吉安
分析工具回复：部署模型我同意@dale_lehman ，新數據有所不同。
我能夠擬合類似的模型，但在處理新數據時也做得很差。
散點圖矩陣顯示了一些細節，例如X5使用很小的原始數據范圍，與X11相同...
在兩張圖片中，都選擇了新數據。 也許這可以幫助您找到差異的原因。
回复：部署模型嗨戴爾和喬治
感謝您的回复。
實際上，對我而言，每個預測變量的兩種分佈之間的差異似乎並沒有太大差異（請參見附圖中的直方圖。 使用bls可以指示Training-Val-Test集，並表示模型從未見過的exp）。 也許X20在以前從未見過的數據中顯示了一個新的峰值。 但是剩餘的分佈只比以前的分佈少。
如果訓練集的預測變量的分佈範圍大於測試集的分佈範圍，則該模型應“訪問”測試集的預測變量所佔據的相空間。 正確的？ 那麼，為什麼要做出錯誤的預測呢？
無論如何，我通過隨機選取2000個實例（而不是隨機森林模型所見的最後2000個實例，並經過訓練後能夠正確預測響應）來確認（即使對我們來說這很奇怪）。 因此，如果在平均值/標準差方面的微小差異在預測性能方面產生了很大的差異，我們如何在信號連續變化的生產中使用這些模型呢？
Rgds。菲利斯/吉安
回复：部署模型現在，我更加仔細地看，我看到這是時間序列數據。從我的最初觀點來看，該過程似乎並未發生重大變化。但是，我認為問題在於，訓練驗證測試範式實際上不適用於時間序列數據。我建議創建一個不同的時間段（例如，第一個數據集的最後一個月）作為驗證集並重新估算模型。我的猜測是，如果以這種方式估算模型，則驗證時模型性能以及從未見過的數據應該會更加相似。我仍然擔心兩個數據集中X變量之間的顯著差異-它可能需要一些更複雜的時間序列建模（例如，對潛在的季節性進行建模）。
回复：部署模型同時，我認為我將無法為數據擬合有效/合理的模型。
我的第一種方法是生成由Xs表示的驗證列。
來自的時間序列提示@dale_lehman很有用，所以我也按時間序列的方式查看了數據，
意識到隨著時間的流逝，Xes的組合會發生變化。 在這裡，我再次覺得“新”是與眾不同的。 是的，Xes覆蓋相同的範圍，但這還不夠。 我認為，“ New”中的組合是不同的，也就是說，這是一種推斷。 對於回歸而言，這不是問題，但對於RF之類的方法而言，這很重要（模型是多維且高度非線性的，因此很難查看內部）。
另一方面，我無法使用任何其他方法（神經網絡，Boosted Tree）來擬合合理的模型。 在我看來，我們在X列中沒有適當的信息來建立實體模型。
因此，我將研究過程的物理原理或它的本質，
- Xes如何/可以改變Y，
- 可能是什麼聲音
- 是什麼使事情隨著時間而變化，並將其包含到數據集中。
- 而且我對數據結構也很好奇，有些參數的行有相同的日期和相同的值
令我驚訝的是，當我創建一個按時間分層的驗證列時，我得到了相同的結果（第一部分的模型合理，沒有包含新數據的模型）。
祝你好運，
回复：部署模型我有幾點建議。首先，我將嘗試先區分您的響應變量，然後再嘗試隨機森林。對我來說，這是最簡單的時間序列數據處理方法-如果以這種方式查看數據，則數據表現可能會更好。我仍然會手動將驗證集創建為最後一個時間段，而不是隨機選擇行。第二個想法是您注意到的東西-有時間分組，例如時間上緊密聯繫的多個觀測值。您可以考慮通過匯總與時間密切相關的觀測值來使時間序列統一。如果統一測量時間變量，則時間序列的表現會更好，這意味著您的數據將需要匯總為等間隔的時間間隔。正如您所建議的，現在該回頭考慮一下要測量的內容以及如何進行測量了。
回复：部署模型嗨喬治和戴爾
非常感謝您的回答。 我看了看所有預測變量和響應的滯後圖，而令我大吃一驚的是，我發現了很長的自相關性（參見附圖）。
由於數據來自半導體晶圓廠，因此ACF中可見的值25與很多晶圓的數量有關。
相反，在滯後圖中指出的輪廓線只是在麥加機中裝載的不同批次的第一批晶圓。 我認為自相關是由於我們的機器中存在內部反饋以保持工作點。 當然，這些調整是隱藏在會議廳內的，不在我們的控制和理解之下。 回應也顯示出明顯的滯後，我無法解釋。 但是在那裡。
我嘗試使用滯後，移動平均，平滑和其他預測因子功能進行工程設計，但結果仍然非常糟糕。
下一步，我想嘗試Dale建議的區別。 您是否相信簡單的差異X（t）-X（t-1）就足夠了？
喬·菲利斯
回复：部署模型PACF圖表明前兩個滯後是相關的-到目前為止，第一個滯後是最重要的。因此，我認為嘗試進行簡單的一階微分將是一件好事。機器學習模型之一（例如，RF，增強樹，神經網絡）可能會表現良好，因此我將嘗試使用它們。但是，您還應該嘗試一些更標準的時間序列模型（在這裡您將不使用差分，因為時間序列模型是通過各種方式考慮自相關的）。從理論上講，如果您使用一階差分（並且這在很大程度上消除了時間結構），則可以為模型使用隨機的訓練驗證測試集。至少，這就是我的想法-其他人可能更了解。
