半導體製造過程中，元件性能預測面臨許多挑戰。這種預測能力的缺失導致良率下降和成本上升。本專案將展示如何建立基於線上計量資料（包含3個反應變數 (Y) 和300多個預測變數 (X)，資料集約400個資料點）的預測模型，以預測元件效能。
我們利用 JMP 多元平台評估了專案的複雜性：(1) YY 競爭相對較弱，(2) YX 因果關係較強，(3) XX 存在嚴重的多重共線性依賴性。如果考慮所有 300 多個預測變量，標準最小二乘法和逐步迴歸演算法均顯示出嚴重的過度擬合風險。我們採用了三種現代資料探勘降維技術來篩選關鍵的少數 X 變量，以繼續進行響應面法 (RSM) 建模：(1) 劃分，(2) 神經網絡，(3) 預測變量篩選。由於 JMP 軟體本身的限制，使用隨機森林演算法的預測變數篩選有效地解決了遞歸劃分的問題，並提供了更均勻的貢獻模式。基於預測變數篩選的預測變數排序，我們運行了一個混合模型，將擬合模型、神經網路模型、劃分模型和整合模型結合，以預測設備性能。我們還實現了遞歸組合迭代，並建立了停止準則，以確保高效的模型開發。
大家好，我是陳志旭，應用材料公司的製程工程師。今天，我將為大家介紹一種混合預測篩選和最小平方法響應曲面法（LSM）方法。本次演講是我和查爾斯合作完成的。
半導體製造過程中，元件性能的預測面臨許多挑戰。這種預測能力的不足導致良率下降和成本上升。為了解決這個問題，我們的目標是開發一個統計模型，基於線上計量資料（此處為 X）來預測裝置性能（此處為 Y）。在製造過程中，我們進行了沉積、光刻、邊緣測量以及一些線上計量測量。
如果我們能建立一個模型來預測 Y 值，那麼我們就可以向先前的模型提供回饋，監控流程是否有任何偏差，從而改善品質控制、提高產量，甚至優化整個流程。在我們的資料集中，有三個反應變數和大約 300 個預測變數。在所有這些預測變數中，有些是每個 Y 值的獨立預測變量，也有一些是所有 Y 值共享的預測變數。正如你所看到的，這是一個非常複雜的模型。
在本報告中，我們將探討幾個關鍵問題。例如，我們想了解為什麼 Y1 和 Y2 的相關性更高。此外，我們也想了解 Y 和 X 之間的關係，以便優化設備效能。所有這些問題對於我們全面理解本項目至關重要。由於這是一個複雜的模型，因此我們首先採用多變量方法來檢驗 YY、YX 和 XX 之間的關係。
如果我們觀察YY之間的關係，根據這個多變量圖，可以看到它們之間基本上呈現正相關。這些Y之間不存在相互競爭，這是合理的，因為我們的設計目標是同時提高這三個Y的值。此外，由於每個Y都有一些獨立的預測因子來控制，因此它們之間相互幹擾的可能性較小。這種設計是理想的，因為它能帶來更好的設備性能。
接下來，我們可以看看 YX 的因果關係。可以看到，在最左邊一列中，YX 之間有非常強的相關性，Y 和 X 之間有一定的線性關係。理想情況下，基於這種關係，我們應該能夠基於這裡所有的 X 值建立一個模型來預測 Y 值。
現在，我們可以研究 XX 的依賴關係。您可以注意到，當我們比較所有 X 值時，某些 XX 之間的關係非常強，呈線性關係。然而，有些關係並不強……對於其他一些關係，其顯著性不如此處所示的線性關係。這顯示我們的 XX 有嚴重的多重共線性問題。這將使確定每個預測變數的影響變得非常困難。我們的解決方案是進行更多研究，以了解為什麼某些 X 會有多重共線性問題。此外，在建立模型時，我們需要移除不太顯著的項目並進行模型驗證。
在方法的初始階段，我使用平方模型將所有預測變數納入擬合模型，並觀察 YY 的反應。然而，我們遇到了幾個挑戰。首先，以 Y1 為例，當我們使用所有預測變數來擬合模型時，會發現過擬合問題，因為 R 平方值比調整後的 R 平方值大了 10% 以上。
第二個問題是多重共線性。正如我之前提到的，在 XX 與某些 X 項的關係中，我們發現有非常嚴重的線性關係。如果我們查看「參數估計」表中的 VIF 項，可以看到某些預測變數的 VIF 值非常大，這是不理想的。
接下來，我們也觀察到模型中存在非常強烈的交互作用。查看總結報告，我們可以將主效應和總效應相加。主效應與總效應之差即為交互作用效應。基於此模型，交互作用超過 36%。這表示該模型中存在強交互作用。由於存在交互作用，我嘗試將所有預測變數以及所有交互項納入 R 平方模型。但 JMP 會報錯，提示自由度減少不足。
這裡我列出了預測變數的數量以及建立模型所需的自由度減少量。例如，就我們的 Y 值而言，這裡有大約 200 個預測變數。如果我們要考慮截距、主效應、二次項和交互項，我們需要大約 20,000 個自由度來考慮所有交互作用以建立響應曲面法 (RSM) 模型，這在我的資料集中是不可行的。
考慮到資料總量和預測變數的數量，選擇大約 20 個預測變數進行分析似乎是合理的，因為如果我們能將預測變數精簡到 20 個左右，那麼建立模型只需要大約 250 個資料點。鑑於這些挑戰，我們需要進行資料探勘，並識別出關鍵預測變數以建立更優的模型。在 JMP 分析中，我的方法主要專注於尋找一組 R 平方調整值（R-Square Adjusted）更優的模型，儘管 RMSC 值較高，但我們不希望出現過擬合問題，並且希望模型穩定。我們還需要識別出用於簡化模型的關鍵預測變數。我在這裡嘗試了三種不同的分析方法。
首先，我們使用神經網路方法。這是一種機器學習方法，因為它能夠考慮非線性效應和互動效應。神經網路方法可以提供模型和關鍵預測因子。其次，我還嘗試了分區方法，該方法使用決策樹對預測因子進行分類，並找到預測反應的最佳方法。它也可以提供模型和關鍵預測因子。第三種方法是預測因子篩選。我使用隨機森林方法來識別強預測因子和敏感預測因子。但是，使用這種方法，我們只能找到關鍵預測因子，而無法提供模型。
我想討論的另一個主題是，即使不使用 JMP Pro，我們仍然可以解決複雜的模型問題。因為 JMP Pro 利用人工智慧提供更進階的分析功能，包括高階建模、模型比較、模型選擇和模型交叉驗證。而使用 JMP 時，我們無法實作這些功能。為了克服這個限制，我們可以採用不同的方法。例如，我們可以使用混合模型，將預測因子篩選和不同的建模方法結合。我們也可以手動比較每個模型，以及使用整合模型，將現有模型與整合模型結合，建構一個更優的模型。對於交叉驗證，我們也可以嘗試使用 JMP 的 JSL 腳本，但本報告不涉及這部分內容。
好的，我們來看我對預測模型的第一個分析。首先是神經網路分析。在這個分析中，我也以Y1為例。這裡我們使用K折交叉驗證，K=5，隱藏節點數=20，因為它包含交叉驗證，可以增強模型的穩定性並減少過度擬合。但是由於神經網路方法非常……它使用了一個非常複雜的數學模型，所以我做了五次，結果卻大相徑庭。
就像這裡提到的三個亮點一樣。你可以看到訓練集和驗證集之間的差異非常顯著。這表示該模型不穩定，可能存在過擬合問題。即使有時，例如對於 Y 值，它也能給出較高的 R 平方值和較低的過擬合。透過多次運行神經網路模型，我們發現大多數情況下，神經網路模型都會出現過擬合問題，而現在該模型對於我們的資料集來說非常穩定。
此外，我們可以使用預測分析器對不同預測變數的重要性進行排序，結果顯示交互作用效應約佔模型的 85%，顯示預測變數與反應變數之間存在非常非線性的關係。同時，排名前四的預測變數的總效應相近，這將為模型最佳化帶來巨大挑戰。此外，總效應大於主效應，這表示模型背後有非常複雜的數學變換，因此交互作用非常強。綜上所述，由於神經網路方法的不穩定性以及過度擬合問題，它並不適合用來識別關鍵預測變數。
接下來，我們將使用分區方法進行分析。分區法採用樹狀二元分類法對預測變數進行分類，並找出最佳預測模型。在我的分析中，我使用了 0.2 的驗證集比例。與神經網路模型的結果相比，這裡的 R 平方值相近，但如果觀察到這些預測變數的排名，會發現前六個預測變數貢獻了約 80% 的方差，其中第一個預測變數的貢獻最大。這是因為在使用這種分區方法時，大部分資源都分配給了第一個預測變量，因此其他預測變量的剩餘資源有所減少。
鑑於神經網路模型的不穩定性，我們進行了多次運行。但每次訓練集和驗證集之間的R平方值仍然差異很大。因此，由於模型的不穩定性以及過度擬合問題，它仍然不足以識別關鍵預測因子。
根據我們先前的研究結果，這裡簡單總結一下最小平方法模型、神經網路和分區模型的比較。可以看出，對於每個模型，例如標準最小二乘模型，它們的R平方值都較高，但仍存在過擬合和嚴重的多重共線性問題。此方法僅考慮了主效應。神經網路和分區模型也存在過擬合問題，且穩定性較差，且都無法找到關鍵預測因子。我們需要考慮其他模型來尋找關鍵預測因子。
好的，根據先前的研究，我們知道在分區中引入新的角色並不適合我們的模型。因此，接下來我們使用預測變數篩選。我們採用了Bootstrap隨機森林分區法。此方法利用多重決策樹，透過選擇不同數量的預測變數和隨機預測變數來增強模型的穩定性。
在建造這個模型時，我使用了 5000 棵樹，因為它可以提供更穩定的模型。執行此分析大約需要 15 分鐘的計算時間，這對於我的分析是可以接受的。在對這些預測變數進行排序後，我們也想知道應該使用多少個預測變數。因此，我們創建了一個累積貢獻圖來視覺化預測變數的累積貢獻。
例如，如果我們選擇 23 個預測變量，可以涵蓋約 60% 的貢獻；如果我們選擇 75 個預測變量，則可以涵蓋約 80% 的貢獻。這符合帕累托 20% 到 80% 的原則。由於我的專案的主要目標是顯著降低模型的複雜度，因此我選擇使用 23 個預測變數進行分析。在 JMP 中，「預測變數篩選」功能只能幫助我們辨識重要參數，而無法提供模型。為了解決這個局限性，我們使用混合模型，將「預測變數篩選」和「擬合」模型結合起來，在 JMP Pro 中模擬隨機森林演算法。這個混合模型的結果表明，我們不存在過擬合的問題。
此外，觀察方差膨脹因子（VIF），雖然仍有一些變數的VIF大於10，但我們使用的絕大多數預測變數的VIF都小於10。為了更好地理解為什麼有些變數的VIF仍然較高，我們對這些高VIF變數進行了聚類分析。分析後，所有這些預測變數可以分為兩組。
第一組以橘色高亮顯示，第二組用藍色高亮顯示。當我們重新查看[聽不清楚 00:21:10]資料時，發現第一組中的所有預測變數都具有相似的CD值。而這三個預測變數則有不同的CD值。這告訴我們，在建立模型時，實際上不需要將所有這些預測變數納入模型。因為這一組的預測變數高度相關，所以我們只需要選擇一個納入模型。對於這一組預測變量，我們也只需要一個即可。
基於先前對聚類變數的分析，我們將最初的23個預測變數精簡至約18個。之後，所有VIF值均低於10。此外，由於預測變數總數已從約200個顯著減少到18個，因此現在可以考慮雙向交互作用。結果表明，對於考慮雙向交互作用的混合模型二，其R平方值相比僅考慮主效應模型提高了約20%。此外，此混合模型整體表現優於先前的神經網路和分區方法。透過優化預測變數並考慮雙向交互作用，我們獲得了一個更精細和改進的模型。
接下來，基於先前在方法論方面學到的知識，我們可以將所有這些知識應用於Y2和Y3。總體而言，可以看到，使用混合模型結合預測因子篩選和擬合模型，對於這三個反應變量，我們可以將預測因子數量從原始資料集減少約90%。此外，所有R平方值仍在可接受範圍內，約為70%到80%。減少預測因子後，我們也沒有遇到擬合和變異數膨脹因子（VIF）問題。
下一步，我想比較不同的模型，包括結合預測因子篩選和神經網路模型的混合模型，以及結合預測因子篩選和分區模型的混合模型。可以看到，對於神經網路模型，如果考慮上一張投影片中提到的所有預測因子，就會出現嚴重的過度擬合問題。但如果將結合了預測因子篩選和神經網路模型的混合模型進行比較，雖然仍存在一些過度擬合問題，但與包含所有預測因子的神經網路模型相比，過度擬合問題有所緩解。而對於包含其他預測因子的分區模型以及結合了預測因子篩選和分區模型的混合模型，我們發現這種方法並沒有帶來顯著的改進。
下一步我想比較所有這些不同的模型。這裡我列出了我們目前擁有的所有模型。我們有最小平方法模型，還有幾種不同的混合模型，包括預測因子篩選結合神經網路、預測因子篩選結合分區、預測因子篩選結合最小平方法及其交互作用。可以看到，對於這個混合模型，我們只需要大約18個預測因子就能得到較高的R平方值，而且R平方值也相當不錯。此外，所有這些混合模型，包括這個混合模型，都具有較高的最小R平方值和較高的調整後最小R平方值。但這是否意味著使用這種模型，我們總是能比其他模型表現得更好？
我在這裡列舉兩個例子。在這個例子中，我將混合神經網路模型、混合分區模型和混合最小二乘模型與我們的真實數據（即此處顯示的響應）進行比較。在這個範例中，如果我選擇這個資料點，您可以看到這三個模型的相應預測結果。實際上，混合神經網路模型給出的值比真實值更接近。但再舉一個例子。如果我選擇這個數據點，而這三個值是每個模型的相應預測結果，您可以看到，對於這個數據點，混合最小二乘模型會給出更好的預測結果。
我想知道，我們能否將所有這些模型結合起來，進一步提升預測精度？這是我從這個連結中了解到的 JMP Pro 的一個功能。該功能引入了整合建模的概念，也稱為「模型的模型」。其核心思想是，我們可以選擇多個高性能模型來建立一個整合模型。我對整合模型的潛力很感興趣，並想探索它在我的現有資料集上的應用。基於相同的方法，我想知道我們是否可以使用 JMP 建立組合模型。
目前，我們有三種不同的混合模型，正如我之前所展示的。為了應用整合模型方法，我們使用不同的方法來組合這三個模型。這包括模型五。我們希望使用平均演算法，即對現有三個模型取平均值。模型六是加權演算法。對於每個模型，我們將賦予不同的權重，以嘗試獲得更優的模型。模型二將使用神經網路演算法來組合這三個模型。模型八，我們將使用劃分演算法來組合這三個模型。
此表匯總了所有回應的平均值、均方根誤差 (RMSE)、R 平方、調整後的 R 平方以及潛在風險。如果我們使用此圖來視覺化此表，可以看到，對於此數據，此處顯示的是回應的平均值，範圍則代表 RMSE。我使用不同的顏色方案，將調整後的 R 平方模型從高到低排序。可以看到，使用模型 7，如果我們將這三個模型與神經網路演算法結合起來，可以獲得最佳的調整後 R 平方以及最小的 RMSE。
總之，我們對預測因子篩選和最小平方法建模混合方法的研究可以…建構一個預測因子數量減少約90%的模型。基於此模型，我們可以理解YY的積極組合，也可以協同優化YX，並降低XX的依賴性。在開發多個混合模型和整合模型的過程中，我們也建立了多個用於預測裝置性能的模型。
展望未來，我們有一些工作機會。我們可以利用預測器篩選功能來比較不同模型之間的排名差異。此外，我們也可以嘗試使用遞歸組合迭代法，並確定停止準則。我們還希望整合儀錶板或分組腳本，以便匯總和比較所有關鍵模型KPI。
我還要感謝我的導師查爾斯，感謝他為這個計畫提供的指導和大量技術支援。同時，我也要感謝應用材料公司技術長PPB團隊，感謝他們為資料收集提供的鼎力支持。今天的報告就到這裡，謝謝大家。
