281522_zh-TW

liliconcom

分析儲存的製造資料時，了解變數聚類至關重要 (2020-US-30MP-576)

等級：中級

 

Tony Cooper，SAS 首席分析顧問
Sam Edgemon，SAS 研究所首席分析顧問

 

在製程產品開發中，實驗設計 (DOE) 有助於回答以下問題：哪個 X 會導致 Y 發生變化、朝哪個方向變化以及每單位變化多少？ 我們怎樣才能達到我們想要的效果呢？ 並且，哪些 X 可能允許失敗者控制，或需要更嚴格的控制，或不同的最佳設定？ 歷史數據中的資訊可以幫助部分回答這些問題並幫助進行正確的實驗。 此類非能源部數據的問題之一是多重共線性的挑戰。 檢測多重共線性並理解它可以讓分析師做出適當的反應。 模型分析中的變異數膨脹因子和不考慮模型的變數聚類是兩種常見的方法。 每個的資訊相似但不相同。 簡單的圖表可以增進理解，但可能無法揭示足夠的資訊。 將使用範例來討論這些問題。

 

 

自動產生的成績單...

 

揚聲器	成績單
東尼	大家好，我叫托尼·庫珀，我將展示我和山姆·埃奇蒙所做的一些作品，我將代表我們兩人。
	薩姆和我是研究統計學家，在我們的大部分職業生涯中為製造和工程提供支援。 今天的主題是理解變數聚類在分析儲存的製造資料時至關重要。
	我將使用單一資料集進行演示。 本次演講的重點是閱讀輸出。 而且我真的沒有時間填寫所有對話框來產生輸出。
	但我已將所有腳本保存在資料表中，當然可以在 JMP 社群中找到這些腳本。
	資料...腳本運行後，您始終可以使用紅色箭頭執行重做選項並重新啟動分析，您將看到用於呈現該輸出片段的對話方塊。
	我將使用這個關於製造資料的單一資料集。
	讓我們快速瀏覽一下這些數據的樣子
	和
	抱歉有一個
	快的。 看看這個資料集是什麼樣子的。 首先，我有一個時間戳。 所以這是一個連續的過程，每隔一段時間我就會回來並獲得一堆資訊。
	對於一些 Y 變數、一些主要輸出、一些客戶真正關心的 KPI，這些必須符合規格等等，以便我們有效地交付。 然後……所以這些……絕對是輸出。 正確的。
	線速度，振動設定點如何，
	還有很多其他的事情。 所以你可以一路看到，我當時正在測量 60 個奇怪的變數。 其中一些是感測器，一些是設定點。
	事實上，讓我們看看其中一些確實是設定點，例如製造熱設定點。 其中一些是命令，這意味著 PLC 告訴進程要做的事情。 其中一些是衡量指標，即當前的實際值。
	他們之中有些是
	環境條件，也許我認為那是外部溫度。
	他們中有一些
	連續的材料品質特徵，並且肯定有一些視覺系統輸出。 所以現在輸入有很多東西。
	你可以想像，例如，如果我有命令和測量，我告訴該區域想要的位置以及它實際測量的內容，我們希望它們是相關的。
	我們需要調查其中的一些，以便思考到底發生了什麼事。 這就是多重共線性，理解它們之間的相互關係
	輸入或單獨理解多重共線性和輸出。 但總的來說，現在不做 Y 會導致 X 效果。 你沒有進行監督技術。 這是一種無監督技術，但我只是想以這種方式了解數據中發生的情況。
	我所有的腳本都在這裡。 是的，這就是我們討論過的摘要；這是對數據的回顧。 正如我們剛才所說，這可以解釋為什麼存在如此多的多重共線性，因為我確實有一個設定點和實際值。 所以，但是我們會了解這些事情。
	我們首先要做的是讓 Y 等於 X 的函數，然後設定它，我現在只看這兩個變數。
	第一區命令，如果你願意的話，就是我告訴第一區的命令。 然後我有一個小熱電偶，在第一區有一個小熱電偶，它正在測量。
	您可以清楚地看到，隨著一區溫度變高，Y4 變低，該反應變數變低。
	對於測量也是如此，你可以看到在估計值中都是負的，而且總的來說，順便說一句，這些都是相當的
	預測變數是指僅此一個變數就解釋了第 4 年發生的情況的 50%。 好吧，讓我們
	讓我們來做一個多變量。 所以你想像我現在要擬合模型並將這兩個變數移入
	進入我的模型，我仍在分析 Y4。 我的回答仍然是Y4。 哦，看看這個。 現在它建議作為 Y，隨著命令的上升。 是的，確實如此
	這與我的預期相反。 這在正確的方向上仍然是負面的，但看看
	看看其中一些數字。 這些甚至與我剛才的情況不同，我剛才的情況是 0.04 和 0.07 負值。 現在我有正 0.4 和負 0.87。
	我不確定從工程的角度來看我是否可以信任這個模型，我真的想知道它是如何描述並幫助我理解這個過程的。
	有一個線索。 預設情況下這可能不會打開，但您可以右鍵單擊此參數估計表，然後可以詢問 VIF 列。
	這代表變異通貨膨脹因子。 這是模型不穩定性的估計...
	這種多重共線性。 所以你可以......所以我們需要對什麼有一點直覺......如何思考這個變因。 但為了更清楚發生了什麼，我將繪製......這裡是
	溫度區域一命令和這裡的測量，正如您所期望的，
	正如你所說...你告訴該區域增加溫度。 是的，該區域的溫度確實有所增加，而且總的來說，它甚至可能會達到正確的值。 我已經用 Y4 編碼了這種顏色，所以它建議在較低溫度下使用，我明白了
	Y4 的高值以及...
	抱歉...是的，在低潮溫度下，我得到了較高的 Y4 值，正如我在各個圖上看到的那樣。
	但您可以看到，也許問題得到了一些關於為什麼多元模型不起作用的直覺。 您正在嘗試擬合三個 dom...一個曲面。
	在這個刀刃上，它顯然可以......有一些不穩定，如果......你可以很容易地想像它沒有很好地固定在側面，所以我可以在這裡前後搖晃，這就是你得到的。
	這是就通貨膨脹因素的變化而言的。 OLS軟體...OLS一般最小平方法分析典型迴歸分析
	只是無法處理它，在某種意義上，也許我們也可以談論 X 素數 X 矩陣，你知道，在某些地方幾乎是奇怪的。
	所以我們對為什麼會發生這種情況有了一些啟發。 讓我們回過頭來想更多
	關於
	關於
	關於價值觀和
	我們知道
	你知道，我們現在知道，變異通膨因子其實不只考慮成對的問題。 但如果我想尋找來源......那麼直覺可以幫助我思考之間的關係
	VIF 和成對比較。 就像我有兩個 60% 相關的變量
	那你知道，如果都是成對的，那麼 VIF 約為 2.5。
	如果兩個變數的相關性為 90%，那麼我會得到 10 的 VIF。 文獻說
	當您的 VIF 為 10 或更多時，您就有足夠的不穩定性，因此您應該擔心您的模型。 所以，你知道，因為從某種意義上來說，數據中的事物之間有 90% 的相關性。
	現在，我想 10 是否是一個好的截止值確實取決於您的應用程式。 如果您根據它做出真正的設計決策，我認為 10 的分界線太高了。
	也許甚至接近兩個更好。 但如果我想得更多的話。 好吧，讓我考慮一下在這樣的實驗中運行哪些因素
	我想學習如何進行正確的實驗。 我知道我必須選擇一些因素來參與其中。 我知道我們經常去追尋通常的嫌疑犯。 有沒有辦法讓我自己思考一些更好的因素？ 好吧，那也許是
	10 可能有助於您縮小範圍。 所以這實際上取決於你想去哪裡思考
	思考目的是什麼。 更多關於這個目的的想法。
	你知道，如果你願意的話，對我來說建模有兩個主要目的。 一是會發生什麼，你知道，這就是預測。
	但這是不同的，有時這與為什麼會發生而這更像是解釋。
	正如我們剛剛看到的一個非常簡單的
	在第一區進行命令和測量，你可以，但你不能做很好的解釋。 我不會相信該模型會思考為什麼當我有時、當我做出反應時、當估計似乎朝著錯誤的方向發展時會發生某些事情。
	所以它非常重要，所以我不會用它來解釋。 我有點建議我甚至不會用它來進行預測。 因為如果我無法理解模型，那麼它就不會直觀地實現我的預期
	這似乎使推斷變得危險，當然，根據定義，你知道，我認為對未來事件的預測就是及時的推斷。 是的，所以我會一直思考這個問題。 而且，您知道，到目前為止我們正在討論普通最小二乘法。
	我看到的所有建模技術，例如決策樹、請願分析，
	所有人都在某種程度上受到這個問題的影響，以不同的意想不到的方式。 因此，如果可以的話，照顧好它似乎是個好主意。 這並不是製造數據所獨有的。
	但製造數據的誇大程度可能更嚴重，因為變數通常不受控制。 要是我們
	如果我們有，你知道，一區溫度，我們知道需要達到這個值才能生產出好的產品，那麼我們將盡可能嚴格地將其控制在所需值。
	因此，真正的推斷變得越來越困難。 所以這是誇大的製造，因為我們確實可以控制它們。
	您可以在此處閱讀有關製造數據的其他一些內容，這使得它可能
	讓它變得更好，因為這是機會和挑戰。 更好的是您可以了解製造流程。 關於這些東西如何運作有很多科學和工程。
	例如，您可以理解化學計量要求您添加的 A 量，化學物質 A 必須與化學物質 B 相關。
	或者你知道你不想從這裡的一區溫度進入完全不同的溫度，因為你需要緩慢地升高溫度，否則你只會產生壓力。
	所以你可以而且應該理解你的過程，這可能是一種方法，即使沒有任何關於多重共線性的經驗證據，你也可以擺脫其中的一些。
	還有
	製造資料的一個優點是它幾乎總是基於時間的，因此請繪製隨時間變化的變數。 而且總是很有趣
	或者並不總是如此，但通常很有趣，製造數據似乎確實像這裡一樣按時間塊移動......我們認為它應該是 250 並且我們運行了幾個月，甚至幾年，
	然後突然有人說，你知道，我們做了一些不同的事情，或者我們有了一個新想法。 讓我們移動溫度。 非常不同。
	當然，如果你想知道為什麼會有多重共線性，
	我們已經討論過它可能是由於物理或化學造成的，但當然也可能是由於某些潛在變數造成的，特別是當涉及到變數隨時間變化時，就像我們剛才看到的那樣。
	任何以該速率變化的因素都可能是影響 Y4 值的實際因素。 可能是由於控制計劃。
	它可以透過設計關聯起來。 每一件事情，你知道，多重共線性的每一個原因，我總是問的問題是，你知道，
	嘗試其他組合在物理上是否可行，或不僅僅是物理上可行，嘗試其他組合是否有意義？
	在這種情況下，您傾向於進行實驗，這非常有幫助。 這種建模和回顧性查看數據對於幫助您設計更好的實驗非常有幫助。
	有時，儘管期望有點太高，但在我看來，我們似乎期望從這些回顧性數據中得到明確的答案。
	我們已經討論了兩種半的方法來解決多變量聚類並理解它。 其一是VIF。
	這是包含所有變數的更大模型上的 VIF。
	我如何考慮哪些與哪些相關？ 這告訴我我有很多問題。
	但它沒有告訴我如何處理這些問題。 所以這很好地幫助你說，哦，這不會是一個好的模型。
	但這可能對你擺脫困境沒有幫助。 如果我將互動放在這裡，情況會更糟，因為它們幾乎總是更相關。 所以我們需要另一種技術。
	這就是變數聚類。 JMP 中提供了此功能，並且有兩種方法可以實現它。 您可以瀏覽分析多元主成分。
	或者您可以直接對聚類變數進行聚類。 如果您檢查主成分，則必須使用紅色選項...紅色三角形選項來取得聚類變數。 我仍然更喜歡這種方法，PCA，因為我喜歡額外的輸出。
	但它是基於PCA的。 所以我們要做的是先討論 PCA，然後再討論變數聚類的輸出。
	還有 JMP 頁面。 為了討論主成分，我實際上將首先使用變數的標準化版本。 讓我們想想提醒自己什麼是標準化的。
	平均值現在為零，標準差現在為 1。 所以我已經標準化了這意味著它們現在都處於相同的規模並且當你這樣做時隱含地
	當你這樣做時
	JMP 中相關性的主成分，
	隱含地你正在對標準化變數進行操作。
	當然，JMP 不僅有能力，而且非常聰明，足以讓您輸入原始值
	為了讓它以正確的方式工作，然後當它輸出時，它會輸出，你知道，公式，它會找出正確的
	公式應該是，你知道，你已經回到非標準化狀態了。 但就像第一眼看到的那樣，我們可以看到公式在哪裡以及一些東西，我將使用標準化變數一段時間，但我們很快就會回去，但我只想看一個公式。
	這就是這個公式。 我要做的就是考慮輸出。 那麼目的是什麼
	的
	主成分分析？ 它被稱為變異減少技術，但它的作用是尋找變數的線性組合。
	如果它找到了牠喜歡的線性組合，它......這就是所謂的主成分。
	它使用特徵分析來做到這一點。
	因此，另一種思考方式是，你知道我想要它，我將 60 個奇數變數放入...輸入中。
	在這個過程中我無法操縱 60 個獨立的維度，它們是相關的。 我對命令的時間、溫度做了什麼
	幾乎很大程度上決定了實際溫度下會發生什麼。 所以這些不是兩個自變數。 這些不會讓你說你不知道，那裡沒有二維。 那我們有多少個維度呢？
	這就是特徵值這個東西告訴你的。 這些就像方差。 這些是方差估計，截止值是
	一。如果我這裡有整張表，就會有 60 個特徵值。 一路下跌，你知道，跳躍開始報道為 0.97，但下一個下跌，你知道，可能是 0.965，而且會繼續下跌。
	截止值表示......或者一些準則是，如果它大於一，那麼這個線性組合就可以解釋訊號。 如果它小於一，那麼它只是解釋噪音。
	所以 JMP 所做的是......當我進入變數聚類時，它說，你知道什麼
	你在這裡有一個第二維度。 這意味著第二組變量，對，它對某些事情的解釋有點不同。 現在我要把他們分成兩組。 然後我將對兩者進行 PCA，
	如果和兩者的特徵值...第一個會很大，但第二個看起來像什麼
	我分成兩組後？ 現在他們還不到一個嗎？ 好吧，如果它們少於一，你就完成了。 但如果它們大於一個，那就好像，哦，該組可以進一步分裂。
	並且它被進一步交互地、直接地和分裂地分裂，直到不再有第二個成分大於第一個成分。
	因此，它正在創建這些線性組合，您可以看到...您知道，當我保存主成分一時，它正是這些公式。 哎呀。
	正是這個公式，0.0612，這就是 Prin1 的公式，只要標準化，這將是完全正確的。 如果你不標準化，那麼 JMP 只會找出如何在非標準化的情況下做到這一點，這意味著它完全有能力做到這一點。
	那麼讓我們開始處理初始資料。
	我們將做我們的例子。 您會看到這是非常相似的輸出。 事實上，除了我打開的一件事之外，它的輸出是相同的。
	這個選項就在這裡，集群變數。 我在這裡得到的是簇變數輸出。 你可以看到這些數字是相同的。 您已經可以開始看到它必須要做的一些想法，例如，讓我們在這裡看看這兩個。
	人工智慧的投入量似乎與商業智慧的投入量高度相關，所以……這對大多數化學過程來說都是有意義的，如果這是你想要完成的化學反應的一部分。
	你知道，如果你想多投入 10%，可能會多投入 10% B。 因此，即使在這張射線圖中，您也開始看到一些顯示多重共線性的東西。 所以要到達某個地方。
	但我想把它們分成不同的組，這有點困難，因為
	看這個傢伙就在這裡，溫度區 4。
	他其實恰恰相反。 它們的角度相同，但方向相反，所以他與 A 和 B 幾乎成 100 或 180 度。
	所以也許...與 4 區溫度和 AB 負相關，而不是...但我也想將它們放入專有組中，這就是我們得到的
	當我們要求變數聚類時。 因此，它將這些完全相同的東西分成不同的組，然後將它們分成八個不同的組。
	這是標準化係數。 所以這些都是公式
	你知道，對於各個集群。 所以當我保存時
	集群組件
	我得到的結果與我們對 Prin1 所做的非常相似，除了這僅適用於集群 1，因為您注意到在這一行中，區域一命令帶有 ... 帶有 .44，其他地方都是零。 每個變數都排他地位於一個集群或另一個集群中。
	那麼讓我...讓我們來談談一些輸出。
	所以我們正在進行變數聚類
	哎呀。
	對不起。
東尼	然後我們在輸出中得到了一些表格。 所以我要關閉...最小化這個窗口，我們正在討論這裡的輸出內容。
	你們知道我想向我們指出的第一件事是標準化估計，我們正在這樣做。 如果你想這樣做，引用，你知道，
	如果願意的話，請手動重複我如何在這裡獲得 .35238，我可以僅在叢集一個變數上執行 PCA。 這些是留在那裡的變數。 然後你可以查看特徵值、特徵向量，這些都是精確的數字。
	所以，
	所以 .352 就是我所說的。 它不斷地進行多個 PCA，您可以看到這裡的第二個主要成分是，哦，抱歉，小於 1。 這就是為什麼它停在那個組件上
	誰在裡面
	集群一，嗯，那裡的溫度是…兩個區域一的測量值，一個區域三的測量值，與此相比，水量似乎很重要。 這裡還有一些其他溫度，以及…第六簇中的溫度。
	這是一個非常有用的顏色編碼表。 這是按集群組織的。 這是集群一；我可以將滑鼠懸停在它上面，然後我可以閱讀所有內容
	加水（雖然我說我應該，是的，加水。 抱歉，要我拿一份我的體溫為三的。）
	這是正相關，你知道，有趣的是，區域 4 那裡有負相關。 所以你肯定會看到顏色塊...因為這些是...所以這顯然是集群一，這可能是集群三。
	我知道這是第六簇。
	但是看這裡...這...正如您可以想像的那樣，集群一和集群三有些相關。 我們開始看到一些關於我們可以做什麼的想法。 因此，我們開始對數據中發生的情況有一些直覺。
	讓我們在這裡探討一下這張表。 這是自己的簇、下一個簇和 1 減去 r 平方的比率。 什麼......我要把它保存到我自己的資料集中。
	我要對其進行多元分析。 所以我得到了集群一到八個組件以及所有因素。 我真正感興趣的是表的這一部分，例如所有原始變數以及它們如何與組件聚集。 所以讓我保存該表並
	然後我要做的是，我要刪除，從這個表中刪除一些額外的行，但它是同一個表。 讓我們刪除一些行。
	我會轉身……這樣我們就可以專注於某些問題。 所以我剩下的是作為集群組件的列和行......
	行列...不同的角色...現在我們正在考慮的變數是 27 個，而不是 60 個（抱歉），它把它們分成 8 個不同的群組，我已經添加了這個數字。 他們可以自動出現。
	我要開始，為了繼續工作，我要做的是，我不希望這些之間有相關性。 我想要這些作為 R 方。 所以我要對所有這些數字進行平方。
	所以我只是將它們平方，然後我們就開始了。 現在我們可以看看，現在我們可以開始思考它。
	我已經排序了...所以讓我們看看
	第一行。
	抱歉，我們討論過的溫度一項測量與其…與集群一有 96% 的相關性。
	它與集群二有 1% 的相關性，所以在我看來它真的非常想屬於集群一，而且它並沒有太多可說的，我想進入集群二。 我想做的就是讓我們找到所有這些...
	讓我們在這裡對一些東西進行顏色編碼，這樣我們就可以更快地找到它們。 所以
	我們正在談論第一區，如果有的話，我們想要進入的區域是第五個集群。
	你知道它有 96% 的相關性，但你知道，它是，它不會是，如果它必須離開這個集群，它接下來會去哪裡？ 它會考慮第五組。
	第五組中有什麼？ 嗯，你當然可以開始考慮這一點。 所以那裡的溫度更高。 濕度熱設定點等。 所以如果沒有......那麼這個數字，
	帶有自己的集群的 cl... 談論它有多喜歡在自己的集群中以及什麼... 而下一個集群的 R 平方則告訴您它有多想在不同的集群中。 這就是表中報告的兩件事。
	您知道，JMP 並未顯示所有相關性，但它可能值得繪製，正如我們剛才所示範的那樣，這並不難做到。
	所以這告訴你......我真的很喜歡待在自己的集群中。 這表示如果我必須離開，那麼我不介意到這裡來。 讓我們比較一下這兩個。 讓我們用一減去這個數字，
	除以一減去該數字。 這就是一減去 r 平方的比率。 因此，它是您對自己的集群的喜愛程度除以您嘗試前往另一個集群的程度的比率。
	讓我們繪製其中一些。
	和
	讓我尋找那裡的本地數據過濾器。
	集群。
	事情就是這樣。 所以
	從某種意義上說，該比率的值越低越好。 這些是這裡的（讓我們突出顯示他）......
	好吧，讓我們重點介紹一下…這其中最重要的一個。
	我喜歡下面這個。 對不起。
	這個真空設定點，您可以看到它自己的簇比下一個最接近的簇（0.97 與 0.0005）真的非常喜歡，所以您知道該比率接近於零。 所以那些不會...
	有了它……你就不想把它移過去。 您可以開始做一些事情，例如讓我們考慮一下簇一變數。 如果有人想離開它，也許就是 Pct_reclaim。 也許他進去了，
	就像，你知道，你知道，偶然的機會，你知道，如果我在第二組中，我可以開始考慮線速度。
	我要討論的最後一個表是集群匯總表。 那是
	這張桌子在這裡。
	它說…它瀏覽了這個清單並說，如果我查看自己的簇的 r 平方，則簇一的最高數字是 0.967。
	所以也許這是最具代表性的。
	對我來說，讓軟體決定我要保留這個變量可能並不明智......這個變量並且只有這個變量，儘管當然每個軟體
	有一個按鈕，上面寫著僅使用您認為的主要模型來啟動它，從某種意義上說，這可能會給您一個穩定的模型，但我認為這是一個短暫的變化
	你可以做的事情種類。 而你，希望透過所提供的技術，我們可以......你現在有能力探索其他事物。
	這是......你可以透過再次在它自己的集群上執行PCA來計算這個數字，它和它建議它集群......特徵值一一抱怨解釋了0.69％，所以這是另一個......只是想一想它，它自己的集群。
	結束這些，讓我們總結一下。
	因此，我們為您提供了幾種技巧。 如果無法理解清楚的內容，您的數據可能會難以解釋，甚至會誤導模型。
	了解與流程相關的數據可能會產生多重共線性。 因此，這只是從中小企業角度、主題專業知識角度的理解。
	成對圖和散點圖更容易解釋，但會忽略多重共線性，因此您需要更多。 VIF 非常擅長告訴您遇到了問題。 它僅適用於普通最小二乘法。
	不，沒有可比性的預測。
	並且有一些指導方針，變數聚類基於主成分，顯示出更好的成員資格並加強了每個組中的關係。
	我希望這篇評論或介紹會鼓勵您，正如我所說，從 JMP Discovery 獲取此數據集，您可以自己運行該腳本，並且您可以明顯放慢速度，並確保您感覺良好並且也許可以用您自己的數據或其他東西進行練習。
	最後一個插曲是，您知道，Sam 和我在 JMP Discovery 會議和/或在其他時間發表過其他資料
	……或為 JMP 撰寫白皮書，您知道也許您可能想思考我們在製造它時所考慮的一切，因為我們發現
	與理解電信中的客戶數據相比，對製造數據進行建模需要......有點獨特，我們很多人在上學時都會學習電信中的客戶數據。 感謝您的關注並祝您好運
	並進一步分析。

爆發預測建模品質和可靠性