| 揚聲器 |
抄本 |
| 東尼 |
大家好，我叫 Tony Cooper，我將代表我們兩人介紹我和 Sam Edgemon 所做的一些工作。 |
| |
Sam 和我的大部分職業生涯都是從事研究統計工作，為製造業和工程領域提供支援。今天的主題是：理解變數聚類在分析儲存的製造資料時至關重要。 |
| |
我將使用單一資料集進行演示。本次演示的重點是讀取輸出。我實在沒有時間填寫所有用於生成輸出的對話框。 |
| |
但是我已經將所有腳本保存在資料表中，當然可以在 JMP 社群中使用。 |
| |
資料...一旦腳本運行，您可以隨時使用紅色箭頭執行重做選項並重新啟動分析，您將看到用於呈現該輸出的對話方塊。 |
| |
我將使用這個有關製造數據的單一數據集。 |
| |
讓我們快速看一下這些數據 |
| |
和 |
| |
抱歉 |
| |
快。看看這個資料集是什麼樣子的。首先，我有一個時間戳。所以這是一個連續的過程，每隔一段時間我就會回來，得到一堆資訊。 |
| |
一些 Y 變數、一些主要輸出、一些客戶真正關心的 KPI，這些都必須符合規格等等，才能讓我們有效地交付產品。所以……這些……絕對可以算是輸出。對。 |
| |
線速度，振動設定點如何， |
| |
還有很多其他的東西。所以你可以看到，我當時測量了60多個變數。有些是感測器，有些是設定點。 |
| |
事實上，讓我們來看看，其中一些確實是設定點，例如製造熱量設定點。有些是指令，意思是PLC指示流程執行的操作。有些是測量值，也就是目前的實際值。 |
| |
其中一些是 |
| |
環境條件，也許我認為那是外部溫度。 |
| |
其中一些 |
| |
是連續的材料品質特性，當然也有一些視覺系統的輸出。所以現在輸入有很多東西。 |
| |
你可以想像一下，例如，如果我得到了命令和測量結果，那麼，我告訴區域想要達到的目標和它實際測量到的結果，我們希望它們是相關的。 |
| |
我們需要調查其中的一些內容，以便思考到底發生了什麼事。這就是多重線性，理解它們之間的相互關係。 |
| |
無論是輸入，或是分別理解多重共線性和輸出。但總的來說，目前還不能確定 Y 是否會導致 X 產生影響。你使用的不是監督學習技術。這是一種非監督學習技術，但我只是想透過這種方式來理解數據中發生了什麼。 |
| |
我所有的腳本都在這裡。是的，這是我們討論過的摘要；這是資料回顧。正如我們剛才所說，這或許可以解釋為什麼存在如此多的多重共線性，因為裡面確實有設定點和實際值。所以，我們稍後會了解這些內容。 |
| |
我們首先要做的是讓 Y 等於 X 的函數，然後設定它，我現在只看這兩個變數。 |
| |
區域一命令，也就是我告訴區域一要做的事情，如果你願意的話。然後，我在區域一區域設置了一個小熱電偶，它正在測量。 |
| |
您可以清楚地看到，隨著區域一溫度升高，Y4 變低，反應變數也變低。 |
| |
這對於測量來說也是如此，你可以看到，在估計中，無論是負面的，總的來說，順便說一下，這些都是相當 |
| |
預測變量，因為僅僅一個變數就能解釋第四年發生的 50% 的情況。好吧，我們 |
| |
讓我們來做一個多變量。所以你可以想像我現在要擬合模型，並將這兩個變數移到 |
| |
進入我的模型，我仍然在分析 Y4。我的響應仍然是 Y4。哦，看看這個。現在它表明，隨著 Y 的增加，隨著命令的增加。是的，確實如此 |
| |
這與我預期的相反。這仍然是朝著正確方向的負面，但看看 |
| |
看看這些數字。它們甚至和我剛才得到的數值完全不一樣，剛才得到的數值是正值0.04，負值0.07。現在得到的數值是正值0.4，負值0.87。 |
| |
從工程角度來看，我不確定我是否可以信任這個模型，我真的想知道它是如何描述和幫助我理解這個過程的。 |
| |
這裡有一條線索。這個選項可能預設沒有打開，但你可以右鍵點擊這個參數估計表，查看 VIF 欄位。 |
| |
這是變異膨脹因子。這是對模型不穩定性的一個估計，因為… |
| |
這種多重共線性。所以……我們需要對這個變數……如何看待它有一些直觀的理解。為了更清楚地說明發生了什麼，我將繪製……這是 |
| |
溫度區一命令，這是測量值，正如你所期望的， |
| |
正如你所說…你告訴區域溫度升高。是的，區域溫度確實升高了，而且總的來說，它甚至可能達到正確的值。我用Y4顏色編碼，所以它建議在較低溫度下，我得到 |
| |
Y4 的高值以及... |
| |
抱歉...是的，在低溫谷，我得到了 Y4 的高值，就像我在各個地塊上看到的那樣。 |
| |
但你或許能看出，這個問題或許能讓人直覺地理解為什麼多元模式不起作用。你試著擬合一個三維空間…一個曲面。 |
| |
在這個刀刃上，它顯然......有一些不穩定性，如果......你可以很容易地想像它沒有很好地固定在側面，所以我可以在這裡前後搖晃，這就是你得到的。 |
| |
就通貨膨脹因素的變化而言。 OLS軟體…OLS普通最小平方法分析，典型的迴歸分析 |
| |
只是無法處理它，在某種意義上，也許我們也可以談論 X prime X 矩陣，你知道，在某些地方幾乎是奇怪的。 |
| |
所以我們對此現象的原因已經有了一些啟發。讓我們回過頭來思考更多 |
| |
關於 |
| |
關於 |
| |
關於價值觀和 |
| |
我們知道 |
| |
我們現在知道，變異數膨脹因子實際上考慮的不僅僅是成對的。但如果我想尋找來源…直覺會幫助我思考兩者之間的關係 |
| |
VIF 和成對比較。例如，如果我有兩個變數的相關性為 60% |
| |
那你知道，如果全部都是成對的，那麼 VIF 大約是 2.5。 |
| |
如果兩個變數的相關性為 90%，那麼 VIF 就是 10。文獻中說 |
| |
當變異數因子達到10或更高時，模型的不穩定性就足夠了，你應該擔心這一點。所以，從某種意義上來說，你的數據中各項指標之間存在著90%的相關性。 |
| |
現在，我想，10 是否是一個合適的截止值，實際上取決於你的應用。如果你基於它來做真正的設計決策，我認為 10 這個截止值太高了。 |
| |
也許接近兩個就更好了。但如果我再多想一點，讓我想想在這樣的實驗中，應該加入哪些因素。 |
| |
我想學習如何進行正確的實驗。我知道我必須選擇一些因素來參與實驗。我也知道我們常常會去追尋那些常見的因素。有什麼方法可以促使我去思考一些更好的因素嗎？嗯，也許可以 |
| |
10 可能有助於你縮小範圍。所以這真的取決於你想去哪裡思考 |
| |
思考目的是什麼。所以，多討論「目的」這個概念。 |
| |
對我來說，建模有兩個主要目的。一是預測未來會發生什麼事。 |
| |
但是，這有所不同，有時這與為什麼會發生這種情況更像是解釋。 |
| |
正如我們剛才看到的，非常簡單 |
| |
在區域一上進行命令和測量，你無法給出很好的解釋。當回應、估計值似乎朝著錯誤的方向發展時，我不會相信該模型能夠解釋為什麼會發生某些事情。 |
| |
所以我不會用它來解釋。我什至建議我不會用它來預測。因為如果我不能理解這個模型，它就不會直觀地按照我的預期去做。 |
| |
當然，這似乎使得外推法變得危險，從定義上來說，我認為對未來事件的預測就是對時間的外推。對，所以我會一直思考這個問題。而且，你知道，到目前為止，我們討論的是普通最小平方法。 |
| |
我所看到的所有建模技術，例如決策樹、請願分析， |
| |
都會以各種意想不到的方式受到這個問題的影響。所以，如果可以的話，處理這個問題似乎是個好主意。而且這個問題並非製造業數據獨有。 |
| |
但在製造業數據中，情況可能被誇大得更嚴重，因為變數往往無法控制。如果我們 |
| |
如果我們有一個區域溫度，並且我們知道它需要達到這個值才能生產出好的產品，那麼我們就會盡可能嚴格地控制它以達到所需的值。 |
| |
所以，推斷變得越來越難。這是誇張的製造，因為我們無法控制它們。 |
| |
您還可以在這裡閱讀有關製造數據的其他一些內容，這些內容可能 |
| |
讓它變得更好，因為這既是機會也是挑戰。更好的是你能理解製造流程。這些流程的運作涉及大量的科學和工程知識。 |
| |
你可以理解，例如，化學計量學要求你添加的 A 的量，化學物質 A 必須與化學物質 B 有關係。 |
| |
或者你知道你不想從這裡的一個區域溫度變成截然不同的溫度，因為你需要慢慢提高溫度，否則你只會產生壓力。 |
| |
因此，您可以而且應該了解您的流程，這可能是一種方法，即使沒有任何關於多重共線性的經驗證據，您也可以擺脫其中的一些。 |
| |
還有 |
| |
製造業資料的一個優點在於它幾乎總是基於時間的，所以要繪製隨時間變化的變數。這總是很有趣的 |
| |
或者並非總是如此，但通常很有趣的是，製造業數據似乎確實會像這裡一樣在一段時間內發生變化……我們認為它應該是 250，我們會運行幾個月，甚至幾年， |
| |
然後突然有人說，你知道，我們做了一些不同的事情，或者我們有了新想法。讓我們改變一下溫度。這太不一樣了。 |
| |
當然，如果你想知道為什麼會有多重共線性， |
| |
我們已經討論過它可能是由於物理或化學引起的，但它當然也可能是由於某些潛在變數引起的，特別是當人們擔心變數會隨時間變化時，就像我們剛才看到的那樣。 |
| |
任何以該速率變化的因素都可能是影響 Y4 實際值的因素。這可能是由於控制計劃造成的。 |
| |
它可能是透過設計而關聯的。所有這些，你知道，所有這些導致多重共線性的原因，以及我總是問的問題是，你知道， |
| |
從物理上來說，嘗試其他組合是否可行，或者不僅僅是從物理上來說，嘗試其他組合是否有意義？ |
| |
在這種情況下，你傾向於進行實驗，這非常有幫助。這種建模和回顧數據的方式，對於設計更好的實驗非常有幫助。 |
| |
儘管有時期望有點過高，但在我看來，我們似乎期望從這些回顧性數據中得到一個明確的答案。 |
| |
我們已經討論了兩種方法來處理和理解多變量聚類。一種是變異數因子 (VIF)。 |
| |
這是包含所有變數的更大模型的 VIF。 |
| |
我該如何思考哪些與哪些相關？這表示我有很多問題。 |
| |
但它並沒有告訴我如何處理這些問題。所以它能幫助你意識到，這不是一個好的模型。 |
| |
但這可能對你擺脫困境沒有幫助。如果我把交互作用也算進去，情況會更糟，因為它們幾乎總是更相關的。所以我們需要另一種技術。 |
| |
這就是變數聚類。 JMP 提供了此功能，有兩種方法可以實現。您可以查看“分析多元主成分”。 |
| |
或者你可以直接對聚類變數進行聚類。如果你透過主成分分析，你必須使用紅色選項…紅色三角形選項來取得聚類變數。我仍然更喜歡這種方法，即主成分分析，因為我喜歡它額外的輸出。 |
| |
但它是基於主成分分析（PCA）的。所以我們先討論主成分分析，然後再討論變數聚類的輸出。 |
| |
還有JMP頁面。為了討論主成分，我實際上會先使用變數的標準化版本。讓我們回顧一下什麼是標準化。 |
| |
平均值現在是零，標準差現在是 1。所以我已經標準化了這意味著它們現在都在同一個尺度上，並且當你這樣做的時候，隱含地 |
| |
當你這樣做 |
| |
JMP 中相關性的主成分， |
| |
隱含地，您正在對標準化變數進行操作。 |
| |
當然，JMP 的功能非常強大，它足夠智能，可以讓你輸入原始值 |
| |
讓它以正確的方式工作，然後當它輸出時，它會輸出公式，它會找出正確的 |
| |
公式應該是，因為，你知道，你已經回到了非標準化的階段。但作為初步了解，為了讓我們了解公式的位置和其他一些內容，我將暫時使用標準化變量，但我們很快就會回到正題，但我只想看一個公式。 |
| |
這就是這個公式。我要考慮的是輸出。那麼， |
| |
的 |
| |
PCA？它被稱為變異減少技術，但它的作用是尋找變數的線性組合。 |
| |
如果它找到了喜歡的線性組合，那麼......這就被稱為主成分。 |
| |
它使用特徵分析來做到這一點。 |
| |
所以另一種思考方式是，你知道我想要它，我將 60 多個變數放入...輸入。 |
| |
在這個過程中，我可以操作的並不是 60 個獨立維度，它們是相互關聯的。我對時間、溫度等指令所做的操作 |
| |
幾乎極大地決定了實際溫度的變化。所以它們不是兩個獨立變數。它們並不能保證你沒有二維空間。那我們有多少個維度呢？ |
| |
這就是特徵值告訴你的。它們就像方差。這些是變異數的估計值，截斷值是 |
| |
一。如果我把整個表格都放在這裡，就會有60個特徵值。一直往下看，你知道，快速啟動報告在0.97，但下一個可能是0.965，它會繼續下降。 |
| |
截斷值表示…或某種指導原則是，如果它大於1，那麼這個線性組合就解釋了一個訊號。如果它小於1，那麼它就只能解釋雜訊。 |
| |
那麼 JMP 的作用是...當我進行變數聚類時，它會說，你知道嗎 |
| |
這裡有第二個維度。這意味著第二組變量，對吧，它們解釋的東西略有不同。現在我要把它們分成兩組。然後我要對這兩組都進行主成分分析。 |
| |
如果和兩者的特徵值...第一個會很大，但第二個會是什麼樣子 |
| |
我分成兩組之後呢？現在它們的數量小於一了嗎？嗯，如果小於一，就完成了。但如果大於一，那你就得進一步細分了。 |
| |
並且它被進一步以交互、直接和分裂的方式分割，直到不再有大於一的第二個組件。 |
| |
所以它創建了這些線性組合，你可以看到…你知道，當我保存主成分一時，它就是這些公式。哎呀。 |
| |
就是這個公式，0.0612，這是Prin1的公式，只要你標準化，它就完全正確。如果你不標準化，JMP就會想辦法在非標準化資料上進行計算，也就是說，它完全有能力做到這一點。 |
| |
那麼讓我們開始處理初始資料。 |
| |
我們來做個例子。你會看到輸出非常相似。事實上，除了我打開的一項之外，輸出是一樣的。 |
| |
就是這個選項，聚類變數。我在這裡得到的是聚類變數的輸出。你可以看到這些數字是一樣的。你已經可以開始理解它需要進行的一些思考了，例如，讓我們看看這裡的這兩個。 |
| |
投入的 AI 量似乎與投入的 BI 量高度相關，所以...如果這是您想要完成的化學反應的一部分，那麼這對於大多數化學過程來說都是有意義的。 |
| |
你知道，如果你想多投入10%，很可能B也會多投入10%。所以即使在這張射線圖中，你也會開始看到一些暗示多重共線性的東西。這樣就能得出一些結論。 |
| |
但我想把它們放在不同的組別中，這有點困難，因為 |
| |
注意這傢伙，溫度區 4。 |
| |
他實際上是相反的。它們的角度差不多，只是方向相反，所以他幾乎與 A 和 B 成 100 度或 180 度角。 |
| |
所以也許...與區域 4 溫度和 AB 呈負相關，而不是...但我也想把它們放在專屬組中，這就是我們得到的 |
| |
當我們要求進行變數聚類時，它會把這些相同的變數放入不同的群組中，最終將它們分成了八個不同的群組。 |
| |
這是標準化係數。公式如下 |
| |
這對於單一集群來說。所以當我保存 |
| |
集群組件 |
| |
我得到的結果與我們在 Prin1 中得到的結果非常相似，只不過這只針對簇 1，因為你會注意到，在這一行中，區域 1 的命令帶有…和 .44，其他地方都為零。每個變數都獨佔在一個簇中。 |
| |
那麼讓我...來談談一些輸出。 |
| |
因此，我們正在進行變數聚類， |
| |
哎呀。 |
| |
對不起。 |
| 東尼 |
然後我們在輸出中得到了一些表格。現在我要關閉…最小化這個窗口，我們來討論一下輸出的內容。 |
| |
各位，首先我想提一下的是標準化估算，我們正在做這件事。如果你們想做的話，引用一下，你知道的， |
| |
手動操作，如果你願意，請重複一遍，我如何得到0.35238？我可以只對聚類一的變數執行主成分分析。這些變數就保留在那裡。然後你可以查看特徵值、特徵向量，這些都是精確的數字。 |
| |
所以， |
| |
所以.352就是這樣，正如我所說的。它不斷地進行多次主成分分析，你可以看到這裡的第二個主成分，哦，抱歉，小於1。所以它停在那個成分上了。 |
| |
誰在裡面 |
| |
第一組，嗯，溫度是……兩個區域一的測量值，一個區域三的測量值，相較之下，水量似乎更重要。這裡還有一些其他的溫度，以及…在第六組。 |
| |
這是一個非常有用的彩色表格。它是按集群組織的。這是一個集群 1；我可以將滑鼠懸停在上面，查看所有內容。 |
| |
加水（我說我應該加水，是的，加水。抱歉，讓我拿一杯適合我體溫三的。） |
| |
這是正相關，有趣的是，區域4是負相關。所以你肯定會看到一些色塊……因為這些……所以這顯然是聚類一，這也許是聚類三。 |
| |
這個，我知道是第六組。 |
| |
但看看這裡…這個…正如你所想像的，集群一和集群三有一定的相關性。我們開始看到一些關於可以做什麼的想法。所以我們開始對數據中發生的事情有了一些直覺。 |
| |
我們來看一下這張表。這是包含自身聚類、下一個聚類以及 1-r 平方比的表格。然後……我要把它存到我自己的資料集中。 |
| |
我要對它進行多變量分析。我已經得到了從一到八個成分的聚類結果以及所有因子。我真正感興趣的是表格的這一部分，例如所有原始變數以及它們如何與成分聚集。所以，讓我儲存這個表格， |
| |
然後我要做的是，刪除這個表裡的一些多餘的行，但這是同一個表。我們只刪除一些行。 |
| |
我會轉過身來……這樣我們就可以集中討論某些部分了。剩下的就是構成簇的列和行… |
| |
行列……不同的角色……我們現在考慮的是27個變量，而不是60個（抱歉），它把它們分成了8個不同的組，我已經把這個數字加進去了。它們可以自動生成。 |
| |
我要開始，為了繼續工作，我要做的是，我不要這些是相關性。我想要這些是 R 平方。所以我要對所有這些數字求平方。 |
| |
所以我把它們平方一下，就好了。現在我們可以看看，可以開始思考了。 |
| |
我已經整理好了...讓我們看看 |
| |
第一行。 |
| |
抱歉，我們討論過的這個溫度測量值與其...第一集群的相關性為 96%。 |
| |
它與聚類二的相關性為 1%，所以在我看來，它非常非常想被歸類為聚類一，而且它並沒有太多理由被歸類在聚類二。我想要做的就是找到所有這些… |
| |
讓我們在這裡用顏色標記一些東西，這樣我們就能更快找到它們。所以 |
| |
我們正在討論第一區測量，如果有的話，最想加入的是第五個集群。 |
| |
你知道它的相關性是 96%，但你知道，如果它必須離開這個集群，它下一步會去哪裡？它會考慮集群 5。 |
| |
那麼第五個簇是什麼呢？嗯，你當然可以看看這個簇。那裡有更多的溫度，例如濕熱設定點等等。如果沒有……那麼這個數字， |
| |
與其所屬聚類相關的R平方值，顯示它有多喜歡待在自己的聚類中；與下一個聚類相關的R平方值，顯示它有多喜歡待在不同的聚類中。表格中報告了這兩個資訊。 |
| |
您知道，JMP 不會顯示所有的相關性，但它可能值得繪製，而且正如我們剛剛演示的那樣，這並不難做到。 |
| |
所以這說明…我真的很喜歡待在自己的集群裡。這意味著如果我必須離開，我不介意去這裡。我們來比較一下這兩個。然後用一減去這個數字， |
| |
除以 1 減去這個數字。這就是 1 減 r 平方的比率。所以，它是你對自己所屬聚類的喜愛程度除以你嘗試前往其他聚類的次數。 |
| |
讓我們繪製其中的一些。 |
| |
和 |
| |
讓我在那裡尋找本地數據過濾器。 |
| |
集群。 |
| |
事情是這樣的。所以 |
| |
從某種意義上來說，這個比率的值越低越好。這些就是這裡的（我們來突出顯示）… |
| |
好吧，讓我們重點介紹一下…這裡最重要的一點。 |
| |
我喜歡下面這個。抱歉。 |
| |
這個真空設定點，你可以看到它與下一個最接近的設定點的聚類非常相似，0.97 對 0.0005，所以你知道這個比率接近於零。所以那些不會… |
| |
有了它……你肯定不想把它挪過去。你可以開始做一些事情，例如，讓我們只考慮一下集群一號變數。如果有人想留下它，也許是Pct_reclaim。也許他在那裡， |
| |
就像，你知道，透過偶然的機會，我知道，如果我在第二個集群，我就可以開始考慮線速度。 |
| |
我要討論的最後一個表是群集摘要表。這是 |
| |
這張桌子在這裡。 |
| |
它說...它已經瀏覽過這個列表並說如果我查看 r 平方自己的集群，那麼集群一的最高數字是 .967。 |
| |
所以也許這是最具代表性的。 |
| |
對我來說，讓軟體決定我要保留這個變量，並且只保留這個變量，可能不是明智之舉，儘管每個軟體 |
| |
有一個按鈕，上面寫著只用你認為的主要內容來啟動它，從某種意義上說，這可能會給你一個穩定的模型，但我認為它只是短暫的變化 |
| |
你可以做的事情種類繁多。希望透過我們提供的技術，你現在能夠探索其他的事情。 |
| |
這是...您可以透過再次在自己的集群上執行 PCA 來計算這個數字，它表明它是集群...特徵值一個投訴解釋了 .69%，所以這是另一個...只是考慮一下，它是自己的集群。 |
| |
結束這些並讓我們總結一下。 |
| |
我們已經提供了幾種技巧。如果無法理解清晰的內容，你的數據可能會難以解讀，甚至會誤導模型。 |
| |
理解與流程相關的數據可能會產生多重共線性。因此，這只是從中小企業、產業專家的角度來理解。 |
| |
成對圖和散點圖更容易解釋，但會忽略多重共線性，所以你需要更多。 VIF 可以很好地告訴你問題所在。它實際上只適用於普通最小二乘法。 |
| |
沒有，沒有可以進行比較的預測。 |
| |
並且有一些指導方針，變數聚類基於主成分，顯示出更好的成員資格並加強了每個組之間的關係。 |
| |
我希望這篇評論或介紹能夠鼓勵您抓住我所說的 JMP Discovery 中的這個數據集，您可以自己運行腳本，而且顯然可以更慢地運行，確保您感覺良好，並在您自己的數據或其他東西上進行練習。 |
| |
最後補充一下，你知道，還有其他資料，Sam 和我曾在 JMP Discovery 會議上和/或 |
| |
……或者為 JMP 撰寫白皮書，也許你會想了解我們在製造過程中所考慮的一切，因為我們發現 |
| |
製造業數據的建模……與理解電信業客戶數據相比，有點特殊，我們很多人在學校學習過這些知識。感謝你的關注，祝你好運。 |
| |
並進行進一步的分析。 |
