揚聲器
|
成績單
|
| 蒂姆·皮爾斯 |
走。 |
| |
是的,我要繼續靜音。 |
| |
你好,我是克里斯·戈特沃特。 我和我的共同主持人 Laura Lancaster 和 Jeremy Ash 正在展示一種有用的新 JMP Pro 功能,稱為外推控制。 |
| |
幾乎任何你想預測的模型都有一定的適用範圍, |
| |
輸入空間的一個區域,他們的預測被認為是 |
| |
足夠可靠。 在該區域之外,我們開始外推模型兩點,遠離用於擬合模型的數據。 在這些點使用該模型的預測可能會導致完全不可靠的預測。 |
| 外推的主要來源有兩個 |
統計外推法和基於域的外推法。 新功能涵蓋了這兩種類型。 |
| |
當人們嘗試使用 X 值不接近用於訓練該模型的值的模型進行預測時,就會發生統計外推。 |
| |
當您嘗試對 X 進行評估時,會發生基於域的外推,而 X 由於科學原因是不可能的 |
| |
或基於工程的約束。 此處的示例在一個示例中說明了兩種外推。 在這裡,我們看到了冶金生產過程模型中的輪廓儀。 |
| |
預測讀數為 -2.96,沒有跡象表明我們正在評估不可能的溫度和壓力組合 |
| |
在域意義上為這台機器實現。 我們也有統計外推,因為它與使用的數據相距甚遠 |
| |
擬合模型,如右側訓練數據的散點圖所示。 在 JMP Pro 16 中,Jeremy、Laura 和我合作添加了一項新功能,該功能可以在分析器認為您可能在推斷時發出警告。 |
| |
或者,如果您打開外推控制,它會將您看到的點集限制為僅那些它認為不是外推的點。 |
| |
我們有兩種類型的外推控制。 |
| |
一種是基於槓桿的概念並使用最小二乘模型。 第一種類型僅適用於擬合模型最小二乘法的 Pro 版本。 |
| |
另一種類型我們稱為通用機器學習外推控制,它在分析器平台和 JMP Pro 中幾個最常見的機器學習平台中可用。 |
| |
根據要求,我們甚至可以將其添加到 mor. 最小二乘外推控制使用槓桿的概念,就像預測方差的縮放版本。 它是基於模型的,所以 |
| |
它使用有關主效應相互作用和高階項的信息來確定外推。 |
| |
對於一般的機器學習外推控制案例,我們不得不想出自己的辦法。 我們想要一種在缺失值方面具有魯棒性的方法, |
| |
線性依賴,更快的計算,可以處理連續和分類輸入變量的混合,我們還明確希望將外推模型與用於擬合數據的模型分開。 |
| |
因此,當我們打開通用外推控制時,只有一個監督模型......它使輸入變量適合我們在分析器跟踪中看到的響應。 |
| |
profile 提出了一個快速而骯髒的無監督模型來描述訓練集 Xs,而這個無監督模型被 profiler 在幕後用來確定外推控制約束。 |
| |
所以我不得不切換,因為 PowerPoint 我的相機現在不適應,出於某種原因。 |
| |
我們知道從事數據科學工作的人們每天都在進行有風險的推斷,並且相信使用推斷會導致預測不佳並最終導致糟糕的業務成果。 |
| |
外推控制為模型預測設置了護欄,並將導致 JMP Pro 用戶在量化上做出更好的決策。 |
| |
當用戶看到外推發生時,用戶必鬚根據他們的領域知識和對手頭問題的熟悉程度來決定是否應該使用預測。 |
| |
如果您開始看到外推控制警告發生,通常很可能是該模型的生命週期結束,是時候將其重新擬合為新數據了,因為輸入的分佈已經偏離了訓練數據的分佈。 |
| |
老實說,我們感到非常驚訝和震驚的是,數據科學界並沒有更好地理解識別外推的需要 |
| |
並使控制外推盡可能簡單和自動。 Laura 在 JMP Pro 中開發了它,接下來將演示該選項。 然後,在我們團隊中做了大量研究的 Jeremy 將深入研究該方法的數學細節和統計動機。 |
| |
你好。 我的名字是 Laura Lancaster,我來這裡是為了演示添加到 JMP Pro 16 的外推控件。 我想從一個使用擬合模型最小二乘平台的相當簡單的例子開始。 |
| |
我將使用一些可能熟悉的數據。 這是樣本數據中的健身數據。 |
| |
我將使用攝氧量作為我的反應和運行時間,運行脈沖和最大脈衝作為我的預測指標。 我想重申,在擬合模型擬合最小二乘法中,使用的外推指標是槓桿率,所以讓我們繼續開始 JMP。 |
| |
所以現在,我在 JMP 中打開了健身數據,並且我有一個腳本可以保存到數據表中以自動啟動我的擬合最小二乘模型。 |
| |
所以我將繼續運行該腳本。 它啟動最小二乘平台。 |
| |
我讓探查器自動打開,我們可以看到探查器看起來像過去一樣, |
| |
其中因子邊界由每個因子的範圍單獨定義,為我們提供矩形邊界約束。 |
| |
當我更改因子設置時,由於這些邊界約束,很難判斷您是否遠離數據的相關結構。 |
| |
這就是我們想要添加外推控制的原因。 因此,這已添加到 JMPs Pro 16 中的多個平台中, |
| |
包括擬合最小二乘法。 要獲得外推控制,請轉到分析器菜單下的菜單。 因此,如果我看這裡,我會看到有一個稱為外推控制的新選項。 |
| |
它默認設置為關閉,但我可以將其打開或打開警告以打開外推控制。 如果我將其打開,請注意它會將我的個人資料跟踪限制為僅轉到我未推斷的值。 |
| |
如果我將其打開為警告,我會看到完整的輪廓跟踪,但是當我進入一個被認為是外推的區域時,我會收到警告。 |
| |
我還可以打開外推細節,我覺得這很有幫助, |
| |
這給了我更多的信息。 首先,它告訴我我用來定義外推的指標是槓桿,這在擬合最小二乘平台中是正確的, |
| |
默認情況下最初使用的閾值將是最大槓桿,但這是我可以更改的,稍後我將向您展示。 |
| |
此外,我可以看到我當前設置的外推指標是什麼。 這就是這個數字,它會隨著我更改因子設置而改變。 |
| |
每當這個數字大於閾值時,我都會收到這個警告,我可能會推斷。 如果低於,我將不再收到該警告。 |
| |
除非我更改菜單中的某些內容以調整我的閾值,否則此閾值不會改變。 所以讓我現在就去做。 我要去菜單, |
| |
我要去設置閾值標準。 因此,在擬合最小二乘法中,您有兩個閾值選項。 最初,它被設置為最大槓桿,這將使您保持在數據的凸洞內, |
| |
或者您可以切換到乘數乘以平均槓桿或模型項超過觀察值。 我想切換到那個閾值,所以它設置為三個 |
| |
默認情況下作為乘數,所以這將是平均槓桿的三倍。 單擊“確定”並註意我的閾值將發生變化。 它實際上變小了,所以這是一個更保守的外推定義。 |
| |
我要把它重新打開以限制我的個人資料跟踪,現在我只能去區域 |
| |
我處於平均槓桿率的三倍以內。 |
| |
現在我們還實現了遵守外推約束的優化。 所以現在,如果我打開設置合意性 |
| |
我做優化, |
| |
我會得到一個滿足外推約束的最優值。 請注意,此指標小於或等於閾值。 |
| |
所以現在,當我轉到下一張幻燈片時,它將在圖表(散點圖矩陣)中進行比較,外推控制打開和關閉時的最佳值之間的差異。 |
| |
這是我用 JMP 創建的散點圖矩陣,它顯示了原始預測變量數據,以及預測變量值 |
| |
藍色表示不使用外推控制的最優解,紅色表示使用外推控制的最優解。 並註意藍色的無約束解,對吧 |
| |
這裡,違反了原始數據的運行脈沖和最大脈衝的相關結構,從而增加了這個預測的不確定性,而使用外推控制的最優解更符合原始數據。 |
| |
現在讓我們看一個使用更通用的外推控制方法的示例,我們將其稱為正則化 T 平方方法。 |
| |
正如 Chris 之前提到的,我們為最小二乘模型以外的模型開發了這種方法。 我們將查看樣本數據中的糖尿病數據的神經模型。 |
| |
反應是疾病進展的量度,預測因子是基線變量。 同樣,用於此示例的外推度量是正則化的 T 平方,Jeremy 將在幾分鐘內更詳細地描述它。 |
| |
因此,我在 JMP 中打開了糖尿病數據,並且保存了我的神經模型擬合的腳本。 我將繼續運行該腳本。 |
| |
它啟動了神經平台。 請注意,我正在使用驗證方法隨機阻止。 我只是想指出,無論何時您使用驗證方法,外推控制都僅基於訓練數據 |
| |
而不是您的驗證或測試數據。 |
| |
所以我打開了分析器,你可以看到它使用了完整的跟踪。 外推控制未打開。 |
| |
讓我們繼續並打開它。 |
| |
我還要打開細節。 |
| |
您可以看到跟踪已被限制,度量是正則化的 T 方。 |
| |
閾值是樣本正則化 T 平方標準差的三倍。 Jeremy 將在幾分鐘內詳細討論這一切的確切含義。 |
| |
我只想提一下,當我們使用正則化 T 平方方法時,閾值只有一種選擇,但您可以調整乘數。 所以如果你去 |
| |
外推控制,設置閾值,您可以調整此乘數,但我將其保留為 3。 現在我想使用 |
| |
外推控制,所以我只是要做最大化並記住。 現在我有了一個啟用外推控制的最佳解決方案。 |
| |
所以現在,我想看看我們的散點圖矩陣,就像我們之前用原始數據查看的一樣,以及使用和不使用外推控制的最佳值。 |
| |
所以這是我在 JMP 中創建的糖尿病數據的散點圖矩陣。 它有原始的預測值, |
| |
以及在紅色中使用外推控制的最優解和在藍色中不使用外推控制的最優解。 你可以看到 |
| |
與藍點相比,紅點似乎更符合原始數據的相關結構。 當您查看低密度脂蛋白與總膽固醇的對比時,情況尤其如此。 |
| |
現在讓我們看一個使用圖形菜單下的分析器的示例,我將其稱為圖形分析器。 |
| |
它還使用正則化 T 平方方法,它允許我們對可以創建並保存為 JSL 公式的任何類型的模型使用外推控制。 它還允許我們一次對多個模型進行外推控制。 |
| |
因此,讓我們看一個使用粉末冶金技術為汽車行業生產鋼製傳動軸的公司的例子。 |
| |
他們希望能夠為他們的生產找到最佳設置,以最大限度地減少收縮並最大限度地減少由於表面狀況不佳而導致的故障。 所以我們有兩個回應 |
| |
收縮,這是連續的,我們將為此擬合最小二乘模型,以及表麵條件,即通過/失敗,我們將為該模型擬合名義邏輯模型。 |
| |
我們的預測變量只是生產中的一些關鍵過程變量。 再一次,外推度量是正則化的 T 平方。 |
| |
所以我在 JMP 中打開了粉末冶金數據,並且我已經為我的收縮響應擬合了最小二乘模型, |
| |
我已經為表麵條件通過/失敗響應擬合了一個名義邏輯模型。 我已經將預測公式保存到數據表中,以便它們可以在圖形分析器中使用。 |
| |
因此,如果我轉到圖形菜單分析器,我可以加載收縮率的預測公式,而我的預測公式是針對錶面狀況的。 |
| |
單擊確定。 |
| |
現在我已經將我的兩個模型都啟動到了圖形分析器中。 |
| |
而且,在我打開外推控制之前,您可以看到我擁有完整的輪廓軌跡。 一旦我打開外推控制, |
| |
你可以看到痕跡縮小了一點。 而且我還要打開細節 |
| |
只是為了表明,確實,我在此方法中使用了正則化的 T 方。 |
| |
所以我真正想做的是,我想找到使收縮最小化和失敗最小化的最佳條件 |
| |
打開外推控制。 我想確保我不是外推。 我想找到一個有用的解決方案。 |
| |
在我進行優化之前,我實際上需要設置我的願望。 我要做設定的願望;它對於收縮已經是正確的,但我需要為表麵條件設置它們。 |
| |
我將嘗試最大化傳球並最小化失敗。 |
| |
好的。 |
| |
現在我應該能夠使用外推控制進行優化,最大化並記住。 |
| |
現在我有了我的最佳解決方案 |
| |
打開外推控制。 所以現在讓我們再次看一下原始數據的散點圖矩陣,以及外推控制打開的解決方案和外推控制關閉的解決方案。 |
| |
所以這是我在 JMP 中創建的粉末冶金數據的散點圖矩陣,它也有最優解 |
| |
外推控制為紅點,無外推控制的最優解為藍點。 而且,再一次,你可以看到,當我們不執行外推控制時, |
| |
最佳解決方案遠遠超出數據的相關結構。 我們可以特別看到這裡的比率與壓實壓力。 |
| |
所以現在,我想將演示文稿交給 Jeremy,以詳細介紹我們的方法。 |
| |
你好。 所以這裡有一些我們在項目開始時制定的外推控制目標。 |
| |
我們需要一個可以使用大量觀測值和變量快速計算的外推度量,我們需要一種快速的方法來評估該度量是否表明外推。 這是為了保持分析器跟踪的交互性和 |
| |
我們需要它來執行優化。 |
| |
我們希望它能夠支持分析器中可用的各種變量類型。 這些本質上是連續的、分類的和有序的。 |
| |
我們想利用缺失細胞的觀察結果,因為一些建模方法將包括這些觀察結果和???。 |
| |
我們想要一種對數據中的線性依賴具有魯棒性的方法。 例如,當變量數量大於觀察數量時,就會發生這種情況。 |
| |
我們想要一些易於自動化的東西,而無需大量用戶輸入。 |
| |
對於最小二乘模型,我們採用了槓桿,它通常用於識別線性模型中的異常值。 |
| |
根據此公式計算新預測點的槓桿。 關於槓桿有多種解釋。 一種解釋是 |
| |
它是預測點距訓練數據中心的多元距離。 另一種解釋是它是一個縮放的預測方差,因此隨著預測點遠離數據中心,預測的不確定性增加。 |
| |
我們使用統計文獻中的兩個常見閾值來確定這個距離是否過大。 |
| |
首先是最大槓桿。 超出此閾值的預測點位於訓練數據的凸孔之外。 |
| |
第二個是槓桿平均值的三倍。 可以證明,這相當於模型項數除以觀測數的三倍。 |
| |
正如勞拉之前所述,您可以更改這些閾值的乘數。 |
| |
最後,當優化意願時,外推約束是非線性約束。 之前分析器允許使用線性約束進行約束優化, |
| |
但這種類型的優化更具挑戰性,因此勞拉實施了遺傳算法。 如果您不熟悉這些,遺傳算法會使用分子進化原理來優化複雜的成本函數。 |
| |
接下來我將討論我們用來概括外推控制兩個線性模型以外的模型的方法。 |
| |
在 JMP 中構建預測模型時,您從一組預測變量和一組響應變量開始。 |
| |
訓練一些監督模型,然後可以使用分析器來可視化模型表面。 |
| |
JMP 中的分析器有許多變體。 您可以在建模平台內部使用分析器,您可以輸出預測公式並構建 |
| |
正如勞拉所展示的那樣,用於多個模型的分析器。 您可以為集成模型構建分析器。 我們想要一種可以推廣到所有這些場景的外推控制方法,因此我們將使用無監督方法,而不是將我們的方法與特定模型聯繫起來。 |
| |
我們只會將預測點標記為外推,如果它遠離數據集中在預測器空間中的位置。 這使我們能夠在分析器之間保持一致,以便我們的外推控制方法可以插入任何分析器。 |
| |
槓桿的多變量距離解釋建議將 Hotelling's T 平方作為一般外推控制的距離。 事實上,一些代數操作將表明 Hotelling 的 T 平方只是槓桿轉移和縮放。 |
| |
此圖顯示了 Hotelling 的 T 平方如何測量觀測值所在的橢圓,其中橢圓以數據均值為中心,形狀由協方差矩陣定義。 |
| |
由於我們不再採用線性模型,因此該指標與預測方差沒有相同的聯繫。 因此,與其依賴於線性模型中使用的閾值,我們將做出一些分佈假設來確定 |
| |
預測點的 T 平方應視為外推法。 |
| |
在這裡,我展示了 Hotelling 的 T 平方的公式。 使用模型的訓練數據估計均值和協方差矩陣。 |
| |
如果 P 小於 N,其中 P 是預測變量的數量,N 是觀測值的數量, |
| |
如果預測變量處於多元正態,則預測點的 T 平方具有 F 分佈。 然而,我們想要一種方法 |
| |
概括具有復雜數據類型的數據集,例如連續和分類數據集的混合,其中 P 大於 N; |
| |
缺失值的數據集。 因此,我們沒有在每種情況下分析地計算分佈,而是使用我們發現在實踐中效果很好的簡單保守控制限制。 |
| |
這是一個 3 Sigma 控制極限,使用來自訓練數據的 T 平方的經驗分佈,正如勞拉所提到的,您還可以調整這個乘數。 |
| |
一種複雜情況是,當 P 大於 N 時,Hotelling 的 T 平方是不確定的。 協方差矩陣中的參數太多,無法使用可用數據進行估計。 |
| |
這通常發生在外推控制的典型用例中,例如偏最小二乘法。 所以我們決定採用一種新穎的方法來計算 Hotelling 的 T 平方,它處理這些情況,我們稱之為正則化 T 平方。 |
| |
為了計算協方差矩陣,我們使用最初由 Schafer 和 Strimmer 為高維基因組數據開發的正則化估計器。 這只是完整樣本協方差矩陣(此處為 U)和約束目標矩陣(即 D)的加權組合。 |
| |
對於 Lambda 權重參數,Schafer 和 Strimmer 推導出了一個分析表達式,該表達式可以漸近地最小化估計量 MSE。 |
| |
Schafer 和 Strimmer 提出了幾種可能的目標矩陣。 我們選擇的目標矩陣是一個對角矩陣,其中預測變量的樣本方差在對角線上。 該目標矩陣對於外推控制具有許多優點。 |
| |
首先,我們在看到數據之前不假設變量之間有任何相關結構,這作為一般先驗很有效。 |
| |
此外,當估計協方差矩陣的數據很少時,無論是由於小 N 還是丟失了很大一部分, |
| |
橢圓約束在對角矩陣上擴大了一個較大的權重,這導致外推控制的測試更加保守。 我們發現這是獲得假陽性率的合理控制所必需的。 |
| |
更簡單地說,當訓練數據有限時,正則化的 T 平方不太可能將預測標記為外推,這是您想要的,因為您更有可能偶然觀察到協方差。 |
| |
我們有一些模擬結果來證明這些細節,但我沒有時間深入研究這些細節。 相反,在社區網頁上,我們在存檔中放置了一篇論文的鏈接,我們計劃將其提交給計算圖形統計雜誌。 |
| |
下一張幻燈片顯示了我們需要考慮的其他一些重要細節。 我們需要弄清楚如何處理分類變量。 |
| |
我們只是將它們轉換為指標編碼的虛擬變量。 這與多重對應分析相當。 |
| |
另一個複雜問題是如何在數據缺失時計算 Hotelling 的 T 平方。 幾個 JMP 預測建模平台使用缺失數據的觀察來訓練模型。 |
| |
這些包括樸素貝葉斯和引導森林,這些公式顯示了我們用來估計協方差矩陣的成對刪除方法。 |
| |
使用逐行刪除更常見,這意味著在計算協方差矩陣之前刪除所有具有缺失值的觀察值。 這是最簡單的,但如果訓練數據的樣本量很小,它可能會導致丟棄有用的數據。 |
| |
使用成對刪除,僅當用於計算相應條目的變量對中存在缺失值時,才會刪除觀察值。 |
| |
這就是這些公式所顯示的內容。 這似乎是一件簡單的事情,您只是在使用所有可用的數據,但實際上可能會導致許多問題,因為用於計算每個條目的觀察值不同。 |
| |
這可能會導致奇怪的事情發生,例如具有負特徵值的協方差矩陣,這是我們必須處理的事情。 |
| |
以下是我們在評估中與其他方法相比時發現的正則化 T 平方的一些優點。 |
| |
一是正則化的工作方式與正則化通常的工作方式相同。 它在過度擬合訓練數據和過度偏置估計器之間取得平衡。 這使得估計器對噪聲和模型指定錯誤更加魯棒。 |
| |
接下來,Schafer 和 Strimmer 在他們的論文中表明,正則化可以在高維設置中產生更準確的估計量。 這有助於解決困擾大多數基於距離的外推控制方法的維數災難。 |
| |
然後,在開發了外推控制方法的領域中, |
| |
通常它們既有高維數據又有高度相關的預測因子。 例如,在化學信息學和化學指標中,化學特徵通常高度相關。 |
| |
外推控制通常與 PCA 和 PLS 模型結合使用,其中 T 平方和 DModX 用於檢測相關結構的違規。 這類似於我們在模型驅動的多元控製圖中所做的。 |
| |
由於這是一個常見的用例,我們希望有一個選項不會偏離這些方法太遠。 |
| |
我們的正則化 T 平方提供 |
| |
同類型的外推控制,但不需要投影步驟,具有一定的優勢。 |
| |
我們發現這使我們能夠更好地推廣到其他類型的預測模型。 |
| |
同樣在我們的評估中,我們觀察到如果線性投影不適用於您的數據,比如您在預測變量之間存在非線性關係, |
| |
這些錯誤會擴大基於投影的方法的控制限,這將導致對外推的保護很差,而我們的方法比這更穩健。 |
| |
然後另一個重要的點是我們發現 |
| |
單一外推指標的使用和解釋要簡單得多。 |
| |
這是外推控制功能的快速總結。 該方法提供了更好的可行區域可視化 |
| |
分析器中的高維模型。 一種新的遺傳算法已被實現用於靈活的約束優化。 |
| |
在 P 大於 N 以及連續和分類變量等情況下,我們的正則化 T 平方處理混亂的觀察數據。 |
| |
該方法可用於 JMP 16 Pro 中的大多數預測模型,並支持它們的許多特性。 它也可以在圖形分析器中使用,這確實打開了它的實用性,因為它可以對任何預測公式進行操作。 |
| |
然後作為未來的方向,我們正在考慮實施基於 K 最近鄰的約束,該約束將超出當前的相關結構約束。 |
| |
預測變量通常由多個分佈生成,從而導致預測變量空間中的聚類,而基於 K 近鄰的方法將使我們能夠控制聚類之間的外推。 |
| |
所以,感謝所有收看此視頻的人,如果您有任何其他問題,請發送電子郵件至這裡。 |
| 傑里米·阿什,JMP |
你們還在。 |
| 克里斯·戈特沃特 |
對我是。 |
| 勞拉·蘭卡斯特 |
只是。 |