揚聲器
|
成績單
|
| 蒂姆·皮爾斯 |
去。 |
| |
好吧,我要繼續保持沉默。 |
| |
嗨,我是克里斯·戈特瓦爾特。 我和我的共同演講者 Laura Lancaster 和 Jeremy Ash 正在演示一種有用的新 JMP Pro 功能,稱為外推控制。 |
| |
幾乎任何你想要預測的模型都有一定的適用性, |
| |
輸入空間的一個區域,其中他們的預測被認為是 |
| |
足夠可靠。 在該區域之外,我們開始推斷模型的兩個點,遠離用於擬合模型的數據。 在這些點上使用該模型的預測可能會導致完全不可靠的預測。 |
| 外推法有兩個主要來源 |
統計外推和基於域的外推。 新功能涵蓋了這兩種類型。 |
| |
當人們試圖使用 X 值與用於訓練該模型的值不接近的模型進行預測時,就會發生統計外推。 |
| |
當您嘗試評估由於科學原因而不可能的 X 時,就會發生基於域的外推法 |
| |
或基於工程的約束。 此處的示例在一個示例中說明了兩種外推法。 在這裡,我們看到了冶金生產過程模型中的輪廓儀。 |
| |
預測讀數為 -2.96,沒有跡象表明我們正在不可能的溫度和壓力組合下進行評估 |
| |
在這台機器上要達到的領域意義。 我們還進行了統計外推,因為它與所使用的數據相差甚遠 |
| |
擬合模型,如右側訓練數據的散點圖所示。 在 JMP Pro 16 中,Jeremy、Laura 和我合作添加了一項新功能,可以在分析器認為您可能進行推斷時發出警告。 |
| |
或者,如果您打開外推控制,它會將您看到的點集限制為僅那些它認為不外推的點。 |
| |
我們有兩種類型的外推控制。 |
| |
一種基於槓桿概念並使用最小二乘模型。 第一種類型僅適用於擬合模型最小二乘法的專業版。 |
| |
另一種類型我們稱為通用機器學習外推控制,它可在 JMP Pro 的探查器平台和幾個最常見的機器學習平台中使用。 |
| |
根據要求,我們甚至可以將其添加到 mor 中。 最小二乘外推控制使用槓桿的概念,它就像預測方差的縮放版本。 它是基於模型的,所以 |
| |
它使用有關主效應相互作用和高階項的信息來確定外推。 |
| |
對於一般的機器學習外推控制案例,我們必須想出自己的方法。 我們想要一種在缺失值方面具有魯棒性的方法, |
| |
線性依賴、更快的計算、可以處理連續和分類輸入變量的混合,並且我們還明確希望將外推模型與用於擬合數據的模型分開。 |
| |
因此,當我們打開一般外推控制時,只有一種監督模型......將輸入變量與我們在探查器跟踪中看到的響應相匹配。 |
| |
配置文件提出了一個快速而骯髒的無監督模型來描述訓練集 Xs,並且該無監督模型由分析器在幕後使用來確定外推控制約束。 |
| |
因此,我必須進行切換,因為出於某種原因,我的 PowerPoint 相機現在無法正常工作。 |
| |
我們知道數據科學領域的工作人員每天都會進行危險的推斷,並且相信使用推斷會導致糟糕的預測,並最終導致糟糕的業務成果。 |
| |
外推控制為模型預測設置了護欄,並將為 JMP Pro 用戶帶來可量化的更好決策。 |
| |
當用戶看到發生外推時,用戶必鬚根據他們的領域知識和對當前問題的熟悉程度來決定是否應該使用預測。 |
| |
如果您開始看到外推控制警告發生,通常該模型的生命週期可能已經結束,需要將其重新適應新數據,因為輸入的分佈已經偏離了訓練數據的分佈。 |
| |
老實說,我們感到非常驚訝和震驚,數據科學界並沒有更好地認識到識別外推法的必要性 |
| |
並使外推控制盡可能簡單和自動。 Laura 在 JMP Pro 中開發了該選項,接下來將演示該選項。 然後,在我們團隊中進行了大量研究的傑里米(Jeremy)將探討該方法的數學細節和統計動機。 |
| |
你好。 我叫 Laura Lancaster,我來這裡是為了演示 JMP Pro 16 中添加的外推控制。 我想從一個使用擬合模型最小二乘平台的相當簡單的示例開始。 |
| |
我將使用一些可能熟悉的數據。 這是樣本數據中的健康數據。 |
| |
我將使用攝氧量作為我的反應,並使用跑步時間、跑步脈沖和最大脈衝作為我的預測因子。 我想重申,在擬合模型擬合最小二乘法中,使用的外推指標是槓桿,所以讓我們繼續啟動 JMP。 |
| |
現在,我在 JMP 中打開了健身數據,並且有一個腳本可以保存到數據表中,以自動啟動擬合最小二乘模型。 |
| |
所以我將繼續運行該腳本。 它推出了最小二乘平台。 |
| |
我自動打開了探查器,我們可以看到探查器看起來就像過去一樣, |
| |
其中因子邊界由每個因子的範圍單獨定義,為我們提供了矩形邊界約束。 |
| |
當我更改因子設置時,由於這些約束,很難判斷您是否遠遠超出了數據的相關結構。 |
| |
這就是我們想要添加外推控制的原因。 因此,這已添加到 JMP Pro 16 中的多個平台中, |
| |
包括擬合最小二乘法。 要訪問外推控制,請轉到探查器菜單下的菜單。 因此,如果我看這裡,我會發現有一個稱為外推控制的新選項。 |
| |
默認情況下它設置為關閉,但我可以將其打開或警告打開以打開外推控制。 如果我將其打開,請注意,它會將我的個人資料跟踪限制為僅轉到我不進行推斷的值。 |
| |
如果我將其打開警告,我會看到完整的配置文件痕跡,但當我進入被認為是外推的區域時,我會收到警告。 |
| |
我還可以打開外推細節,我發現這確實很有幫助, |
| |
這給了我更多的信息。 首先,它告訴我,我用來定義外推的指標是槓桿,這在擬合最小二乘平台中是正確的, |
| |
最初默認使用的閾值將是最大槓桿,但這是我可以更改的內容,我將立即向您展示。 |
| |
此外,我還可以查看當前設置的外推指標。 這就是這裡的這個數字,它會隨著我更改因子設置而改變。 |
| |
每當這個數字大於閾值時,我都會收到此警告,表明我可能會進行推斷。 如果低於此值,我將不再收到該警告。 |
| |
除非我更改菜單中的某些內容來調整閾值,否則該閾值不會改變。 所以讓我現在就開始做吧。 我要去菜單, |
| |
我將去設置閾值標準。 因此,在擬合最小二乘法中,您有兩種閾值選擇。 最初,它被設置為最大槓桿,這將使您保持在數據的凸洞內, |
| |
或者您可以切換到乘數乘以觀察值的平均槓桿或模型項。 我想切換到該閾值,因此將其設置為三 |
| |
作為默認乘數,因此這將是平均槓桿的三倍。 單擊“確定”,您會發現我的閾值將發生變化。 它實際上變小了,所以這是一個更保守的外推定義。 |
| |
我將把它重新打開以限制我的個人資料跟踪,現在我只能前往區域 |
| |
我的槓桿率在平均槓桿率的三倍之內。 |
| |
現在我們還實現了遵守外推約束的優化。 所以現在,如果我打開設定的意願 |
| |
我做了優化, |
| |
我將得到一個滿足外推約束的最優值。 請注意,該指標小於或等於閾值。 |
| |
現在,當我轉到下一張幻燈片時,它將在圖表(散點圖矩陣)中進行比較,打開外推控制和關閉外推控制時的最佳值之間的差異。 |
| |
這是我用 JMP 創建的散點圖矩陣,它顯示了原始預測變量數據以及預測變量值 |
| |
對於不使用外推控制的最優解(藍色)和使用外推控制的最優解(紅色)。 請注意這裡藍色的無約束解決方案,對吧 |
| |
這裡,違反了運行脈沖和最大脈衝的原始數據的相關結構,從而增加了該預測的不確定性,而使用外推控制的最優解更符合原始數據。 |
| |
現在讓我們看一個使用更廣義的外推控制方法的示例,我們將其稱為正則化 T 平方方法。 |
| |
正如克里斯之前提到的,我們為最小二乘模型以外的模型開發了這種方法。 我們將研究樣本數據中的糖尿病數據的神經模型。 |
| |
反應是疾病進展的衡量標準,預測變量是基線變量。 再一次,本示例使用的外推度量是正則化 T 平方,Jeremy 將在幾分鐘內更詳細地描述它。 |
| |
我在 JMP 中打開了一個糖尿病數據,並保存了一個神經模型擬合腳本。 我將繼續運行該腳本。 |
| |
它啟動了神經平台。 請注意,我正在使用隨機保留驗證方法。 我只是想指出,每當您使用驗證方法時,外推控制僅基於訓練數據 |
| |
而不是您的驗證或測試數據。 |
| |
所以我打開了探查器,您可以看到它正在使用完整的跟踪。 外推控制未打開。 |
| |
讓我們繼續並打開它。 |
| |
我還將討論細節。 |
| |
您可以看到跡線已受到限制,度量是正則化 T 方。 |
| |
閾值是樣本正則化 T 方的標準差的三倍。 傑里米將在幾分鐘內詳細討論這一切的確切含義。 |
| |
我只是想提一下,當我們使用正則化 T 平方方法時,閾值只有一種選擇,但您可以調整乘數。 所以如果你去 |
| |
外推控制,設置閾值,你可以調整這個乘數,但我將把它保留為三。 現在我想使用運行優化 |
| |
外推控制,所以我要做最大化並記住。 現在我有了一個打開外推控制的最佳解決方案。 |
| |
現在,我想查看我們的散點圖矩陣,就像我們之前查看原始數據一樣,以及具有和不具有外推控制的最佳值。 |
| |
這是我在 JMP 中創建的糖尿病數據的散點圖矩陣。 它有原始的預測值, |
| |
以及使用外推控制的最優解(紅色)和不使用外推控制的最優解(藍色)。 你可以看到 |
| |
紅點似乎比藍點更多地處於原始數據的相關結構中。 當您比較低密度脂蛋白與總膽固醇時,這一點尤其正確。 |
| |
現在讓我們看一個使用圖形菜單下的探查器的示例,我將其稱為圖形探查器。 |
| |
它還使用正則化 T 平方方法,允許我們對可以創建並保存為 JSL 公式的任何類型的模型使用外推控制。 它還允許我們一次對多個模型進行外推控制。 |
| |
讓我們看一個使用粉末冶金技術為汽車行業生產鋼製傳動軸的公司的例子。 |
| |
他們希望能夠找到最佳的生產設置,最大限度地減少收縮,並最大限度地減少由於不良表麵條件而導致的故障。 所以我們有兩個回應 |
| |
收縮率是連續的,我們將為此擬合最小二乘模型;表麵條件為通過/失敗,我們將為其擬合名義邏輯模型。 |
| |
我們的預測變量只是生產中的一些關鍵過程變量。 再次強調,外推度量是正則化 T 方。 |
| |
所以我在 JMP 中打開了粉末冶金數據,並且我已經為收縮響應擬合了最小二乘模型, |
| |
我已經為表麵條件通過/失敗響應擬合了名義邏輯模型。 我已將預測公式保存到數據表中,以便它們可以在圖形分析器中使用。 |
| |
因此,如果我進入圖形菜單分析器,我可以加載收縮預測公式,而我的預測公式適用於表面狀況。 |
| |
單擊“確定”。 |
| |
現在我已將兩個模型啟動到圖形分析器中。 |
| |
而且,在我打開外推控制之前,您可以看到我擁有完整的輪廓軌跡。 一旦我打開外推控制, |
| |
你可以看到痕跡縮小了一些。 我還要打開細節 |
| |
只是為了表明,我確實在此方法中使用了正則化 T 方。 |
| |
所以我真正想做的是,我想找到最小化收縮和最小化故障的最佳條件 |
| |
外推控制打開。 我想確保我沒有進行推斷。 我想找到一個有用的解決方案。 |
| |
在進行優化之前,我實際上需要設置我的需求。 我要做既定的願望;它的收縮率已經是正確的,但我需要根據表麵條件設置它們。 |
| |
我將嘗試最大限度地提高通過率並最大限度地減少失敗。 |
| |
好的。 |
| |
現在我應該能夠在打開外推控制的情況下進行優化,進行最大化並記住。 |
| |
現在我有了最佳解決方案 |
| |
外推控制打開。 現在,讓我們再次查看原始數據的散點圖矩陣,以及外推控制開啟時的解和外推控制關閉時的解。 |
| |
這是我在 JMP 中創建的粉末冶金數據的散點圖矩陣,它也有最優解 |
| |
有外推控制的情況為紅點,無外推控制的最優解為藍點。 而且,您再次可以看到,當我們不執行外推控制時, |
| |
最佳解決方案遠遠超出了數據的相關結構。 我們在這裡尤其可以看到比率與壓實壓力的關係。 |
| |
所以現在,我想將演示移交給傑里米,以更詳細地介紹我們的方法。 |
| |
你好。 以下是我們在項目開始時制定的一些外推控制目標。 |
| |
我們需要一個可以通過大量觀察和變量快速計算的外推度量,並且我們需要一種快速方法來評估該度量是否表明外推。 這是為了保持探查器跟踪的交互性和 |
| |
我們需要它來執行優化。 |
| |
我們希望它能夠支持探查器中可用的各種變量類型。 這些本質上是連續的、絕對的和有序的。 |
| |
我們想要利用缺失細胞的觀察結果,因為一些建模方法將包括這些觀察結果和???。 |
| |
我們想要一種對數據中的線性依賴性具有魯棒性的方法。 例如,當變量數量大於觀測值數量時,就會發生這種情況。 |
| |
我們想要一些易於自動化的東西,而不需要大量的用戶輸入。 |
| |
對於最小二乘模型,我們採用了槓桿,它通常用於識別線性模型中的異常值。 |
| |
新預測點的槓桿是根據此公式計算的。 槓桿有多種解釋。 一種解釋是 |
| |
它是預測點距訓練數據中心的多元距離。 另一種解釋是,它是縮放的預測方差,因此隨著預測點遠離數據中心,預測的不確定性會增加。 |
| |
我們使用統計文獻中的兩個常見閾值來確定該距離是否太大。 |
| |
首先是最大槓桿。 超過此閾值的預測點位於訓練數據的凸洞之外。 |
| |
第二個是槓桿平均值的三倍。 可以證明,這相當於模型項數除以觀測值數的三倍。 |
| |
正如勞拉之前所描述的,您可以更改這些閾值的乘數。 |
| |
最後,當優化意願時,外推約束是非線性約束。 之前,分析器允許使用線性約束進行約束優化, |
| |
但這種類型的優化更具挑戰性,因此勞拉實施了遺傳算法。 如果您不熟悉這些,遺傳算法使用分子進化原理來優化複雜的成本函數。 |
| |
接下來我將討論我們用來推廣外推控制線性模型以外的兩個模型的方法。 |
| |
當您在 JMP 中構建預測模型時,您首先需要一組預測變量和一組響應變量。 |
| |
訓練一些監督模型,然後可以使用分析器來可視化模型表面。 |
| |
JMP 中的刻畫器有多種變體。 您可以在建模平台內部使用分析器,可以輸出預測公式並構建 |
| |
正如 Laura 所演示的,適用於多個模型的分析器。 您可以為集成模型構建分析器。 我們想要一種能夠推廣到所有這些場景的外推控制方法,因此我們將使用無監督方法,而不是將我們的方法與特定模型聯繫起來。 |
| |
只有當預測點遠離預測變量空間中數據集中的位置時,我們才會將其標記為外推。 這使我們能夠在各個分析器之間保持一致,以便我們的外推控制方法可以插入到任何分析器中。 |
| |
槓桿的多元距離解釋表明,霍特林的 T 平方可以作為一般外推控制的距離。 事實上,一些代數運算將表明霍特林的 T 平方只是槓桿的轉移和縮放。 |
| |
該圖顯示了霍特林的 T 平方如何測量觀測值所在的橢圓,其中橢圓以數據均值為中心,形狀由協方差矩陣定義。 |
| |
由於我們不再採用線性模型,因此該指標與預測方差沒有相同的聯繫。 因此,我們不再依賴線性模型中使用的閾值,而是做出一些分佈假設來確定是否 |
| |
預測點的 T 平方應被視為外推法。 |
| |
在這裡,我展示了霍特林 T 平方的公式。 使用模型的訓練數據來估計均值和協方差矩陣。 |
| |
如果 P 小於 N,其中 P 是預測變量的數量,N 是觀測值的數量, |
| |
如果預測變量處於多元正態分佈,則預測點的 T 平方具有 F 分佈。 然而,我們想要一種方法 |
| |
概括具有復雜數據類型的數據集,例如連續數據集和分類數據集的混合,其中 P 大於 N; |
| |
具有缺失值的數據集。 因此,我們沒有在每種情況下分析地計算分佈,而是使用一個簡單的保守控制限制,我們發現它在實踐中效果很好。 |
| |
這是使用訓練數據中 T 平方的經驗分佈的三西格瑪控制限,正如 Laura 提到的,您還可以調整此乘數。 |
| |
一個複雜的情況是,當 P 大於 N 時,霍特林的 T 平方是不確定的。 協方差矩陣中的參數太多,無法用可用數據進行估計。 |
| |
這通常發生在外推控制的典型用例中,例如偏最小二乘法。 因此,我們決定採用一種新穎的方法來計算 Hotelling 的 T 平方,該方法可以處理這些情況,我們將其稱為正則化 T 平方。 |
| |
為了計算協方差矩陣,我們使用最初由 Schafer 和 Strimmer 為高維基因組數據開發的正則化估計器。 這只是完整樣本協方差矩陣(此處為 U)和約束目標矩陣(此處為 D)的加權組合。 |
| |
對於 Lambda 權重參數,Schafer 和 Strimmer 導出了一個解析表達式,該表達式可以漸近地最小化 MSE(估計量)。 |
| |
Schafer 和 Strimmer 提出了幾種可能的目標矩陣。 我們選擇的目標矩陣是對角矩陣,對角線上有預測變量的樣本方差。 該目標矩陣對於外推控制具有許多優點。 |
| |
首先,在查看數據之前,我們不會假設變量之間有任何相關結構,這與一般先驗一樣有效。 |
| |
此外,當用於估計協方差矩陣的數據很少時,無論是由於 N 較小還是缺少很大一部分, |
| |
橢圓約束通過對角矩陣上的大權重進行擴展,這導致外推控制的測試更加保守。 我們發現這對於合理控制誤報率是必要的。 |
| |
更簡單地說,當訓練數據有限時,正則化 T 平方不太可能將預測標記為外推法,而這正是您想要的,因為您更有可能偶然觀察到協方差。 |
| |
我們有一些模擬結果展示了這些細節,但我沒有時間詳細討論所有這些。 相反,我們在社區網頁上放置了一篇存檔論文的鏈接,併計劃將其提交給《計算圖形統計雜誌》。 |
| |
下一張幻燈片顯示了我們需要考慮的其他一些重要細節。 我們需要弄清楚如何處理分類變量。 |
| |
我們只是將它們轉換為指標編碼的虛擬變量。 這與多重對應分析相當。 |
| |
另一個複雜的問題是當數據丟失時如何計算霍特林的 T 平方。 多個 JMP 預測建模平台使用缺失數據的觀測結果來訓練模型。 |
| |
其中包括樸素貝葉斯和引導森林,這些公式顯示了我們用來估計協方差矩陣的成對刪除方法。 |
| |
更常見的是使用行刪除,這意味著在計算協方差矩陣之前刪除所有具有缺失值的觀測值。 這是最簡單的,但如果訓練數據的樣本量很小,可能會導致丟棄有用的數據。 |
| |
通過成對刪除,僅當用於計算相應條目的變量對中存在缺失值時,才會刪除觀測值。 |
| |
這就是這些公式所顯示的內容。 這似乎是一件簡單的事情,您只需使用所有可用的數據,但實際上可能會導致許多問題,因為計算每個條目時使用不同的觀察結果。 |
| |
這可能會導致奇怪的事情發生,比如協方差矩陣具有負特徵值,這是我們必須處理的問題。 |
| |
以下是我們在評估中與其他方法進行比較時發現的正則化 T 平方的一些優點。 |
| |
一是正則化的工作方式與正常化的正常工作方式相同。 它在過度擬合訓練數據和過度偏差估計器之間取得了平衡。 這使得估計器對於噪聲和模型錯誤指定更加穩健。 |
| |
接下來,Schafer 和 Strimmer 在他們的論文中表明,正則化可以在高維設置中產生更準確的估計器。 這有助於解決維數災難,維數災難困擾著大多數基於距離的外推控制方法。 |
| |
然後,在開發了外推控制方法的領域中, |
| |
它們通常同時具有高維數據和高度相關的預測變量。 例如,在化學信息學和化學計量學中,化學特徵通常是高度相關的。 |
| |
外推控制通常與 PCA 和 PLS 模型結合使用,其中 T 平方和 DModX 用於檢測相關結構的違規。 這與我們在模型驅動的多元控製圖中所做的類似。 |
| |
由於這是一個常見的用例,我們希望有一個與這些方法相差不遠的選項。 |
| |
我們的正則化 T 方提供 |
| |
相同類型的外推控制,但它不需要投影步驟,這有一些優點。 |
| |
我們發現這使我們能夠更好地推廣到其他類型的預測模型。 |
| |
此外,在我們的評估中,我們觀察到,如果線性投影不適用於您的數據,例如預測變量之間存在非線性關係, |
| |
這些錯誤可能會擴大基於投影的方法的控制極限,這將導致對外推法的保護很差,而我們的方法比這更穩健。 |
| |
然後另一個重要的一點是我們發現 |
| |
單一外推指標的使用和解釋要簡單得多。 |
| |
以下是外推控制功能的快速總結。 該方法提供了可行區域的更好可視化 |
| |
分析器中的高維模型。 已經實施了一種新的遺傳算法來實現靈活的約束優化。 |
| |
我們的正則化 T 平方可以處理 P 大於 N 以及連續變量和分類變量等情況下的混亂觀測數據。 |
| |
該方法適用於 JMP 16 Pro 中的大多數預測模型,並支持它們的許多特性。 它也可以在圖形分析器中使用,這確實打開了它的實用性,因為它可以對任何預測公式進行操作。 |
| |
然後,作為未來的方向,我們正在考慮實現基於 K 最近鄰的約束,該約束將超越當前的相關結構約束。 |
| |
通常預測變量是由多個分佈生成的,導致預測變量空間中的聚類,並且基於 K 最近鄰的方法將使我們能夠控制聚類之間的外推。 |
| |
感謝所有收看本視頻的人,如果您有任何其他問題,請發送電子郵件至這裡。 |
| 傑里米·阿什,JMP |
你們還在那裡。 |
| 克里斯·戈特瓦爾特 |
對我是。 |
| 勞拉·蘭卡斯特 |
只是。 |