揚聲器
|
成績單
|
| 邁克爾·克羅蒂 |
你好。 感謝您收聽 |
| |
我們關於不平衡分類的討論添加了可讓您在 JMP Pro 中比較採樣技術和模型的內容。 |
| |
我是邁克爾·克羅蒂。 我是 JMP 文檔團隊中的統計撰稿人之一，今天的共同演講者是 Colleen McKendry，她也是統計文檔團隊中的一員。 這是我們與 Marie Gaudard 合作的作品。 |
| |
這是我們今天演講的簡要概述。 我們將了解我們創建的添加的目的、不平衡分類問題的一些背景以及如何在這種情況下獲得分類模型。 |
| |
我們將研究一些在插件中包含的採樣方法，這些方法在不平衡分類問題中很流行。 |
| |
我們將查看加載項中可用的選項 |
| |
並討論如何獲取插件，然後Colleen將展示插件的示例和演示。 |
| |
在社區提供的幻燈片中，還有參考資料和包含其他背景信息的附錄。 |
| |
因此，我們的加載項（不平衡分類加載項）的目的是讓您應用專為不平衡數據設計的各種採樣技術。 |
| |
您可以將應用這些技術的結果以及 JMP Pro 中提供的各種預測模型進行比較。 |
| |
您可以使用精度召回曲線、ROC 曲線和增益曲線以及其他度量來比較這些模型和採樣技術擬合。 |
| |
這允許您選擇使用曲線進行分類的閾值。 |
| |
您還可以將 Tomek、SMOTE 和 SMOTE plus Tomek 採樣技術直接應用於您的數據，這使您能夠使用現有的 JMP 平台和 |
| |
如果您不喜歡我們選擇的大多數默認方法選項，請對新採樣的數據進行微調並微調建模選項。 |
| |
需要注意的是，Tomek、SMOTE 和 SMOTE plus Tomek 抽樣技術可用於名義變量、序數變量以及連續預測變量。 |
| |
這是關於數據不平衡問題的一些背景知識。 |
| |
因此，一般來說，您可以有多項式響應，但我們將重點關註二元響應變量，關鍵點是一個響應水平的觀測值數量遠大於另一響應水平的觀測值數量。 |
| |
我們將這些響應級別分別稱為多數類級別和少數類級別。 因此，大多數時候，少數群體級別是您對預測和檢測感興趣的興趣級別。 這可能就像檢測欺詐或疾病或信用風險的存在。 |
| |
我們希望根據回歸變量來預測類別成員資格。 |
| |
為此，我們開發了一個預測模型，將成員資格分配到少數類別的概率，然後我們選擇一個閾值來優化 |
| |
各種標準。 這可能是誤分類率、真陽性率、假陽性率等等。 然後，如果少數類別的預測概率超過所選的閾值，則我們將觀察結果分類為少數類別。 |
| |
那麼我們如何獲得分類模型呢？ |
| |
我們在 JMP 中有許多不同的平台，可以對二元變量、二元結果進行預測 |
| |
當存在回歸變量時，我們需要一種方法來比較這些模型。 嗯，有一些傳統的衡量標準，比如分類準確性，並不適合不平衡的數據。 作為一個極端的例子，你可以考慮 2% 少數群體的情況。 |
| |
只需將所有觀察結果分類為多數情況，我就可以給您 98% 的準確度。 現在這不是一個有用的模型，你也不會想使用它， |
| |
因為你沒有預測......你沒有正確預測任何目標案例到少數案例，而只是整體準確率，所以你的準確率為 98%，這聽起來相當不錯。 |
| |
因此這促使人們探索其他方法來衡量不平衡分類模型中的分類準確性。 其中之一是精確召回曲線。 |
| |
它們通常與不平衡數據一起使用，並根據真實陽性率召回繪製陽性預測值或精度。 |
| |
而且由於精度考慮了大多數實例，因此 PR 曲線比 ROC 曲線對類別不平衡更敏感。 |
| |
因此，PR 曲線能夠更好地突出不平衡數據模型的差異。 因此，PR 曲線是我們的添加報告中首先顯示的內容。 |
| |
處理不平衡分類數據的另一種方法是使用有助於對少數類別進行建模的抽樣方法。 |
| |
一般來說，這些只是對響應分佈施加更多平衡的不同方式，反過來，這有助於更好地劃分多數類和少數類觀察之間的界限。 因此，在我們的添加中，我們有七種不同的採樣技術。 |
| |
我們不會過多談論前四個，我們將重點關注後三個，但很快，沒有權重就意味著它聽起來的樣子。 我們不會做任何...不會做任何改變，那就是 |
| |
本質上，如果您沒有使用任何類型的抽樣方法來解決不平衡問題，那麼您會做些什麼提供基線。 |
| |
加權將超額分配少數案例，使得多數類別和少數類別的權重之和相同。 |
| |
隨機欠採樣將隨機排除大多數情況以達到平衡情況，隨機過採樣將隨機複製 |
| |
少數情況再次達到平衡狀態。 |
| |
然後我們將在下面的幻燈片中詳細討論接下來的三種更高級的方法。 |
| |
因此，第一個先進方法是 SMOTE，它代表合成少數過採樣技術。 |
| |
這基本上是一種更複雜的過採樣形式，因為我們在數據中添加了更多的少數案例。 |
| |
我們通過生成與現有少數類觀察結果相似的新觀察結果來做到這一點，但我們並不是像過採樣那樣簡單地複制它們。 |
| |
因此，我們使用 Gower 距離函數，對每個少數類觀測值執行 K 個最近鄰，然後生成觀測值來填充這些鄰居定義的空間。 |
| |
在這張圖中，您可以看到我們是否有紅色的少數案例。 我們選擇了三個最近的鄰居。 |
| |
我們將隨機選擇其中之一。 它恰好是這裡的這個，然後我們生成一個案例，另一個少數案例，位於這個小陰影框中的某個位置。 這是二維的。 如果你有 |
| |
n 維的預測變量，那麼陰影區域將是一個 n 維空間。 |
| |
但需要指出的一件關鍵事情是，您可以選擇您所選擇的最近鄰居的數量。 |
| |
隨機選擇，您還可以選擇執行此操作的次數 |
| |
針對少數情況使用此算法。 |
| |
下一個採樣方法是Tomek links。 這種方法的作用是試圖更好地定義少數類和多數類之間的界限。 為此，它會從多數類中刪除與少數類觀察結果接近的觀察結果。 |
| |
同樣，我們使用高爾距離來查找 Tomek 鏈接，Tomek 鏈接是一對屬於不同類別的最近鄰居。 因此，一個多數派和一個少數派是彼此最近的鄰居。 |
| |
為了減少這些實例的重疊，可以刪除該對中的一個或兩個成員。 在我們的加載項的主要選項“評估模型”選項中，我們僅刪除大多數實例。 但是，在 Tomek 選項中，您可以使用任一形式的刪除。 |
| |
最後，最後一種採樣方法是 SMOTE 加 Tomek。 這結合了前面兩種採樣方法。 |
| |
它結合它們的方式是應用這種模式算法來生成新的少數觀察結果，然後一旦你得到了原始數據，加上一堆生成的新的少數情況， |
| |
tt 適用於 Tomek 算法來查找屬於不同類別的最近鄰居對。 在這種方法中，Tomek 對中的兩個觀測值都被刪除。 |
| |
因此，不平衡分類插件在安裝時有四個選項，所有選項都顯示為插件菜單下的子菜單項。 |
| |
第一個是評估模型選項，它允許您使用各種採樣技術來擬合各種模型。 接下來的三個只是獨立的對話，用於執行我們剛才討論的三種採樣技術。 |
| |
因此，在插件的評估模型選項中，它提供了一個不平衡的分類報告，有助於模型和採樣技術組合的比較。 |
| |
它顯示了 PR 曲線和 ROC 曲線，以及增益曲線，對於 PR 和 ROC 曲線，它顯示了曲線下的面積，通常，每條曲線下的面積越大，模型擬合得越好。 |
| |
它提供了按類別劃分的預測概率圖，可幫助您了解每個模型的擬合情況。 |
| |
它還提供了一個技術和閾值數據表，該表包含一個允許您重現報告的腳本 |
| |
這是您第一次運行插件時生成的。 我們想強調的是，如果你運行這個並且你想保存你的結果而不重寫整個 |
| |
建模和採樣方法算法，您可以保存此技術和閾值表，這將允許您保存結果並重現報告。 |
| |
現在我們將查看評估模型選項的對話。 它允許您從多種模型和採樣技術中進行選擇。 |
| |
您可以輸入二元類變量以及所有 X 預測變量，然後 |
| |
我們，為了適合所有的模型和 |
| |
在測試集上評估它們，我們將數據隨機分為訓練驗證集和測試集。 您可以提供...您可以設置每組中的比例。 |
| |
如果您想重現結果，可以使用隨機種子選項。 然後還有SMOTE選項 |
| |
我之前提到過，你可以選擇最近鄰居的數量，從中選擇一個作為用於生成新案例的最近鄰居，每個少數案例的複制是為每個少數重複該算法的次數觀察。 |
| |
同樣，還有其他三個採樣選項 |
| |
插件中的選項對應於 Tomek、SMOTE 和 SMOTE plus Tomek。 在 Tomek 採樣選項中，它將向您的數據表添加兩列，這些列可用作預測的權重……適用於您想要執行的任何預測模型。 |
| |
第一列僅刪除鏈接中的多數最近鄰居，另一列刪除 Tomek 鏈接的兩個成員，因此您可以選擇該選項。 |
| |
SMOTE 觀測結果會將綜合觀測結果添加到您的數據表中。 |
| |
它還將提供一個源列，以便您可以識別哪些 |
| |
添加了觀察結果。 SMOTE 加上 Tomek 添加了綜合觀察結果和刪除 Tomek 鏈接的兩個成員的加權列。 |
| |
Tomek 抽樣和 SMOTE plus Tomek 的權重列， |
| |
它只是一個指標列，您可以將其用作 JMP 建模平台中的權重。 如果包含則為 1，如果應排除則為 0。 |
| |
其他三個採樣選項對話框中的大多數看起來基本相同。 |
| |
它們上而不是評估模型選項對話框上的一個選項是顯示中間表。 此選項適用於 SMOTE 和 SMOTE plus Tomek。 |
| |
基本上，它允許您查看用於構建 SMOTE 觀測的數據表。 一般來說，您不需要看到它，但如果您想更好地了解這些觀察結果是如何生成的，您可以查看那些中間表。 |
| |
它們都在文檔中進行了解釋。 |
| |
同樣，您可以通過社區獲取該插件， |
| |
通過此頁面查看 2020 年美洲探索峰會演講 |
| |
社區的一部分。 正如我剛才提到的，加載項中提供了可用的文檔。 只需單擊“幫助”按鈕即可。 |
| |
現在，Colleen 需要在插件演示中展示一個示例。 |
| 科琳·麥肯德里 |
謝謝邁克爾。 我現在要演示該添加，為了進行演示，我將使用此乳房 X 光檢查演示數據。 |
| |
因此，乳房 X 線攝影數據集基於一組數字化膠片乳房 X 線照片，用於研究乳房 X 線攝影圖像中的微鈣化。 |
| |
在該數據中，每條記錄被分類為 1 或 0。1 表示圖像中看到鈣化，0 表示沒有。 |
| |
在此數據集中，您看到鈣化的圖像是您有興趣預測的圖像，因此類別級別一是您感興趣的類別級別。 |
| |
在完整數據集中，有 6 個連續預測變量和大約 11,000 個觀測值。 |
| |
但為了減少此演示中的運行時間，我們將僅使用完整數據集的子集。 所以這將是大約一半的觀察結果。 大約有 5500 個觀察值。 |
| |
分類為 1 的觀測值，即您感興趣的事物，它們約佔總觀測值的 2.31%，無論是在完整數據集中還是在我們使用的演示數據集中。 所以我們的少數群體比例大約為 2%。 |
| |
現在我要切換到 JMP |
| |
到 |
| |
所以我有乳房X光檢查演示數據。 |
| |
我們將要打開，我已經安裝了插件。 因此，我在下拉菜單中添加了不平衡分類，並且我將使用評估模型選項。 |
| |
所以這裡我們有啟動窗口，我們將指定二進制類變量，您的預測變量，我們將選擇所有模型和所有技術，我們將指定 |
| |
隨機種子。 |
| |
然後單擊“確定”。 |
| |
因此，在運行時，我將解釋後台實際發生的情況。 因此，該加載項所做的第一件事是將數據表拆分為訓練數據集和測試數據集。 |
| |
因此，您有兩個單獨的數據表，然後在訓練數據表中，這些觀察結果進一步分為訓練觀察值和驗證觀察值，並且驗證用於模型擬合。 |
| |
一旦你有了這兩個數據集 |
| |
對於您指定的每種採樣技術，都會添加到訓練數據表中的指示變量...指示列，涉及 SMOTE 的採樣技術除外。 |
| |
因此，這些列被添加並用作加權列，它們只是指定觀察是否包含在分析中。 |
| |
如果您使用 SMOTE 指定採樣技術，則會將其他行添加到數據表中。 這些是生成的觀察結果。 |
| |
因此，一旦為每個模型生成了列和行，每個模型就適合每種採樣技術。 所以如果你選擇所有這些 |
| |
就像我們剛剛在這裡所做的那樣，總共有 42 個不同的模型正在擬合。 這就是現在所發生的一切。 在 |
| |
在當前的演示中，我們有 42 個模型正在擬合，一旦模型擬合，相關信息就會被收集並彙總到結果報告中。 還有那份報告， |
| |
希望很快就會彈出，就是這裡，該報告顯示在此處。 您還可以獲得技術和閾值表以及匯總表。 |
| |
因此，我們將看看運行插件時會得到什麼。 首先我們有訓練集。 您可以看到這裡是權重列，即添加的權重列。 這些是為這些觀測值的預測概率添加的列。 |
| |
然後我們就有了測試集。 它不包含任何這些加權列，但它確實具有測試集觀測值的預測概率。 |
| |
我們有結果報告 |
| |
以及技術和閾值數據表。 所以邁克爾在中提到了這一點 |
| |
之前的談話，但這很重要，因為如果您想保存結果並再次查看結果，這是您想要保存的內容 |
| |
無需重新運行整個腳本。 所以這個數據表就是您要保存的內容，它包含將重現的腳本 |
| |
結果報告和匯總表，這是我要展示的最後一件事。 因此，這僅包含每種採樣技術和模型組合及其 AUC 值的摘要。 |
| |
現在看看實際結果窗口，頂部有對話規範。 因此，這包含您在啟動窗口中指定的信息。 |
| |
因此，如果您忘記了指定的任何內容，例如隨機種子或分配的比例，您可以打開它並查看。 |
| |
我們還有二進制類分佈。 因此，類變量在訓練集和測試集上的分佈。 經過這樣的設計，比例應該相同，在本例中為 2.3。 |
| |
然後我們還缺少閾值。 所以這並不是非常重要，但它只是給出了 |
| |
指示類變量的值是否缺少預測值，然後在此處顯示。 |
| |
對於實際結果，我們有這些選項卡圖。 這樣我們就有了精確召回曲線、ROC 曲線和累積增益曲線。 對於 PR 曲線和 ROC 曲線，我們也有相應的 AUC 值。 |
| |
我們還有這些按類別預測概率的圖表。 當您一次只查看其中幾個時，這些會更有用，我們稍後將對此進行介紹。 |
| |
然後我們有一個數據過濾器將所有這些圖表和結果連接在一起。 |
| |
那麼對於我們實際的分析結果，我們現在就可以看一下。 首先我要對這些進行排序。 |
| |
所以您已經可以看到 ROC 曲線和 PR 曲線，PR 曲線中的曲線之間的差異比 ROC 曲線中的差異要大得多。 |
| |
如果我們選擇前五個，那麼它們的 AUC 實際上都是 0.97。 |
| |
你可以看到他們彼此非常接近。 他們基本上是在彼此之上。 很難確定哪種模型實際上更好，您應該選擇哪種模型 |
| |
因此，這就是精確召回曲線非常重要的地方，特別是對於不平衡的數據。 因此，如果我們切換回來，我們可以看到這些模型的 ROC 曲線具有最高的 AUC 值， |
| |
它們確實分佈在精確召回曲線中。 他們實際上不是……他們沒有 PR 曲線的最高 AUC 值。 |
| |
所以也許……也許我們可以選擇更好的模型。 |
| |
所以現在我將關注並關注前兩個，即提升樹 Tomek 和 SVM Tomek，我將使用數據過濾器來做到這一點。 |
| |
然後我們只想看看那些將要展示和包含的內容。 |
| |
現在我們有了這兩個模型的曲線，藍色曲線是提升樹，紅色曲線是 SVM。 |
| |
因此，您可以在這些曲線中看到，它們在不同的真陽性率值上彼此重疊。 所以你可以使用這些曲線 |
| |
根據可接受的真陽性率來選擇您想要在分析中使用的模型。 因此，如果我添加一些參考線，我們就可以看到這一點。 請原諒我的手，當我打字時你會看到。 |
| |
好的，那麼說這些是您可能感興趣的一些不同的真陽性率。 例如，如果您擁有任何數據集，您想要的真陽性率為 0.55。 |
| |
您可以選擇閾值以使其成為真正的陽性率。 然後在這種情況下， |
| |
對於該真陽性率，提升樹 Tomek 模型具有更高的精度。 所以你可以選擇那個模型。 |
| |
但是，如果您希望真陽性率達到 0.85 左右，那麼 SVM 模型可能是更好的選擇，因為它對於特定的真陽性率具有更高的精度。 |
| |
然後，如果您的真陽性率為 0.95，您會再次翻轉，也許您會想要選擇提升樹模型。 |
| |
這就是您如何使用這些曲線來選擇最適合您的數據的模型。 |
| |
現在我們要再次查看這些圖表，因為它們只有少數。 這只是顯示了我們選擇的模型的每個類別的預測概率的分佈。 所以在這個特殊情況下，你可以看到在 SVM 中有大多數 |
| |
整個預測概率範圍內的概率，其中提升樹可以更好地將它們保持在較低端。 |
| |
這就是這個特定演示的內容，但在完成之前，我只想再展示一件事。 這就是如何使用評估的示例 |
| |
型號選項。 但是假設您只想使用特定的採樣技術。 你可以在這裡做到這一點。 所以發射窗口看起來很相似。 您可以分配二元類、預測變量，然後單擊“確定”。 |
| |
這會生成一個新的數據表，您就有了 |
| |
指示欄。 |
| |
您的指示器列，僅顯示觀察結果是否應包含在分析中。 |
| |
然後因為它是 SMOTE 加上 Tomek，所以你還擁有所有這些 SMOTE 生成的觀察結果。 |
| |
現在您有了這個新的數據表，您可以使用任何類型的模型以及您可能想要的任何類型的選項，只需使用此列作為您的權重或頻率列，然後從那裡開始。 我們的不平衡分類演示就到此結束了。 感謝您的觀看。 |
