揚聲器 | 成績單 |
| 米婭·斯蒂芬斯 | 這可能不會需要 45 分鐘。 |
| 好吧，我們很好。 |
| 該死的，為什麼那個文字剛剛出現。 |
| 傑森威金斯，JMP | 你看到了嗎，我只是想問我已經開始錄製了，但是有人會進入並在結尾處剪輯開頭。 |
| 米婭·斯蒂芬斯 | 我會說你在錄音。 |
| 傑森威金斯，JMP | 是的。 |
| 如果你願意，我可以停下來。 |
| 嗯。 |
| 傑森威金斯，JMP | 好的錄製開始。 |
| 米婭·斯蒂芬斯 | 大家好，我是 MIA Stevens，我是 JMP 產品經理。 |
| 而今天我們要討論的一個新功能首先出現在 JMPed 16 或 JMP pro 16 模型屏幕篩選中。 |
| 實際上，讓我重新開始。 |
| 傑森威金斯，JMP | 錄音又開始了。 |
| 米婭·斯蒂芬斯 | 嗨，我是米婭·斯蒂芬斯。 |
| 我是一名 JMP 產品經理。 今天我們將討論模型篩選。 模型篩選是 JMP Pro 16 中的一個新平台，它允許您同時擬合多個模型，從而使您能夠簡化預測建模工作流程。 |
| 因此，我們將首先討論預測建模的含義，這與更經典的建模或解釋性建模形成對比。 |
| 我們將了解您可以在 JMP Pro 中構建的模型類型，並且我們將稍微討論一下預測建模工作流程。 然後我們將了解如何使用模型篩選來簡化此工作流程。 |
| 我們將看到幾個用於比較競爭模型的不同指標，我們將在 JMP Pro 中使用兩個不同的示例，我將使用 JMP Pro 16.1。 |
| 那麼首先，我們所說的預測建模是什麼意思？ |
| 我們中的大多數人都在大學或學院或通過貴公司上過統計課程，通常，當我們......當我們學習統計建模時，它是解釋性建模。 |
| 我們的意思是你有興趣研究一些 Y 變量，一些感興趣的響應，作為幾個 X 或輸入變量的函數。 |
| 所以我們可能對識別重要變量感興趣，也許我們正處於一種解決問題的情況下，我們想嘗試識別最重要的 X，最重要的潛在原因。 |
| 因此，作為解釋性建模的結果，我們可能能夠識別出 X1、X3 和 X6 是 Y 變化的潛在原因，這可能會引導您使用設計的實驗進一步研究這些變量。 |
| 我們可能還對量化關係的性質感興趣，例如，我們可能有興趣了解 Y（我們的反應）如何隨 X 函數平均變化。 |
| X 的 1 個單位變化與 Y 的 5 個單位變化相關。 |
| 所以這就是我們在談論建模、統計建模或回歸分析時通常會想到的。 |
| 現在，相比之下，預測建模是關於準確預測或分類未來結果。 |
| 因此，在經典建模中，我們通常對均值、整體均值進行陳述。 在預測建模中，我們想知道接下來會發生什麼。 那麼，例如，這個客戶會流失嗎？ 請問這位客戶 |
| 接受信用卡優惠？ 機器會壞嗎？ 所以我們有興趣預測接下來會發生什麼。 所以我們對準確性感興趣，我們預測的準確性。 |
| 在預測建模中，我們傾向於擬合和比較許多不同的可能模型，這涉及或可能涉及一些非常先進的技術。 |
| 其中一些技術可能不太容易解釋。 所以如果你想到神經網絡，神經網絡通常被認為是一個黑盒子。 |
| 對於這些更複雜的模型，過度擬合可能是一個問題，我所說的過度擬合是我們傾向於……我們可以擬合一個比我們需要的複雜得多的模型。 |
| 所以在預測建模中，我們傾向於使用模型驗證。 我們使用模型驗證來防止過度擬合和欠擬合。 模型驗證涉及的是拆分我們的數據，拆分數據的典型方法是保留我們的一些數據...... |
| 好吧，我們的一些數據用於訓練我們的模型，我們的一些數據被保留，我們可能還有第三組也被保留。 我們使用這些數據的方式是使用訓練數據擬合我們的模型 |
| 然後我們會看到模型在驗證數據上的表現如何。 第三步可能會用到，這通常被稱為測試集， |
| 因為驗證... JMP 中的驗證數據通常用於控制模型的大小。 所以我們將在幾分鐘內看到這一點。 |
| 我不會詳細介紹驗證，但如果這對您來說是一個相對較新的主題，那麼我從我們的免費在線課程 STIPS 中藉用了本套牌末尾的一些幻燈片，它說明了為什麼驗證是重要的。 |
| 在 JMP Pro 中，您可以擬合許多不同類型的預測模型。 |
| 其中一些可從擬合模型中獲得，因此如果您有連續響應，則可以擬合線性回歸模型。 如果你有一個明確的回應，你可以適應 |
| 邏輯回歸模型。 這可以是序數或多項式或二項式回歸模型。 您可以擬合廣義線性模型或懲罰回歸模型，如彈性網絡和 Lasso 和嶺回歸。 |
| 有一個包含許多項目的預測建模菜單，例如神經網絡。 您可以在 JMP Pro 中擬合神經網絡 |
| 兩層，具有多個節點，多個激活函數，帶有提升。 通常在 JMP 中， |
| 您可以使用同一平台為分類響應或連續響應擬合模型。 你可以適應各種不同類型的樹，分類樹，如果你有 |
| 分類響應，如果您有連續響應，則為回歸樹。 您還可以安裝一些更複雜類型的樹，例如引導森林和增強樹。 您可以看到還有其他可用的方法。 |
| 並且在多元方法下有幾個預測建模平台，因此判別分析和偏最小二乘法。 所以這絕不是一個詳盡的列表，我會指出部分最小二乘也可以從擬合模型中獲得。 |
| 問題是，為什麼我們需要這麼多模型？ 在經典解釋性建模中，我們通常會學習回歸分析，但顯然還有很多很多類型的模型可以擬合。 |
| 嗯，原因是沒有一種模型總是最好的。 最佳模型通常取決於數據的結構。 |
| 您有多少變量，無論您是否有純連續的 X，或者您是否有連續變量和分類變量的混合，如果您有非線性行為。 |
| 因此，沒有一種單一類型的模型始終是準確預測的最佳模型。 因此，我們通常會嘗試幾種不同的模型，然後選擇效果最好的模型或組合模型。 |
| 我們在更廣泛的分析工作流程的背景下考慮預測建模。 |
| 當然，我們正在嘗試解決某種類型的問題，業務問題或工程問題。 |
| 但是我們編譯數據，這可能是來自各種不同來源的數據，我們需要配對這些數據，我們需要整理數據。 |
| 我們探索並可視化數據，以了解更多關於我們可用的數據和其他數據需求的信息。 而這方面的預測建模方面正在分析數據和構建模型，在我看來，這才是真正有趣的地方。 |
| 因此，JMP 中的經典工作流程是通過驗證來擬合模型。 |
| 然後將預測公式保存到數據表中，或者將其發佈到公式庫中，我們稍後會看到。 |
| 然後你適合另一個模型。 因此，您可以從回歸模型開始，然後擬合基於樹的模型。 然後你重複這個，你可以擬合幾種不同類型的模型。 |
| 然後使用模型比較來評估每個模型在驗證數據上的性能。 所以請記住，我們使用訓練數據來擬合模型，但是為了比較模型以查看最準確的預測，我們使用驗證數據或測試數據。 |
| 我們選擇最好的模型或模型的最佳組合。 |
| 然後我們部署模型，這是一種典型的工作流程。 |
| 現在，通過模型篩選，模型篩選所做的就是簡化這一點。 因此，您可以在模型篩選平台中擬合所有所需的模型， |
| 使用驗證數據比較這些模型，選擇最佳模型。 您可以探索模型，甚至可以從模型篩選中擬合新模型，然後您可以輕鬆部署最佳模型。 |
| 因此，為了更深入地了解這一點，我們將使用幾個示例，第一個示例是您可能熟悉的示例， |
| 糖尿病數據，這些在樣本數據目錄中。 所以情況是研究人員希望能夠預測疾病進展的速度 |
| 在進行基線測量一年後。 因此，有 10 個基線變量和 442 名患者，我們將在此處查看兩種類型的響應。 響應 Y 是一種量化指標，用於衡量疾病在一年內的進展程度。 |
| 還有一個二元反應，高/低，所以高意味著疾病進展率高……高，低意味著進展率低。 |
| 這裡的建模目標是預測最有可能疾病進展率高的患者，以便採取糾正措施。 |
| 因此，最終，我們希望能夠建立一個模型，使我們能夠根據他們的人口統計變量和我們在這裡擁有的基線信息對未來的患者進行分類。 所以我們希望能夠 |
| 準確預測他們是否會有很高的疾病進展率，以便我們可以採取行動。 好的，那就是這樣的場景。 |
| 在我們進入 JMP 之前，我想談談我們如何決定哪個模型預測最好。 |
| 我提到我們為此使用驗證集或測試集，我們可以使用幾種不同類型的度量。 |
| 對於連續響應，我們使用 RMSE，即根主平方誤差，或 RASE，這是一個相關的度量，即均方根誤差，這就是預測誤差，這裡越低越好。 |
| 我們還可以使用 AAE（平均絕對誤差）、MAD（平均絕對偏差）或 MAE，對於這些，越低越好。 所以這些是……這些是……這些是一種平均誤差度量。 |
| 然後，R 平方，對於真正衡量擬合優度的 R 平方，越高越好。 |
| 所以我們傾向於將這些用於持續響應；還有許多其他類型的措施可用。 |
| 對於分類響應通常對錯誤分類或錯誤率或準確率感興趣，我們可能對精度感興趣。 |
| 還有其他度量，曲線下面積，我們在 ROC 曲線中看到，敏感性和特異性，這些有幾種不同類型的名稱。 |
| 我們在模型篩選中添加了一些其他措施，當我們有不平衡的數據時這些措施很好。 有一個 F1 分數和 MCC，這是 Matthews 相關係數，這是一個具有...的值 |
| 或者一個指標，取一些值在負一和正一之間，它擅長測量當你有分類數據時，數據在所有四個可能的類別中的分類情況，真陽性、真陰性、假陽性和假陰性。 |
| 所以讓我們……讓我們繼續討論 JMP。 |
| 我將打開數據。 |
| 所以這些是......我會做大一點，這些又是糖尿病數據。 |
| 如果你想玩弄這些數據，有一個使用這些數據的博客，你也可以在幫助下找到它們，然後採樣數據。 |
| 再一次，我們有一個響應 Y，讓我把它放大一點，這是我們對疾病進展的持續衡量。 然後我們有一個二進制 Y，結果為低或高，我們會接受它......我們將看看其中的每一個。 |
| 因此，首先，讓我們看看您是否...如果您有 JMP 15 或者如果您沒有使用模型篩選，如果您有 JMP Pro，您將如何擬合預測模型來預測 Y（連續響應）？ |
| 請注意，我們有幾個人口統計變量。 |
| 所以有 10 個，還有一個驗證列，驗證列將我們的數據劃分為訓練和驗證數據。 |
| 所以我們將使用訓練數據來擬合我們的模型，然後我們將看看當我們將模型應用於驗證數據時模型的表現如何。 |
| 要創建此列，請在分析、預測建模、製作驗證列下使用實用程序，這允許我們創建驗證列。 |
| 您可能有想要用作分層列的變量，例如，您希望確保數據在 |
| 驗證集。 我只是在這裡單擊確定。 |
| 這允許我們將一定比例的數據分配到不同的集合中。 |
| 這裡還有一些有用的附加選項，所以如果您正在教學並且希望所有學生都具有相同的分區，那麼隨機種子非常好。 |
| 所以這是之前使用的 |
| 分析，所以讓我們首先看一下 Y 列，即連續響應。 因此，如果我要擬合預測模型，一個自然的起點是擬合回歸模型，而 JMP 中的回歸是欠擬合模型。 |
| 我的回答是 Y，我會擬合……首先擬合一個僅主效應的模型。 |
| 我將在此驗證字段中輸入驗證，默認情況下，個性是標準最小二乘法。 但是如果您熟悉 JMP 和 JMP Pro，您就會知道個性下有很多不同的選項。 |
| 當我點擊運行時， |
| JMP 16 的一個變化是，如果我們通過預測圖或任何其他圖查看實際圖，請注意有一個點……這裡有些點帶有 V，而不是點。 |
| 這是為了表明這些點實際上是分配給驗證集的，所以我們基本上是在看， |
| 你知道，模型在周圍的隨機噪聲中預測得有多好，你可以看到存在某種程度的分散。 和 |
| 請記住，我們正在將我們的模型擬合到訓練數據中，並且我們正在看到它在驗證數據上的表現如何。 所以下面有一些統計數據。 因此，只要我們進行了驗證，您就會看到訓練和驗證集的一些額外統計數據。 |
| 我們可以看到這裡有幾個措施。 有 R Square，也有 RASE。 |
| 通常，當您將模型擬合到一組數據，然後將該模型應用於新數據時，它在新數據上的表現不會那麼好。 因此，我們可以看到驗證集的 R 平方較低，而 RASE（誤差）略高一些。 |
| 曾經......我們在預測分析器下看到的一件事 |
| 是那個通知嗎……注意總膽固醇和低密度脂蛋白在末端真的有點散開。 |
| 當我拖動 |
| 膽固醇的值，注意這個平均值的置信區間有多寬。 所以當我把它拖到低端時， |
| 它變得超寬，就像我將它拖到高端一樣。 事實上，每個預測變量的所有這些間隔都變得非常寬。 |
| 這有點超出了本次演講的範圍，但這是因為我們在這個地區實際上沒有數據或大量數據。 如果我……看一看，我就去 |
| 抓住這兩個變量，總膽固醇和低密度脂蛋白作為一個例子......對於膽固醇和低密度脂蛋白。 |
| 請注意，這些之間有很強的相關性。 我在這個地區沒有任何數據，我在這個地區也沒有任何數據。 |
| 因此，如果您曾經擬合過預測模型或任何類型的模型，您會看到這些波段真正呈扇形散開， |
| 這表明您的預測在該地區不會非常精確。 JMP Pro 中有一個新功能， |
| 稱為外推控制，如果這是一個問題，它可以警告你。 所以如果我把它拖出來， |
| 請注意，它告訴我，嘿，可能有外推；你的預測在這裡可能有問題。 如果我打開外推控制， |
| 請注意，它會截斷這些波段，它基本上是在說，你不能做出超出這些界限的預測。 這只是無效的。 |
| 所以這有點超出了這個範圍，但是如果您在預測分析器中看到呈扇形散開的波段， |
| 這通常是因為您的預測變量彼此相關，而且......可能是您沒有大量數據來對這些區域進行預測。 所以很高興意識到這一點。 |
| 好吧，回到手頭的任務，讓我們看看，我擬合了這個模型並縮小了模型，這很舒服，這是我的最終模型。 |
| 我將通過保存預測公式將此模型保存到我的數據表中。 您會看到它在數據表中添加了一個新列。 我剛剛建立了一個線性模型，所以它將公式保存到數據表中。 |
| 另一種方法是發布這個，我將把它發佈到公式庫。 |
| 所以，最終，我要做的是擬合幾種不同類型的模型（我會繼續關閉這個），我想比較這些模型，以便我可以使用它...... |
| 我可以通過保存公式並進行分析、預測建模、模型比較來做到這一點，我稍後會這樣做，或者將其保存到公式庫中。 |
| 將它保存到公式庫的好處是現在我有了評分代碼。 因此，例如，如果這是我想應用於新數據的最終模型， |
| 我可以復制這個腳本，然後我可以應用它來為新數據評分 |
| （我不會在這裡這樣做），或者如果我希望能夠在生產環境中使用此模型，我可以使用各種不同的語言創建代碼。 |
| 所以這是一個簡單的線性模型。 如果我想擬合不同類型的模型怎麼辦？ |
| 我可以在擬合模型中擬合更複雜的模型。 |
| 所以我可以擬合一個廣義回歸模型，也許我想擬合一個 Lasso 模型，所以我會點擊 go here。 |
| 在廣義回歸中有一些模型比較，但是假設我想保存這個模型，對吧。 |
| 我不是我不會太注意這裡的細節，但我會保存這個。 我要把預測公式保存出來。 也許我會繼續發布那個。 |
| 去這裡，發布這個。 |
| 我可能會重複這一點，我可能適合一個有交互的模型。 然後我可能會繼續擬合神經網絡模型或分區模型，基於樹的模型，如果我有分類響應，這將適合 |
| 一個分類樹。 如果我有一個連續的響應，那將適合回歸樹。 我可能適合自舉森林，它是較小樹或增強樹的集合，因此我可以適合幾種不同類型的模型。 |
| 一旦我得到我的模型並將公式保存出來或發佈到公式庫，我想找到最準確的預測模型。 |
| 所以我將使用模型比較。 |
| 我只是將驗證添加為我的 by 變量， |
| 因為我希望能夠看到模型在驗證數據上的表現如何。 只需使用這兩個模型並查看驗證數據（我將收起訓練數據）， |
| 我可以看到最小二乘模型的平均誤差較低，而最小二乘模型的 RASE 略高一些。 |
| 我的 R 方格對於廣義 Lasso 來說要好一些。 |
| 因此，如果我們有 JMP 15 Pro 或 JMP Pro 15，或者如果我們不使用模型篩選，這就是我們可能進行預測建模的典型方式。 模型篩選的作用是讓我們一步完成所有這些工作。 所以我將進入預測建模並啟動模型篩選。 |
| 模型篩選，如果你看這裡的角落，基本上可以讓我們啟動每個對我們擁有的數據類型有意義的平台 |
| 並自動運行這些模型。 所以我們不必進去從菜單中選擇模型，我們可以從這裡自動運行它。 所以我要擬合相同類型的模型，所以這裡是一個只有主效應的模型。 |
| 這些是我的 X。 我將使用相同的驗證。 |
| 這裡有很多選項，我們稍後會討論，我將單擊“確定”。 請注意，我有一個決策樹、引導森林、提升樹、K 個最近鄰。 |
| 默認情況下，樸素貝葉斯關閉，我可以擬合神經模型。 |
| 這裡底部還有其他人。 請注意，獲得了 XGBoost，因此 XGBoost 可用，因為我安裝了一個插件，即 XGBoost 插件。 |
| 所以這是一個訪問開源庫的免費插件，如果你已經在 JMP Pro 中安裝了它，那麼你可以從模型篩選平台啟動它。 所以我將把它關掉，然後單擊“確定”。 |
| 所以它正在運行模型，它就在那裡。 所以它出去了，它實際上跳過了一步，對吧。 它會自動為我運行這些模型中的每一個。 |
| 而且，您可以使用一些模擬來確定調整參數的最佳起始值，因此我們適合所有這些模型。 |
| 它報告了每個模型的驗證訓練和驗證統計數據。 現在要弄清楚這些模型中哪一個是最好的， |
| 選擇優勢。 選擇主導基本上所做的是在可用指標上創建前沿，所以我在這裡點擊選擇主導。 |
| 並發現對於這些數據，最好的模型是神經增強模型，然後該模型的詳細信息在神經下面。 |
| 因此，所有細節實際上只是啟動平台並捕獲所有信息，就在這個平台內。 |
| 所以所有的細節都在這裡用於神經，所以它基本上是運行一個 TanH，三個節點被提升。 我可以看到訓練統計數據和驗證統計數據，如果我希望能夠看到實際擬合的模型， |
| 這是底層模型。 |
| 對，所以這是……所以這是我表現最好的模型。 如果我想仔細看看這些模型，我可以從這裡探索它們，這裡有一些選項，我可以通過預測圖查看實際情況。 |
| 而且我可以比較這些模型，所以正如預期的那樣，我們的訓練數據中的變化比驗證數據和實際預測圖中的變化要小一些。 如果我想探索這個，我可以關閉某些模型。 |
| 我也可以啟動分析器，如果你有 16.1，那麼分析器是一個選項。 如果您有 16.0，這實際上是一個隱藏選項，我再次為此而在 Pro 中。 分析器很好，因為它允許我們探索我們適合的模型，所以我選擇了三個模型。 |
| 讓我把它放大一點。 |
| 也許沒那麼大。 |
| 所以我有一個引導森林，它是一個基於樹的模型，它基本上將一堆不同樹的結果加在一起。 |
| 我有一個增強模型，神經模型非常好地拾取非線性行為。 我有 Lasso 模型，它本質上只是一個線性模型。 |
| 你可以很清楚地看到這些模型。 注意廣義套索，對，我得到了 BMI 之間的這種線性關係 |
| 和回應。 隨著神經增強，我可以看到有一些曲率。 我可以用 LTG 和引導森林在這裡看到它，我可以看到我有這個小階躍函數，對，所以它實際上是近似於我們這裡的這種非線性關係。 |
| 所以如果我們決定神經增強模型是最好的， |
| 然後我們基本上可以啟動模型，從這裡啟動它，我們可以將公式保存到數據表中，也可以將它們發佈到公式庫進行部署。 |
| 所以它節省了大量時間，並且仍然讓我們能夠探索我們的模型。 |
| 如果我們有一個明確的回應呢？ 所以請記住，我們有 Y 二進製文件。 我們可以以同樣的方式使用 Y 二進製文件，所以我要去分析，然後再次調用模型篩選，然後我會點擊召回，而不是 Y，我將使用 Y 二進製文件。 |
| 我們可以在其中運行相同類型的模型。 如果某種類型的模型沒有意義，它就不會運行它。 因此，例如，最小二乘回歸在這裡沒有意義，因此它實際上不會運行它。 |
| 這裡有幾個選項。 如果我選擇設置隨機種子，如 1、2、3、4、5，這將給我可重複性，如果我從細節啟動模型， |
| 它會......它會產生相同的結果。 我在這裡有一些額外的選項進行驗證。 |
| 所以事實證明，在很多情況下，使用訓練、驗證和測試的經典劃分 |
| 實際上並不是最好的，尤其是在小型數據集中。 所以我可能想改用 K 折交叉驗證，我們也有嵌套交叉驗證。 |
| 您可以重複進行 K 折驗證。 所以這是一個不錯的選擇，特別是如果你有一個小數據集。 |
| 底部還有一些額外的選項。 因此，您可能想要添加雙向交互或二次方程。 |
| 如果您知道您缺少值，那麼您可能需要使用信息缺失。 附加方法適用於附加的廣義回歸方法。 如果您在 JMP 17 早期採用者計劃中，您會注意到菜單對話的這一部分 |
| 或者模型啟動對話已經重新組織了一點，使其流暢一點。 對，所以我將在這裡使用默認設置和隨機種子，然後單擊“確定”。 |
| 所以它正在運行所有這些模型。 同樣，它非常非常快。 好吧，現在，因為我有一個二元響應，我有一些額外的指標。 我有兩個 |
| R平方測量，我得到了錯誤分類率，曲線下的面積，RASE。 請記住，這與均方根誤差有關。 同樣，我將單擊選擇顯性，它再次發現神經增強，但情況並非總是如此。 |
| 如果我選擇我認為的頂級模型，紅色三角形下的選項，您可以查看這些的 ROC 曲線，並且還有我可以打開和關閉模型的複選標記。 讓我來 |
| 選擇這個。 我最喜歡的新功能之一（也可從模型比較平台和 JMP 17 中獲得）正在添加到任何進行分類建模的建模平台中，這就是所謂的決策閾值。 |
| 我認為這是我們在 JMP 16 中添加的最強大的東西之一……其中之一。 |
| 因此，在選擇了這三個模型後，它給了我這三個模型的分類摘要。 |
| 我要把它放大一點，這樣我們就能看得更清楚一點。 |
| 因此，我們閱讀本文的方式是，如果我們只看一下神經增強，它向我們展示了神經增強的兩個類別……神經增強，我們正在預測高概率。 所以這些是高的擬合概率。 |
| 截止值為 0.5，因此低於 0.5 的任何值都被歸類為低；任何高於 0.5 的東西都被歸類為高。 |
| 所以，如果我們看這裡的這個紅色塊，這些都是被歸類為低但實際上是高的點，我們可以在這裡看到這個數字。 其中有 29 個，所以這些是假陰性。 |
| 下面的紅框，這些被歸類為高， |
| 但它們實際上是低點。 所以這些是誤報，這些人在這裡。 |
| 底部是一些指標，一些圖表來幫助我們理解這一點，並幫助我們做出一些決定。 還有一些指標，所以我們可以在這裡看到相同的值，29 個假陰性，17 個假陽性。 |
| 我們也可以看到真正的正面和負面。 我真正喜歡的是它讓我能夠探索不同的截止點。 |
| 因此，例如，根據您的建模目標，我們可能對具有高敏感性率感興趣，但我們真的不希望具有低特異性率。 |
| 敏感率，這裡的這個鍵真的很有幫助，敏感是真陽性率；特異性是真陰性率。 |
| 你知道，我們能找到一個實際上在這兩個方面都做得更好的截斷嗎？ 通過單擊和拖動，您可以更改分類的截止值 |
| 並嘗試找到一個做得更好的切斷。 例如，在 0.26 處，我將在這裡輸入一個很好的四捨五入數字，在 0.25 的截止值處，靈敏度更高，同時仍保持高特異性。 |
| 我藏起來的圖表在解釋這些數字方面也非常有用，因此它們為我們提供了錯誤分類的總體情況 |
| 按閾值，按部分，然後是真正的分類。 所以如果我想找到一個平衡特異性和敏感性的點，我可以看看這張圖。 |
| 所以這些頂線是敏感性，虛線是特異性，是否有一個點我仍然高於某個敏感性值... |
| 敏感性，我的特異性在哪裡保持高？ 我們可以……我們可以平衡這些。 所以如果我看這裡，我可以看到這是兩條線交叉的點。 |
| 如果我們遇到數據不平衡的情況，這將變得非常重要。 所以讓我們看另一個例子。 所以我要結束這個 |
| 不保存這個。 讓我關閉公式庫，順便說一下，公式庫是獨立的，所以基本上它與我們使用的數據集無關。 因此，獲取模型然後將其應用於新數據變得非常容易。 我將繼續並關閉它。 |
| 所以下一個數據集的場景，稱為信用卡營銷的數據，場景是 |
| 我們正在做一些關於接受信用卡優惠的市場調查。 並且響應被接受。 需要注意的是，只有 5.5% 的報價， |
| 使用歷史數據，已被接受。 這實際上是一個設計實驗，我們正在研究不同的獎勵，不同的郵件類型， |
| 不同的財務信息，但設計的實驗是獎勵和郵件類型。 我們將專注於這個特定的建模目標。 我們希望確定最有可能接受信用卡優惠的客戶。 |
| 通過這樣做，我們將嘗試 |
| 將模型應用於新客戶，並根據這些新客戶的分類，我們將決定是否向他們發送報價。 |
| 因此，如果客戶不太可能接受該報價，我們將不會將其發送給他們。 如果他們很有可能，那麼我們將把它發送給他們。 |
| 情況就是這樣，回到 JMP，我們已經接受了報價。 在我談論數據的同時，我將繼續在這裡運行一個保存的腳本。 |
| 我們有 10,000 個觀測值，所以這需要更長的時間，現在它正在運行這些模型，我只是在這裡使用默認設置。 所以我接受了offer， |
| 獎勵類型是航空里程、現金返還或積分。 郵件類型是信件或明信片。 然後其餘的是銀行業務......歷史銀行信息和一些人口統計信息。 |
| 您會看到它正在運行支持向量機。 支持向量機可能會有點慢，尤其是在大數據集中，事實上，如果我們有超過 10,000 個觀察值，它默認不會運行。 |
| 我們可以看到我們有平均餘額。 數據被請求用於訓練和驗證，JMP 將自動將零識別為訓練，將零識別為驗證。 對，所以它運行了所有模型。 |
| 如果我選擇顯性，我們可以看到它選擇了逐步擬合和決策樹。 |
| 但我想指出這個錯誤分類率。 |
| 所以這是......這真的是我們在大海撈針時經常看到的東西，對吧。 如果我看一下這些數據，我將運行這些數據的分佈...... |
| 讓我把它放大一點，這樣我們就能看得清楚一點，對吧。 所以我只是在查看驗證數據，請注意 |
| 6.25, 6.2, 6.3% |
| 的價值是肯定的，他們回應了報價，這正是我們在這裡得到的錯誤分類率。 |
| 為了更好地理解這一點，我將打開決策閾值。 |
| 讓這個更大一點。 |
| 請注意，預測的“是”全為零，這是因為預測的概率都相對較低。 |
| 請記住，在經典混淆矩陣中，截止值是 0.5，如果您有不平衡的數據，那麼在這種情況下，您不太可能將很多觀察分類為是。 |
| 當我點擊並拖動時， |
| 我到達了第一組點，然後我開始看到一些預測的肯定。 事實上，我會打開指標。 |
| 當您獲得高度不平衡的數據時，預測的概率可能非常低。 |
| 因此，擁有這個滑塊可以讓您探索截止 |
| 這會影響您的敏感性和特異性。 所以在這種情況下，我們可能會說，好吧，如果我們要發送...... |
| 我將在這裡輸入 0.05...如果我們要向預測概率發送信用卡報價，則預測概率的前 5% 是的，對，我們的敏感性 |
| 兩個模型之間大約是 0.72、0.75，我們的特異性仍然很高。 所以有了這個……這個截斷，這個滑塊，可以讓你從你的模型中獲得更多有用的信息。 |
| 所以，所以如果...在 0.5，我可以看到我得到了一些真正的肯定。 我也得到了很多誤報，對，所以這裡有一個權衡。 |
| 現在，在這種情況下，您可能還會產生一些財務影響。正確的。 所以考慮這個是有道理的...... |
| 利潤矩陣。 還有一個按鈕。 |
| 我點擊這個。 |
| 利潤矩陣是特定列的列屬性，我們可以設置 |
| 那個從概率閾值中截斷的值，作為列屬性，或者我們也可以插入值。 你知道，在經典場景中，它可能要花費 5 美元 |
| 如果我們選擇向某人發送報價。 |
| 如果他們回應提議， |
| 也許它值 100 美元。 因此，如果我們選擇向某人發送報價，但他們沒有回應，我們將損失 5 美元。 |
| 如果我們選擇向某人發送報價，並且他們確實做出了回應，那麼我們平均可以賺到 100 美元。 也許失去了一些機會，也許我們說我們損失了 100 美元 |
| 如果他們不回應。 通常這樣做的代價是，這只是留空，我們只是為“是”插入值。 如果我應用它並單擊確定， |
| 然後添加了一些新值，對。 所以，現在我們有一個利潤矩陣，如果我查看我們的指標，那麼我們可以看到預測的利潤。 所以 |
| 平均而言，對於這個數據集中的每個客戶，如果我們應用決策樹模型，這將是 1.50 美元，如果我們應用逐步模型，則會少一點。 |
| 因此，在這種數據不平衡的情況下，當存在一些潛在成本時，使用利潤矩陣是有意義的。 如果我們沒有潛在成本， |
| 然後這個滑塊可以幫助我們選擇一個可以滿足我們建模目標的截止點，好吧。 它可以是最大限度地提高靈敏度、最大限度地提高特異性或其他方式。 |
| 這就是本質上的模型篩選。 |
| 讓我關閉它，然後回到幻燈片。 |
| 所以我們已經討論了一些關於預測建模以及我們所說的預測建模的含義。 |
| 我們已經看到，您可以使用驗證輕鬆擬合和比較許多模型，而模型篩選就是為了簡化此工作流程。 |
| 如果需要，您仍然可以出去擬合單個模型，但模型篩選允許您在一個平台上同時擬合所有模型，然後比較這些模型。 |
| 有關更多信息，有許多不同類型的可用指標和許多用於分類數據的指標。 有一個真的很好 |
| 維基百科中有關敏感性和特異性以及所有...所有各種指標的頁面，我發現這非常有用，因為我試圖深入研究並了解如何解釋所提供的指標。 |
| 一般有很多關於預測建模的資源，還有 JMP Pro 中的模型篩選 |
| 在我們的……在我們的用戶社區中。 我將再次參考 STIPS。 STIPS 是我們解決工業問題的統計思維課程。 |
| 第七個模塊是對預測建模的介紹，所以如果您是預測建模的新手，我建議您檢查一下。 還有一個博客使用發佈在我們社區上的糖尿病數據。 最後，你知道，任何新功能 |
| 將傾向於通過迭代改進。 JMP Pro 16 中引入了模型篩選。 我們已經在開發 JMP Pro 17，並且已經進行了很多改進。 |
| 因此，如果您有興趣了解即將發生的事情，它為您提供了提供反饋的機會， |
| 您知道，請與我們聯繫以加入早期採用者計劃，我們將為您進行設置。 感謝您抽出寶貴的時間，希望您能享受會議的其餘部分。 |
