揚聲器 | 成績單 |
| 米婭·斯蒂芬斯 | 可能用不了 45 分鐘。 |
| 好吧，我們很好。 |
| 該死的，為什麼那個文本剛剛出現。 |
| 傑森威金斯，JMP | 你看到了嗎，我只是想問我已經開始錄音了，但有人會進來，把開頭剪到結尾。 |
| 米婭·斯蒂芬斯 | 我會說你在錄音。 |
| 傑森威金斯，JMP | 是的。 |
| 如果你願意，我可以停下來。 |
| 嗯。 |
| 傑森威金斯，JMP | 好了開始錄音。 |
| 米婭·斯蒂芬斯 | 大家好，我叫 MIA Stevens，是一名 JMP 產品經理。 |
| 而今天我們要說的是在JMPed 16 或JMP pro 16 模型屏幕篩選中首次出現的一項新功能。 |
| 實際上，讓我重新開始。 |
| 傑森威金斯，JMP | 錄音又開始了。 |
| 米婭·斯蒂芬斯 | 嗨，我是米婭·斯蒂芬斯。 |
| 我是一名 JMP 產品經理。 而今天我們要談談模型篩選。 模型篩選是 JMP Pro 16 中的一個新平台，它允許您同時擬合多個模型，從而簡化您的預測建模工作流程。 |
| 因此，我們將首先談談我們所說的預測建模的含義，這與更經典的建模或解釋性建模形成對比。 |
| 我們將了解您可以在 JMP Pro 中構建的模型類型，並稍微討論一下預測建模工作流程。 然後我們將了解如何使用模型篩選來簡化此工作流程。 |
| 我們將看到幾個用於比較競爭模型的不同指標，我們將在 JMP Pro 中使用兩個不同的示例，我將使用 JMP Pro 16.1。 |
| 那麼首先，我們所說的預測建模是什麼意思？ |
| 我們中的大多數人都在大學或學院或貴公司上過統計學課程，通常，當我們......當我們學習統計建模時，它是解釋性建模。 |
| 我們的意思是，你有興趣研究一些 Y 變量，一些感興趣的響應，作為幾個 X 或輸入變量的函數。 |
| 所以我們可能對識別重要變量感興趣，也許我們正處於解決問題的情況下，我們想嘗試識別最重要的 X，最重要的潛在原因。 |
| 因此，作為解釋性建模的結果，我們或許能夠確定 X1、X3 和 X6 是 Y 變化的潛在原因，這可能會引導您使用設計的實驗進一步研究這些變量。 |
| 我們可能也對量化關係的性質感興趣，因此，例如，我們可能有興趣了解 Y（我們的反應）作為 X 的函數平均如何變化。 |
| X 的一個單位變化與 Y 的五個單位變化相關聯。 |
| 所以這就是我們在談論建模、統計建模或回歸分析時通常會想到的。 |
| 現在，相比之下，預測建模是關於準確預測或分類未來結果。 |
| 因此，在經典建模中，我們通常對均值、總體均值進行陳述。 在預測建模中，我們想知道接下來會發生什麼。 那麼，例如，這個客戶會流失嗎？ 請問這位顧客 |
| 接受信用卡優惠？ 機器會壞嗎？ 所以我們有興趣預測接下來會發生什麼。 因此，我們對預測的準確性、準確性感興趣。 |
| 在預測建模中，我們傾向於擬合和比較許多不同的可能模型，這涉及或可能涉及一些非常先進的技術。 |
| 其中一些技術可能不太容易解釋。 所以如果你想到神經網絡，神經網絡通常被認為有點像黑盒子。 |
| 對於這些更複雜的模型，過度擬合可能會成為一個問題，我所說的過度擬合的意思是我們傾向於……我們可以擬合一個比我們需要的複雜得多的模型。 |
| 所以在預測建模中，我們傾向於使用模型驗證。 我們使用模型驗證來防止過度擬合和欠擬合。 模型驗證涉及的是拆分我們的數據，拆分數據的一種典型方法是保留我們的一些數據...... |
| 好吧，我們的一些數據用於訓練我們的模型，我們的一些數據被保留下來，我們可能還有第三組數據也被保留下來。 我們使用這些數據的方式是我們使用訓練數據來擬合我們的模型 |
| 然後我們會看到模型在驗證數據上的表現如何。 第三步可能會用到，這通常被稱為測試集， |
| 因為驗證...JMP 中的驗證數據通常用於控制模型的大小。 所以我們將在幾分鐘內看到這一點。 |
| 我不會詳細介紹驗證，但如果這對您來說是一個相對較新的主題，我從我們的免費在線課程 STIPS 借來的幻燈片末尾有一些幻燈片，它說明了為什麼驗證是重要的。 |
| 在 JMP Pro 中，有許多不同類型的預測模型可供您使用。 |
| 其中一些可從擬合模型中獲得，因此如果您有連續響應，則可以擬合線性回歸模型。 如果你有一個明確的反應，你可以適應 |
| 邏輯回歸模型。 這可以是序數或多項式或二項式回歸模型。 您可以擬合廣義線性模型或懲罰回歸模型，如彈性網、套索和嶺回歸。 |
| 有一個包含許多項目的預測建模菜單，例如神經網絡。 您可以在 JMP Pro 中使用神經網絡 |
| 兩層，有多個節點，多個激活函數，帶有提升。 通常在 JMP 中， |
| 您可以使用同一平台為分類響應或連續響應擬合模型。 你可以適合各種不同類型的樹，如果你有一個分類樹 |
| 分類響應，回歸樹，如果你有一個連續的響應。 您還可以擬合一些更複雜的樹類型，例如 bootstrap 森林和提升樹。 你可以看到還有其他可用的方法。 |
| 並且在多元方法下有幾個預測建模平台，所以判別分析和偏最小二乘法。 所以這絕不是一個詳盡的列表，我會指出偏最小二乘法也可以從擬合模型中獲得。 |
| 問題是，為什麼我們需要這麼多模型？ 在經典解釋性建模中，我們通常學習回歸分析，但顯然有很多很多類型的模型可供我們擬合。 |
| 嗯，原因是沒有一種模型總是最好的。 最好的模型通常取決於數據的結構。 |
| 你有多少變量，無論你有純粹的連續 Xs 還是你有連續和分類變量的混合，如果你有非線性行為。 |
| 因此，沒有哪一種模型始終是準確預測的最佳模型。 所以我們通常會嘗試幾種不同的模型，然後選擇效果最好的模型或組合模型。 |
| 我們在更廣泛的分析工作流程的背景下考慮預測建模。 |
| 當然，我們正在努力解決某些類型的問題，業務問題或工程問題。 |
| 但是我們編譯數據，這可能是來自各種不同來源的數據，我們需要對這些數據進行配對，我們需要整理數據。 |
| 我們探索並可視化數據，以更多地了解我們可用的內容和額外的數據需求。 預測建模方面是分析數據和構建模型，在我看來，這才是真正有趣的地方。 |
| 因此，JMP 中的經典工作流程是您通過驗證來擬合模型。 |
| 然後將預測公式保存到數據表中，或者將其發佈到公式庫中，稍後我們會看到。 |
| 然後你適合另一個模型。 因此，您可以從回歸模型開始，然後擬合基於樹的模型。 然後你重複這個並且你適合幾種不同類型的模型。 |
| 然後使用模型比較來評估每個模型在驗證數據上的性能。 所以請記住，我們使用訓練數據來擬合模型，但是為了比較模型以查看哪個預測最準確，我們使用驗證數據或測試數據。 |
| 我們選擇最好的模型或模型的最佳組合。 |
| 然後我們部署模型，這是一種典型的工作流程。 |
| 現在，通過模型篩選，模型篩選的作用是簡化這一過程。 因此，您可以在模型篩選平台中安裝所有需要的模型， |
| 使用驗證數據比較這些模型，選擇最佳模型。 您可以探索模型，甚至可以從模型篩選中擬合新模型，然後您可以輕鬆部署最佳模型。 |
| 因此，為了更深入地了解這一點，我們將使用幾個示例，第一個示例您可能很熟悉， |
| 糖尿病數據，這些都在示例數據目錄中。 所以情況是研究人員希望能夠預測疾病進展的速度 |
| 進行基線測量後一年。 所以有 10 個基線變量和 442 名患者，我們將在這裡查看兩種類型的反應。 響應 Y 是衡量一年內疾病進展程度的定量指標。 |
| 還有一個二元反應，高/低，高意味著疾病進展率高，低意味著進展率低。 |
| 這裡的建模目標是預測最有可能出現高疾病進展率的患者，以便採取糾正措施。 |
| 因此，最終，我們希望能夠做的是建立一個模型，使我們能夠根據他們的人口統計變量和我們在這裡擁有的基線信息對未來的患者進行分類。 所以我們希望能夠 |
| 準確預測他們是否會出現高疾病進展率，以便我們隨後採取行動。 好的，這就是場景。 |
| 在我們進入 JMP 之前，我想談談我們如何決定哪個模型預測最好。 |
| 我提到我們為此使用驗證或測試集，我們可以使用幾種不同類型的度量。 |
| 對於連續響應，我們使用 RMSE，即主平方根誤差，或 RASE，它是相關度量，均方根誤差，這是預測誤差，這裡越低越好。 |
| 我們還可以使用 AAE（平均絕對誤差）、MAD（平均絕對偏差）或 MAE，對於這些，越低越好。 所以這些是……這些是……這些是平均誤差度量。 |
| 然後，R 平方，對於真正衡量擬合優度的 R 平方，越高越好。 |
| 所以我們傾向於使用這些來進行連續響應；還有許多其他類型的措施可供使用。 |
| 對於分類響應通常對錯誤分類或錯誤率或準確率感興趣，我們可能對精度感興趣。 |
| 還有其他指標，曲線下面積，我們在 ROC 曲線中看到的，靈敏度和特異性，這些有幾種不同類型的名稱。 |
| 當我們有不平衡的數據時，我們在模型篩選中添加了一些其他措施。 有一個 F1 分數和 MCC，這是馬修斯相關係數，這是一個承擔... |
| 或採用負一和正一之間的某些值的指標，它擅長衡量何時獲得分類數據，數據在所有四個可能類別（真陽性、真陰性、假陽性）中的分類情況和假陰性。 |
| 那麼讓我們……讓我們繼續討論 JMP。 |
| 我會打開數據。 |
| 所以這些是……我會放大一點，這些又是糖尿病數據。 |
| 如果你想玩弄這些數據，有一個使用這些數據的博客，你也可以在幫助下找到它們，然後樣本數據。 |
| 同樣，我們有一個響應 Y，讓我把它放大一點，這是我們對疾病進展的持續衡量。 然後我們有一個結果為低或高的二進制 Y，我們將接受它……我們將逐一查看。 |
| 那麼首先，讓我們看看您是否...如果您有 JMP 15 或者如果您沒有使用模型篩選，如果您有 JMP Pro，您將如何擬合預測模型來預測 Y，即連續響應？ |
| 請注意，我們有幾個人口統計變量。 |
| 因此，其中有 10 個，並且有一個驗證列，驗證列將我們的數據劃分為訓練數據和驗證數據。 |
| 所以我們將使用訓練數據來擬合我們的模型，然後我們將看到當我們將模型應用於驗證數據時模型的性能如何。 |
| 要創建此列，請使用分析、預測建模、製作驗證列下的實用程序，這使我們能夠創建驗證列。 |
| 您可能有要用作分層列的變量，因此，例如，您要確保數據在整個 |
| 驗證集。 我將在這裡單擊“確定”。 |
| 這使我們能夠將一定比例的數據分配到不同的集合中。 |
| 這裡還有一些有用的附加選項，所以如果您正在教學並且希望所有學生都具有相同的分區，那麼隨機種子非常好。 |
| 所以這是在之前使用的 |
| 分析，所以讓我們首先看一下 Y 列，即連續響應。 因此，如果我要擬合預測模型，一個自然的起點就是擬合回歸模型，而 JMP 中的回歸是在擬合模型下進行的。 |
| 我的回答是 Y，我會擬合...從擬合僅主效應模型開始。 |
| 我將在此驗證字段中輸入驗證，默認情況下，個性是標準最小二乘法。 但如果您熟悉 JMP 和 JMP Pro，就會知道個性下有很多不同的選項可用。 |
| 當我點擊運行時， |
| JMP 16 中的一個變化是，如果我們通過預測圖或任何其他圖查看實際圖，請注意有一個點……這裡有些點帶有 V，而不是點。 |
| 這是為了表明這些點實際上已分配給驗證集，所以我們基本上是在看， |
| 你知道，模型在周圍的隨機噪聲中的預測有多好，你可以看到存在一定程度的分散。 和 |
| 請記住，我們正在將我們的模型擬合到訓練數據上，並且我們看到它在驗證數據上的表現如何。 所以下面有一些統計數據。 因此，只要我們進行了驗證，您就會看到訓練集和驗證集的一些額外統計數據。 |
| 我們可以看到這裡有一些措施。 有 R Square，也有 RASE。 |
| 通常，當您將模型擬合到一組數據，然後將該模型應用於新數據時，它在新數據上的表現不會很好。 所以我們可以看到驗證集的 R 平方較低，而錯誤 RASE 稍高一些。 |
| 曾經......我們在預測分析器下看到的一件事 |
| 那個通知是……注意總膽固醇和低密度脂蛋白在末端確實呈扇形分佈。 |
| 當我拖動 |
| 膽固醇的值，請注意這個平均值的置信區間有多寬。 所以當我把它拖到低端時， |
| 它變得超寬，就像我將它拖到高端一樣。 事實上，每個預測變量的所有這些間隔都變得非常寬。 |
| 這有點超出了本次談話的範圍，但這是因為我們實際上沒有該地區的數據或大量數據。 如果我拿...看一看，我就去 |
| 抓住這兩個變量，總膽固醇和低密度脂蛋白作為一個例子……膽固醇和低密度脂蛋白。 |
| 請注意，它們之間存在很強的相關性。 我沒有這個地區的任何數據，我也沒有這個地區的任何數據。 |
| 因此，如果您擬合預測模型或任何類型的模型，您會看到這些波段真的呈扇形展開， |
| 這表明您的預測在該地區不會非常準確。 JMP Pro 中有一項新功能， |
| 稱為外推控制，如果這是一個問題，它可以警告你。 所以如果我把它拖出來， |
| 請注意，它告訴我，嘿，有可能進行推斷；你的預測在這裡可能有問題。 如果我打開外推控制， |
| 請注意，它截斷了這些波段，它基本上是在說，你不能做出超出這些範圍的預測。 這是無效的。 |
| 所以這有點超出了這個範圍，但是如果你在你的預測分析器中看到呈扇形展開的波段， |
| 這通常是因為您的預測變量彼此相關，並且……可能是您只是沒有足夠的數據來對這些區域進行預測。 所以意識到這一點是件好事。 |
| 好吧，回到手頭的任務，讓我們看看，我適合這個模型並減少模型，這是我的最終模型。 |
| 我將通過保存預測公式將此模型保存到我的數據表中。 您會看到它向數據表添加了一個新列。 我剛剛建立了一個線性模型，所以它把這個公式保存到數據表中。 |
| 另一種方法是發布它，我將把它發佈到公式倉庫。 |
| 所以，最終，我要做的是擬合幾種不同類型的模型（我將繼續並關閉它）並且我想比較這些模型以便我可以使用它...... |
| 我可以通過保存公式並進行分析、預測建模、模型比較來做到這一點，我稍後會這樣做，或者將它保存到公式庫中。 |
| 將它保存到公式倉庫的好處是現在我有了評分代碼。 因此，例如，如果這是我想要應用於新數據的最終模型， |
| 我可以復制這個腳本，然後應用它來對新數據進行評分 |
| （我不會在這裡這樣做），或者如果我想在生產環境中使用這個模型，我可以用各種不同的語言創建代碼。 |
| 所以這是一個簡單的線性模型。 如果我想擬合不同類型的模型怎麼辦？ |
| 我可以在擬合模型中擬合更複雜的模型。 |
| 所以我可以擬合一個廣義回歸模型，也許我想擬合一個套索模型，所以我會點擊這裡。 |
| 在廣義回歸中有一些模型比較，但是假設我想保存這個模型，對吧。 |
| 而且我不是我沒有太注意這裡的細節，但我要保存這個。 我要把預測公式存出來。 也許我會繼續發布那個。 |
| 去這裡，發布這個。 |
| 我可能會重複這一點，我可能會擬合一個具有交互作用的模型。 然後我可能會繼續擬合一個神經網絡模型或分區模型，一個基於樹的模型，如果我有一個分類響應，這將適合 |
| 分類樹。 如果我有一個連續的響應，那將適合回歸樹。 我可能適合引導森林，它是較小的樹或增強樹的集合，因此我可以適合幾種不同類型的模型。 |
| 一旦我得到我的模型並將公式保存或發佈到公式倉庫，我想找出哪個模型預測最準確。 |
| 所以我要使用模型比較。 |
| 我只是將驗證添加為我的變量， |
| 因為我希望能夠看到模型在驗證數據上的表現如何。 只需使用這兩個模型並查看驗證數據（我將收起訓練數據）， |
| 我可以看到最小二乘模型的平均誤差較低，而最小二乘模型的 RASE 略高。 |
| 而我的 R 方塊對於廣義套索要好一些。 |
| 如果我們有 JMP 15 Pro 或 JMP Pro 15，或者如果我們不使用模型篩選，那麼這就是我們進行預測建模的典型方法。 模型篩選的作用是讓我們一步完成所有這些。 因此，我將進入預測建模並啟動模型篩選。 |
| 模型篩選，如果你往下看這裡的角落，基本上可以讓我們啟動對我們擁有的數據類型有意義的每個平台 |
| 並自動運行這些模型。 所以我們不必進入並從菜單中選擇模型，我們可以從這裡自動運行它。 所以我要擬合相同類型的模型，所以它是這裡的主要效果模型。 |
| 這些是我的 X。 我將使用相同的驗證。 |
| 這裡有很多選項，我們稍後會討論，我將單擊“確定”。 請注意，我有一個決策樹、bootstrap 森林、提升樹、K 個最近的鄰居。 |
| 默認情況下樸素貝葉斯是關閉的，我可以擬合一個神經模型。 |
| 底部還有其他人。 請注意，獲得了 XGBoost，因此 XGBoost 可用，因為我安裝了一個插件，即 XGBoost 插件。 |
| 因此，這是一個訪問開源庫的免費插件，如果您已將其安裝在 JMP Pro 中，則可以從模型篩選平台啟動它。 所以我打算把它關掉，然後單擊“確定”。 |
| 所以它正在運行模型，就在那裡。 所以它出去了，實際上是跳過了一步，對吧。 它會自動為我運行這些模型中的每一個。 |
| 而且，您可以使用一些模擬來確定調整參數的最佳起始值，因此我們適合所有這些模型。 |
| 它會報告每個模型的驗證訓練和驗證統計數據。 現在要找出這些模型中哪一個是最好的， |
| 選擇主導。 select dominant 基本上所做的是在可用指標之間創建一個前沿，所以我在這裡選擇了 select dominant。 |
| 並發現對於這些數據，最好的模型是神經增強模型，然後該模型的詳細信息在神經網絡下。 |
| 因此，所有細節實際上只是啟動平台並捕獲所有信息，就在這個平台內。 |
| 所以這裡的所有細節都是針對神經網絡的，所以它基本上運行 TanH，其中三個節點得到提升。 我可以看到訓練統計數據和驗證統計數據，如果我想看到實際適合的模型， |
| 這是基礎模型。 |
| 對，所以這是……所以這是我表現最好的模型。 如果我想仔細看看這些模型，我可以從這裡探索它們，這裡有一些選項，我可以通過預測圖查看實際情況。 |
| 我可以比較這些模型，所以正如預期的那樣，我們的……訓練數據的變化比驗證數據和預測圖的實際變化要少一些。 如果我想探索這個，我可以關閉某些模型。 |
| 我還可以啟動探查器，如果你有 16.1，探查器是一個選項。 如果你有 16.0，它實際上是一個隱藏選項，我再次為此選擇專業版。 探查器很好，因為它允許我們探索適合的模型，所以我選擇了三個模型。 |
| 讓我把它放大一點。 |
| 也許沒有那麼大。 |
| 所以我有一個引導森林，它是一個基於樹的模型，它基本上將一堆不同樹的結果加在一起。 |
| 我有一個提升模型，神經模型真的很好地拾取了非線性行為。 我有套索模型，它本質上只是一個線性模型。 |
| 你可以很清楚地看到這些模型。 注意廣義套索，對，我在 BMI 之間有這種線性關係 |
| 和回應。 隨著神經增強，我可以看到有一些曲率。 我可以在這裡用 LTG 和引導森林看到它，我可以看到我有這個小階梯函數，對，所以它實際上近似於我們這裡的非線性關係。 |
| 所以如果我們決定神經增強模型是最好的， |
| 然後我們基本上可以啟動模型，從這裡啟動它，我們可以將公式保存到數據表中，或者我們可以將它們發佈到公式庫中進行部署。 |
| 所以它節省了大量時間，並且仍然讓我們能夠探索我們的模型。 |
| 如果我們有明確的回應怎麼辦？ 所以請記住，我們有 Y 二進制。 我們可以用同樣的方式使用 Y 二進制，所以我要去分析，然後再次調用模型篩選，我將點擊召回，而不是 Y 我將使用 Y 二進制。 |
| 我們可以在其中運行相同類型的模型。 如果某種類型的模型沒有意義，它就不會運行它。 因此，例如，最小二乘回歸在這裡沒有意義，因此實際上不會運行它。 |
| 這裡有幾個選項。 如果我選擇設置隨機種子，如 1、2、3、4、5，這將給我可重複性，如果我從細節啟動模型， |
| 它會...它會產生相同的結果。 我在這裡有一些額外的選項用於驗證。 |
| 所以事實證明，在許多情況下，使用訓練、驗證和測試的經典劃分 |
| 實際上並不是最好的，特別是在小數據集中。 所以我可能想改用 K 折交叉驗證，我們也有嵌套交叉驗證。 |
| 並且可以做重複的 K 折驗證。 所以這是一個不錯的選擇，特別是當你有一個小數據集時。 |
| 底部還有一些額外的選項。 因此，您可能想要添加雙向交互作用或二次方程。 |
| 如果您知道自己缺少值，那麼您可能想要使用信息性缺失。 其他方法適用於其他廣義回歸方法。 如果您參與了 JMP 17 早期採用者計劃，您會注意到菜單對話的這一部分 |
| 或者對模型啟動對話進行了一些重組，使其流暢一些。 是的，所以我將在這裡使用默認設置和隨機種子，然後單擊“確定”。 |
| 所以它正在運行所有這些模型。 同樣，它非常非常快。 那麼現在，因為我有一個二進制響應，所以我有一些額外的指標。 我有兩個 |
| R 平方度量，我有錯誤分類率，曲線下的區域，RASE。 請記住，這與均方根誤差有關。 再次，我將單擊選擇主導，它再次發現神經增強，但情況並非總是如此。 |
| 如果我選擇我認為是頂級的模型，即紅色三角形下的選項，您可以查看這些模型的 ROC 曲線，同樣，我可以打開和關閉模型的複選標記。 讓我 |
| 選擇這個。 模型比較平台和 JMP 17 中也提供了我最喜歡的新功能之一，它被添加到任何進行分類建模的建模平台，這就是所謂的決策閾值。 |
| 我認為這是我們在 JMP 16 中添加的...之一...最強大的功能之一。 |
| 因此，在選擇了這三個模型後，它為我提供了這三個模型的分類摘要。 |
| 我要把它放大一點，這樣我們就能看得更清楚一點。 |
| 所以我們閱讀這篇文章的方式是，如果我們只看一下神經增強，它向我們展示了神經的兩個類別……神經增強，我們預測的概率很高。 所以這些都是高擬合概率。 |
| 截止值為 0.5，因此低於 0.5 的任何值都被歸類為低；任何高於 .5 的都被歸類為高。 |
| 所以，如果我們看看這裡的這個紅色塊，這些都是被分類為低但實際上是高的點，我們可以在這裡看到這個數字。 其中有 29 個，所以這些是假陰性。 |
| 下面的紅色框，這些被歸類為高， |
| 但它們實際上是低點。 所以這些是誤報，這些人在這裡。 |
| 底部是一些指標，一些圖表可以幫助我們理解這一點，並做出……並幫助我們做出一些決定。 還有一些指標，所以我們可以在這裡看到相同的值，29 個假陰性，17 個假陽性。 |
| 我們還可以看到真正的正面和負面。 我真正喜歡的是它讓我可以探索不同的截止點。 |
| 因此，例如，根據您的建模目標，我們可能對高靈敏度感興趣，但我們真的不希望低特異性。 |
| 靈敏度，這裡的這個鍵很有用，靈敏度就是真正的陽性率；特異性是真陰性率。 |
| 你知道，我們能找到一個在這兩個方面都做得更好的截止點嗎？ 通過單擊和拖動，您可以更改分類的截止值 |
| 並嘗試找到一個做得更好的截止點。 因此，例如在 0.26，我將在這裡輸入一個很好的四捨五入數字，在 0.25 的截止值處，靈敏度更高，同時仍保持高特異性。 |
| 我藏起來的圖表對於解釋這些數字也非常有用，因此它們為我們提供了錯誤分類的全貌 |
| 按閾值，按部分，然後是真實分類。 所以如果我想找到一個平衡特異性和敏感性的點，我可以看看這張圖。 |
| 所以這些最上面的線是靈敏度，虛線是特異性，是否有一個點我仍然高於某個靈敏度值... |
| 靈敏度，我的特異性在哪裡保持高？ 我們可以……我們可以平衡這些。 所以如果我看這裡，我可以看到這就是兩條線的交叉點。 |
| 如果我們遇到數據不平衡的情況，這就變得非常重要。 那麼讓我們來看另一個例子。 所以我要結束這個 |
| 不保存這個。 讓我關閉公式倉庫，順便說一句，公式倉庫是獨立的，所以基本上它與我們使用的數據集無關。 因此，採用模型然後將其應用於新數據真的很容易。 我要繼續並關閉它。 |
| 所以下一個數據集的場景，稱為信用卡營銷的數據，場景是 |
| 我們正在做一些關於接受信用卡優惠的市場調查。 響應是接受報價。 需要注意的是，只有 5.5% 的報價， |
| 使用歷史數據，已被接受。 這實際上是一個設計實驗，我們正在研究不同的獎勵，不同的郵件類型， |
| 不同的財務信息，但設計的實驗是獎勵和郵寄類型。 我們將專注於這個特定的建模目標。 我們想要確定最有可能接受信用卡優惠的客戶。 |
| 通過這樣做，我們將嘗試 |
| 將該模型應用於新客戶，根據這些新客戶的分類，我們將決定是否向他們發送報價。 |
| 因此，如果客戶不太可能接受該優惠，我們就不會將其發送給他們。 如果他們很有可能，那麼我們將把它發送給他們。 |
| 情況就是這樣，回到 JMP，我們已經接受了報價。 在談論數據時，我將繼續並在此處運行保存的腳本。 |
| 我們有 10,000 個觀察結果，所以這會花費更長的時間，現在它正在運行這些模型，我只是在這裡使用默認設置。 所以我已經接受了報價， |
| 獎勵類型是飛行里程、現金返還或積分。 郵寄類型是信件或明信片。 然後其餘的是銀行業務……歷史銀行信息和一些人口統計信息。 |
| 您會看到它正在運行支持向量機。 支持向量機可能會有點慢，尤其是在大數據集中，事實上，如果我們有超過 10,000 個觀察值，它默認情況下不會運行。 |
| 我們可以看到我們有平均餘額。 數據被請求用於訓練和驗證，JMP 會自動將零識別為訓練，將零識別為驗證。 是的，所以它運行所有模型。 |
| 如果我選擇 dominant，我們可以看到它選擇了 fit stepwise 和 decision tree。 |
| 但我想指出這個誤分類率。 |
| 所以這是……這真的是我們在大海撈針時經常看到的東西，對吧。 如果我看一下這些數據，我將對這些數據進行分發... |
| 讓我把它放大一點，這樣我們就能看得更清楚一點，對吧。 所以我只是在查看驗證數據，請注意 |
| 6.25, 6.2, 6.3% |
| 的值是肯定的，他們響應了提議，這正是我們在這裡得到的錯誤分類率。 |
| 為了更好地理解這一點，我將打開決策閾值。 |
| 把它弄大一點。 |
| 請注意，預測的是全為零，這是因為預測的概率都相對較低。 |
| 請記住，在經典的混淆矩陣中，截止值為 0.5，如果您有不平衡的數據，在這種情況下，您不太可能將很多觀察結果分類為是。 |
| 當我點擊並拖動時， |
| 然後我得到了第一組點，然後我開始看到一些預測的是。 事實上，我會打開指標。 |
| 當您擁有高度不平衡的數據時，預測的概率可能會非常低。 |
| 所以，有了這個滑塊，您就可以探索截止點 |
| 這會影響您的敏感性和特異性。 所以在這種情況下，我們可能會說，好吧，如果我們要發送... |
| 我將在這裡輸入 .05...如果我們要將信用卡報價發送到預測概率，是的預測概率的前 5%，對，我們的敏感性 |
| 兩個模型之間的差異約為 0.72、0.75，我們的特異性仍然很高。 所以有了這個......這個切斷，這個滑塊，可以讓你從你的模型中獲得更多有用的信息。 |
| 所以，所以如果......在 0.5，我可以看到我得到了一些真正的肯定。 我也得到了很多誤報，對吧，所以這裡需要權衡。 |
| 現在，在這種情況下，您可能還會產生一些財務影響。正確的。 所以考慮這個是有道理的...... |
| 利潤矩陣。 還有一個按鈕。 |
| 我點擊這個。 |
| 利潤矩陣是特定列的列屬性，我們可以設置 |
| 從概率閾值中截取的那個值作為列屬性，或者我們也可以插入值。 你知道，在經典場景中可能要花費 5 美元 |
| 如果我們選擇向某人發送報價。 |
| 如果他們回應提議， |
| 也許它值 100 美元。 因此，如果我們選擇向某人發送報價，而他們沒有回應，我們就會損失 5 美元。 |
| 如果我們選擇向某人發送報價，而他們確實做出了回應，那麼我們平均可以賺到 100 美元。 也許失去了一些機會，也許我們說我們損失了 100 美元 |
| 如果他們不回應。 通常這樣做的代價是，這只是留空，我們只是為是的插入值。 如果我應用它並單擊確定， |
| 然後添加一些新值，對吧。 所以，現在我們有了一個利潤矩陣，如果我查看我們的指標，那麼我們可以看到預測的利潤。 所以 |
| 平均而言，對，對於這個數據集中的每個客戶，如果我們應用決策樹模型，它表示將賺取 1.50 美元，如果我們應用逐步模型，則會少一點。 |
| 因此，在這種數據不平衡且存在一些潛在成本的情況下，使用利潤矩陣是有意義的。 如果我們沒有潛在成本， |
| 然後這個滑塊幫助我們選擇一個截止點，這將使我們能夠滿足我們的建模目標，好的。 它可能是最大化靈敏度、最大化特異性或其他。 |
| 這就是本質上的模型篩選。 |
| 讓我關閉它，然後回到幻燈片。 |
| 因此，我們已經討論了一些關於預測建模以及我們所說的預測建模的含義。 |
| 我們已經看到，您可以使用驗證輕鬆地擬合和比較許多模型，而模型篩選就是簡化此工作流程。 |
| 如果你願意，你仍然可以出去擬合單個模型，但是模型篩選允許你在一個平台上同時擬合所有模型，然後比較這些模型。 |
| 有關更多信息，有許多不同類型的可用指標和許多分類數據的指標。 有一個非常好的 |
| 維基百科中關於敏感性和特異性以及所有......所有各種指標的頁面，我發現這非常有用，因為我試圖深入研究並理解如何解釋所提供的指標。 |
| 一般而言，有很多關於預測建模的資源，還有 JMP Pro 中的模型篩選 |
| 在我們的...在我們的用戶社區中。 我將再次參考 STIPS。 STIPS是我們的工業問題解決統計思維課程。 |
| 第七個模塊是對預測建模的介紹，所以如果您是預測建模的新手，我建議您查看一下。 還有一個博客使用發佈在我們社區上的糖尿病數據。 最後，你知道，任何新功能 |
| 將傾向於經歷迭代改進。 JMP Pro 16 中引入了模型篩選。 我們已經在開發 JMP Pro 17，並且已經進行了大量改進。 |
| 所以如果你有興趣看看即將發生的事情，它讓你有機會提供反饋， |
| 您知道，請聯繫我們加入早期採用者計劃，我們會幫助您完成設置。 感謝您抽出寶貴時間，希望您享受會議的其餘部分。 |
