預測建模就是找到能夠準確預測感興趣結果的模型。 舉例來說，我想根據多種因素預測一年後某種特定疾病（在本例中為糖尿病）的進展情況。 更具體地說，我想確定最有可能出現疾病進展嚴重的患者，以便採取適當的干預措施。
我有JMP Pro，我知道我可以擬合幾種可能的預測模型。 例如，我可以擬合回歸模型、各種類型的基於樹的模型或神經網絡等等。 我應該使用哪個建模平台？ 哪種類型的模型能夠最準確地預測結果？ 對於任何給定的建模情況，最佳模型在很大程度上取決於數據 - 沒有一種模型適合所有問題。
為了找到適合糖尿病場景的最佳模型，我可以使用交叉驗證一次擬合所有可能的模型。 我可以將各個模型保存到數據表或 Formula Depot，然後使用模型比較來比較模型在驗證集上的性能，以選擇最佳模型。 或者我可以選擇最佳的模型組合。 雖然這種方法不僅僅可以完成工作，但它確實需要一些工作。
現在，借助 JMP Pro 16 中的新模型篩選平台，我們使這一切變得更加容易。 模型篩選提供了一個高效的工作流程，可以同時擬合、比較、探索、選擇並部署最佳預測模型。
為了進行說明，我將使用 JMP 示例數據庫中的糖尿病數據。 響應或結果變量是 Y 二元，它有兩個可能的值：低（低疾病進展）和高。 預測因素或因素是年齡和血糖。
我從“分析”>“預測建模”菜單中選擇“模型篩選”，並指定響應和因子。 驗證列將數據劃分為訓練集和驗證集，因此我將使用它進行模型驗證。
模型篩選對話框的頂部如下所示：
在對話框的底部，有幾種不同的建模方法可供選擇，以及許多不同的擬合和交叉驗證選項。 請注意，XGBoost 是一種可用的方法，因為我安裝了XGBoost 插件來自JMP 用戶社區。
我將使用默認模型，但將添加雙向交互並將隨機種子設置為 11111 以使我的結果可重現。
所有對這些數據有意義的模型都適合，並且提供了一些驗證統計數據。 模型按廣義 R 方的降序排序，但要查找在所有驗證統計數據中脫穎而出的一個或多個模型，我將單擊“選擇主導”。
我可以看到，總體而言，頂級模型是具有雙向交互的神經增強模型和廣義回歸套索模型。
為了探索這些模型的分類，我將從頂部紅色小三角菜單中選擇決策閾值。 此選項提供了大量信息，用於比較所選模型的分類準確性。 頂部部分顯示了每個模型的真假分類的細分，如果我更改概率閾值（通過拖動滑塊線或使用編輯框），我可以看到分類和分類錯誤對於不同的截止值如何變化。
底部有顯示不同分類圖和指標的選項卡。 此處顯示驗證數據的“指標”選項卡。 在這種情況下，我想確定最有可能患有高糖尿病進展率的患者。 所以，我想找到誤報率最低的模型。 在概率閾值為 0.42 時，廣義回歸模型具有較低的假陰性率，同時相對於其他模型仍保持較低的假陽性率。
現在，我可能想仔細看看這個模型。 模型篩選使這一切變得無縫。 我可以通過單擊“運行所選”輕鬆地在新窗口中運行所選模型。
或者，無需離開模型篩選，我就可以直接在詳細信息大綱中查看結果，如下所示。 在模型篩選中，我可以訪問我在廣義回歸中看到的所有選項。 因此，例如，我可以與解決方案路徑交互，並且可以保存或發布模型以進行部署。 我什至可以運行其他模型，看看是否可以進一步提高模型精度。
我在這裡只觸及了模型篩選的表面，但希望您能夠看到這個簡化的工作流程如何幫助您節省大量時間和精力！ 您只需指定模型中的變量，選擇要擬合的模型和驗證方法，模型篩選即可完成剩下的工作！
要了解有關在 JMP Pro 中擬合和驗證預測模型的更多信息，請訪問主要功能頁面在我們的網站上。
客戶評價
“過去幾個月在 JMP Pro 16 beta 上使用模型篩選，它已經成為我的珊瑚礁預測建模研究中不可或缺的一部分。 儘管在JMP Pro 的早期版本（例如JMP Pro 15 的“模型比較”平台）中可以相當容易地比較模型，但這個新工具使用戶可以更輕鬆地同時測試許多不同的模型（例如gen-reg、PLS 、判別式、神經網絡等）具有相同的數據集。 曾經需要幾個小時甚至幾天的事情現在可以在幾分鐘（甚至幾秒鐘）內完成。哇，多麼棒的功能啊！ 這肯定是 15 版到 16 版最大的改進，我相信很多人也會有同樣的感覺。”
- Anderson Mayfield，美國國家海洋和大氣管理局 (NOAA) 和邁阿密大學
感謝您的提問@sukrit2020 。 MAE 目前無法從模型篩選平台獲得。
你好@米亞斯蒂芬斯感謝您的補充說明！ 我同意這是一個權衡問題，很大程度上取決於主題專業知識和產品/用戶應用程序和風險。我看到了圖表是如何進行這種權衡的，儘管我認為軌跡中在兩個方向上交叉的線一開始可能有點令人困惑（實線在增加方向，虛線在減少方向）。我會將主題想法添加到願望清單中！@帕特里克朱利亞諾
你好@帕特里克朱利亞諾，這是一個相對膚淺的例子，為了說明目的，我選擇了 0.42 作為閾值。 這裡的目標是找到一個截止點，在保持低假陽性率的同時，導致低假陰性率。 但是，什麼構成可接受的利率？ 這很大程度上取決於研究情況或問題，以及特定類型錯誤的“成本”。 對於特定情況，如果較高的誤報率能帶來更好的誤報率，您可能願意接受。這些圖表可以幫助找到最佳點，以平衡兩種速率。
這是一個很小的數據集，因此結果相當精細。 但是，在第二張圖中，我看到神經增強的假陽性率在 0.45 或 0.5 左右後開始快速增長，而假陰性率在該點附近快速下降，並開始趨於平穩。
添加“記住的設置”選項的想法很引人注目。 您願意將此發佈到 JMP 願望清單嗎？
謝謝！
米婭
@米亞斯蒂芬斯這太酷了，我對“決策閾值”功能很感興趣，並試圖更好地理解它。在您的示例中，您是否實質上選擇了高曲線的錯誤分類計數與概率閾值的“交集”（我在附加圖像中用黑色圈出的點）來確定概率閾值 0.42 將是一個不錯的選擇用於最大限度地減少假陰性（同時將假陽性率保持在大約相同的水平？）
我使用 JMP 16 EA8 並運行幾乎相同的設置，只是我在模型篩選對話框中指定“XGBoost”作為模型擬合選項（在 1111 處保留相同的隨機種子）。 
也許這裡的一個有用功能是以類似的方式“記住設置”，這可以在預測刻畫器中完成（它生成一個單選按鈕以達到保存的設置），這樣您就可以輕鬆地在不同的概率閾值之間切換以直接查看/比較您感興趣的特定閾值的效果。 附示例圖片。
我曾經做過基本上相同的事情，但一次使用一個模型平台。 這花了很多時間。 這項新功能確實節省了時間。 謝謝你！
