最近,一位 JMP 用戶打電話給我,提出以下問題:“當我嘗試擬合名義邏輯回歸模型時,我收到一條 JMP 警報消息,告訴我‘響應必須至少有兩個級別’。 而且平台不會運行。 然而,當我選擇一個包含我的預測變量子集的模型時,模型就會運行。 這是怎麼回事? 都丟了嗎?”
都丟了嗎? 也許不是。
Figure 1. A JMP Alert message.Figure 1. A JMP Alert message.Figure 1. A JMP Alert message.Figure 1. A JMP Alert message.圖1。 JMP 警報消息。
出現上述 JMP Alert 消息的原因是數據集中缺少太多數據。 JMP 的默認操作特性是從分析中排除包含缺失數據的行。 如果缺失的程度足夠嚴重,平台將不會運行。 有時甚至丟失的數據也有我們可以用來解決實際問題的信息。 如果 JMP 默認排除缺少數據的數據行,我們如何探索這種可能性? 答案:使用 JMP 的缺失數據檢測、插補和信息缺失建模功能。
統計建模最佳實踐表明,我們應該花一些時間和精力評估數據集的質量,著眼於異常值、無意義值、缺失值和任何其他使分析出現問題的特徵等問題。 本文提供了一個示例,如何利用 JMP 的數據“缺失”功能來做出正確的決策並採取適當的行動。
每個建模問題都應該從一個值得我們花時間解決的業務問題開始。 我將解決一個假設但說明性的問題。 運動釣魚錦標賽組委會希望了解參與者對錦標賽的滿意度的關鍵驅動因素,以嘗試推動重複參與。 他們要求過去一年的參賽者提供信息、數據和反饋,以了解他們明年參加同一錦標賽的可能性。 委員會通過調查從參與者那裡收集信息。 然而,釣魚的人的一個特點是……嗯……他們可能並不總是最誠實或最坦率的。 有多少人會為了讓 BIG ONE 登陸而放棄他們最喜歡的、最有成效的釣魚點給一個完全陌生的人? 或者他們使用的誘餌類型?
委員會詢問參與者他們是否有可能在明年返回、參與者的年齡以及誘餌的類型(人工或活的)。 年齡和誘餌類型是建模中使用的預測變量。 完整的數據集如下圖所示:
Figure 2: The Original DataFigure 2: The Original DataFigure 2: The Original DataFigure 2: The Original Data圖 2:原始數據
請注意,參與者年齡和誘餌類型都有幾個缺失值?列。 因為 JMP 排除了包含缺失數據的行,所以如果我們嘗試“按原樣”對數據建模,我們最終會收到圖 1 中所示的 JMP 警報消息。 實際上只有兩行沒有缺失值(在圖 2 中突出顯示)! 難怪 JMP 會提醒我們!
我們應該如何著手? 找到受訪者並“再次”提問? 偽造數據? 放棄?
好吧,讓我們備份一下。 通過快速目視檢查圖 2 所示的數據表,很容易找到丟失的數據。 如果我們有一個更大的數據集怎麼辦? 數百萬行? 數百列? “缺失”的目視檢查是一個站不住腳的解決方案。 JMP 的缺失數據模式和探索缺失值平台可助您一臂之力。 當我們發現缺失值行時……我們如何處理它們缺失的事實? 從這裡開始,JMP 中的探索缺失值和信息缺失功能可為我們提供幫助。
讓我們使用缺失數據模式平台來查找缺失值。 該平台生成圖 3(右下)所示的缺失數據模式表。 Patterns 列是關鍵。 非零值表示原始數據表中的缺失模式。 在模式列行條目中,模式中的每個數字都是原始數據表中列的二進制指示符。 全零模式(第一行)表示沒有缺失值。 Count 列條目表示有 2 行沒有缺失值。 第二行表示缺失模式,其中行的值僅從誘餌類型中缺失?柱子。 第三行,參與者年齡列中的缺失值。 使用 JMP 的簽名動態鏈接功能,選擇缺失數據模式數據表中的第 2 行和第 3 行,將選擇原始數據中的相應行。
Figure 3. Missing Data Pattern Data Table and Original DataFigure 3. Missing Data Pattern Data Table and Original DataFigure 3. Missing Data Pattern Data Table and Original DataFigure 3. Missing Data Pattern Data Table and Original Data圖 3。 缺失數據模式數據表和原始數據
既然我們已經找到了缺失值,我們如何才能回答基本問題……哪些因素會影響參與者返回的可能性? 從這裡開始,讓我們轉向使用 JMP 的探索缺失值平台來估算參與者年齡列的值。 這不是捏造數據嗎? 這不是不誠實嗎? 嗯……不完全是……特別是如果我們透露我們正在創建替代值,以便從建模的角度不必把嬰兒和洗澡水一起扔出去。 結果……有了一點建模魔法……如果我們明智地選擇我們的替代值,效果的參數估計仍然是有意義的。 在探索缺失值平台中,有兩種插補算法。 對於此示例,我選擇瞭如下圖 4 所示的多元正態插補選項。 請注意,等於參與者年齡平均值的替代值現在已填充到原始數據表中具有缺失值的行中。
Figure 4. Multivariate Normal ImputationFigure 4. Multivariate Normal ImputationFigure 4. Multivariate Normal ImputationFigure 4. Multivariate Normal Imputation圖 4。 多元正態插補
現在我們如何處理 Bait Type 中的缺失值?柱子。 處理分類預測變量缺失值的一種方法是調用 JMP 的信息缺失功能。 使用信息缺失構造的基本基本原則是我們願意假設在缺失值的事實背後存在一些主題、共性或潛伏變量。 就像錦標賽參賽者出於某種未公開的原因不願透露他們使用的誘餌類型一樣?
在擬合模型規範窗口中,我們通過從模型規范紅色小三角下拉菜單中選擇信息缺失來調用信息缺失,如圖 5 所示。
Figure 5. Model Specification and Informative MissingFigure 5. Model Specification and Informative MissingFigure 5. Model Specification and Informative MissingFigure 5. Model Specification and Informative Missing圖 5。 模型規範和信息缺失
通過選擇信息缺失,JMP 將為誘餌類型分配一個新級別? 'Missing' 的分類預測變量,並使用所有預測變量列中的所有值進行模型擬合過程。 下面的圖 6 顯示了名義 Logistic 回歸模型報告的效果摘要部分。 注意誘餌類型?似乎確實會影響反應。
Figure 6. Effect Summary TableFigure 6. Effect Summary TableFigure 6. Effect Summary TableFigure 6. Effect Summary Table圖 6。 效果匯總表
進一步檢查 JMP 預測刻畫器,如圖 7 所示。表明 Bait Type 的缺失值級別?真的是在推動是的反應!
Figure 7. Prediction ProfilerFigure 7. Prediction ProfilerFigure 7. Prediction ProfilerFigure 7. Prediction Profiler圖 7。 預測刻畫器
現在是領域專業知識發揮作用的地方。 毫無疑問,一個在捕魚方面有過很多成功經驗的比賽選手肯定會傾向於不透露他們使用的誘餌類型。 商業機密? 但他們肯定會傾向於回到他們取得成功的錦標賽。
分析後,對錦標賽記錄的深入研究揭示了額外的數據,這些數據肯定與秘密參與者的概念同時存在。 下圖 8 中的 Fit Y by X 邏輯回歸圖。明年回來的概率?是捕獲的魚的總重量的函數……捕獲它們的參與者肯定沒有告訴我們太多關於他們的秘密。
Figure 8. Logistic Regression PlotFigure 8. Logistic Regression PlotFigure 8. Logistic Regression PlotFigure 8. Logistic Regression Plot圖 8。 邏輯回歸圖
因此,下次您在數據集中出現缺失值時,請記住,使用 JMP 您也許可以了解系統的一些信息,即使數據實際上已經缺失! 一切確實沒有丟失。