作者：SAS的聯合創始人兼執行副總裁John Sall
如果我告訴你通過添加一個非常簡單的功能，你可以比以前更準確地適應許多模型怎麼辦？與此同時，我可以告訴你，你以前的答案是非常有偏見的，但新的答案偏差更小。此外，您可以使用所有數據，而不僅僅是擬合非缺失數據，即使在缺少回歸量時也能進行預測。
當數據的缺失具有預測性時，就會有這個巨大的機會。考慮JMP樣本數據表Equity.jmp，其中包含住房抵押貸款默認數據。答案是客戶是否違約貸款。其中一個回歸者是 DEBTINC ，這是債務與收入的比率。 DEBTINC 大部分數據都缺失了。缺失值是否預測客戶是否違約貸款？
如果我將通常的模型與所有其他12個變量作為回歸量擬合，則RSquare為.23，但這僅在5,960行中有3,364個。當任何回歸者失踪時，我無法預測反應。
假設我使用缺失的方式擬合模型 DEBTINC 作為指標變量。這個單回歸模型中的RSquare更好（.25），無論數據是否丟失，我都使用所有5,960行進行預測。因此，缺失可以是預測性的，信息性的，甚至優於常規回歸量。
新的想法是不僅創建缺失值指示器變量，而且還使原始回歸器有用而不丟棄丟失數據的行。
在JMP Pro 11中，Fit Model啟動窗口包含一個名為“Informative Missing”的新紅色三角形菜單項。雖然該功能僅在JMP Pro中，但您可以通過向數據添加公式列來實現相同的目標。表，如本文所述。
傳統的做法是用插補法。您估計缺失值。一種標準插補方法是使用模型中所有其他非缺失變量來預測缺失變量的值。當數據中缺少值時，多變量平台支持使用“Impute Missing Data”選項進行插補。還有其他的插補方法。
信息性丟失回歸編碼比插補簡單得多，也更強大。對於模型中具有缺失值的每個連續變量，可以替換兩個變量。第一個變量用於替換列中缺失數據的平均值。另一個變量是缺失值指示符 - 如果缺少原始列，則為1，否則為0。
例如，在Equity.jmp中，我創建了兩個帶有連續回歸量公式的新變量 DEBTINC 。以下是使用公式創建兩個新變量的腳本：
新欄目 （ “DEBTINC或意味著如果失踪” ，數字，連續，
式（ 如果 （ 不見了 （：DEBTINC）， 33.78 ， ：DEBTINC））
）;
新欄目 （ “DEBTINC失踪” ，數字，連續，
式（ 如果 （ 不見了 （：DEBTINC），1,0））
）;
“ 33.78 “在公式中是平均值 DEBTINC ，雖然它可以是你喜歡的任何價值。
現在而不是使用 DEBTINC 在模型中，您使用兩個新的公式變量 DEBTINC或意味著如果失踪和 DEBTINC失踪了 。額外的預測變量 - 指標變量 - 可以強烈預測響應。在這個例子中，離開現場的行為是對申請人貸款風險的強有力線索。
使用這兩個新的預測變量，您有兩個永不丟失的變量，因此可以在所有數據中使用它們。缺失值指示變量在擬合中可能很重要，因此您有機會改善擬合。
那另一個新的回歸者呢， DEBTINC或意味著如果失踪 ？它似乎是一種原始的估算方式 DEBTINC 只使用平均值。用均值替換缺失值不會影響該變量的估計值。相反，缺失值指示符的參數估計預測值與該回歸量的平均值之間的差異。
你可以用零代替缺失的平均值 DEBTINC 。然後，該參數將估計預測之間的差異並且對於該協變量具有零。缺失的插件值僅影響指標參數估計的解釋。
這種技術不是歸責。您不會將任何預測值替換為缺失值。相反，您構建了一個編碼系統，以便在缺少回歸量時恢復信息。此外，您使用缺失值作為其預測值。假設缺少值沒有一些隨機事件，但是由於某些原因可能具有預測價值。這就是為什麼我們稱這種編碼技術為“信息缺失”的回歸編碼。
表1顯示了對Equity.jmp數據使用插補和信息缺失之間的巨大差異。
表格1。將歸責與信息缺失進行比較
方法 | 使用的觀測數量 | Rsquare |
與行明智缺失排除的舊完整模型 | 3,364 | 23.2％ |
| 帶有DEBTINC的單變量模型是Missing | 5960 | 25.6％ |
| 具有信息缺失的全新模型 | 5960 | 45.6％ |
圖1顯示缺失值指標變量非常重要 DEBTINC失踪了比模型中的任何其他回歸者更重要。
[缺失圖像]
圖1。 參數估計按重要性排序
如此處所示，您可以創建公式列（或變換）以進行回歸。使用JMP Pro 11，您只需在Fit Model中選擇“信息缺失”紅色三角形菜單選項。另一個選擇是從中下載“信息缺失編碼”插件 JMP文件交換 。
如果你把它視為有價值的話，失踪可能是你的朋友。
