當目標事件不經常發生時，採樣數據以構建，驗證和測試預測模型在構建模型以預測二元結果變量（例如響應或不響應）時，所需類別（響應）中的比例可能較低。例如，在直郵廣告系列中，響應率通常為1％或更低。在這種情況下，預測模型可能會學習如何非常好地預測頻繁結果，並且非常頻繁地預測結果。
有多種方法可以確保更好地預測非頻繁類別，例如為不頻繁的事件分配更高的權重;分層抽樣，包括模型構建，選擇和測試樣本中的目標事件比率高於隨機抽樣;或指定與不同的正確和不正確的預測相關的不同利潤/成本。
分層抽樣
其中一個更簡單的方法是分層抽樣創建一個由大致相同數量的響應者和非響應者組成的樣本。這是一種簡單的方法，可以讓您的模型更好地學習如何預測那些對您的廣告系列做出積極響應的客戶。但是，由於模型構建數據庫中非受訪者的受訪者比例並不能反映一般情況，因此從結果模型中預測出任何客戶傾向的概率將過於樂觀。有多種方法可以調整這些預測，但如果您只關注使用預測模型對客戶進行評分和排名，則可能無需進行任何調整。
考慮直接郵件活動，以徵求慈善捐款，其中響應活動的客戶的歷史比例為5.6％。下面的圖1顯示了基於10,000個客戶的隨機樣本的預測模型。圖2顯示了來自1,000個客戶的分層樣本的預測模型。我用了 JMP Pro 建立兩個模型。
圖1 - 來自10,000個客戶的隨機樣本的Bootstrap（隨機）森林模型
圖2：來自1,000個客戶的分層樣本的Bootstrap（隨機）森林模型
正如預期的那樣，隨機樣本在模型構建，選擇和測試階段保持大約5.6％的響應率，並且在測試數據子集中實現了非常低的5.85％的錯誤分類率，但代價是無法預測積極回應的客戶。
另一方面，圖2中使用的1,000個客戶的分層樣本由相同數量的提供者和非提供者組成。這種採樣策略在測試子集中具有更高的34％的錯誤分類率，能夠正確預測69％的給予者。由於我們的目標是預測提供者，因此分層樣本方法將使未來的營銷活動更俱生產力，這與圖1中所示的隨機樣本不同。
馬爾科姆寫道：如果這是一個讓自己放心或者......馬爾科姆中寫道：
如果是一個讓自己或同事放心的情況，當所需的響應率較低時（預測罕見事件或低頻事件），分層採樣是在構建預測模型時選擇要使用的數據的有效方法，那麼嘗試使用分層採樣建模沒有分層抽樣。我發現分層抽樣更適合識別低頻（或罕見）事件的重要預測因子，或者在營銷活動中，分類哪些客戶或目標客戶更有可能做出響應。但是，請不要使用基於分層抽樣的模型的預測概率，因為我們故意將響應者的比例偏向於非響應者，以便更容易發現響應者的預測因子和/或預測響應者 - 儘管您可以對預測的概率進行簡單的修正，使其反映您的一般人口。
Phillip Julian寫道：您能否發送或發布技術...菲利普朱利安中寫道：
您能否發送或發布技術或學術資源的博客文章，關於分層抽樣的數字是二元分層？我將在廣告系列響應分析中使用該方法，我需要證明我的方法是正確的。感謝您的文章和建議。我在Retail Campsign Analytics工作，這對團隊來說是一個很大的幫助。
達尼洛寫道：有趣，如果我理解正確，......達尼洛中寫道：
有趣，
如果我理解正確的話，文章認為，即使採樣的數據是真實的，結果的合理性也不會使用真實採樣過程給出的全部信息。
我認為這對任何基本的統計學原理都有點爭議........
用於構建混淆矩陣的截止點是什麼？如果可能的話，我希望看到兩種型號的ROC曲線....
馬爾科姆寫道：GA，有很多方法可以選擇...馬爾科姆中寫道：
GA，
選擇分層樣本有很多種方法。其中一個更簡單的選項是使用Tables菜單中的Subset選項。在結果對話框中選擇隨機 - 樣本大小並檢查分層選項。然後在出現的列表中選擇要定義分層樣本的變量，並定義每個層的樣本大小。單擊確定。
馬爾科姆
GA寫道：親愛的馬爾科姆：建立一個...的最佳方法是什麼？ GA 中寫道：
親愛的Malcolm：使用JMP Pro構建分層樣本的最佳方法是什麼？
非常感謝，
GA
