Lors de la création de modèles permettant de prédire une variable de résultat binaire, telle que répondre ou ne pas répondre, la proportion dans la catégorie souhaitée (répondre) peut être faible. Par exemple, dans les campagnes de publipostage, le taux de réponse est souvent inférieur ou égal à 1%. Dans de tels cas, un modèle prédictif est susceptible d'apprendre à prédire très bien le résultat fréquent et le résultat peu fréquent.
Il existe divers moyens d'assurer une meilleure prédiction de la classe non fréquente, tels que l'attribution de poids plus élevés aux événements peu fréquents; échantillonnage stratifié pour inclure un ratio d'événements cibles dans les échantillons de construction, de sélection et de test de modèle supérieur à celui qui serait obtenu au hasard; ou attribuer différents bénéfices / coûts associés aux différentes prédictions correctes et incorrectes.
Échantillonnage stratifié
Une des approches les plus simples est échantillonnage stratifié créer un échantillon comprenant un nombre à peu près égal de répondants et de non-répondants. Il s'agit d'une approche simple qui donne à vos modèles une chance bien meilleure d'apprendre à prédire les clients qui répondent positivement à vos campagnes. Toutefois, la proportion de répondants parmi les non-répondants dans la base de données de création de modèle ne reflétant pas la situation générale, la probabilité prédite de propension à répondre pour tout client à partir du modèle résultant sera trop optimiste. Il existe différentes manières d'ajuster ces prévisions, mais si vous ne souhaitez utiliser que le modèle prédictif pour noter et classer les clients, aucun ajustement n'est alors nécessaire.
Envisagez une campagne de publipostage pour solliciter des dons de bienfaisance dans laquelle la proportion historique de clients ayant répondu aux campagnes est de 5,6%. La figure 1 ci-dessous montre un modèle prédictif basé sur un échantillon aléatoire de 10 000 clients. La figure 2 montre un modèle prédictif à partir d'un échantillon stratifié de 1 000 clients. j'ai utilisé JMP Pro pour construire les deux modèles.
Figure 1 - Modèle de forêt bootstrap (aléatoire) à partir d'un échantillon aléatoire de 10 000 clients
Figure 2: Modèle de forêt bootstrap (aléatoire) à partir d'un échantillon stratifié de 1 000 clients
Comme prévu, l’échantillon aléatoire conserve un taux de réponse d’environ 5,6% dans les phases de création du modèle, de sélection et de test, et atteint un taux de classification erroné global très faible de 5,85% dans le sous-ensemble de données de test, au prix de l’impossibilité de prédire la clients qui répondront positivement.
D'autre part, l'échantillon stratifié de 1 000 clients utilisé dans la figure 2 comprend un nombre égal de donneurs et de non-donneurs. Cette stratégie d'échantillonnage a un taux global de classification erroné plus élevé, de 34% dans le sous-ensemble de tests, ce qui permet de prédire correctement 69% des donneurs. Notre objectif étant de prédire les donateurs, la méthode d'échantillonnage stratifié permettra aux campagnes de marketing futures d'être plus productives, contrairement à l'échantillon aléatoire présenté à la figure 1.
Malcolm a écrit:
S'il est rassurant, vous-même ou vos collègues, de vous assurer que l'échantillonnage stratifié est un moyen valable de sélectionner des données à utiliser lors de la création de modèles prédictifs lorsque le taux de réponse souhaité est faible (prévision d'événements rares ou d'événements de basse fréquence), essayez de modéliser vos données avec et sans échantillonnage stratifié. Je trouve que l'échantillonnage stratifié fonctionne mieux pour identifier les prédicteurs importants d'événements de basse fréquence (ou rares) ou, dans le cas de campagnes marketing, pour trier les clients ou les clients cibles sont plus susceptibles de réagir. Cependant, veuillez ne pas utiliser les probabilités prédites à partir de modèles fondés sur un échantillonnage stratifié, car nous avons délibérément biaisé la proportion de répondants par rapport aux non-répondants afin de faciliter la détection des prédicteurs et / ou des prédicteurs des répondants - bien pourrait apporter une simple correction aux probabilités prédites pour les rendre représentatives de votre population générale.
Phillip Julian a écrit:
Pouvez-vous s'il vous plaît envoyer ou publier des ressources techniques ou académiques pour cet article de blog sur l'échantillonnage stratifié avec des nombres égaux est une strate binaire? J'utiliserai cette méthode dans une analyse de réponse de campagne et je devrai justifier mes méthodes. Merci pour l'article et la suggestion. Je travaille dans Retail Campsign Analytics, ce qui aidera énormément l'équipe.
Danilo a écrit:
Intéressant,
Si j'ai bien compris, l'article indique qu'il est préférable que les résultats n'utilisent pas l'intégralité des informations fournies par un processus d'échantillonnage réel, même si les données échantillonnées sont réelles.
Je pense que c'est un peu controversé avec tous les principes fondamentaux des statistiques ........
Quel est le seuil utilisé pour construire la matrice de confusion? Si c'est possible, j'aimerais voir la courbe ROC des deux modèles ....
Malcolm a écrit:
GÉORGIE,
Il existe de nombreuses façons de sélectionner un échantillon stratifié. L'une des options les plus simples consiste à utiliser l'option Sous-ensemble du menu Tables. Dans la boîte de dialogue résultante, sélectionnez Random - sample size et cochez la case Stratify. Sélectionnez ensuite la variable que vous souhaitez définir pour l’échantillon stratifié dans la liste qui s’affiche et définissez la taille de l’échantillon par strate. Cliquez sur OK.
Malcolm
Géorgie a écrit:
Cher Malcolm, quel est le meilleur moyen de créer un échantillon stratifié avec JMP Pro?
Merci beaucoup,
Géorgie
