Cuando se crean modelos para predecir una variable de resultado binario, como responder o no responder, la proporción en la categoría deseada (respuesta) puede ser baja. Por ejemplo, en las campañas de correo directo, la tasa de respuesta suele ser del 1% o inferior. En tales casos, es probable que un modelo predictivo aprenda cómo predecir muy bien el resultado frecuente y el mal no frecuente.
Hay varias formas de asegurar una mejor predicción de la clase no frecuente, como asignar mayores pesos a los eventos infrecuentes; el muestreo estratificado para incluir una proporción más alta de eventos objetivo en las muestras de construcción, selección y prueba del modelo que ocurriría al azar; o asignar diferentes beneficios / costos asociados con las diferentes predicciones correctas e incorrectas.
Muestreo estratificado
Uno de los enfoques más simples es muestreo estratificado para crear una muestra que consiste en aproximadamente el mismo número de respondedores y no respondedores. Este es un enfoque simple que le brinda a sus modelos una mejor oportunidad de aprender a predecir aquellos clientes que responden positivamente a sus campañas. Sin embargo, debido a que la proporción de encuestados y no encuestados en la base de datos de creación de modelos no refleja la situación general, la probabilidad predicha de propensión a responder ante cualquier cliente del modelo resultante será demasiado optimista. Existen varias formas de ajustar estas predicciones, pero si todo lo que le preocupa es utilizar el modelo predictivo para calificar y clasificar a los clientes, entonces no será necesario realizar ningún ajuste.
Considere una campaña de correo directo para solicitar donaciones caritativas donde la proporción histórica de clientes que respondieron a las campañas es del 5.6%. La Figura 1 a continuación muestra un modelo predictivo basado en una muestra aleatoria de 10,000 clientes. La Figura 2 muestra un modelo predictivo de una muestra estratificada de 1,000 clientes. solía JMP Pro para construir ambos modelos.
Figura 1 - Modelo de bosque Bootstrap (aleatorio) de una muestra aleatoria de 10,000 clientes
Figura 2: Modelo de bosque Bootstrap (aleatorio) de una muestra estratificada de 1,000 clientes
Como era de esperar, la muestra aleatoria mantiene una tasa de respuesta de aproximadamente 5.6% en las fases de construcción, selección y prueba del modelo, y logra una tasa de error de clasificación general muy baja de 5.85% en el subconjunto de datos de prueba a costa de no poder predecir Clientes que responderán positivamente.
Por otro lado, la muestra estratificada de 1,000 clientes utilizada en la Figura 2 consiste en un número igual de donantes y no donantes. Esta estrategia de muestreo tiene una tasa de error de clasificación general más alta del 34% en el subconjunto de prueba, con la ganancia de poder predecir el 69% de los donantes correctamente. Dado que nuestro objetivo es predecir los donantes, el enfoque de muestra estratificada permitirá que las futuras campañas de marketing sean más productivas, a diferencia de la muestra aleatoria que se muestra en la Figura 1.
Malcolm escribió:
Si se trata de tranquilizarlos a usted mismo oa sus colegas, el muestreo estratificado es una forma válida de seleccionar datos para usarlos cuando se construyen modelos predictivos cuando la tasa de respuesta deseada es baja (predecir eventos raros o eventos de baja frecuencia), luego intente modelar sus datos con Y sin muestreo estratificado. Considero que el muestreo estratificado funciona mejor para identificar los predictores importantes de eventos de baja frecuencia (o raros), o en el caso de las campañas de marketing, clasificar a los clientes o clientes objetivo con mayor probabilidad de responder. Sin embargo, no utilice las probabilidades pronosticadas de los modelos basados en el muestreo estratificado, ya que hemos sesgado deliberadamente la proporción de respondedores y no respondedores para facilitar la localización de los predictores y / o predecir los respondedores, aunque podría hacer una corrección simple a las probabilidades pronosticadas para que reflejen su población general.
Phillip Julian escribió:
¿Puede enviar o publicar recursos técnicos o académicos para este artículo de blog sobre muestreo estratificado con números iguales en estratos binarios? Usaré ese método en un análisis de respuesta de campaña, y necesitaré justificar mis métodos. Gracias por el artículo y la sugerencia. Trabajo en Retail Campsign Analytics, y esto será de gran ayuda para el equipo.
Danilo escribió:
Interesante,
Si lo entendí bien, el artículo sostiene que es mejor para la exactitud de los resultados, no utilizar toda la información proporcionada por un proceso de muestreo real, incluso si los datos muestreados son reales.
Creo que eso es un poco controvertido con los principios fundamentales de las estadísticas ........
¿Cuál es el punto de corte utilizado para construir la matriz de confusión? Si es posible, me gustaría ver la curva ROC de ambos modelos ...
Malcolm escribió:
GEORGIA,
Hay muchas formas de seleccionar una muestra estratificada. Una de las opciones más simples es usar la opción Subconjunto del menú Tablas. En el cuadro de diálogo resultante, seleccione Tamaño de muestra aleatorio y marque la opción estratificar. Luego seleccione la variable que desea definir la muestra estratificada en la lista que aparece y defina el tamaño de la muestra por estrato. Haga clic en Aceptar.
Malcolm
Georgia escribió:
Estimado Malcolm: ¿Cuál es la mejor manera de construir una muestra estratificada utilizando JMP Pro?
Muchas gracias,
Georgia
