Quando si costruiscono modelli per prevedere una variabile di esito binario, come rispondere o non rispondere, la proporzione nella categoria desiderata (risposta) può essere bassa. Ad esempio, nelle campagne di direct mail il tasso di risposta è spesso pari all'1% o inferiore. In tali casi, è probabile che un modello predittivo apprenda come predire molto bene l'esito frequente e il risultato non frequente male.
Esistono vari modi per garantire una migliore previsione della classe non frequente, ad esempio assegnare pesi maggiori agli eventi rari; campionamento stratificato per includere un rapporto più elevato di eventi target nel modello di costruzione, selezione e test di campioni rispetto a quelli che si verificherebbero casualmente; o assegnando diversi profitti / costi associati alle diverse previsioni corrette e errate.
Campionamento stratificato
Uno degli approcci più semplici è campionamento stratificato creare un campione costituito da un numero approssimativamente uguale di responder e non responder. Questo è un approccio semplice che offre ai tuoi modelli una possibilità molto migliore di apprendere come prevedere i clienti che rispondono positivamente alle tue campagne. Tuttavia, poiché la percentuale di rispondenti a non rispondenti nel database di costruzione del modello non riflette la situazione generale, la probabilità prevista di risposta per qualsiasi cliente dal modello risultante sarà troppo ottimistica. Esistono vari modi per regolare queste previsioni, ma se tutto ciò che ti preoccupa è utilizzare il modello predittivo per valutare e classificare i clienti, non è necessario alcun aggiustamento.
Considera una campagna di direct mail per sollecitare donazioni di beneficenza in cui la percentuale storica di clienti che rispondono alle campagne è del 5,6%. La figura 1 mostra un modello predittivo basato su un campione casuale di 10.000 clienti. La Figura 2 mostra un modello predittivo da un campione stratificato di 1.000 clienti. ero solito JMP Pro per costruire entrambi i modelli.
Figura 1 - Modello di foresta (casuale) Bootstrap da un campione casuale di 10.000 clienti
Figura 2: modello forestale Bootstrap (casuale) da un campione stratificato di 1.000 clienti
Come previsto, il campione casuale mantiene un tasso di risposta di circa il 5,6% nelle fasi di costruzione, selezione e test del modello e raggiunge un tasso di errata classificazione complessivo molto basso del 5,85% nel sottoinsieme di dati del test a scapito dell'impossibilità di prevedere il i clienti che risponderanno positivamente.
D'altra parte, il campione stratificato di 1.000 clienti utilizzati nella Figura 2 è costituito da un numero uguale di donatori e non donatori. Questa strategia di campionamento ha un tasso di errata classificazione complessivo più alto del 34% nel sottoinsieme di test al guadagno di essere in grado di predire correttamente il 69% dei donatori. Poiché il nostro obiettivo è di prevedere i donatori, l'approccio basato su un campione stratificato consentirà alle future campagne di marketing di essere più produttive, a differenza del campione casuale mostrato nella Figura 1.
Malcolm ha scritto:
Se si tratta di rassicurare se stessi o colleghi che il campionamento stratificato è un modo valido per selezionare i dati da utilizzare quando si costruiscono modelli predittivi quando il tasso di risposta desiderato è basso (previsione di eventi rari o eventi a bassa frequenza), provare a modellare i dati con e senza campionamento stratificato. Trovo che il campionamento stratificato funzioni meglio per identificare gli importanti fattori predittivi di eventi a bassa frequenza (o rari) o, nel caso di campagne di marketing, l'ordinamento che i clienti o i clienti target hanno più probabilità di rispondere. Tuttavia, si prega di non utilizzare le probabilità previste dai modelli basati sul campionamento stratificato poiché abbiamo deliberatamente distorto la proporzione di responder ai non responder al fine di rendere più facile individuare i predittori e / o predire i responder - sebbene voi potrebbe fare una semplice correzione alle probabilità previste per renderle riflettenti della vostra popolazione generale.
Phillip Julian ha scritto:
Puoi inviare o pubblicare risorse tecniche o accademiche per questo articolo del blog sul campionamento stratificato con numeri uguali? Userò questo metodo in un'analisi di risposta alla campagna e dovrò giustificare i miei metodi. Grazie per l'articolo e il suggerimento. Lavoro in Retail Campsign Analytics e questo sarà di grande aiuto per il team.
Danilo ha scritto:
Interessante,
Se ho capito bene, l'articolo afferma che è meglio per l'acuracia dei risultati non utilizzare l'intera informazione fornita da un vero processo di campionamento, anche se i dati campionati sono reali.
Penso che sia un po 'controverso con i principi fondamentali delle statistiche ........
Qual è il punto di cut-off utilizzato per costruire la matrice di confusione? Se è possibile, mi piacerebbe vedere la curva ROC di entrambi i modelli ....
Malcolm ha scritto:
GA,
Esistono molti modi per selezionare un campione stratificato. Una delle opzioni più semplici è usare l'opzione Sottoinsieme dal menu Tabelle. Nella finestra di dialogo visualizzata selezionare Casuale - dimensione del campione e controllare l'opzione di stratificazione. Quindi selezionare la variabile che si desidera definire il campione stratificato nell'elenco che appare e definire la dimensione del campione per strato. Clicca OK.
Malcolm
GA ha scritto:
Caro Malcolm: qual è il modo migliore per costruire un campione stratificato usando JMP Pro?
Grazie molto,
GA
