Beim Erstellen von Modellen zum Vorhersagen einer binären Ergebnisvariablen, wie z. B. Antworten oder Nichtantworten, kann der Anteil in der gewünschten Kategorie (Antwort) gering sein. In Direktmailing-Kampagnen ist die Antwortquote zum Beispiel oft 1% oder niedriger. In solchen Fällen lernt ein Vorhersagemodell wahrscheinlich, wie man das häufige Ergebnis sehr gut und das nicht häufige Ergebnis schlecht vorhersagt.
Es gibt verschiedene Möglichkeiten, eine bessere Vorhersage der nicht häufigen Klasse sicherzustellen, z. B. den seltenen Ereignissen höhere Gewichte zuweisen. geschichtete Probenahme, um ein höheres Verhältnis von Zielereignissen in die Modellbildung, Auswahl und Testproben aufzunehmen, als dies nach dem Zufallsprinzip der Fall wäre; oder Zuweisen von unterschiedlichen Gewinnen / Kosten, die mit den unterschiedlichen korrekten und falschen Vorhersagen verbunden sind.
Geschichtete Stichprobe
Einer der einfacheren Ansätze ist geschichtete Stichprobe ein Sample zu erstellen, das etwa gleich viele Responder und Non-Responder enthält. Dies ist ein einfacher Ansatz, der es Ihren Modellen ermöglicht, zu lernen, wie sie Kunden vorhersagen können, die positiv auf Ihre Kampagnen reagieren. Da jedoch der Anteil der Befragten an den Befragten in der Modellbildungsdatenbank nicht die allgemeine Situation widerspiegelt, ist die vorhergesagte Wahrscheinlichkeit, dass ein Kunde aus dem resultierenden Modell auf eine Antwort reagieren wird, zu optimistisch. Es gibt verschiedene Möglichkeiten, diese Vorhersagen anzupassen. Wenn Sie sich jedoch nur mit dem Vorhersagemodell für die Bewertung und Einstufung von Kunden befassen, ist möglicherweise keine Anpassung erforderlich.
Ziehen Sie eine Direktmailing-Kampagne in Betracht, um Spenden zu sammeln, bei denen der historische Anteil der Kunden, die auf Kampagnen reagieren, 5,6% beträgt. Abbildung 1 zeigt ein Vorhersagemodell, das auf einer Stichprobe von 10.000 Kunden basiert. Abbildung 2 zeigt ein Vorhersagemodell aus einer geschichteten Stichprobe von 1.000 Kunden. ich benutzte JMP Pro beide Modelle bauen.
Abbildung 1 - Bootstrap-Waldmodell (Zufallsmodell) aus einer Stichprobe von 10.000 Kunden
Abbildung 2: Bootstrap-Waldmodell (Zufallsmodell) aus einer geschichteten Stichprobe von 1.000 Kunden
Wie erwartet hält die Zufallsstichprobe in den Modellierungs-, Auswahl- und Testphasen eine Rücklaufquote von etwa 5,6% aufrecht und erreicht im Testdatenteil eine sehr niedrige Fehlklassifizierungsrate von 5,85%, ohne dass dies jedoch vorhergesagt werden kann Kunden, die positiv reagieren werden.
Andererseits besteht die in Abbildung 2 verwendete geschichtete Stichprobe von 1.000 Kunden aus einer gleichen Anzahl von Gebern und Nichtgebern. Diese Probenahmestrategie hat eine höhere Fehlklassifizierungsrate von 34% in der Test-Teilmenge, mit dem Vorteil, 69% der Geber korrekt vorhersagen zu können. Da es unser Ziel ist, die Geber vorherzusagen, wird der stratifizierte Stichprobenansatz im Gegensatz zu der in Abbildung 1 gezeigten Zufallsstichprobe dazu beitragen, dass zukünftige Marketingkampagnen produktiver werden.
Malcolm schrieb:
Wenn Sie sich selbst oder Kollegen versichern möchten, dass stratifizierte Stichproben eine gültige Methode zur Auswahl von Daten sind, die zum Erstellen von Vorhersagemodellen verwendet werden sollen, wenn die gewünschte Antwortrate niedrig ist (Vorhersage seltener Ereignisse oder niederfrequenter Ereignisse), versuchen Sie, Ihre Daten mit zu modellieren und ohne geschichtete Probenahme. Ich finde, dass stratifizierte Stichprobenverfahren besser geeignet sind, um die wichtigen Prädiktoren für niederfrequente (oder seltene) Ereignisse zu ermitteln, oder im Falle von Marketingkampagnen die Sortierung, nach der Kunden oder Zielkunden eher reagieren. Bitte verwenden Sie jedoch nicht die vorhergesagten Wahrscheinlichkeiten von Modellen, die auf stratifizierter Stichprobenauswahl basieren, da wir das Verhältnis der Responder zu Nicht-Respondern absichtlich voreingenommen haben, um das Auffinden der Prädiktoren und / oder die Vorhersage der Responder zu erleichtern Sie könnten die vorhergesagten Wahrscheinlichkeiten einfach korrigieren, um sie für Ihre allgemeine Bevölkerung zu reflektieren.
Phillip Julian schrieb:
Können Sie bitte technische oder akademische Ressourcen für diesen Blogartikel zur stratifizierten Stichprobenentnahme mit gleichen Zahlen oder binären Schichten senden oder posten? Ich werde diese Methode in einer Kampagnenantwortanalyse verwenden und muss meine Methoden begründen. Danke für den Artikel und den Vorschlag. Ich arbeite in Retail Campsign Analytics und dies wird dem Team eine große Hilfe sein.
Danilo schrieb:
Interessant,
Wenn ich es richtig verstanden habe, ist der Artikel der Meinung, dass es für die Genauigkeit der Ergebnisse besser ist, nicht die gesamten Informationen eines echten Stichprobenprozesses zu verwenden, selbst wenn die erfassten Daten echt sind.
Ich denke, das ist ein wenig kontrovers mit den Grundlagen der Statistik ........
Welches ist der Abschneidepunkt, um die Verwirrungsmatrix aufzubauen? Wenn es möglich ist, würde ich gerne die ROC-Kurve beider Modelle sehen.
Malcolm schrieb:
GA,
Es gibt viele Möglichkeiten, eine geschichtete Probe auszuwählen. Eine der einfacheren Optionen ist die Verwendung der Option Subset aus dem Menü Tables. Wählen Sie im daraufhin angezeigten Dialogfeld Zufallsmustergröße aus und aktivieren Sie die Option Stratify. Wählen Sie dann in der angezeigten Liste die Variable aus, für die Sie die geschichtete Probe definieren möchten, und definieren Sie die Probengröße pro Schicht. OK klicken.
Malcolm
GA schrieb:
Sehr geehrter Malcolm, wie kann man am besten mit JMP Pro eine geschichtete Probe erstellen?
Danke vielmals,
GA
