756835_de-DE

liliconcom

Jenseits von A/B-Tests: Fallstudie zur multivariaten Testgestaltung und fortgeschrittenen Analytik für die Webseitenoptimierung (2021-US-45MP-821)

Steven Crist, Analytics Consultant, Wells Fargo

Es ist bekannt, dass die Optimierung von Layout und Inhalt von Webseiten durch eine sorgfältige Versuchsplanung (Design of Experiments, DOE) vor dem Test, eine anschließende Analyse nach dem Test sowie die Identifizierung und Implementierung einer optimalen Webseitenvariante erreicht werden kann. Der vorliegende Anwendungsfall demonstriert die Nutzung der JMP Custom DOE-Plattform zur Erstellung eines fraktionierten faktoriellen multivariaten DOE für eine Webseite für ein Girokonto im Finanzdienstleistungssektor. Dieser DOE berücksichtigte effektiv die geschäftlichen Einschränkungen und lieferte gleichzeitig die notwendigen Daten, die zu einer Steigerung des Antragsvolumens um 7 % im Vergleich zur Vorgängerseite führten. Mithilfe der JMP-Partitionsmodell-Plattform wurde zudem eine weitere wichtige Erkenntnis gewonnen: Besucher, die auf den Link „Konten vergleichen“ klickten, reichten mit 40 % höherer Wahrscheinlichkeit einen Antrag ein. Diese Erkenntnis war zwar nicht die Hauptfrage des ursprünglichen Tests, lieferte aber wichtige Anhaltspunkte für zukünftige Tests zur weiteren Optimierung der Webseite und führte zu einer zusätzlichen Steigerung um 4 %. Der vorgestellte Anwendungsfall verdeutlicht die Effektivität des kontinuierlichen Testprozesses, der von einem Test zu umsetzbaren Erkenntnissen und schließlich zum nächsten Optimierungstest führt.

Automatisch generiertes Transkript...

Lautsprecher	Transkript
Bill Worley	Hi.
Steve C	Ich bin Steve Crist. Vielen Dank, dass Sie heute dabei sind, wenn wir über A/B-Tests hinausgehen und uns einen Anwendungsfall für multivariate Tests und fortgeschrittene Analysen zur Webseitenoptimierung ansehen.
	Der heutige Ablauf. Wir beginnen mit einem allgemeinen Überblick über den gesamten Anwendungsfall und gehen dann ins Detail. Wir sehen uns eine JMP-Demo an.
	um zu untersuchen, wie wir ein bestimmtes Versuchsdesign bewerten.
	Wir werden uns auch die Ergebnisse des Tests ansehen und wie wir das JMP-Partitionsmodell nutzen konnten, um diese Erkenntnisse zu verbessern.
	Im Großen und Ganzen besteht dieser Anwendungsfall aus zwei Tests. Im ersten Test haben wir uns einige Komponenten des Bannerdesigns und des Seitenlayouts angesehen.
	Und wir hatten einen erfolgreichen multivariaten Test, der zu einem Anstieg der Bewerbungen um 7 % führte. Wir konnten diesen Schritt noch weiter ausbauen.
	Wir haben eine Erkenntnis über Inhalte gewonnen, die ans Ende der Seite gerutscht waren und sich als sehr wichtig herausstellten. Diese Erkenntnis können wir im zweiten Test nutzen. Wir sind in der Lage,
	Wir konnten unsere Leistung im Vergleich zum ersten Testsieger um weitere 4 % steigern. Dieser Anwendungsfall verdeutlicht, wie die JMP DOE-Plattform und ihr benutzerdefiniertes DOE uns bei der Durchführung des ersten Tests unterstützten und wie die JMP-Partitionsmodelle uns anschließend halfen, weitere Ergebnisse zu erzielen.
	Diese zusätzlichen Erkenntnisse konnten wir im zweiten Test nutzen.
	Kommen wir also zu den Details.
	Wenn wir uns unsere aktuelle Seite ansehen, handelt es sich um die Startseite des Wells Fargo Girokontos.
	Unsere Marketing- und Geschäftspartner haben hervorragende Arbeit geleistet, indem sie wertvolles Kundenfeedback eingeholt haben. Daher lag die Hauptmotivation für diesen Test im Body Style A bzw. Seitenlayout A.
	im Gegensatz zu B, wo unsere Kunden angegeben hatten, dass sie mehr Produkte weiter oben im Nutzererlebnis sehen wollten. Und unsere Marketing- und Geschäftspartner sagten:
	Während wir diesen Wandel vollziehen, sind wir auch der Meinung, dass wir unser Image, das wir eine Zeit lang hatten, verbessern könnten.
	Wir glauben außerdem, dass dieses Bannerdesign, bei dem wir die Inhalte links platzieren, da der Blick des Betrachters dort natürlicher gelenkt wird und die Ansicht physisch kleiner ist, die Inhalte besser sichtbar macht, an denen unsere Kunden und Besucher laut ihren Angaben mehr Interesse zeigen. Deshalb haben unsere Partner einen A/B-Test mit uns durchgeführt.
	Man erkennt aber schnell, dass hier noch viel mehr dahintersteckt. Wir haben erst zwei der acht möglichen Kombinationen.
	Wir haben mit unseren Partnern darüber gesprochen, und das Ergebnis unseres Gesprächs war, dass dieses Design zwar toll aussieht, aber auch gewisse Risiken birgt.
	Das Risiko besteht darin, dass einige dieser Komponenten gut funktionieren, andere hingegen die Leistung beeinträchtigen und sich gegenseitig aufheben. Wenn wir also nur einen A/B-Test durchgeführt haben,
	Wir werden nicht wissen, welche Komponenten gut und welche nicht gut funktionieren. Und genau da ... deshalb schlugen wir einen multivariaten Test vor, worauf unser Partner meinte: „Das klingt super. Machen wir das.“ Aber ... und sie ... wir hatten einige geschäftliche Einschränkungen, die wir berücksichtigen mussten.
	Welche geschäftlichen Einschränkungen bestanden also?
	Sie waren,
	Wie bereits erwähnt, lag die Hauptmotivation in der Gestaltung des Hauptteils und der Integration neuer Inhalte auf die Seite.
	Betrachtet man also den gesamten Gestaltungsspielraum, so zeigten unsere Partner weder Interesse noch wirklich Lust, irgendeine dieser anderen Varianten mit dem alten Layout der Inhaltsseite zu testen. Das war
	Das war ein entscheidender Faktor... Schlüsselfaktor Nummer eins.
	Zweitens bestand nicht viel Interesse... in diesem Abschnitt wird eine Seite dargestellt, die das alte Bild mit dem neuen Layout enthielt, und auch hier war das Interesse gering.
	Dabei haben unsere Partner sehr genaue Vorgaben hinsichtlich der Tests gemacht, die sie durchführen wollten.
	Die naheliegende Frage ist also: Funktioniert dieser Test als ganzheitliches multivariates Testdesign? Und genau hier kommt die JMP-Plattform für benutzerdefinierte Versuchsplanung ins Spiel. Ich schalte jetzt um und wir sehen uns an, wie wir das gemacht haben.
	Wir werden uns also an das Energieministerium wenden und haben uns ein individuelles Design angesehen.
	Wir haben drei... drei Faktoren. Wir haben unser Image.
	Mit einer A- und einer B-Version haben wir eine weitere zweistufige kategoriale Variable für Banner mit einer A- und einer B-Version.
	Und schließlich haben wir noch unser Layout für den Hauptteil der Seite, jeweils in einer A- und einer B-Version.
	Und
	wenn wir auf Weiter klicken,
	Bislang sieht es gut aus. Und was wir hier feststellen, ist, dass wir diesen Vier-Zellen-Designraum mit nur vier Zellen abdecken können, was gut funktioniert.
	für uns in dieser Situation, aber wir wissen aus Erfahrung, und Menschen, die damit vertraut sind, würden das auch wissen, dass
	Die JMP-Optimierungsengine wird Ihnen diesen Entwurf niemals als fraktionelle Faktorielle Versuchsanordnung mit vier Zellen liefern. Dies ist nicht der optimale Entwurf.
	für vier Zellen, aber es war das Design, mit dem wir arbeiten wollten, um unsere geschäftlichen Einschränkungen zu bewältigen. Um dieses spezielle Design zu erzwingen, können Sie die unzulässige Kombination verwenden.
	Wir müssen im Prinzip jede einzelne Zelle angeben, die wir nicht ausführen möchten, sodass nur die gewünschten Zellen übrig bleiben. In JMP gibt es keine Möglichkeit, das Testdesign exakt festzulegen, aber man kann das Skript für unzulässige Kombinationen nutzen, um es zu erzwingen.
	Und das ist etwas, was wir sehr oft tun.
	Denn in unserer Welt des Webseitentests erhalten wir viel Feedback von unseren Partnern. Und dies ist ein typischer Anwendungsfall für uns, daher nutzen wir diese Technik häufig.
	Da wir es hier mit kategorialen Variablen zu tun haben, müssen wir diese – um das Skript zu erklären – kodieren. Der Wert von A erhält also eine 1 und der Wert von B eine 2. Wenn wir uns nun diese spezielle Zelle ansehen, die wir nicht testen möchten …
	Ich möchte das noch einmal ansprechen.
	Wenn wir uns diese spezielle Zelle ansehen, die wir nicht ausführen wollen, dann ist dies Bild A mit Banner B und Body-Stil A, also ABA oder a 121.
	Diese Zelle hier enthält Bild B mit Banner A und Textformat A, also 2211. Auf diese Weise können wir alle vier Zellen auswählen, die nicht ausgeführt werden sollen. Anschließend klicken wir auf „Design erstellen“.
	Das Rendern dauert nur eine Sekunde.
	Die Tatsache, dass wir nicht sofort eine Fehlermeldung erhalten, die besagt, dass die Konvergenz nicht gegeben ist, ist ein gutes Zeichen, und so haben wir tatsächlich...
	JMP sagt, ja, dieses Design funktioniert. Und hier ist unsere... hier ist unsere Kontrollseite, dargestellt in Durchlauf Nummer eins, das ist ein AAA, Bild A mit Banner A und Body-Stil A. Hier in Durchlauf drei ist unsere
	Variante, die unsere Partner uns im ursprünglichen A/B-Vorschlag vorgelegt haben und die das Bild B mit Banner B und Textkörper B enthält.
	Und dann sind hier auch die Varianten eins und zwei mit BAB und AAB vertreten, sodass wir das erwartete Ergebnis erhalten. Ich möchte an dieser Stelle kurz die Auswertung kommentieren. Eines der Dinge, die ich mir üblicherweise ansehe, ist die Farbskala der Korrelationen.
	und die Designdiagnostik.
	Und diejenigen, die damit vertraut sind, werden feststellen, dass
	Wie bereits erwähnt, ist dies nicht die optimale Konstruktion, aber sie funktioniert, und genau darin liegt die Wissenschaft und Kunst dieses Designs.
	Es kommt darauf an, dass wir mit unseren Partnern zusammenarbeiten und es zum Erfolg führen. Und insofern es funktioniert, war das für uns der wichtigste Faktor.
	Da wir außerdem einen Ausweichplan haben, die tatsächlichen Daten vorliegen, könnten wir zwar auch stückweise Vergleiche anstellen, aber es gibt deutliche Effizienzgewinne.
	Durch die Durchführung einer multivariaten Analyse können wir einige dieser Ergebnisse ableiten. Ich möchte hier auch noch eine Anmerkung machen, die aber nicht der Hauptpunkt dieser heutigen Diskussion ist.
	Eine gut konzipierte und korrekt analysierte multivariate Analyse dauert jedoch nicht länger als ein A/B-Test, was auf den ersten Blick sehr kontraintuitiv erscheint. Deshalb wollte ich das gleich zu Beginn klarstellen. Bei Interesse können Sie mich gerne in der Fragerunde kontaktieren oder mich offline anschreiben.
	Nun zurück zur Präsentation.
	Wir haben uns also dieses Design angesehen und konnten es auswerten. Wir wissen nun, dass es als holistisches fraktionales faktorielles multivariates Modell funktioniert. Was haben wir also gelernt?
	Wie wir beim Blick in die Übersicht erfuhren,
	Bei dieser zweiten Variante erzielten wir eine Leistungssteigerung von 7 %. Das war unsere beste Variante in diesem Designbereich, und da wir einen ganzheitlichen multivariaten Test durchgeführt hatten, konnten wir auch Regressionsverfahren nutzen, um Rückschlüsse zu ziehen und eine Analyse der Ergebnisse durchzuführen.
	Was wäre passiert, wenn wir einige dieser Seiten während dieses Tests ausgeführt hätten? Wir hatten also nicht nur die tatsächlichen Werte, die wir hätten ermitteln können.
	Wir haben die Ergebnisse mittels Regressionsanalyse validiert und verifiziert und eine gute Übereinstimmung erzielt. Dadurch können wir aber auch berechnen und im Nachhinein analysieren, wie diese Seiten abgeschnitten hätten, wenn wir sie getestet hätten. Und das ist einer der Gründe, warum…
	Multivariate Tests bieten viele Vorteile, insbesondere wenn man sich in einer Situation wie unserer befindet, in der man all diese verschiedenen Seiten entwickeln und erstellen muss. Wir können diese Technik nutzen.
	Um uns im Vorfeld viel Arbeit zu ersparen und dennoch die gewonnenen Erkenntnisse nutzen zu können. Es hilft auch dabei, zu isolieren
	Was beeinflusst die Leistung? Und hier können Sie sehen, dass, wenn wir den ursprünglichen A/B-Test durchgeführt hätten,
	Wir hätten... wir hätten gehabt...
	Unsere Variante hätte die Leistung beeinträchtigt. Und hätten wir keine multivariate Analyse durchgeführt, wäre die Interpretation gewesen, dass diese neue Seite, die unsere Kunden...
	Oder dieses neue Konzept und Design, von dem unsere Kunden sagten, dass es ihnen gefallen würde, hätten wir so interpretiert, als ob es ihnen eigentlich nicht gefiele. Aber tatsächlich kann man sehen, dass
	Es waren alle Banner-B-Versionen, die die Performance beeinträchtigten. Das heißt... dieser neue Bannerstil kam bei unseren Besuchern nicht besonders gut an.
	und unsere Kunden.
	Und so konnten wir sie extrahieren. Wir hatten nicht nur einen besseren Gewinner für die Zukunft, sondern konnten auch leicht verstehen, dass dieses Design
	Das, was unsere Kunden sich gewünscht haben, ist im Grunde genommen das, was...was gut funktioniert.
	Wir hätten es also genauso gut dabei belassen und sagen können: „Super, der Test war erfolgreich. Danke, das war’s.“ Aber … sind wir wirklich fertig? Wir haben eine Menge Daten. Können wir daraus noch etwas lernen?
	Bei unseren Recherchen stellten wir unter anderem fest, dass wir deutlich weniger Interaktionen und deutlich weniger Klicks verzeichneten.
	Hier können Sie Konten vergleichen und das passende Konto finden, was Sie durch einen geführten Prozess führt. Und in der Kontrollfunktion...
	Dieser Inhalt befand sich viel, viel weiter oben. Er war direkt unter dem Banner, und daher war es aus Klickperspektive überhaupt nicht überraschend,
	Haben wir hier deutlich weniger Klicks verzeichnet? Das ist typisch für Webseiten: Je weiter unten man scrollen muss, desto weniger Klicks werden generiert. Das ist eigentlich einleuchtend, aber wir haben uns die Frage gestellt, weil der Unterschied so eklatant war.
	Ist das ein Problem? Wir finden diese Erlebnisse und Inhalte ziemlich gut und sind etwas überrascht, dass die Zahlen so stark gesunken sind. Wir hatten mit einem leichten Rückgang gerechnet.
	Aber der Rückgang war viel stärker als erwartet. Ist das ein Problem? Um diesen Aspekt besser zu verstehen, haben wir das JMP-Partitionsmodell und insbesondere den Entscheidungsbaumalgorithmus verwendet.
	Wir haben also Variante zwei genommen und die eingereichten Bewerbungen analysiert, um herauszufinden, welche Inhalte wann angeklickt wurden oder nicht.
	Dies trug zu einer Steigerung bei. Und wir konnten eine Trennung bei gleichzeitig höherer Antragsquote feststellen.
	Und so ist an der Spitze des Baumes das Wichtigste – wiederum sehr intuitiv, überhaupt nicht überraschend –, dass die Leute, die geklickt haben, …
	Bei Nutzern, die Inhalte auf der Seite anklickten, im Vergleich zu Nutzern, die die Seite zwar besuchten, aber nichts anklickten, war die Einreichungsrate der App bei denjenigen, die klickten, 20-mal höher.
	Ganz einfach. Sie sind motiviert. Sie interagieren mit Ihrer Seite. Sie haben also geklickt, aber worauf haben sie geklickt?
	Der nächste Knoten im Baum enthält die Inhalte „Jetzt bewerben“ und „Jetzt öffnen“, also Personen, die auf „Jetzt öffnen“ oder „Bewerben“ geklickt haben.
	Direkt von dieser Seite aus, im Vergleich zu Nutzern, die zwar auf etwas anderes geklickt, aber nicht auf „Bewerben“ geklickt haben, war die Bewerbungsquote bei denjenigen, die auf „Bewerben“ geklickt haben, siebenmal höher. Nochmals: sehr einfach und intuitiv.
	Was uns aber überrascht hat, war, dass es, falls sie nicht auf „Jetzt bewerben“ klicken, viele andere Wege auf dieser Seite gibt, die sie nutzen können.
	Klicken Sie auf die Produktdetailseite und bewerben Sie sich von dort aus. Alternativ können Sie beispielsweise die Vergleichsfunktion aufrufen und sich von dort aus bewerben. Sie können also tiefer in die Materie eintauchen und sich trotzdem bewerben. Der zweitwichtigste Inhalt auf dieser Seite, neben „Jetzt öffnen“, ist der Vergleich aller Konten.
	(CTA). Und wir haben ihn einfach ganz unten auf der Seite versteckt. Tatsächlich ist der „Alle Konten vergleichen“-Button genauso wichtig wie der Inhalt im Banner, was uns sehr überrascht hat.
	Wir können also mit unseren Partnern darüber sprechen und diese Erkenntnis nutzen, dass Nutzer, die auf „Vergleichen“ klicken, mit 40 % höherer Wahrscheinlichkeit eine Bewerbung einreichen. Wir müssen testen, ob wir diese Funktion wieder prominenter platzieren können und welche Auswirkungen das auf unsere Performance hat.
	Und was wir festgestellt haben, wissen Sie, also hier in der Steuerung hatten wir die Vergleichsfunktion und die Produktauswahl, beide ganz unten.
	Und mein persönlicher Vorschlag war, sie einfach beide wieder ganz oben zu platzieren, aber zum Glück hatten wir unsere Marketing- und Geschäftspartner so weit aufgeklärt, dass sie sagten: „Lasst uns eine multivariate Analyse durchführen, um herauszufinden, ob wir sie wirklich beide ganz oben brauchen. Gibt es da eine Präferenz?“
	Im Hinblick auf unsere Besucher, die Performance und die Conversion-Rate der Website? Sollten wir nur eine haben? Ist ein Teil dieses Kontakts/Inhalts ablenkend?
	Wir haben festgestellt, dass es so war. Wissen Sie, bei unserer leistungsstärksten Variante, wie wir bereits erwähnt haben, war es genau diese Variante, bei der der Vergleich ganz oben stand.
	Und der Auswahlschalter ganz unten. Wissen Sie, insbesondere der Auswahlschalter, weniger Leute waren mehr
	Das hat uns interessiert. Dadurch, dass es ganz oben angezeigt wurde, war es etwas ablenkend. Deshalb können wir die Nutzererfahrung optimieren, indem wir nur noch die Vergleichsfunktion oben platzieren.
	Um also auf das Gesamtbild zurückzukommen: Wir haben zwei Tests durchgeführt und konnten im ersten Test die JMP-Plattform nutzen.
	um uns bei der Diskussion über multivariate Tests zu unterstützen.
	Anschließend nutzen wir das JMP-Partitionsmodell, um diese Erkenntnisse zu gewinnen und weiterzugeben. Und so konnten wir, wie bereits erwähnt, durch diese beiden Tests innerhalb relativ kurzer Zeit unsere Website-Anwendungen um insgesamt 11 % steigern.
	Abschließend lässt sich also sagen, dass die multivariate Testung
	Im Allgemeinen ist dies eine sehr effektive Methode, um die Vorgänge in Ihrem Test zu isolieren und zu verstehen. Wie die meisten Leute wissen,
	Wenn man anfängt, zu viele Dinge zu verändern, verliert man ein Stück weit den Überblick.
	Und ich möchte auch noch hinzufügen, dass einer der Hauptunterschiede im Bereich der Finanzdienstleistungsprüfung darin besteht, dass
	Manche fragen sich vielleicht, warum man nicht einfach eine Reihe aufeinanderfolgender A/B-Tests durchgeführt hat? Das liegt zum Teil an der Tätigkeit im Finanzdienstleistungssektor.
	Und ich glaube, das ist auch in anderen Branchen so, dass jede Änderung an einer Seite einer rechtlichen Prüfung sowie einer Prüfung auf Risiko und Compliance unterzogen werden muss.
	Für uns ist die multivariate Methode sehr effektiv, da wir diesen Prozess nur einmal durchlaufen müssen, während sequentielle A/B-Tests sehr aufwendig sind.
	Mit dieser Methode lassen sich die Tests deutlich schneller durchführen. Und was die DOE-Plattform von JMP betrifft, so ist diese wirklich erstklassig.
	Es ist so anschaulich und so wirkungsvoll, um diese Gespräche mit Ihren Partnern zu führen, denn
	Wissen Sie, als Analystin mache ich das täglich, aber unsere Partner aus dem Marketing und der Geschäftswelt denken nicht wirklich oft darüber nach.
	Die JMP-Plattform ist daher von entscheidender Bedeutung und hilft uns, diese Diskussion zu führen und zu verdeutlichen, warum dies der beste Weg nach vorn ist.
	Und auch hier bietet die Flexibilität des Skripts für unzulässige Kombinationen die Möglichkeit, spezifische Designs zu bewerten und diese geschäftlichen Einschränkungen zu bewältigen.
	Und um das Ganze noch einen Schritt weiter zu treiben, helfen das Partitionsmodell und die Entscheidungsbaumanalyse dabei, noch mehr Erkenntnisse zu gewinnen, sodass
	Eines unserer Ziele ist es, uns auf diesem Kontinuum zu bewegen, wo wir einen Test durchführen, hoffentlich aussagekräftige Ergebnisse erzielen und etwas lernen.
	Aber wir lernen auch etwas, das wir vorher nicht wirklich gewürdigt haben, und genau diese Erkenntnis suchen wir, um zu wissen, was wir als Nächstes testen sollen.
	Damit ist die Präsentation beendet. Ich möchte mich bei allen meinen Kolleginnen und Kollegen, insbesondere den Testkollegen bei Wells Fargo, für ihre Führungsrolle und die gute Zusammenarbeit bedanken.
	Das Spektrum reicht vom Projektmanagement über die Webseitenentwicklung bis hin zu unseren Mitarbeitern der Qualitätssicherung. Vielen Dank an alle, und ein besonderer Dank geht an Rudy für seinen Einsatz.
	Ich danke ihm für seine Freundschaft und die langjährige Zusammenarbeit mit einem Kollegen, für seine Unterstützung, sein Fachwissen und seine Beharrlichkeit sowie dafür, dass er das Team stets zu Höchstleistungen angespornt hat. Vielen Dank für Ihre Teilnahme heute.

Fortgeschrittene statistische ModellierungGrundlagen der Datenanalyse und ModellierungVerbraucher- und MarktforschungInhaltsorganisationVersuchsplanungMassenanpassungPrädiktive Modellierung und maschinelles LernenQualitäts- und ProzessentwicklungErgebnisse teilen und kommunizieren