Lautsprecher
|
Transkript
|
| Bill Worley |
Hi. |
| Steve C |
Ich bin Steve Crist. Vielen Dank, dass Sie heute dabei sind. Wir gehen über A/B-Tests hinaus und betrachten einen Anwendungsfall von multivariaten Tests und erweiterten Analysen zur Webseitenoptimierung. |
| |
Der Grundriss für heute. Wir beginnen mit einem allgemeinen Überblick über den gesamten Anwendungsfall und gehen dann auf die Details ein. Wir werfen einen Blick auf eine JMP-Demo |
| |
um zu sehen, wie wir einen bestimmten Versuchsplan bewerten. |
| |
Wir werden uns auch die Ergebnisse des Tests ansehen und sehen, wie wir das JMP-Partitionsmodell nutzen konnten, um diese Erkenntnisse zu verbessern. |
| |
Aus einer allgemeinen Übersicht besteht dieser Anwendungsfall aus zwei Tests. Im ersten Test haben wir uns einige Komponenten des Bannerdesigns und den Hauptteil des Seitenlayouts angesehen. |
| |
Und wir hatten einen erfolgreichen multivariaten Test, der zu einer Steigerung der Bewerbungen um 7 % führte. Wir konnten noch einen Schritt weiter gehen |
| |
Wir fanden heraus, dass es sehr wichtig ist, einen Einblick in einige Inhalte zu gewinnen, die unten auf der Seite angezeigt wurden, und das können wir im zweiten Test nutzen. Konnten |
| |
Wir steigern unsere Leistung gegenüber dem ersten Testsieger um weitere 4 %. Der Anwendungsfall zeigt also, wie die JMP-DOE-Plattform und ihr benutzerdefiniertes DOE uns dabei helfen konnten, Test eins zu ermöglichen, und wie uns die JMP-Partitionsmodelle dann dabei halfen, mehr herauszuholen |
| |
zusätzliche Erkenntnisse, die wir in Test zwei nutzen konnten. |
| |
Kommen wir also zu den Details. |
| |
Wenn wir uns unsere aktuelle Seite ansehen, handelt es sich um die Wells Fargo-Check-Homepage. |
| |
Und unsere Marketing- und Geschäftspartner haben großartige Arbeit geleistet, um Kundenfeedback einzuholen. Daher lag die Hauptmotivation für diesen Test in diesem Textkörperstil A oder Seitenlayout A |
| |
im Vergleich zu B, wo unsere Kunden geäußert hatten, dass sie gerne mehr Produkte weiter oben im Erlebnis sehen würden. Und unsere Marketing- und Geschäftspartner sagten: |
| |
Während wir ... während wir diese Änderung vornehmen, denken wir auch, dass wir dieses Image, das wir schon seit einiger Zeit haben, besser machen könnten. |
| |
Wir denken auch, dass dieses Bannerdesign, bei dem wir den Inhalt nach links bringen, wo die Augen der Menschen natürlicher gezeichnet und körperlich kleiner sind, so dass wir den Inhalt hervorheben können, an dem unsere Kunden und Besucher angaben, dass sie mehr Interesse hätten. Deshalb kamen unsere Partner mit einem A/B-Test zu uns. |
| |
Aber man merkt schnell, dass hier noch viel mehr los ist. Wir haben nur zwei der acht möglichen Kombinationen |
| |
abgedeckt und das Gespräch, das wir mit unseren Partnern führten, war, dass dieses Design toll aussieht, wir aber ein gewisses Risiko haben. |
| |
Und das Risiko besteht darin, dass einige dieser Komponenten gut funktionieren, während andere die Leistung beeinträchtigen und sich gegenseitig aufheben. Wenn wir also nur einen A/B-Test durchgeführt haben, |
| |
Wir wissen nicht, welche Komponenten gut funktionieren und welche nicht. Und dort haben wir einen multivariaten Test vorgeschlagen, von dem unser Partner sagte, dass er großartig klingt. Lass uns das tun. Aber ... und sie ... wir hatten einige geschäftliche Einschränkungen, die wir bewältigen mussten. |
| |
Was waren also diese geschäftlichen Einschränkungen? |
| |
Sie sind, |
| |
Wie ich bereits erwähnte, lag die Hauptmotivation in diesem Textkörper-Layout und darin, den neuen Inhalt auf die Seite zu bringen. |
| |
Wenn wir uns also den gesamten Designraum ansehen, hatten unsere Partner eigentlich kein Interesse und keine Lust, eine dieser anderen Varianten zu testen, die das alte Body-Page-Layout haben würden. Das war |
| |
Das war ein Schlüsselfaktor Nummer eins. |
| |
Zweitens gab es nicht viel Interesse ... in diesem Block handelt es sich um eine Seite, die das alte Bild mit dem neuen Layout hatte, und auch hier gab es kein großes Interesse |
| |
dabei. Und so haben unsere Partner in diesem speziellen Fall sehr genaue Vorgaben gemacht, was die Durchführung der Tests angeht, bei denen sie sich wohl fühlen. |
| |
Die natürliche Frage lautet also: Funktioniert dieser Test als ganzheitliches multivariates Testdesign? Und hier kommt die benutzerdefinierte DOE-Plattform von JMP ins Spiel. Lassen Sie mich also umschalten und wir schauen uns an, wie wir das gemacht haben. |
| |
Also gehen wir zu DOE und schauen uns ein individuelles Design an. |
| |
Wir haben drei...drei Faktoren. Wir haben unser Image |
| |
Mit einer A- und einer B-Version haben wir eine weitere zweistufige kategoriale Bannervariable mit einer A- und einer B-Version. |
| |
und schließlich haben wir unser Hauptseitenlayout mit einer A- und einer B-Version. |
| |
Und |
| |
Wenn wir auf „Weiter“ klicken, |
| |
Bisher sieht es gut aus. Und was uns hier auffällt, ist, dass wir diesen vierzelligen Designraum mit nur vier Zellen abdecken können, was gut funktioniert |
| |
für uns in dieser Situation, aber wir wissen aus Erfahrung, und Leute, die damit vertraut sind, würden wissen, dass das |
| |
Die JMP-Optimierungs-Engine wird Ihnen diesen Entwurf niemals als Bruchfaktor mit vier Zellen liefern. Dies ist nicht das optimalste Design |
| |
für vier Zellen, aber es war das Design, mit dem wir arbeiten wollen, um unsere geschäftlichen Einschränkungen zu bewältigen. Um dieses spezielle Design zu erzwingen, können Sie also die unzulässige Kombination verwenden |
| |
um im Wesentlichen jede einzelne Zelle anzugeben, die wir nicht ausführen möchten, sodass uns nur das bleibt, was wir ausführen möchten. In JMP gibt es ... keine Möglichkeit, den genauen Testentwurf anzugeben, aber Sie können das Skript für unzulässige Kombinationen nutzen, um dies zu erzwingen. |
| |
Und das ist etwas, was wir sehr oft tun, |
| |
Denn in unserer...in unserer Welt, in der wir Webseiten testen, erhalten wir viel Input von unseren Partnern. Und das ist ein ziemlich typischer Anwendungsfall für uns, und daher ist es eine Technik, die wir oft verwenden. |
| |
Und weil wir es mit kategorialen Variablen zu tun haben, müssen wir sie, nur um das Skript hier zu erklären, so codieren, dass der Wert von A eine 1 und der Wert B eine 2 erhält. Wenn wir uns also diese bestimmte Zelle ansehen, sehen wir Ich möchte nicht testen... |
| |
Lassen Sie mich das noch einmal zur Sprache bringen. |
| |
Schauen Sie sich diese bestimmte Zelle an, die wir nicht ausführen möchten. Dies ist Bild A mit Banner B und Körperstil A, also ABA oder 121. |
| |
Und diese Zelle hier ist Bild B mit Banner A und Textkörperstil A oder 2211. Auf diese Weise können Sie alle vier dieser Zellen angeben, die wir nicht ausführen möchten. Dann klicken wir auf „Design erstellen“. |
| |
Das Rendern dauert nur eine Sekunde. |
| |
Die Tatsache, dass wir nicht sofort eine Fehlermeldung erhalten, die besagt, dass es keine Konvergenz gibt, ist ein gutes Zeichen, und so haben wir tatsächlich ... |
| |
JMP sagt ja, dieses Design wird funktionieren. Und hier ist unsere ... hier ist unsere Kontrollseite, dargestellt in Lauf Nummer eins hier, das ist ein AAA, Bild A mit Banner A und Textkörperstil A. Hier in Lauf drei ist unser |
| |
Variante, mit der unsere Partner im ursprünglichen A/B-Vorschlag zu uns kamen und das Bild B mit Banner B und Textkörper B enthält. |
| |
Und dann haben wir hier auch die Varianten eins und zwei vertreten, mit BAB und AAB, und so bekommen wir zurück, was wir erwartet hatten. Deshalb werde ich hier kurz einen Kommentar zur Bewertung abgeben. Eines der Dinge, die ich normalerweise betrachte, ist die Farbkarte der Korrelationen |
| |
und die Designdiagnostik. |
| |
Und wer sich damit auskennt, dem wird es auffallen |
| |
Dies ist, wie ich bereits erwähnt habe, nicht das optimalste Design, aber es funktioniert, und darin liegt die Wissenschaft und Kunst dahinter |
| |
kommt zusammen, dass wir es mit unseren Partnern zum Laufen bringen müssen. Und soweit es funktioniert, war das für uns der wichtigste Faktor. |
| |
Außerdem wissen wir, dass wir einen Rückfall haben und über die tatsächlichen Daten verfügen. Wenn wir möchten, könnten wir einige einzelstückweise Vergleiche anstellen, aber es gibt einen großen Effizienzgewinn |
| |
Indem wir eine multivariate Methode ausführen, können wir einige dieser Ergebnisse ableiten. Ich werde hier auch einen Kommentar abgeben, der nicht der Hauptpunkt dieses Gesprächs heute ist. |
| |
Aber ein gut konstruierter und ordnungsgemäß analysierter multivariater Test dauert nicht länger als ein A/B-Test, der auf den ersten Blick sehr kontraintuitiv ist. Deshalb wollte ich diese Aussage im Voraus machen. Wenn Sie interessiert sind, fragen Sie mich bitte während der Frage-und-Antwort-Runde oder kontaktieren Sie mich offline. |
| |
Kommen wir also zurück zur Präsentation. |
| |
Wir haben uns dieses Design also einfach angeschaut und konnten es bewerten. Wir wissen jetzt, dass es als holistisches fraktioniertes faktorielles Multivariat funktioniert. Was haben wir also gelernt? |
| |
Das haben wir gelernt, als wir uns die Übersicht angeschaut haben |
| |
Bei dieser Variante zwei hatten wir einen Anstieg von 7 %. Das war unser leistungsstärkster Test in diesem Designbereich, und da wir ... einen ganzheitlichen multivariaten Test hatten, können wir auch einige Regressionstechniken nutzen, um Rückschlüsse zu ziehen und eine Rückblickanalyse durchzuführen |
| |
Was wäre passiert, wenn wir einige dieser Seiten während dieses Tests ausgeführt hätten? Wir hatten also nicht nur die tatsächlichen Werte, die wir konnten |
| |
Validieren und verifizieren Sie mit der Regressionsanalyse und wir hatten eine gute Übereinstimmung, aber wir können auch... aus diesem Grund auch berechnen und zurückblicken, wie diese Seiten abgeschnitten hätten, wenn wir sie getestet hätten. Und das...das ist eines davon |
| |
Wichtige Dinge über multivariate Tests, insbesondere wenn Sie sich in einer Situation wie unserer befinden, in der Sie all diese verschiedenen Seiten entwickeln und erstellen müssen. Wir können diese Technik nutzen |
| |
um uns im Vorfeld einiges an Arbeit zu ersparen und dennoch in der Lage zu sein, die Erkenntnisse zu extrahieren. Es hilft auch beim Isolieren |
| |
was treibt die Leistung an. Und Sie können hier sehen, dass, wenn wir den ursprünglichen A/B-Test durchgeführt hätten, |
| |
wir hätten...wir hätten... |
| |
Unsere Variante hätte die Leistung unterdrückt. Und wenn wir kein Multivariat betrieben hätten, wäre die Interpretation gewesen, dass diese neue Seite, die unsere Kunden ... |
| |
oder dieses neue Konzept und Design, von dem unsere Kunden sagten, dass sie es mögen würden, hätten wir interpretiert, dass es ihnen nicht wirklich gefallen hat. Aber in Wirklichkeit kann man das sehen |
| |
Es sind alle Banner-B-Versionen, die die Leistung beeinträchtigt haben. Das war...dass der neue Bannerstil bei unseren Besuchern nicht besonders gut ankam |
| |
und unsere Kunden. |
| |
Und so konnten wir sie extrahieren. Wir hatten nicht nur einen besseren Sieger für die Zukunft, sondern wir sind auch in der Lage, dieses Design leicht zu verstehen |
| |
Das, was unsere Kunden wollten, ist im Grunde genommen das, was ... was gut funktioniert. |
| |
Wir hätten also genauso gut dort stehen bleiben und sagen können: Großartig, wir hatten einen erfolgreichen Test. Vielen Dank und wir sind fertig. Aber... aber sind wir fertig? Wir haben viele Daten. Gibt es noch etwas, was uns die Daten sagen können? |
| |
Und in unserer Berichterstattung ist uns unter anderem aufgefallen, dass wir viel weniger Engagement und viel weniger Klicks erzielten |
| |
Vergleichen Sie hier Konten und finden Sie das richtige Konto, das Sie zu einem geführten Erlebnis führt. Und in der Kontrollerfahrung sind diese... |
| |
dieser Inhalt war viel, viel weiter oben. Es befand sich direkt unter dem Banner, und so überrascht es aus der Klick-Perspektive nicht, dass |
| |
Haben wir hier viel weniger Klicks gesehen? Das ist ziemlich typisch für jede Webseite: Je weiter unten auf der Seite, je mehr Leute scrollen müssen, desto weniger klicken sie darauf. Das ist ziemlich intuitiv, aber wir stellen uns die Frage, weil es ein so starker Kontrast war. |
| |
Ist das ein Problem? Wir finden diese Erfahrungen und Inhalte ziemlich gut und sind etwas überrascht, dass sie so stark gesunken sind. Wir haben damit gerechnet, dass es etwas sinken würde, |
| |
aber es fiel viel stärker, als wir erwartet hatten. Ist das ein Problem? Um diesen Aspekt zu verstehen, verwendeten wir das JMP-Partitionsmodell und insbesondere den Entscheidungsbaumalgorithmus. |
| |
Also haben wir Variante zwei gewählt und Bewerbungseinsendungen analysiert, um herauszufinden, welcher Inhalt wann angeklickt wurde oder nicht. |
| |
half bei der Steigerung. Und wir sahen eine Trennung mit einer höheren Bewerbungseinreichungsrate. |
| |
Und so ist an der Spitze des Baums das Wichtigste, wiederum sehr intuitiv und keineswegs überraschend, die Leute, die geklickt haben |
| |
Bei einigen Inhalten auf der Seite im Vergleich zu Personen, die die Seite besuchten, aber nichts anklickten, hatten die Personen, die darauf geklickt haben, eine 20-mal bis 20-mal höhere App-Einreichungsrate. |
| |
Sehr einfach. Sie sind motiviert. Sie interagieren mit Ihrer Seite. Sie haben also geklickt, aber worauf haben sie geklickt? |
| |
Der nächste Knoten der Baumstruktur ist der Inhalt „Jetzt bewerben“ und „Jetzt öffnen“, also die Personen, die auf „Jetzt öffnen“ oder „Bewerben“ geklickt haben |
| |
Direkt von dieser Seite aus im Vergleich zu Personen, die auf etwas anderes geklickt, aber nicht auf „Übernehmen“ geklickt haben, hatten diese „Anwenden“-Klicker eine siebenmal höhere App-Einreichungsrate. Wieder sehr einfach, sehr intuitiv. |
| |
Was uns jedoch überraschte, war, dass es auf dieser Seite viele andere Möglichkeiten gibt, die Sie nutzen können, wenn sie nicht auf „Jetzt bewerben“ geklickt haben |
| |
Klicken Sie auf die Produktdetailseite und bewerben Sie sich dort. Oder Sie gehen zum Beispiel in den Vergleich und bewerben sich dort. Als ob Sie tiefer in die Erfahrung eintauchen und sich trotzdem bewerben können. Und so ist der zweitwichtigste Inhalt auf dieser Seite, abgesehen davon, dass er jetzt geöffnet ist, der Vergleich aller Konten. |
| |
(CTA). Und wir haben es einfach unten auf der Seite vergraben. Und tatsächlich ist der Vergleich aller Accounts genauso wichtig wie der Inhalt im Banner, was uns sehr überrascht hat. |
| |
So sind wir in der Lage, dieses Gespräch mit unseren Partnern zu führen, um dann die Erkenntnis zu nutzen, dass die Wahrscheinlichkeit, dass Menschen eine Bewerbung einreichen, um 40 % höher ist, wenn sie auf „Vergleichen“ klicken. Wir müssen testen, ob wir das in der Erfahrung weiter nach oben bringen können und welche Auswirkungen das auf die Leistung hat. |
| |
Und was wir gefunden haben, wissen Sie, also hatten wir hier die Kontrolle, wir hatten den Vergleichs- und den Produktauswahlinhalt, beide unten. |
| |
Und mein persönlicher Vorschlag bestand darin, sie beide wieder ganz oben zu platzieren, aber zum Glück hatten unsere ... wir unsere Marketing- und Geschäftspartner so weit aufgeklärt, dass sie sagten: „Nun, lasst uns einen Multivariaten betreiben, um herauszufinden, ob wir sie beide brauchen.“ oben? Wissen Sie, gibt es eine Präferenz, |
| |
in Bezug auf unsere Besucher, in Bezug auf Leistung und Website-Konvertierung? Sollten wir nur eins haben? Lenken einige dieser Kontaktinhalte ab? |
| |
Wir fanden heraus, dass es so war. Wissen Sie, in unserer Variante mit der besten Leistung, wie wir oben erwähnt haben, war diese Variante mit dem Vergleich an der Spitze |
| |
und der Wahlschalter unten. Wissen Sie, insbesondere beim Selektor waren weniger Leute mehr |
| |
daran interessiert. Dadurch, dass es ganz oben war, war es etwas ablenkend. Und so können wir unser Erlebnis wirklich bereinigen und optimieren, indem wir nur den Vergleich oben behalten. |
| |
Um hier noch einmal auf die hohe Ebene zurückzukommen: Wir hatten zwei Tests und konnten im ersten Test die JMP-Plattform verwenden |
| |
um uns bei der Navigation in der Diskussion über multivariate Tests zu helfen. |
| |
Und dann nutzen Sie das JMP-Partitionsmodell, um diese Erkenntnisse aufzudecken und diese Erkenntnisse weiterzuleiten. Und so haben wir zwischen diesen beiden Tests innerhalb eines relativ kurzen Zeitraums von … erreicht, dass wir unsere Site-Anwendungen insgesamt um 11 % steigern konnten. |
| |
Und so, abschließend, die multivariaten Tests, |
| |
Im Allgemeinen ist dies eine sehr effektive Methode, um die Vorgänge in Ihrem Test zu isolieren und zu verstehen. Wissen Sie, wie die meisten Menschen wissen, |
| |
Sobald man anfängt, zu viele Dinge zu ändern, verliert man ein gewisses Maß an Einsicht. |
| |
Und ich möchte auch sagen, dass einer der Hauptunterschiede bei der Prüfung von Finanzdienstleistungen darin besteht |
| |
Die Leute fragen sich vielleicht... warum haben Sie nicht einfach eine Reihe aufeinanderfolgender A/B-Tests durchgeführt? Und ein Teil davon hängt davon ab, dass man im Finanzdienstleistungsbereich tätig ist. |
| |
Und ich glaube, auch in anderen Branchen gilt, dass jede Änderung an einer Seite einer rechtlichen, Risiko- und Compliance-Prüfung unterzogen werden muss. Und so |
| |
Für uns ist die multivariate Methode sehr effektiv, weil wir diesen Prozess einmal durchlaufen können und sequentielle A/B-Tests am Ende sehr umständlich sind, und das können wir |
| |
Mit dieser Methode kommen Sie viel schneller durch die Tests. Und was die DOE-Plattform JMP betrifft, ist die DOE-Plattform von JMP wirklich die Beste ihrer Klasse. |
| |
Es ist so visuell und so wirkungsvoll, dass es Ihnen hilft, diese Gespräche mit Ihren Partnern zu steuern, denn |
| |
Wissen Sie, als Analyst mache ich das täglich, aber unsere Partner, Marketing- und Geschäftspartner, denken nicht wirklich oft darüber nach. |
| |
Daher ist die JMP-Plattform von entscheidender Bedeutung und hilft uns, dieses Gespräch zu steuern und zu artikulieren, warum dies der beste Weg nach vorne ist. |
| |
Und wiederum gibt Ihnen die Flexibilität des Skripts für unzulässige Kombinationen die Möglichkeit, bestimmte Designs zu bewerten und diese geschäftlichen Einschränkungen zu steuern und zu verwalten. |
| |
Und wenn wir das alles noch einen Schritt weiter gehen, helfen das Partitionsmodell und die Entscheidungsbaumanalyse dabei, noch mehr Erkenntnisse zu gewinnen |
| |
Eines der Dinge, die wir immer anstreben, ist, in diesem Kontinuum zu sein, wo wir einen Test durchführen, hoffentlich einige aussagekräftige Ergebnisse erzielen und etwas lernen. |
| |
Aber wir lernen auch etwas, das uns nicht wirklich gefallen hat, und wir sind auf der Suche nach diesen Erkenntnissen, um zu wissen, was wir als nächstes testen müssen. |
| |
Damit ist die Präsentation abgeschlossen. Ich möchte mich bei allen meinen Testkollegen bei Wells Fargo für ihre Führung und Zusammenarbeit bedanken |
| |
Vom Projektmanagement über die Webseitenentwicklung bis hin zu den Mitgliedern unseres Qualitätssicherungsteams. Vielen Dank an alle und ein besonderer Dank geht an Rudy für seine Arbeit |
| |
Dank seiner Freundschaft und seiner langjährigen Zusammenarbeit mit seinem Rat, seinem Fachwissen und seiner Hartnäckigkeit hat er dem Team stets dabei geholfen, noch besser zu werden. Vielen Dank für Ihre heutige Teilnahme. |
