スピーカー
|
成績証明書
|
| ビル・ウォーリー |
やあ。 |
| スティーブ・C |
私はスティーブ・クリストです。 本日は、A/B テストを超えて、Web ページ最適化のための多変量テストと高度な分析のユースケースを見ていきますので、ご参加いただきありがとうございます。 |
| |
今日のあらすじ。 まず、ユースケース全体の高レベルの概要から始めて、次に詳細を見ていきます。 JMP のデモを見てみましょう |
| |
特定の実験計画をどのように評価するかを見てみましょう。 |
| |
また、テストから得られた結果と、JMP パーティション モデルを活用してこれらの洞察を強化する方法についても見ていきます。 |
| |
高レベルの概要から見ると、この使用例は 2 つのテストで構成されています。 テスト 1 では、バナー デザインのいくつかのコンポーネントとページ レイアウトの本文を調べました。 |
| |
そして、多変量テストに成功し、アプリケーション数が 7% 増加しました。 私たちはそれをさらに一歩進めることができました |
| |
ページの下部に押し込まれていた一部のコンテンツについての洞察を明らかにすることは非常に重要であることがわかり、テスト 2 でそれを活用することができました。 することができた |
| |
最初のテスト勝者よりもさらに 4% パフォーマンスが向上します。 このユースケースでは、JMP DOE プラットフォームとそのカスタム DOE がテスト 1 の有効化にどのように役立ち、その後、JMP パーティション モデルがより多くのデータを抽出するのに役立ったかを強調しています。 |
| |
追加の洞察をテスト 2 に活用することができました。 |
| |
それでは、詳細を見ていきましょう。 |
| |
現在のページを見ると、これはウェルズ・ファーゴのチェック・ホームページです。 |
| |
また、当社のマーケティング パートナーやビジネス パートナーは、顧客からのフィードバックを得るという素晴らしい仕事をしてくれました。そのため、このテストの主な動機は、このボディ スタイル A またはページ レイアウト A に関するものでした。 |
| |
対 B では、顧客がエクスペリエンスの上位に表示される製品をもっと見たいと述べていました。 そして私たちのマーケティングパートナーやビジネスパートナーはこう言いました。 |
| |
私たちがこの変化を行っている間、私たちはしばらくの間抱いていたこのイメージをもっと改善できるのではないかとも考えています。 |
| |
また、このバナー デザインでは、コンテンツを左側に持ってきており、人々の目がより自然に描かれ、物理的に小さくなっているため、顧客や訪問者がより興味があると言っているコンテンツを表面に表示できると考えています。 そこで、パートナーが A/B テストを持ち込んできました。 |
| |
しかし、ここではさらに多くのことが起こっていることがすぐにわかります。 8 つの可能な組み合わせのうち 2 つしかありません |
| |
パートナーとの会話では、このデザインは素晴らしく見えますが、ある程度のリスクがあるということでした。 |
| |
そしてそのリスクは、これらのコンポーネントの一部はうまく機能する可能性がある一方で、一部はパフォーマンスを低下させ、互いに打ち消し合う可能性があることです。 A/B テストのみを実行した場合、 |
| |
コンポーネントがどのような働きをし、どのような働きをしないのかはわかりません。 そしてそこにあります...そこが私たちが多変量テストを提案した場所であり、私たちのパートナーはそれが素晴らしいと言いました。 そうしよう。 しかし...そして彼ら...私たちには管理する必要のあるいくつかのビジネス上の制約がありました。 |
| |
では、それらのビジネス上の制約は何だったのでしょうか? |
| |
彼らはいた、 |
| |
前述したように、主な動機はこの本文レイアウトと、ページに新しいコンテンツを導入することでした。 |
| |
そのため、デザイン領域全体を見ると、パートナーは古い本文ページ レイアウトを持つ他のバリアントをテストすることにまったく興味も意欲もありませんでした。 あれは |
| |
それは重要な...重要な要素その1でした。 |
| |
第二に、あまり興味がありませんでした...このブロックでは、これは古い画像と新しいレイアウトを持つページを表しており、やはりあまり興味がありませんでした。 |
| |
それをする中で。 したがって、この特定のケースでは、パートナーは、快適に実行できるテストについて非常に規範的でした。 |
| |
そこで当然の疑問は、このテストは総合的な多変量テスト設計として機能するのかということです。 そこで、JMP カスタム DOE プラットフォームが登場します。 それでは、切り替えて、それをどのように行ったかを見てみましょう。 |
| |
そこで DOE に行き、カスタム設計を検討しました。 |
| |
要素は 3 つあります。 私たちには私たちのイメージがある |
| |
A バージョンと B バージョンでは、A と B を持つバナーの別の 2 レベルのカテゴリ変数があります。 |
| |
最後に、A バージョンと B バージョンの本文ページのレイアウトがあります。 |
| |
と |
| |
「続行」をクリックすると、 |
| |
今のところは順調だ。 そして、ここで気づくのは、この 4 セルの設計空間をわずか 4 つのセルでカバーでき、それがうまく機能しているということです。 |
| |
この状況にある私たちにとっては、ですが、私たちは経験から知っていますし、このことに詳しい人なら知っているでしょう。 |
| |
JMP 最適化エンジンは、この計画を 4 セルの部分階乗として提供することはありません。 これは最適な設計ではありません |
| |
4 つのセル用ですが、これは私たちがビジネス上の制約を管理するために使用しようとしている設計でした。 したがって、この特定のデザインを強制するには、許可されていない組み合わせを使用できます。 |
| |
基本的に、実行したくないセルをすべて指定することで、実行したいものだけが残ります。 JMP 内では、正確なテスト設計を指定する方法はありませんが、許可されていない組み合わせスクリプトを利用して強制することができます。 |
| |
そして、これは私たちが頻繁に行うことなのですが、 |
| |
なぜなら、私たちの世界では、Web ページのテストを行う際に、パートナーから多くの意見を得るからです。 これは私たちにとって非常に典型的な使用例であり、私たちが頻繁に使用するテクニックです。 |
| |
カテゴリカル変数を扱っているため、ここでスクリプトを説明するために、それらをコード化する必要があります。つまり、A の値は 1 を取得し、値 B は 2 を取得します。このため、この特定のセルを見ると、次のようになります。テストしたくない... |
| |
話を戻しましょう。 |
| |
実行したくないこの特定のセルに注目してください。これは、バナー B とボディ スタイル A を備えた画像 A です。つまり、ABA または 121 です。 |
| |
そして、このセルは、バナー A とボディ スタイル A を備えた画像 B、つまり 2211 です。 このようにして、実行したくないこれら 4 つのセルすべてを指定できます。 次に、「デザインを作成」をクリックします。 |
| |
レンダリングにはわずか 1 秒かかります。 |
| |
「収束しない」というエラーがすぐに表示されないという事実は、良い兆候であるため、実際には... |
| |
JMP は、はい、この設計は機能すると言います。 そして、これが私たちの...ここでの実行番号 1 で表されているコントロール ページです。これは、バナー A とボディ スタイル A を備えた AAA、画像 A です。 ここの第 3 ランは私たちのものです |
| |
画像 B にバナー B と本文 B が含まれる、元の A/B 提案でパートナーから提供されたバリアントです。 |
| |
そして、ここでも同様に BAB と AAB を使用したバリアント 1 と 2 が示されており、返されると期待していたものが返されます。 そこで、評価について少しだけコメントさせていただきます。 私がよく見るものの 1 つは、相関関係のカラー マップです。 |
| |
そして設計診断。 |
| |
これらに詳しい人ならお気づきかと思いますが、 |
| |
先ほども述べたように、これは最も最適な設計ではありませんが、実際には機能しており、そこにこの設計の科学と技術が重要です。 |
| |
パートナーと協力してうまく機能させる必要があると考えています。 そして、それが機能する限り、それが私たちにとって最も重要な要素でした。 |
| |
また、フォールバックがあること、実際のデータがあることもわかっています。 必要に応じて、いくつかの部分ごとの比較を行うこともできますが、効率が大幅に向上します。 |
| |
多変量解析を実行すると、これらの結果の一部を推測できます。 今日の話の本題ではないのですが、ここでもコメントさせていただきます。 |
| |
しかし、よく構築され、適切に分析された多変量解析には、額面どおりに非常に直感に反する A/B テストよりも時間はかかりません。 だから私はそのことを率直に申し上げたかったのです。 ご興味がございましたら、Q&A 中に質問していただくか、オフラインでお問い合わせください。 |
| |
さて、プレゼンテーションの話に戻ります。 |
| |
したがって、この計画を見て評価することができました。これで、これが全体的な分数階乗多変量として機能することがわかりました。 それで、私たちは何を学んだのでしょうか？ |
| |
概要を調べたところ、次のことがわかりました。 |
| |
このバリアント 2 では、7% の上昇がありました。 これは、この設計領域で最高のパフォーマンスを示したもので、全体的な多変量テストを行っていたため、いくつかの回帰テクニックを活用して推論し、過去を振り返って分析することもできました。 |
| |
このテスト中にこれらのページの一部を実行していたらどうなったでしょうか。 したがって、実際の値が得られただけでなく、 |
| |
回帰分析で検証し、良好な一致が得られましたが、そのため、これらのページをテストした場合にどのように実行されたかを計算して振り返ることもできます。 そしてそれは...それはそのうちの1つです |
| |
特に、私たちのような、さまざまなページをすべて開発して作成する必要がある状況にある場合には、多変量テストに関する強力な利点が得られます。 このテクニックを活用できます |
| |
事前にかなりの作業を省きながらも、学んだことを引き出すことができます。 隔離にも役立ちます |
| |
何がパフォーマンスを動かしているのか。 ここで、最初の A/B テストを行っていたら、 |
| |
私たちはそうしていただろう...私たちはそうしていたでしょう... |
| |
私たちの亜種ではパフォーマンスが低下する可能性があります。 多変量解析を実行していなかったら、この新しいページは顧客に提供されるという解釈になっていたでしょう... |
| |
あるいは、お客様がこの新しいコンセプトやデザインが欲しいと言っていたとしても、私たちはそれをあまり好きではないと解釈していました。 しかし実際に見てみるとわかりますが、 |
| |
パフォーマンスを抑制したのはすべてバナー B バージョンです。 それは...新しいバナー スタイルが訪問者の共感を呼びませんでした。 |
| |
そして私たちのお客様。 |
| |
そして、それらを抽出することができました。 今後さらに優れた勝者が誕生しただけでなく、このデザインが優れていることを簡単に理解できます。 |
| |
私たちの顧客が望んでいると言ったものは、実際のところ、結局のところ、何が優れたパフォーマンスを発揮するのかということです。 |
| |
したがって、私たちはそこで簡単に立ち止まって、「よかった、テストは成功した」と言うことができたはずです。 ありがとうございます。これで終わりです。 でも...でも、もう終わりですか？ たくさんのデータがあります。 データからわかることは他にありますか? |
| |
そして、レポートの中で気づいたことの 1 つは、エンゲージメントが大幅に減少し、クリック数も大幅に減少したということでした。 |
| |
このアカウントを比較して適切なアカウントを見つけると、ガイド付きエクスペリエンスが表示されます。 そしてコントロールエクスペリエンスでは、それらは... |
| |
その内容ははるかに上位にありました。 それはバナーのすぐ下にあったので、クリックの観点からはまったく驚くべきことではありませんが、 |
| |
ここのクリック数はかなり減りました。 これはどの Web ページでもよくあることで、ページの下に行くほどスクロールする必要が増え、ページをクリックする回数が減ります。 それは非常に直感的ですが、あまりにも対照的だったので、私たちは自問しました。 |
| |
問題ありますか？ 私たちはこれらのエクスペリエンスとコンテンツはかなり優れていると考えていますが、これほど減少したことにちょっと驚いています。 もう少し下がるだろうと予想していましたが、 |
| |
しかし、それは私たちが予想していたよりもはるかに減少しました。 問題ありますか？ その側面を理解しやすくするために、JMP パーティション モデル、特にデシジョン ツリー アルゴリズムを使用しました。 |
| |
そこで私たちはバリエーション 2 を採用し、アプリケーションの送信を分析して、どのコンテンツがいつクリックされたか、クリックされなかったかを把握しようとしました。 |
| |
増加に貢献しました。 そして、より高い申請提出率で分離が見られました。 |
| |
ツリーの一番上で最も重要なことは、これも非常に直感的で、まったく驚くべきことではありませんが、クリックした人々が |
| |
ページ上の一部のコンテンツと、訪問したが何もクリックしなかったユーザーを比較すると、クリックしたユーザーのアプリ送信率は 20 倍...20 倍高かった。 |
| |
とても簡単です。 彼らはやる気があります。 彼らはあなたのページに興味を持っています。 それで彼らはクリックしましたが、彼らは何をクリックしたのでしょうか? |
| |
ツリーの次のノードは、「今すぐ適用」および「今すぐ開く」コンテンツです。したがって、「今すぐ開く」または「適用」をクリックしたユーザーは、 |
| |
このページから直接クリックしたユーザーと、他の何かをクリックしたが適用をクリックしなかったユーザーとを比較すると、適用クリッカーのアプリ送信率は 7 倍高かった。 繰り返しますが、非常に簡単で、非常に直観的です。 |
| |
しかし、私たちが驚いたのは、今すぐ「適用」をクリックしなかった場合でも、このページには他の方法がたくさんあるということです。 |
| |
商品詳細ページをクリックし、そこからお申し込みください。 あるいは、たとえば比較エクスペリエンスに移動し、そこから申請することもできます。 経験をさらに深めながらも応募できるように。 したがって、このページで 2 番目に重要なコンテンツは、今すぐ開くこと以外では、すべてのアカウントの比較です。 |
| |
(CTA)。 そしてそれをページの一番下に埋めただけです。 そして実際、すべてのアカウントの比較はバナーのコンテンツと同じくらい重要であり、これは私たちにとって非常に驚きでした。 |
| |
そのため、私たちはパートナーと会話し、人々が比較をクリックすると申し込みを提出する可能性が 40% 高いという洞察を活用することができました。 これをエクスペリエンスを向上させることができるかどうか、またそれがパフォーマンスの点でどのような影響を与えるかを確認するためにテストする必要があります。 |
| |
そして、私たちが見つけたものは、ご存知のとおり、ここで制御されており、比較コンテンツと製品選択コンテンツが両方とも下部にありました。 |
| |
そして、私の個人的な提案は、それらを両方とも上部に戻すというものでしたが、幸いなことに、私たちはマーケティング パートナーやビジネス パートナーに十分な教育を行っていたので、多変量を実行して、両方が必要かどうかを調べましょうと言いました。頂点で？ 好みはありますか? |
| |
訪問者からの観点、パフォーマンスとサイトのコンバージョンの観点から? 1 つだけ持っておけばいいでしょうか？ この連絡先の内容には気が散るものがありますか? |
| |
そうであることが分かりました。 ご存知のとおり、最高のパフォーマンスを示したバージョンでは、トップであると述べたように、比較がトップにあったバリアントでした。 |
| |
そしてセレクターが一番下にあります。 特にセレクターは人数が少ないほうが多かった |
| |
それに興味がある。 それで、それを一番上に置くことで、少し気が散りました。 したがって、比較バックアップのみを最上位に維持することで、エクスペリエンスを実際にクリーンアップして最適化することができます。 |
| |
さて、ここで高レベルの話に戻りますが、これは...2 つのテストがあり、最初のテストで JMP プラットフォームを使用できました。 |
| |
多変量テストの議論を進めるのに役立ちます。 |
| |
そして、JMP パーティション モデルを使用して、その洞察を明らかにし、その洞察を前進させます。 そして、繰り返しになりますが、これら 2 つのテストの間に、かなり短期間で、サイト アプリケーションを合計 11% 増やすことができました。 |
| |
結論として、多変量テストは、 |
| |
一般に、これはテストで何が起こっているかを分離して理解できる非常に効果的な方法です。 ほとんどの人が知っているように、 |
| |
あまりにも多くのものを変更し始めると、そこである程度の洞察力が失われます。 |
| |
また、金融サービスのテストにおける重要な違いの 1 つは、 |
| |
人々は、なぜ一連の A/B テストを何度も実行しなかったのかと自問するかもしれません。 そしてその一部は金融サービスに携わることに依存しています。 |
| |
ページに変更を加えるたびに、法的、リスク、コンプライアンスのレベルのレビューを通過する必要があるということは、他の業界でも同様だと思います。 など |
| |
私たちにとって、多変量手法は非常に効果的です。なぜなら、そのプロセスを 1 回だけ実行できるためです。また、連続的な A/B テストは非常に面倒になります。 |
| |
この方法を使用すると、テストをより迅速に進めることができます。 また、JMP と DOE プラットフォームに関連するものとして、JMP の DOE プラットフォームは本当にクラス最高です。 |
| |
これは非常に視覚的であり、パートナーとの会話をナビゲートするのに非常に影響力があります。 |
| |
アナリストとして、これは私が日常的に行っていることですが、当社のパートナー、マーケティング パートナー、ビジネス パートナーが実際に頻繁に考えることではありません。 |
| |
したがって、JMP プラットフォームは、その会話をナビゲートし、これが前進する最善の道である理由を明確にするのに役立ちます。 |
| |
また、許可されていない組み合わせスクリプトの柔軟性により、特定の設計を評価し、それらのビジネス制約をナビゲートして管理できるようになります。 |
| |
そして、これらすべてをさらに一歩進めて、パーティション モデルとデシジョン ツリー分析により、さらに多くの洞察を抽出することができます。 |
| |
私たちが常に努力していることの 1 つは、この連続体に参加してテストを実行し、影響力のある結果が得られ、何かを学べることを願っています。 |
| |
しかし、私たちは、あまり感謝していなかった何かも学ぶことができ、次に何をテストすべきかを知るために、その洞察を得ることを本当に望んでいます。 |
| |
以上でプレゼンテーションを終わります。 ウェルズ・ファーゴのすべての同僚、試験関係の同僚のリーダーシップと協力に感謝したいと思います。 |
| |
当社の品質保証チームのメンバーは、プロジェクト管理から Web ページ開発まで多岐にわたります。 皆さんに感謝します。そしてルディには特に感謝します。 |
| |
友情、そして彼の指導、専門知識、粘り強さのおかげで長年の同僚であり、常にチームがより良い成果を上げるよう努力するのを助けてくれました。 本日はご参加いただきありがとうございました。 |
