| スピーカー |
トランスクリプト |
| ビル・ウォーリー |
こんにちは。 |
| スティーブC |
スティーブ・クリストです。本日はA/Bテストの枠を超え、多変量テストと高度な分析を用いたウェブページ最適化のユースケースをご紹介いたします。ご参加いただきありがとうございます。 |
| |
本日の概要です。まずユースケース全体の概要を説明し、その後詳細に踏み込んでいきます。JMPのデモもご覧ください。 |
| |
特定の実験設計をどのように評価するかを確認します。 |
| |
また、テストから得られた結果と、JMP パーティション モデルを活用してそれらの洞察を強化する方法についても説明します。 |
| |
大まかに見ると、このユースケースは2つのテストで構成されています。テスト1では、バナーデザインとページレイアウト本体のいくつかのコンポーネントを確認しました。 |
| |
多変量テストが成功し、応募数が7%増加しました。これをさらに一歩進めることができました。 |
| |
ページの下部に押し下げられていたコンテンツについて洞察を深め、それが非常に重要であることが分かりました。そして、それをテスト2で活用することができました。 |
| |
最初のテストの勝者に加えて、さらに4%のパフォーマンス向上を実現しました。このユースケースでは、JMP DOEプラットフォームとカスタムDOEがテスト1の実現にどのように役立ったか、そしてJMPパーティションモデルがより多くの結果を抽出できたかを示しています。 |
| |
追加の洞察をテスト 2 に活用することができました。 |
| |
それでは詳細を見ていきましょう。 |
| |
現在のページを見ると、これは Wells Fargo の当座預金口座のホームページです。 |
| |
そして、私たちのマーケティングパートナーとビジネスパートナーは、顧客からのフィードバックを得るのに非常に尽力しました。そのため、このテストの主な動機は、このボディスタイルAまたはページレイアウトAでした。 |
| |
Bでは、お客様から、より多くの商品をエクスペリエンスの上位に表示してほしいという要望がありました。そして、マーケティングおよびビジネスパートナーは、 |
| |
私たちがこの変化を起こしている一方で、私たちがしばらく持っていたこのイメージは、もっと良くできるのではないかと考えています。 |
| |
また、このバナーのデザインでは、コンテンツを左側に配置すれば、人々の目がより自然に引き寄せられ、物理的に小さくなるため、顧客や訪問者がもっと興味を持っているというコンテンツを表示できると考えています。そこで、パートナーが A/B テストを私たちに提案しました。 |
| |
しかし、ここではもっと多くのことが起こっていることがすぐに分かります。8つの可能な組み合わせのうち、2つしかありません |
| |
カバーされていて、パートナーと話し合った内容は、このデザインは素晴らしいが、リスクがあるということでした。 |
| |
そのリスクとは、これらのコンポーネントの中にはうまく機能するものもあれば、パフォーマンスを低下させ、互いに打ち消し合うものもあるということです。つまり、A/Bテストだけを実施した場合、 |
| |
どのコンポーネントがうまく機能し、どのコンポーネントがうまく機能しないかは分かりません。そこで…多変量テストを提案したところ、パートナーは「素晴らしいですね。やってみましょう」と言ってくれました。しかし…そして…私たちには管理しなければならないビジネス上の制約がありました。 |
| |
では、ビジネス上の制約とは何だったのでしょうか? |
| |
彼らはいた、 |
| |
前述したように、主な動機は、この本文レイアウトと、ページに新しいコンテンツを追加することでした。 |
| |
全体的なデザイン空間を見てみると、パートナーたちは、古い本文ページレイアウトを持つ他のバリエーションをテストすることに全く興味も意欲もありませんでした。 |
| |
それが鍵となる...鍵となる要因の1つ目です。 |
| |
第二に、あまり興味がなかったのです。このブロックは、古い画像と新しいレイアウトを持つページを表していますが、これもあまり興味がありませんでした。 |
| |
そうすることで、この特定のケースでは、パートナー各社は、自分たちが安心して実行できるテストについて非常に明確な指示を出しました。 |
| |
当然の疑問は、このテストは包括的な多変量検定設計として機能するのかということです。ここでJMPのカスタムDOEプラットフォームが役立ちます。それでは、画面を切り替えて、どのように実現したかを見てみましょう。 |
| |
そこで私たちは DOE に行き、カスタム設計を検討しました。 |
| |
3つの要素があります。イメージがあります |
| |
AとBのバージョンでは、AとBの2レベルのカテゴリ変数であるバナーがあります。 |
| |
最後に、本文ページのレイアウトには A バージョンと B バージョンがあります。 |
| |
そして |
| |
「続行」をクリックすると |
| |
今のところ順調です。そしてここで注目すべきは、この4つのセルの設計空間をわずか4つのセルでカバーできることです。これはうまく機能しています。 |
| |
このような状況では私たちにとっては、経験から、そしてこの状況に詳しい人なら知っていると思いますが、 |
| |
JMPの最適化エンジンは、この計画を4セルの一部実施要因として提示することはありません。これは最適な計画ではありません。 |
| |
4つのセルに分割できるようになっていますが、これはビジネス上の制約を管理するために採用した設計です。そのため、この設計を強制するには、許可されていない組み合わせを使用できます。 |
| |
実行したくないセルを全て指定することで、実行したいセルだけを残すことができます。JMPでは、テスト設計を正確に指定する方法はありませんが、許可されていない組み合わせのスクリプトを利用して強制的に指定することができます。 |
| |
これは私たちがよくやっていることです |
| |
なぜなら、私たちのウェブページテストの世界では、パートナーから多くの意見をいただくからです。これは私たちにとって非常に典型的なユースケースであり、頻繁に使用する手法です。 |
| |
ここではカテゴリ変数を扱っているので、スクリプトを説明すると、変数をコード化する必要があり、A の値は 1 になり、値 B は 2 になります。そのため、テストしたくないこの特定のセルを見ると... |
| |
それをもう一度取り上げましょう。 |
| |
実行したくないこの特定のセルを見てみましょう。これはバナー B と本文スタイル A を含む画像 A なので、ABA または 121 です。 |
| |
このセルは画像B、バナーA、本文スタイルA、つまり2211です。このように、これら4つのセルすべてを実行しないように指定できます。それでは「デザインを作成」をクリックします。 |
| |
レンダリングには 1 秒しかかかりません。 |
| |
「収束しません」というエラーがすぐに表示されないのは良い兆候なので、実際には... |
| |
JMPは「はい、このデザインはうまくいきます」と表示しています。それで、これが私たちの…コントロールページです。これは実行1で示したAAA、画像A、バナーA、本文スタイルAです。実行3では |
| |
パートナーが元の A/B 提案で提示したバリエーションで、画像 B、バナー B、本文 B が含まれています。 |
| |
また、バリアント1と2、つまりBABとAABもここに表示されており、期待通りの結果が返されています。ここで評価について少しコメントします。私がよく見るものの1つは、相関関係のカラーマップです。 |
| |
そして設計診断。 |
| |
これらに詳しい人なら、気づくでしょう |
| |
これは、私が言ったように、最適な設計ではありませんが、機能しており、それがこの科学と芸術の真価です。 |
| |
すべてがうまくいくためには、パートナーと協力してうまく機能させる必要があります。そして、それがうまく機能するかどうかが、私たちにとって最も重要な要素でした。 |
| |
また、フォールバック機能があり、実際のデータを持っていることが分かっています。必要に応じて部分的な比較を行うこともできますが、効率性が大幅に向上します。 |
| |
多変量解析を実行することで、これらの結果の一部を推測することができます。ここでもコメントしますが、これは今日の会話の主題ではありません。 |
| |
しかし、適切に構築され、適切に分析された多変量テストは、A/Bテストよりも時間がかかることはありません。これは、一見すると非常に直感に反するように思えます。ですから、最初にこの点を申し上げておきたいと思います。ご興味がありましたら、質疑応答中にご質問いただくか、オフラインでご連絡ください。 |
| |
さて、プレゼンテーションに戻りましょう。 |
| |
この計画を見て評価したところ、これが全体論的な一部実施要因多変量分析として機能することがわかりました。それで、何が分かったのでしょうか？ |
| |
概要を見ると、 |
| |
このバリアント2では7%の向上が見られました。これはこのデザイン空間で最も高いパフォーマンスを示したものです。また、包括的な多変量テストを実施していたため、回帰分析を用いて推論や遡及分析を行うことができました。 |
| |
このテスト中にこれらのページをいくつか実行していたらどうなるでしょうか。つまり、実際の値を把握できただけでなく、 |
| |
回帰分析で検証し、良好な一致が得られました。また、これにより、これらのページをテストした場合のパフォーマンスを計算し、振り返ることもできます。これが… |
| |
多変量テストの強力な点は、特に私たちのように、様々なページを開発・作成しなければならない状況では、この手法を活用できます。 |
| |
事前の作業を大幅に削減しながらも、学習内容を確実に抽出できます。また、 |
| |
パフォーマンスを左右するものは何なのか。ここでわかるように、最初のA/Bテストを実施していたら |
| |
私たちは…私たちは… |
| |
バリアントはパフォーマンスを抑制していたでしょう。そして、多変量解析を実行していなければ、顧客が閲覧したこの新しいページは…と解釈されていたでしょう。 |
| |
あるいは、お客様が気に入ると言っていた新しいコンセプトやデザインを、私たちは実際には気に入らなかったと解釈していたでしょう。しかし実際には、 |
| |
バナーBのバージョンすべてがパフォーマンスを抑制しました。つまり、新しいバナースタイルは訪問者にあまり響かなかったのです。 |
| |
そして私たちの顧客。 |
| |
そして、私たちはそれらを抽出することができました。より良い勝者を導き出しただけでなく、このデザインが |
| |
お客様が求めているのは、結局のところ、何が...何がうまく機能するかということです。 |
| |
そこで簡単に止めて、「よかった、テストは成功しました。ありがとうございます。これで終わりです」と言ってもよかったでしょう。しかし…でも、本当にこれで終わりなのでしょうか？ 大量のデータがあります。データから他に何かわかることはありますか？ |
| |
そして、私たちのレポートで気づいたことの一つは、エンゲージメントとクリック数が大幅に減少したことです |
| |
このアカウント比較機能で適切なアカウントを見つけると、ガイド付きのエクスペリエンスが表示されます。そして、コントロールエクスペリエンスでは… |
| |
そのコンテンツはずっと上の方、バナーのすぐ下にあったので、クリックの観点からすると全く驚くことではありませんが、 |
| |
ここのクリック数がかなり減っているのが分かりますか？これはどのウェブページでもよくあることで、ページが下に行くほどスクロールする量が増え、クリック数が減ります。これは直感的にわかるのですが、あまりにも対照的だったので、自問自答してしまいました。 |
| |
それは問題でしょうか？これらの体験とコンテンツは非常に優れていると考えていますが、これほど減少したことには驚いています。多少の減少は予想していましたが、 |
| |
しかし、予想以上に大幅に減少しました。これは問題でしょうか？そこで、その側面を理解するために、JMPのパーティションモデル、特に決定木アルゴリズムを使用しました。 |
| |
そこで私たちは2つ目のバリエーションを採用し、応募書類を分析して、どのコンテンツがいつクリックされたか、あるいはクリックされなかったかを調べようとしました。 |
| |
増加に貢献しました。また、申請提出率の上昇により分離が見られました。 |
| |
そしてツリーの一番上で最も重要なのは、これも非常に直感的で、驚くことではないのですが、クリックした人たちが |
| |
ページ上の一部のコンテンツをクリックした人と、訪問はしたが何もクリックしなかった人を比較すると、クリックした人のアプリ送信率は 20 倍...20 倍も高かったのです。 |
| |
とても分かりやすいですね。彼らはやる気があり、あなたのページに積極的に関わっています。それでクリックしたわけですが、一体何をクリックしたのでしょうか？ |
| |
ツリーの次のノードは「今すぐ申し込む」と「今すぐ開く」のコンテンツなので、「今すぐ開く」または「申し込む」をクリックした人は |
| |
このページから直接応募した人と、他のページをクリックしたものの応募ボタンをクリックしなかった人を比較すると、応募ボタンをクリックした人の応募率は7倍も高かったのです。繰り返しますが、非常に分かりやすく、直感的な操作です。 |
| |
しかし、私たちが驚いたのは、今すぐ申し込まなかった場合、このページには他にもたくさんの選択肢があることです。 |
| |
商品詳細ページをクリックして、そこからお申し込みください。あるいは、例えば比較機能にアクセスして、そこからお申し込みいただくことも可能です。より深くお申し込みいただくことも可能です。このページで「今すぐ開く」に次いで2番目に重要なコンテンツは、「すべてのアカウントを比較」機能です。 |
| |
（CTA）です。ページの一番下に埋め込んでいます。実は、「すべてのアカウントを比較」という機能はバナーコンテンツと同じくらい重要で、これは私たちにとって非常に驚きでした。 |
| |
パートナー企業との話し合いを通して、比較ボタンをクリックすると申込みをする可能性が40%高くなるという知見を活用できるようになりました。この情報をエクスペリエンスの上位に表示できるか、そしてそれがパフォーマンスにどのような影響を与えるかをテストする必要があります。 |
| |
そして、ご存知のとおり、コントロールでは、比較コンテンツと製品選択コンテンツが両方とも下部に表示されていました。 |
| |
私の個人的な提案は、両方をトップに戻すことだったのですが、幸いなことに、マーケティングとビジネスパートナーに十分な説明をしていたため、多変量解析を行って、両方をトップに表示する必要があるかどうかを調べてみようということになったのです。つまり、どちらが望ましいかということです。 |
| |
訪問者からのフィードバック、パフォーマンス、サイトコンバージョンの観点から、どちらが良いでしょうか？ 一つだけにした方が良いでしょうか？ このコンタクトやコンテンツの一部が、邪魔になっていませんか？ |
| |
結果的にそうでした。先ほども述べたように、最もパフォーマンスが高かったのは、比較を一番上に置いたバリエーションでした。 |
| |
そして一番下のセレクターです。セレクターは特に、より少ない人からより多くの人へと変化しました |
| |
興味がありました。上部に表示したことで、少し気が散ってしまいました。そこで、比較機能だけを上部に表示することで、ユーザーエクスペリエンスを整理し、最適化することができました。 |
| |
さて、ここでハイレベルに戻ると、これは...2つのテストがあり、最初のテストではJMPプラットフォームを使用できました |
| |
多変量テストの議論を進めるのに役立ちます。 |
| |
そして、JMPのパーティションモデルを用いてその洞察を明らかにし、それを次の段階へとフィードバックします。そして、この2つのテストを非常に短期間で実施した結果、サイトへの応募数が合計で11%増加しました。 |
| |
結論として、多変量テストは |
| |
一般的に、これはテストで何が起こっているかを特定し理解するための非常に効果的な方法です。ご存知の通り、 |
| |
あまりにも多くのものを変え始めると、ある程度の洞察力が失われます。 |
| |
また、金融サービスのテストにおける重要な違いの1つは、 |
| |
人々は、なぜA/Bテストを連続して行わなかったのかと自問するかもしれません。その理由の一部は金融サービス業に携わっていることにあります。 |
| |
他の業界でも同様だと思いますが、ページへの変更はすべて、法務、リスク、コンプライアンスの審査を受ける必要があります。 |
| |
私たちにとって、多変量法は非常に効果的です。なぜなら、そのプロセスを一度実行すれば、連続したA/Bテストは非常に面倒になり、 |
| |
この手法を使うと、テストをはるかに迅速に進めることができます。JMPのDOEプラットフォームに関して言えば、JMPのDOEプラットフォームはまさにクラス最高です。 |
| |
これは非常に視覚的でインパクトがあり、パートナーとの会話をスムーズに進めるのに役立ちます。 |
| |
ご存知のとおり、アナリストとして、これは私が日常的に行っていることです。しかし、私たちのパートナー、マーケティング パートナーやビジネス パートナーは、これについてあまり頻繁に考えることはありません。 |
| |
そのため、JMP プラットフォームは、私たちが会話を進め、なぜこれが最善の道であるかを明確に伝える上で重要な役割を果たします。 |
| |
また、許可されていない組み合わせのスクリプトの柔軟性により、特定の設計を評価し、ビジネス上の制約を回避および管理できるようになります。 |
| |
そして、これらすべてをさらに一歩進めると、パーティションモデルと決定木分析によって、さらに多くの洞察を引き出すことができます。 |
| |
私たちが常に目指していることの 1 つは、この連続性を維持することです。つまり、テストを実行して、影響力のある結果を得て、何かを学べるようにすることです。 |
| |
しかし、私たちは、あまり評価していなかったことも学びました。そして、実際に、次に何をテストすべきかを知るための洞察を得ようとしているのです。 |
| |
これでプレゼンテーションは終了です。ウェルズ・ファーゴの同僚、検査担当者の皆様のリーダーシップと協力に感謝申し上げます。 |
| |
プロジェクト管理からウェブページ開発、品質保証チームのメンバーまで、幅広い分野で貢献していただきました。皆様、そして特にルディには感謝申し上げます。 |
| |
長年の友人であり、長年の同僚である彼の指導力、専門知識、そして粘り強さは、チームの向上に常に貢献してくれました。本日はご参加いただきありがとうございました。 |
