扬声器
|
成绩单
|
| 比尔·沃利 |
你好。 |
| 史蒂夫·C |
我是史蒂夫·克里斯特。 感谢您今天加入我，我们将超越 A/B 测试，并研究用于网页优化的多变量测试和高级分析的用例。 |
| |
今天的大纲。 我们将从整个用例的高级概述开始，然后深入研究细节。 我们将看一下 JMP 演示 |
| |
看看我们如何评估特定的实验设计。 |
| |
我们还将查看从测试中获得的结果以及我们如何利用 JMP 分区模型来增强这些见解。 |
| |
从高层概述来看，该用例由两个测试组成。 在测试一中，我们查看了横幅设计的一些组件和页面布局的主体。 |
| |
我们成功进行了多变量测试，使申请量提高了 7%。 我们能够更进一步 |
| |
发现一些被推到页面底部的内容的见解，我们发现这些内容非常重要，我们能够在测试二中利用它。 我们能够 |
| |
我们的性能比第一个测试获胜者额外提高了 4%。 因此，该用例强调了 JMP DOE 平台及其自定义 DOE 如何帮助我们启用测试一，然后 JMP 分区模型帮助我们提取更多信息 |
| |
我们能够在测试二中利用更多的见解。 |
| |
那么让我们来详细了解一下。 |
| |
当我们查看当前页面时，这是富国银行支票主页。 |
| |
我们的营销合作伙伴和业务合作伙伴在获取客户反馈意见方面做得非常出色，因此本次测试的主要动机是围绕正文样式 A 或页面布局 A |
| |
与 B 相比，我们的客户表示他们希望看到更多产品在体验中处于更高的位置。 我们的营销和业务合作伙伴表示， |
| |
当我们……当我们做出这一改变时，我们也认为我们已经有一段时间的形象了，我们可以做得更好。 |
| |
我们还认为，在这种横幅设计中，我们将内容放在左侧，人们的眼睛更自然地被吸引并且身体更小，这样我们就可以展示我们的客户和访问者表示他们更感兴趣的内容。 所以我们的合作伙伴来找我们进行 A/B 测试。 |
| |
但您很快就会发现这里还发生了很多事情。 我们只有八种可能组合中的两种 |
| |
我们与合作伙伴的对话是，这个设计看起来很棒，但我们存在一些风险。 |
| |
风险在于，其中一些组件可能运行良好，而另一些可能会降低性能并相互抵消。 所以，如果我们只运行 A/B 测试， |
| |
我们不知道哪些组件可以正常工作，哪些不能正常工作。 就在那里……我们提出了多变量测试，我们的合作伙伴说，这听起来很棒。 让我们这样做吧。 但是……他们……我们有一些需要管理的业务限制。 |
| |
那么这些业务限制是什么？ |
| |
他们是， |
| |
正如我所提到的，主要动机是围绕这种主体布局并将新内容引入页面。 |
| |
因此，当我们查看整体设计空间时，我们的合作伙伴实际上没有兴趣也没有兴趣测试任何具有旧正文页面布局的其他变体。 那是 |
| |
这是一个关键……第一个关键因素。 |
| |
其次，没有太多兴趣......在这个块中，这代表一个具有旧图像和新布局的页面，并且再次没有太多兴趣 |
| |
在这样做的过程中。 因此，在这种特殊情况下，我们的合作伙伴对他们愿意运行的测试非常规范。 |
| |
所以自然的问题是，这个测试是否可以作为一个整体的多变量测试设计？ 这就是 JMP 定制 DOE 平台的用武之地。 那么让我切换一下，我们来看看我们是如何做到的。 |
| |
所以我们要去美国能源部，我们研究了定制设计。 |
| |
我们有三个...三个因素。 我们有我们的形象 |
| |
有了 A 和 B 版本，我们还有另一个带有 A 和 B 的横幅的二级分类变量， |
| |
最后，我们有包含 A 和 B 版本的正文页面布局。 |
| |
和 |
| |
当我们点击继续时， |
| |
到目前为止我们看起来不错。 我们在这里注意到的是，我们可以用最少四个单元覆盖这四个单元的设计空间，效果很好 |
| |
对于我们来说，在这种情况下，但我们从经验中知道，熟悉这一点的人会知道， |
| |
JMP 优化引擎永远不会为您提供四单元分数阶乘的设计。 这不是最优化的设计 |
| |
四个单元，但我们正在尝试使用这种设计来管理我们的业务限制。 因此，为了强制执行此特定设计，您可以使用不允许的组合 |
| |
本质上指定我们不想运行的每个单元格，以便我们留下我们想要运行的内容。 在 JMP 中，没有办法指定精确的测试设计，但您可以利用不允许的组合脚本来强制执行它。 |
| |
这是我们经常做的事情， |
| |
因为在我们的世界中进行网页测试时，我们从合作伙伴那里获得了大量的意见。 这对我们来说是一个相当典型的用例，因此这是我们经常使用的技术。 |
| |
所以，因为我们正在处理分类变量，只是为了解释这里的脚本，我们必须对它们进行编码，因此 A 的值得到 1，值 B 得到 2，所以当我们查看这个特定的单元格时，我们不想测试... |
| |
让我回顾一下。 |
| |
看一下我们不想运行的这个特定单元格，这是带有横幅 B 和正文样式 A 的图像 A，因此 ABA 或 121。 |
| |
这里的这个单元格是带有横幅 A 和正文样式 A 的图像 B，即 2211。 因此，通过这种方式，您可以指定我们不想运行的所有四个单元格。 然后我们点击制作设计。 |
| |
渲染仅需一秒钟。 |
| |
事实上，我们没有立即得到一个错误，说“不收敛”，这是一个好兆头，所以，事实上，我们... |
| |
JMP 说是的，这个设计会起作用。 这是我们的...这是我们的控制页面，在此处的第一个运行中表示，即 AAA，图像 A，带有横幅 A 和正文样式 A。 在第三次运行中是我们的 |
| |
我们的合作伙伴在原始 A/B 提案中向我们提供的变体，其中包含图像 B、横幅 B 和正文 B。 |
| |
然后我们也有变体一和变体二在这里表示，包括 BAB 和 AAB，所以我们得到了我们期望得到的结果。 因此，我将在这里稍微评论一下评估。 我通常查看的内容之一是相关性的颜色图 |
| |
和设计诊断。 |
| |
对于那些熟悉这些的人来说，你会注意到 |
| |
正如我所提到的，这不是最优化的设计，但它确实有效，这就是它的科学性和艺术性所在 |
| |
走到一起，我们必须让它与我们的合作伙伴合作。 因此，只要它确实有效，这对我们来说就是最重要的因素。 |
| |
另外，知道我们有后备，我们有实际数据。 如果我们愿意的话，我们可以进行一些分段比较，但是效率会提高很多 |
| |
通过运行多元变量，我们可以推断出其中一些结果。 我也在这里发表一下评论，不是今天谈话的重点， |
| |
但是，构建良好且分析得当的多变量不会比 A/B 测试花费更长的时间，这从表面上看是非常违反直觉的。 所以我想预先声明这一点。 如果您有兴趣，请在问答中询问我或线下联系我。 |
| |
那么，当我们回到演示时。 |
| |
因此，我们只是查看了这个设计，并且能够对其进行评估，我们现在知道它可以作为整体分数阶乘多元变量。 那么我们学到了什么？ |
| |
当我们查看概述时，我们了解到 |
| |
在这个变体二中，我们获得了 7% 的提升。 这是我们在这个设计空间中表现最好的一个，因为我们......进行了整体多变量测试，我们还能够利用一些回归技术来推断，进行回顾分析 |
| |
如果我们在测试期间运行其中一些页面，会发生什么。 所以我们不仅拥有我们可以实现的实际价值 |
| |
通过回归分析进行验证和验证，我们达成了良好的协议，但我们也……因此，也可以计算并回顾如果我们测试了这些页面，它们将如何执行。 那...那是其中之一 |
| |
多变量测试的强大功能，特别是如果您处于像我们这样的情况，您需要开发和创建所有这些不同的页面。 我们可以利用这项技术 |
| |
为我们节省大量前期工作，但仍然能够提取经验教训。 它还有助于隔离 |
| |
是什么推动了性能。 你可以在这里看到，如果我们完成了最初的 A/B 测试， |
| |
我们本来...我们本来... |
| |
我们的变体会抑制性能。 如果我们没有运行多元变量，则解释将是我们的客户的这个新页面...... |
| |
或者我们的客户说他们喜欢这种新概念和设计，我们会解释为他们并不真正喜欢它。 但实际上，你可以看到 |
| |
是所有B版本的横幅都抑制了性能。 那是......新的横幅样式并没有特别引起我们的访客的共鸣 |
| |
和我们的客户。 |
| |
所以我们能够提取它们。 我们不仅有一个更好的获胜者，而且我们能够很容易地理解这种设计 |
| |
我们的客户所说的他们想要的，事实上，当归根到底时，什么......什么表现得好。 |
| |
所以我们可以很容易地停在那里，然后说，太好了，我们测试成功了。 谢谢你，我们就完成了。 但是……但是我们完成了吗？ 我们有很多数据。 数据还能告诉我们什么吗？ |
| |
在我们的报告中，我们注意到的一件事是我们的参与度和点击量都减少了很多 |
| |
在此比较帐户并找到正确的帐户，这将带您获得指导体验。 而在操控体验上，那些... |
| |
那个内容要高得多。 它就在横幅下方，因此，从点击的角度来看，这并不奇怪， |
| |
我们是否看到这里的点击量减少了很多？ 这对于任何网页来说都是非常典型的，页面越往下，需要滚动的人越多，点击它的次数就越少。 这是非常直观的，但我们问自己这个问题，因为这是一个鲜明的对比。 |
| |
那是问题吗？ 我们认为这些体验和内容非常好，但我们对它下降这么多感到有点惊讶。 我们预计它会下降一点， |
| |
但下降幅度超出了我们的预期。 那是问题吗？ 因此，为了帮助我们理解这方面的内容，我们使用了 JMP 分区模型，特别是决策树算法。 |
| |
因此，我们采用了第二种方案，我们对提交的应用程序进行了分析，试图找出哪些内容、何时被点击或未被点击， |
| |
帮助增加。 我们看到分离的申请提交率更高。 |
| |
因此，在树的顶部，最重要的事情（同样非常直观，一点也不奇怪）是点击的人 |
| |
与访问过但未点击任何内容的人相比，在页面上的某些内容上，点击的人的应用程序提交率高出 20 倍...20 倍。 |
| |
非常简单。 他们很有动力。 他们正在与您的页面互动。 所以他们点击了，但是他们点击了什么？ |
| |
树的下一个节点是“立即应用”和“立即打开”内容，因此单击“立即打开”或“应用”的人 |
| |
与直接从此页面点击其他内容但未点击“应用”的人相比，那些“应用”点击者的应用程序提交率高出七倍。 再次强调，非常简单、非常直观。 |
| |
但令我们惊讶的是，如果他们不立即单击“应用”，此页面上还有很多其他路径可供您选择 |
| |
单击产品详细信息页面并从那里申请。 或者，您可以进入比较体验，然后从那里申请。 就像你可以更深入地体验并仍然应用一样。 因此，除了现在打开之外，该页面上第二重要的内容是比较所有帐户， |
| |
（CTA）。 我们只是把它埋在页面的底部。 事实上，比较所有帐户与横幅中的内容一样重要，这让我们感到非常惊讶。 |
| |
因此，我们能够与合作伙伴进行对话，然后利用这一见解，即当人们单击“比较”时，他们提交申请的可能性会增加 40%。 我们需要进行测试，看看是否可以在体验中提供更高的支持，以及这对我们的性能有何影响。 |
| |
我们发现了什么，你知道，所以在这里控制，我们有比较和产品选择的内容，都在底部。 |
| |
我个人的建议只是把它们都放回顶部，但幸运的是，我们的……我们对营销和业务合作伙伴进行了足够的教育，他们说，好吧，让我们运行一个多元变量来找出答案，我们是否都需要它们在顶部？ 你知道，有一个偏好， |
| |
就我们的访问者而言，就性能和网站转化率而言？ 我们应该只拥有一个吗？ 是否……某些联系……内容会分散注意力？ |
| |
我们发现确实如此。 你知道，在我们表现最好的一个中，正如我们提到的，最上面的是这个变体，它的比较位于顶部 |
| |
和选择器在底部。 要知道，选择者，尤其是人少人多 |
| |
对此感兴趣。 因此，将其放在顶部会有点分散注意力。 因此，我们能够通过将比较保留在顶部来真正清理和优化我们的体验。 |
| |
所以，回到这里的高层，您知道，这是...我们进行了两次测试，并且我们能够在第一个测试中使用 JMP 平台 |
| |
帮助我们引导多变量测试讨论。 |
| |
然后使用 JMP 分区模型来发现该见解并向前提供该见解。 因此，在这两次测试之间的相当短的时间内，我们能够将站点应用程序总数增加 11%。 |
| |
因此，总而言之，多变量测试， |
| |
一般来说，这是一种非常有效的方法，能够隔离并了解测试的情况。 你知道，正如大多数人所知， |
| |
一旦你开始改变太多的事情，你就会失去一定程度的洞察力。 |
| |
我还要说，你知道，在金融服务测试中，这里的主要区别之一是 |
| |
人们可能...可能会问自己，为什么不直接进行一系列连续的 A/B 测试？ 其中一部分依赖于金融服务业， |
| |
我认为其他行业也有这样的情况，即页面的每次更改都需要经过一定程度的法律、风险和合规审查。 所以 |
| |
对我们来说，多变量方法非常有效，因为我们可以一次完成这个过程，而顺序 A/B 测试最终会变得非常麻烦，我们可以 |
| |
使用此方法可以更快地完成测试。 由于与 JMP DOE 平台相关，JMP 的 DOE 平台确实是同类中最好的。 |
| |
它非常直观，而且非常有影响力，可以帮助您与合作伙伴进行这些对话，因为， |
| |
你知道，作为一名分析师，这是我每天都会做的事情，但这并不是我们的合作伙伴、营销和业务合作伙伴经常考虑的事情。 |
| |
因此，JMP 平台非常有用，可以帮助我们引导对话并阐明为什么这是最佳的前进道路。 |
| |
同样，不允许的组合脚本的灵活性使您能够评估特定设计并导航和管理这些业务限制。 |
| |
然后更进一步，分区模型和决策树分析有助于提取更多洞察力，以便 |
| |
我们一直努力追求的事情之一就是保持这个连续性，我们进行测试，希望能得到一些有影响力的结果并学到一些东西。 |
| |
但我们也学到了一些我们并不真正欣赏的东西，而且我们确实希望获得这种洞察力，以知道下一步要测试什么。 |
| |
演示到此结束。 我想对富国银行的所有同事、测试同事表示感谢，感谢他们的领导和协作 |
| |
涵盖项目管理、网页开发以及我们的质量保证团队成员的范围。 谢谢大家，特别感谢鲁迪的贡献 |
| |
友谊和作为长期同事的指导、专业知识和坚韧，并始终帮助团队努力做得更好。 感谢您今天参加。 |
