756835_zh-CN

liliconcom

超越 A/B 测试：网页优化的多变量测试设计和高级分析案例研究 (2021-US-45MP-821)

史蒂文·克里斯特，富国银行分析顾问

众所周知，网页布局和内容的优化可以通过周密的实验设计（DOE）预测试、测试后分析以及最终确定并部署效果最佳的网页版本来实现。本案例展示了如何使用 JMP 自定义 DOE 平台为金融服务支票账户网页创建部分因子多元 DOE，该 DOE 在有效应对业务约束的同时，提供了必要的数据，最终使申请量比原网页提高了 7%。此外，利用 JMP 分区模型平台，我们发现了一个关键洞察：点击“比较账户”链接的访客提交申请的可能性提高了 40%。虽然“比较账户”这一洞察并非最初测试的主要目的，但它为后续测试提供了指导，进一步优化了网页，并最终带来了 4% 的额外提升。本案例展示了测试流程的有效性：一次测试带来可操作的洞察，进而指导下一次优化测试，如此循环往复。

自动生成的成绩单……

扬声器	文字稿
比尔·沃利	你好。
史蒂夫·C	我是史蒂夫·克里斯特。感谢您今天收看我的节目，我们将超越A/B测试，探讨多变量测试和高级分析在网页优化中的应用案例。
	今天的概要如下。我们将首先对整个用例进行概述，然后深入探讨细节。我们将观看一个 JMP 演示。
	探讨我们如何评价特定的实验设计。
	我们还将查看测试结果，以及我们如何利用 JMP 分区模型来增强这些见解。
	从总体上看，这个用例包含两个测试。在第一个测试中，我们考察了横幅设计和页面布局主体的一些组成部分。
	我们成功进行了多变量测试，结果显示申请量提升了7%。我们得以更进一步。
	我们发现了一些被挤到页面底部的内容，这些内容非常重要，我们可以在第二次测试中利用这些发现。我们能够
	在第一个测试获胜者的基础上，我们的性能又提升了 4%。因此，该用例突显了 JMP DOE 平台及其自定义 DOE 如何帮助我们完成第一个测试，以及 JMP 分区模型如何帮助我们提取更多信息。
	我们在第二次测试中利用了这些额外的见解。
	那么让我们深入了解一下细节。
	我们现在看到的页面是富国银行支票账户主页。
	我们的营销伙伴和业务伙伴在收集客户反馈方面做得非常出色，因此本次测试的主要目的是围绕“正文样式 A”或“页面布局 A”展开。
	相比之下，B方案中我们的客户表示，他们希望看到更多产品在用户体验中排名靠前。我们的市场营销和业务合作伙伴也表示，
	在我们做出这一改变的同时，我们也认为我们一直以来所拥有的这种形象可以做得更好。
	我们也认为这种横幅设计，将内容放在左侧，人们的视线更容易自然地被吸引到左侧，而且左侧的视觉空间也更小，这样我们就能更好地展示客户和访客更感兴趣的内容。因此，我们的合作伙伴向我们提出了A/B测试方案。
	但你很快就能看出，这里面远不止这些。我们只展示了八种可能组合中的两种。
	我们已经和合作伙伴讨论过，这个设计看起来很棒，但也存在一些风险。
	风险在于，这些组件中有些可能效果很好，而有些则可能降低性能，甚至相互抵消。因此，如果我们只进行了A/B测试，
	我们无法得知哪些组件运行良好，哪些组件运行不佳。正因如此……我们提出了一个多变量测试方案，我们的合作伙伴表示，这听起来不错，就这么办吧。但是……他们……我们还有一些业务限制需要解决。
	那么，这些业务限制因素是什么？
	他们是，
	正如我之前提到的，主要动机是围绕这个页面布局以及将新内容添加到页面上。
	因此，当我们审视整体设计方案时，我们的合作伙伴实际上对测试任何采用旧版正文页面布局的其他方案都毫无兴趣。
	这是关键因素……也是首要因素。
	其次，反响平平……在这个版块中，展示的是一个使用旧图片但布局焕然一新的页面，结果同样无人问津。
	因此，在这个特定案例中，我们的合作伙伴对他们愿意进行的测试提出了非常明确的要求。
	因此，很自然的问题是，这种测试方法是否能作为一种全面的多变量测试设计？而这正是 JMP 自定义 DOE 平台发挥作用的地方。现在，让我们切换到该平台，看看我们是如何实现的。
	所以我们要去美国能源部，我们研究了一个定制设计方案。
	我们有三个……三个因素。首先是我们的形象。
	加上 A 和 B 两个版本，我们就有了另一个两级分类变量，即横幅广告，分为 A 和 B 两个版本。
	最后，我们还有正文页面布局，分为 A 版和 B 版。
	和
	当我们点击继续时，
	目前看来一切顺利。我们注意到，只需四个单元格就能覆盖这四个单元格的设计空间，这非常理想。
	对我们来说，这种情况是这样的，但我们从经验中知道，熟悉这种情况的人也都知道，
	JMP优化引擎永远不会将这种设计作为四单元部分因子设计给出。这不是最优设计。
	适用于四个单元格，但这是我们为了应对业务限制而尝试采用的设计。因此，为了强制使用这种特定设计，您可以使用不允许的组合。
	基本上，我们需要指定所有不想运行的单元格，这样就只剩下我们想运行的单元格了。在 JMP 中，虽然无法精确指定测试设计，但可以使用禁用组合脚本来强制执行。
	这是我们经常做的事情，
	因为在我们进行网页测试的过程中，我们会从合作伙伴那里获得很多反馈。这对我们来说是一个相当典型的用例，因此我们也经常使用这种技术。
	所以，因为我们处理的是分类变量，为了解释这里的脚本，我们需要对它们进行编码，A 的值设为 1，B 的值设为 2，所以当我们查看这个我们不想测试的特定单元格时……
	让我把这件事重新提一下。
	我们来看这个我们不想运行的特定单元格，这是图像 A，带有横幅 B 和正文样式 A，所以是 ABA 或 121。
	这里这个单元格是图像 B，横幅 A 和正文样式 A，也就是 2211。通过这种方式，您可以指定所有这四个我们不想运行的单元格。然后点击“生成设计”。
	渲染只需一秒钟。
	没有立即出现“不收敛”的错误提示，这是一个好兆头，所以实际上，我们……
	JMP 确认此设计可行。所以，这是我们的……这是我们的控制页面，这里展示的是第一个运行版本，它是一个 AAA 级页面，包含图片 A、横幅 A 和正文样式 A。这里展示的是第三个运行版本。
	我们的合作伙伴在最初的 A/B 提案中向我们提出的变体，其图像 B 带有横幅 B 和正文 B。
	此外，这里也包含了变体一和变体二，分别是 BAB 和 AAB，所以我们得到了预期的结果。接下来我简单谈谈评估过程。我通常会关注的一个方面是相关性的颜色映射。
	以及设计诊断。
	熟悉这些的人会注意到：
	正如我之前提到的，这并非最优设计，但它的确有效，而这正是这项技术的科学性和艺术性所在。
	我们必须齐心协力，与合作伙伴共同努力才能成功。因此，如果一切顺利，那对我们来说就是最重要的因素。
	此外，我们知道还有备用方案，也就是我们拥有实际数据。如果需要，我们可以进行一些分段比较，但这能显著提高效率。
	通过运行多元分析，我们可以推断出其中一些结果。我在这里也想补充一点，但这并非今天讨论的重点。
	但精心构建并妥善分析的多变量测试耗时并不比 A/B 测试长，这乍一看似乎有悖常理。所以我想先说明这一点。如果您感兴趣，请在问答环节提问，或私下联系我。
	那么，让我们回到演示文稿上来。
	我们刚刚研究了这个设计，并对其进行了评估，现在我们知道它是一种整体式部分因子多元设计。那么我们从中得到了什么启示呢？
	我们在查看概述时了解到，
	在第二个方案中，我们获得了 7% 的性能提升。这是我们在该设计领域中表现最好的方案，而且由于我们进行了全面的多变量测试，我们还能利用一些回归技术进行推断，并进行回顾性分析。
	如果我们在测试期间运行了其中一些页面，会发生什么？因此，我们不仅拥有实际值，而且还可以
	我们使用回归分析进行验证，结果吻合良好。正因如此，我们还可以计算并回顾如果我们对这些页面进行测试，它们的表现会如何。而这……是其中之一。
	多变量测试的强大之处在于，它尤其适用于像我们这样需要开发和创建各种不同页面的情况。我们可以充分利用这项技术。
	这样可以节省我们前期大量的工作，同时还能从中汲取经验教训。它还有助于隔离
	是什么因素驱动了性能？你可以看到，如果我们当初进行了最初的 A/B 测试，
	我们本可以……我们本可以……
	我们的方案会降低性能。如果我们没有进行多变量分析，那么结果就会是：我们客户的这个新页面……
	或者，对于客户表示喜欢的这种新概念和设计，我们原本会认为他们其实并不喜欢。但实际上，你可以看到……
	是所有B版横幅广告都降低了性能。也就是说……那种新的横幅广告风格并没有引起我们访客的共鸣。
	以及我们的客户。
	因此，我们得以将它们提取出来。我们不仅得到了一个更优秀的获胜者，而且能够轻松理解这种设计。
	我们的客户表示他们想要的，实际上，归根结底，就是……性能好的东西。
	所以，我们本来可以就此止步，说，太好了，测试成功了。谢谢，我们完成了。但是……但是真的完成了吗？我们有很多数据。这些数据还能告诉我们什么呢？
	在我们的报道中，我们注意到的一点是，互动量和点击量都大幅下降。
	在此比较账户并找到合适的账户，即可获得引导式体验。而在控制体验中，那些……
	那部分内容的位置要高得多。它就在横幅广告下方，所以，从点击量来看，这一点毫不奇怪。
	我们发现这里的点击量明显减少了。这在任何网页上都很常见，页面越往下，用户需要滚动的距离越长，点击量就越少。这很容易理解，但我们之所以提出这个问题，是因为这种对比太鲜明了。
	这是个问题吗？我们认为这些体验和内容都相当不错，所以对它下降这么多感到有些意外。我们原本预期它会略有下降。
	但它的下降幅度远超我们的预期。这是否是个问题？为了帮助我们理解这方面的情况，我们使用了 JMP 分区模型，特别是决策树算法。
	所以我们采用了第二种方案，并分析了应用程序提交情况，试图弄清楚哪些内容被点击过，以及何时没有被点击过。
	有助于提高。而且我们发现，申请提交率越高，分离度就越高。
	因此，在决策树的顶端，最重要的一点，同样非常直观，毫不令人惊讶，就是点击的人
	与访问页面但未点击任何内容的用户相比，点击过页面内容的用户提交应用程序的几率高出 20 倍。
	非常简单明了。他们很有动力，他们会与你的页面互动。所以他们点击了，但他们点击了什么呢？
	树状图的下一个节点是“立即申请”和“立即打开”内容，也就是点击了“立即打开”或“立即申请”的用户。
	直接从本页面申请的用户，与点击其他链接但未点击“申请”的用户相比，点击“申请”的用户申请提交率高出七倍。再次强调，这非常直接，非常直观。
	但令我们惊讶的是，即使他们没有点击“立即申请”，这个页面上还有很多其他途径可以让他们选择。
	点击产品详情页面，然后从那里申请。或者，您可以进入比较页面，例如，然后从那里申请。您可以深入体验比较页面，仍然可以进行申请。因此，除了“立即申请”之外，此页面上第二重要的内容是比较所有账户。
	（行动号召）。我们把它放在了页面底部很低的位置。事实上，“比较所有账户”按钮的重要性与横幅广告中的内容不相上下，这让我们非常惊讶。
	因此，我们可以与合作伙伴进行沟通，利用这一洞察：当用户点击“比较”按钮时，他们提交申请的可能性会提高 40%。我们需要测试一下，看看能否将“比较”按钮的位置提高，以及这样做对业绩有何影响。
	我们发现，在控制面板中，比较和产品选择内容都在底部。
	我个人的建议是把它们都放回最前面，但幸运的是……我们已经对市场营销和业务合作伙伴进行了足够的培训，他们说，好吧，让我们运行一个多变量分析，看看是否真的需要把它们都放在最前面？你知道，是否存在偏好？
	从访客角度、网站性能和转化率来看，我们是否应该只保留一个？这些联系方式……内容是否会分散注意力？
	我们发现确实如此。你知道，在我们表现最好的版本中，正如我们提到的，排名第一的版本就是这个在顶部带有比较功能的版本。
	还有底部的选择器。你知道，特别是选择器，使用的人越来越少。
	对此很感兴趣。所以，把它放在最上面有点分散注意力。因此，我们通过将比较功能放回最上面，真正实现了用户体验的优化和提升。
	所以，回到我们讨论的重点，你知道，我们进行了两次测试，第一次测试中我们成功使用了JMP平台。
	帮助我们更好地理解多变量检验的讨论。
	然后利用 JMP 分区模型来挖掘这些洞察，并将这些洞察反馈给后续工作。因此，再次强调，在短短的两次测试之间，我们成功地将网站申请总量提高了 11%。
	因此，总而言之，多变量检验
	总的来说，这是一种非常有效的方法，可以帮助你隔离并了解你的测试中发生了什么。你知道，正如大多数人所知，
	一旦你开始改变太多事情，你就会失去一些洞察力。
	我还要补充一点，在金融服务测试中，关键区别之一在于：
	人们可能会问自己，为什么不直接做一系列循序渐进的A/B测试呢？而这部分原因在于你身处金融服务行业。
	我认为其他行业也存在这种情况，即对页面进行的每一次更改都需要经过法律、风险和合规性审查。
	对我们来说，多元方法非常有效，因为我们只需完成一次测试，而顺序进行的 A/B 测试则非常繁琐。
	使用这种方法可以大大加快测试速度。至于 JMP 的 DOE 平台，JMP 的 DOE 平台确实是同类产品中的佼佼者。
	它非常直观，而且对帮助你与合作伙伴进行这些对话非常有帮助，因为
	你知道，作为一名分析师，这是我每天都要做的事情，但我们的合作伙伴、市场营销和业务合作伙伴却很少真正考虑这件事。
	因此，JMP 平台发挥了重要作用，帮助我们进行对话，并阐明为什么这是最佳的前进道路。
	此外，禁止组合脚本的灵活性使您能够评估特定设计，并应对和管理这些业务限制。
	更进一步，分区模型和决策树分析有助于提取更多见解，从而：
	我们一直努力的目标之一就是保持这种连续性，即进行测试，希望能够获得一些有影响力的结果，并从中学习一些东西。
	但我们也从中了解到一些我们之前没有真正重视的事情，而我们真正想要的，正是获得这种洞察力，以便知道接下来要测试什么。
	演示到此结束。我要感谢富国银行的所有同事，特别是测试团队的同事，感谢他们的领导和协作。
	涵盖项目管理、网页开发以及质量保证团队成员的各个方面。所以，感谢大家，特别感谢 Rudy 的付出。
	感谢他多年来的友谊和指导，以及他作为同事的专业知识和坚韧不拔的精神，他始终帮助团队不断进步。感谢您今天的出席。

高级统计建模基础数据分析与建模消费者和市场研究内容组织实验设计大规模定制预测建模和机器学习质量与工艺工程分享和交流结果