如何进行 A/B 测试：完美拆分测试的 15 个步骤

当像我们这样的营销人员创建登录页面、编写电子邮件副本或设计号召性用语按钮时，使用我们的直觉来预测什么会让人们点击和连接是很诱人的。

但是，进行 A/B 测试比根据“感觉”做出营销决策要好得多，因为这可能会损害您的结果。

继续阅读以了解如何在数据收集之前、期间和之后进行整个 A/B 测试过程，以便您可以根据结果做出最佳决策。

A/B 测试可能很有价值，因为不同的受众行为不同。适用于一家公司的东西不一定适用于另一家公司。事实上，转化率优化 (CRO) 专家讨厌“最佳实践”一词，因为它实际上可能不是 您的最佳实践。但是，如果您不小心，这种测试可能会很复杂。

让我们回顾一下 A/B 测试的工作原理，以确保您不会对受众喜欢什么做出错误的假设。

A/B 测试如何工作？

要运行 A/B 测试，您需要创建一个内容的两个不同版本，并对单个变量进行更改。然后，您将向两个规模相似的受众展示这两个版本，并分析哪个版本在特定时间段内表现更好（足够长，以便对您的结果做出准确的结论）。

图片来源

A/B 测试可帮助营销人员观察一个版本的营销内容如何与另一个版本一起执行。为了提高网站的转化率，您可以进行以下两种类型的 A/B 测试：

示例 1：用户体验测试

也许您想看看将某个号召性用语 (CTA) 按钮移动到主页顶部而不是将其保留在侧边栏中是否会提高其点击率。

要对这一理论进行 A/B 测试，您需要创建另一个使用新 CTA 展示位置的替代网页。带有侧边栏 CTA（或“控件”）的现有设计是版本 A。顶部是 CTA 的版本 B 是“挑战者”。然后，您将通过向预定百分比的网站访问者展示这两个版本来测试这两个版本。理想情况下，看到任一版本的访问者的百分比是相同的。

了解如何使用HubSpot 的营销中心轻松 A/B 测试您网站的组件。

示例 2：设计测试

也许您想了解更改号召性用语 (CTA) 按钮的颜色是否可以提高其点击率。

为了对这一理论进行 A/B 测试，您需要设计一个具有不同按钮颜色的替代 CTA 按钮，该按钮指向与控件相同的着陆页。如果您通常在营销内容中使用红色号召性用语按钮，而绿色变体在您的 A/B 测试后获得更多点击，那么从现在开始将号召性用语按钮的默认颜色更改为绿色可能值得上。

营销中的 A/B 测试

A/B 测试对营销团队有很多好处，具体取决于您决定测试的内容。不过，最重要的是，这些测试对企业很有价值，因为它们成本低但回报高。

假设您雇用了一位年薪为 50,000 美元的内容创作者。这位内容创建者每周为公司博客发布五篇文章，每年总计 260 篇文章。如果公司博客上的平均帖子产生 10 个潜在客户，您可以说为企业产生 10 个潜在客户的成本略高于 192 美元（50,000 美元的工资÷ 260 篇文章 = 每篇文章 192 美元）。这是一个坚实的变化。

现在，如果您要求该内容创建者花两天时间对一篇文章进行 A/B 测试，而不是在那段时间写两篇文章，您可能会烧掉 192 美元，因为您要少发表一篇文章。但是，如果 A/B 测试发现您可以将每篇文章的转化率从 10 条线索提高到 20 条线索，那么您只需花费 192 美元就可能使您的企业从博客中获得的客户数量翻倍。

如果测试失败，当然，你损失了 192 美元——但现在你可以让你的下一次A/B 测试更有教育意义。如果第二个测试成功地使您的博客的转化率翻了一番，那么您最终花费了 384 美元，可能使公司的收入翻了一番。无论您的 A/B 测试失败多少次，其最终成功几乎总是超过进行它的成本。

您可以运行多种类型的拆分测试，以使实验最终变得值得。以下是营销人员在 A/B 测试时为其业务制定的一些共同目标：

• 增加网站流量：测试不同的博客文章标题或网页标题可以改变点击该超链接标题以访问您的网站的人数。因此，这可以增加网站流量。

• 更高的转化率：在你的 CTA 上测试不同的位置、颜色甚至锚文本可以改变点击这些 CTA 以进入着陆页的人数。这可以增加在您的网站上填写表格、向您提交联系信息并“转换”为潜在客户的人数。

• 较低的跳出率：如果您的网站访问者在访问您的网站后很快离开（或“跳出”），则测试不同的博客文章介绍、字体或特色图片可以降低此跳出率并留住更多访问者。

• 较低的购物车放弃率：电子商务企业看到平均70% 的客户离开他们的网站时，他们的购物车中有商品。这被称为“购物车遗弃”，当然，这对任何在线商店都是有害的。测试不同的产品照片、结帐页面设计，甚至显示运费的位置都可以降低这种放弃率。

现在，让我们浏览一下设置、运行和测量 A/B 测试的清单。

如何进行 A/B 测

A/B 测试之前

让我们介绍在开始 A/B 测试之前要采取的步骤。

1. 选择一个变量进行测试。

当您优化您的网页和电子邮件时，您可能会发现有许多变量需要测试。但是要评估更改的效果，您需要隔离一个“自变量”并衡量其性能。否则，您无法确定是哪个变量导致了性能变化。

您可以为单个网页或电子邮件测试多个变量 — 只需确保一次测试一个变量即可。

要确定您的变量，请查看您的营销资源中的元素及其可能的设计、措辞和布局替代方案。您可能会测试的其他内容包括电子邮件主题行、发件人姓名以及个性化电子邮件的不同方式。

请记住，即使是简单的更改，例如更改电子邮件中的图像或号召性用语按钮上的文字，也可以推动重大改进。事实上，这类变化通常比较大的变化更容易衡量。

注意：有时测试多个变量而不是单个变量更有意义。这是一个称为多变量测试的过程。如果您想知道是否应该运行 A/B 测试与多变量测试，请参阅Optimizely 的一篇有用的文章，比较这两个过程。

2. 确定你的目标。

尽管您将在任何一次测试期间测量多个指标，但在运行测试之前选择要关注的主要指标。事实上，在你设置第二个变体之前就这样做了。这是您的“因变量”，它会根据您操纵自变量的方式而变化。

考虑一下您希望这个因变量在拆分测试结束时的位置。你甚至可以陈述一个官方假设并根据这个预测检查你的结果。

如果您等到后来才考虑哪些指标对您很重要，您的目标是什么，以及您提出的更改可能如何影响用户行为，那么您可能无法以最有效的方式设置测试。

3. 创建一个“控制”和一个“挑战者”。

您现在有了自变量、因变量和期望的结果。使用此信息将您正在测试的任何内容的未更改版本设置为您的控制方案。如果您正在测试一个网页，则这是未更改的页面，因为它已经存在。如果您正在测试着陆页，这将是您通常使用的着陆页设计和副本。

从那里开始，建立一个挑战者——改变的网站、登陆页面或电子邮件，你将在你的控制下进行测试。例如，如果您想知道向着陆页添加推荐是否会对转化产生影响，请设置没有推荐的控制页面。然后，用推荐信创建你的挑战者。

4. 随机平均分配样本组。

对于您对受众有更多控制权的测试（例如使用电子邮件），您需要使用两个或更多相等的受众进行测试，以获得确凿的结果。

您如何执行此操作将因您使用的 A/B 测试工具而异。例如，如果您是HubSpot Enterprise 客户，对电子邮件进行 A/B 测试，HubSpot 会自动将流量拆分到您的变体，以便每个变体获得访问者的随机抽样。

5. 确定您的样本量（如果适用）。

您确定样本量的方式也会因您的 A/B 测试工具以及您正在运行的 A/B 测试类型而异。

如果您正在对电子邮件进行 A/B 测试，您可能希望将 A/B 测试发送到列表的一个子集，该子集足够大以获得具有统计意义的结果。最终，您将选出一个获胜者并将获胜的变体发送到列表的其余部分。（有关计算样本量的更多信息，请参阅本文末尾的“拆分测试科学”电子书。）

如果您是 HubSpot Enterprise 客户，则可以使用滑块帮助您确定样本组的大小。它可以让您对任何样本大小进行 50/50 A/B 测试——尽管所有其他样本拆分都需要至少 1,000 个收件人的列表。

如果您正在测试没有有限受众的东西，例如网页，那么您保持测试运行的时间将直接影响您的样本量。你需要让你的测试运行足够长的时间来获得大量的视图。否则，将很难判断变化之间是否存在统计学上的显着差异。

6. 决定你的结果需要有多重要。

一旦您选择了目标指标，请考虑您的结果需要有多大的重要性才能证明选择一种变体而不是另一种变体的合理性。统计显着性是 A/B 测试过程中非常重要的一部分，但经常被误解。如果您需要复习，我建议从营销的角度阅读这篇关于统计显着性的博客文章。

置信水平的百分比越高，您对结果的把握就越大。在大多数情况下，您需要最低 95% 的置信水平——最好是 98%——尤其是在设置时间密集的实验时。但是，如果您不需要测试那么严格，有时使用较低的置信率是有意义的。

HubSpot 的高级软件工程师Matt Rheault喜欢将统计意义视为下注。您愿意下注的赔率是多少？说“我有 80% 的把握这是正确的设计，我愿意将一切都押在它上面”类似于运行 A/B 测试以达到 80% 的意义，然后宣布获胜。

Rheault 还表示，在测试仅略微提高转化率的内容时，您可能需要更高的置信度阈值。为什么？因为随机方差更有可能发挥更大的作用。

他解释说：“降低置信度阈值让我们感觉更安全的一个例子是一项可能将转化率提高 10% 或更多的实验，例如重新设计的英雄部分。”

“这里的要点是，变化越彻底，我们在流程方面需要的科学性就越低。变化越具体（按钮颜色、显微镜等），我们应该越科学，因为变化的可能性较小对转化率产生巨大而显着的影响。”

7. 确保您在任何活动中一次只运行一项测试。

为单个广告系列测试不止一个东西——即使它不在同一个确切的资产上——可能会使结果复杂化。例如，如果您在对目标网页进行 A/B 测试的同时对指向目标网页的电子邮件营销活动进行 A/B 测试，那么您如何知道是哪项更改导致了潜在客户的增加？

在 A/B 测试期间

让我们介绍在 A/B 测试期间要采取的步骤。

8. 使用 A/B 测试工具。

要在您的网站或电子邮件中进行 A/B 测试，您需要使用 A/B 测试工具。如果您是 HubSpot Enterprise 客户，HubSpot 软件的功能可以让您 A/B 测试电子邮件（在此处了解如何）、号召性用语（在此处了解如何）和登录页面（在此处了解如何）。

对于非 HubSpot Enterprise 客户，其他选项包括Google Analytics，它允许您对单个网页的多达 10 个完整版本进行 A/B 测试，并使用随机用户样本比较它们的性能。

9. 同时测试两种变体。

无论是一天中的某个时间、一周中的一天还是一年中的一个月，时间在您的营销活动的结果中都扮演着重要的角色。如果您在一个月内运行版本 A，然后在一个月后运行版本 B，您如何知道性能变化是由于不同的设计还是不同的月份引起的？

当您运行 A/B 测试时，您需要同时运行这两个变体，否则您可能会对结果产生怀疑。

唯一的例外是如果您正在测试时间本身，例如寻找发送电子邮件的最佳时间。这是一个很好的测试，因为根据您的业务提供什么以及您的订阅者是谁，订阅者参与的最佳时间可能因行业和目标市场而异。

10. 给 A/B 测试足够的时间来产生有用的数据。

同样，您需要确保让您的测试运行足够长的时间以获得大量样本。否则，很难判断这两种变体之间是否存在统计学上的显着差异。

多长时间才够长？根据您的公司以及您执行 A/B 测试的方式，获得具有统计意义的结果可能会在数小时……或数天……或数周内发生。获得具有统计意义的结果需要多长时间的很大一部分是您获得了多少流量 - 因此，如果您的企业没有为您的网站获得大量流量，那么您运行 A/B 将需要更长的时间测试。

11. 征求真实用户的反馈。

A/B 测试与定量数据有很大关系……但这不一定能帮助您理解为什么人们会采取某些行动而不是其他人。在运行 A/B 测试时，为什么不从真实用户那里收集定性反馈呢？

征求人们意见的最好方法之一是通过调查或民意调查。您可以在您的网站上添加退出调查，询问访问者为什么没有点击某个 CTA，或者在您的感谢页面上添加一个询问访问者为什么点击按钮或填写表格的原因。

例如，您可能会发现，很多人点击了号召性用语，将他们引导至电子书，但一旦他们看到价格，就没有转化。此类信息将使您深入了解您的用户为何以某些方式行事。

A/B 测试之后

最后，让我们介绍一下 A/B 测试之后要采取的步骤。

12.专注于你的目标指标。

同样，尽管您将测量多个指标，但在进行分析时请始终关注该主要目标指标。

例如，如果您测试了电子邮件的两种变体，并选择潜在客户作为主要指标，请不要关注打开率或点击率。您可能会看到较高的点击率和较差的转化率，在这种情况下，您最终可能会选择最终点击率较低的变体。

13. 使用我们的 A/B 测试计算器衡量结果的重要性。

现在您已经确定了哪种变体表现最好，是时候确定您的结果是否具有统计显着性。换句话说，它们是否足以证明改变的合理性？

要找出答案，您需要进行统计显着性检验。您可以手动进行...或者您可以将实验结果插入我们的免费 A/B 测试计算器。

对于您测试的每个变体，系统都会提示您输入总尝试次数，例如发送的电子邮件或看到的展示次数。然后，输入它完成的目标数量 - 通常您会查看点击次数，但这也可能是其他类型的转化。

计算器将吐出您的数据为获胜变化产生的置信度。然后，根据您选择的值测量该数字以确定统计显着性。

14. 根据你的结果采取行动。

如果一种变体在统计上比另一种更好，那么你就有了赢家。通过禁用 A/B 测试工具中的丢失变化来完成测试。

如果这两种变化在统计上都不是更好，那么您刚刚了解到您测试的变量不会影响结果，您必须将测试标记为不确定。在这种情况下，请坚持使用原始变体，或运行另一个测试。您可以使用失败的数据来帮助您找出新测试的新迭代。

虽然 A/B 测试可以帮助您根据具体情况影响结果，但您也可以应用您从每个测试中学到的经验，并将其应用于未来的工作。

例如，如果您在电子邮件营销中进行了 A/B 测试，并且反复发现在电子邮件主题行中使用数字会产生更好的点击率，那么您可能需要考虑在更多电子邮件中使用该策略。

15. 计划你的下一个 A/B 测试。

您刚刚完成的 A/B 测试可能已经帮助您发现了一种让您的营销内容更有效的新方法——但不要止步于此。总是有更多优化的空间。

您甚至可以尝试对刚刚进行测试的同一网页或电子邮件的另一个功能进行 A/B 测试。例如，如果您只是在着陆页上测试了标题，为什么不对正文进行新的测试呢？还是配色方案？还是图片？始终留意提高转化率和潜在客户的机会。

您可以使用 HubSpot 的 A/B 测试跟踪工具包来计划和组织您的实验。

如何阅读 A/B 测试结果

作为营销人员，您知道自动化的价值。鉴于此，您可能会使用为您处理 A/B 测试计算的软件——这是一个巨大的帮助。但是，计算完成后，您需要知道如何读取结果。让我们来看看如何。

1. 检查您的目标指标。

阅读 A/B 测试结果的第一步是查看目标指标，通常是转化率。将结果插入 A/B 测试计算器后，您将获得每个正在测试的版本的两个结果。您还将为每个变体获得显着的结果。

2. 比较您的转化率。

通过查看您的结果，您可能能够判断您的一种变体是否比另一种表现更好。然而，成功的真正考验是你得到的结果是否具有统计意义。这意味着一种变体在很大程度上比另一种表现更好，因为例如 CTA 文本更引人注目。

例如，变体 A 的转化率为 16.04%，变体 B 的转化率为 16.02%，统计显着性的置信区间为 95%。变体 A 的转化率较高，但结果在统计上并不显着，这意味着变体 A 不会显着提高您的整体转化率。

3. 细分您的受众以获得进一步的见解。

无论重要性如何，按受众细分细分您的结果以了解每个关键领域如何响应您的变化是很有价值的。细分受众的常见变量是：

• 访问者类型，或者哪个版本对新访问者和重复访问者表现最好。

• 设备类型，或者哪个版本在移动设备和桌面设备上表现最好。

• 流量来源，或根据您的两个变体的流量来源，哪个版本表现最佳。

让我们看一些可以为您的企业运行的 A/B 实验示例。

A/B 测试示例

我们已经讨论了如何在营销中使用 A/B 测试以及如何进行测试——但它们在实践中的实际表现如何？

正如您可能猜到的那样，我们运行了许多 A/B 测试来提高参与度并推动整个平台的转化。这里有五个 A/B 测试示例，可以激发您自己的实验。

1. 网站搜索

站点搜索栏可帮助用户快速找到他们在特定网站上的目标。HubSpot 从之前的分析中发现，与其网站搜索栏互动的访问者更有可能在博客文章中进行转化。因此，我们进行了 A/B 测试，试图增加对搜索栏的参与度。

在这个测试中，搜索栏功能是自变量，内容提供感谢页面的视图是因变量。我们在实验中使用了一种控制条件和三种挑战者条件。

在控制条件（变体 A）中，搜索栏保持不变。

在变体 B 中，搜索栏变得更大，视觉上更突出，占位符文本设置为“按主题搜索”。

变体 C 看起来与变体 B 相同，但只搜索了 HubSpot 博客而不是整个网站。

在变体 D 中，搜索栏变大了，但占位符文本设置为“搜索博客”。这个变种也只搜索了 HubSpot 博客

我们发现变体 D 是最有效的：与对照组相比，它增加了 3.4% 的转化率，并将使用搜索栏的用户百分比增加了 6.5%。

2. 移动 CTA

HubSpot 在我们的博客文章中使用多个 CTA 来提供内容，包括文章正文和页面底部的内容。我们对这些 CTA 进行了广泛测试以优化其性能。

对于我们的移动用户，我们进行了 A/B 测试，以查看哪种类型的页面底部 CTA 转换效果最好。对于我们的自变量，我们改变了 CTA 栏的设计。具体来说，我们在测试中使用了一个控制和三个挑战者。对于我们的因变量，我们使用了 CTA 感谢页面上的综合浏览量和 CTA 点击量。

控制条件包括我们在帖子底部正常放置 CTA。在变体 B 中，CTA 没有关闭或最小化选项。

在变体 C 中，移动阅读器可以通过点击 X 图标来关闭 CTA。一旦被关闭，它就不会再出现。

在变体 D 中，我们包含了一个选项，以使用向上/向下插入符号最小化 CTA。

我们的测试发现所有变体都是成功的。变体 D 是最成功的，与对照相比，转化次数增加了 14.6%。紧随其后的是变体 C，增加了 11.4%，变体 B 增加了 7.9%。

3. 作者 CTA

在另一个 CTA 实验中，HubSpot 测试了在博客文章顶部添加“免费”一词和其他描述性语言到作者 CTA 是否会增加内容线索。过去的研究表明，在 CTA 文本中使用“免费”会推动更多转化，并且指定所提供内容类型的文本将有助于 SEO 和可访问性。

在测试中，自变量是CTA文本，主要因变量是内容报价形式的转化率。

在控制条件下，作者 CTA 文本未更改（请参见下图中的橙色按钮）。

在变体 B 中，“免费”一词被添加到 CTA 文本中。

在变体 C 中，除了“免费”之外，还在 CTA 文本中添加了描述性措辞。

有趣的是，变体 B 的表单提交减少了 14%，与对照组相比。这是出乎意料的，因为在内容报价文本中包含“免费”被广泛认为是最佳实践。

同时，变体 C 中的表单提交比对照好 4%。得出的结论是，向作者 CTA 添加描述性文本有助于用户理解报价，从而使他们更有可能下载。

4. 博客目录

为了帮助用户更好地浏览博客，HubSpot 测试了一个新的目录 (TOC) 模块。目标是通过更快地向读者展示他们想要的内容来改善用户体验。我们还测试了向此 TOC 模块添加 CTA 是否会增加转化率。

本次 A/B 测试的自变量是博客文章中 TOC 模块的包含和类型，因变量是内容报价表单提交的转化率和 TOC 模块内 CTA 的点击率。

控制条件不包括新的 TOC 模块——控制帖子要么没有目录，要么在文章顶部附近的帖子正文中没有简单的锚链接项目符号列表（如下图所示）。

在变体 B 中，新的 TOC 模块被添加到博客文章中。这个模块是粘性的，这意味着当用户向下滚动页面时它仍然在屏幕上。变体 B 还在模块底部包含一个内容提供 CTA。

变体 C 包含与变体 B 相同的模块，但删除了 CTA。

变体 B 和 C 都没有提高博客文章的转化率。控制条件优于变体 B 7%，并且与变体 C 的表现相同。此外，很少有用户与新的 TOC 模块或模块内的 CTA 进行交互。

5. 查看通知

为了确定收集客户评论的最佳方式，我们对电子邮件通知与应用内通知进行了拆分测试。在这里，自变量是通知的类型，因变量是所有打开通知的人中留下评论的人的百分比。

在控件中，HubSpot 发送了一封纯文本电子邮件通知，要求用户发表评论。在变体 B 中，HubSpot 发送了一封电子邮件，其中包含包含用户名的证书图像。

对于变体 C，HubSpot 向用户发送了应用内通知。

最终，两封电子邮件的表现相似并且优于应用内通知。大约 25% 打开电子邮件的用户留下了评论，而打开应用内通知的用户只有 10.3%。电子邮件也更常被用户打开。

立即开始 A/B 测试

A/B 测试可让您了解受众想要看到的内容和营销的真相。使用下面的免费电子书了解如何最好地执行上述一些步骤。