分析

大多数基本的框架为了发展中一个A / B.测试假设

优化测试一直是每个人都想尝试的热门话题。有些人吹嘘他们已经永远这样做了——每周用他们邮件列表的10%进行主题行分割测试,然后发送剩下的90%的邮件。

也许你读了一些关于颜色心理学的变体,测试了你的CTA按钮上的红色和绿色。或者,您可能已经购买并投资于一个花哨的工具,但难以维持一个完整的测试程序。无论您在哪个频谱上,我们都可以承认有改进的余地 - 否则我们根本不需要测试。

这篇文章将引导你回答6个基本问题,你必须问一旦进入假设阶段。这个阶段开始于你对你的网站有一个想法或观察,并确定改变它的方法,从而影响你的业务。无论这个想法是来自实习生还是高管,在同意开始A/B测试之前,回答这些问题都是很重要的。

  1. 你是什​​么看到
  2. 你是什​​么认为
  3. 你将会怎样知道
  4. 它会什么像什么?
  5. 你会
  6. 奖金:为什么我们要关心?

问这6个问题可以帮助你从关键利益相关者那里获得A/B测试的支持。

第一阶段:你看到了什么?

示例:在登录页面嵌入一个表单,而不是一个产生弹出表单的呼叫操作按钮,可以提高表单转换率。

你运行的每一个测试都必须基于某种研究,无论是直接观察,3理查德·道金斯派对研究,甚至是你看到你的竞争对手在做的事情。在未来的文章中,我们将探索你可以在分析中找到的顶级报告和模式,这些报告和模式可能指向测试机会。

第二阶段:你怎么想?

示例:通过将表单嵌入到着陆页上,用户将更有可能完成它

提出你的高水平假设。将其分解成最基本的结构,你的假设应该包括:“通过(改变这一点),我们希望(用户)能够(这么做)。”

第三阶段:你怎么知道的?

例子:成功将会在每次会话中产生更多的页面浏览量,同时也会提高登陆页面的跳出率。

确定您将衡量测试成功的主要方式。在这个例子中,我们最终希望看到更多人留在网站上并阅读更多,因此这将是我们衡量成功的主要方式。您可以提到将确定成功完整性的二级指标。虽然有关意识,参与和货币化的事情是可令人满意的事情,但重要的是要确定一个明显可衡量的成功的决定者。

第四阶段:它会是什么样子?

这个模型是在Slides中创建的,但我使用了Visio等工具来演示非可视化测试的用户流程。

建立你的控制和变体。这一点不必完全嘲笑,但即使是粗略的草图也会有所帮助(虽然你可能想要比我更抛光......)

第五阶段:你要做什么?

场景1:嵌入式表单增加注册率+ %

在置信度为95%*的情况下,我们将在登录页面上添加一个嵌入式表单。这将是使用此模板的所有登录页面的新标准布局。

场景2:嵌入式表单降低注册率-%

我们将保留现有的电子邮件注册按钮,并在稍后的日期测试不同的处理按钮或呼吁行动。

场景3:嵌入式表格不会改变注册率- %

我们将保持现有的电子邮件注册按钮的地方,并测试一个额外的放置按钮或嵌入表单在登陆页。

如果你的假设被证明是正确的,你会怎么做?如果没有,你是否打算保持控制,并测试另一种视觉处理或内容变化?把它放在待办事项列表中,下次再来查看?

在这个早期阶段建立下一步是有用的,您的测试结果是否需要从开发人员或设计师的任何实施方式。它还可以帮助缩短对测试结果分析和推动生产之间的批准时间。至少,始终计划记录和分享这些调查结果,因此其他人不会在不影响用户行为的区域中浪费时间测试。

这将是浪费你的如果你做了这个测试而没有对结果做任何事情,时间!

*置信水平由您,测试创建者在测试开始时(不是通过数据在获得结果后告诉您的)。在这种情况下,设定95%的置信水平意味着该测试的结果代表一般人群的行为存在95%的概率。一般来说,建议设定95%的置信水平,因为它占了两个标准偏差与您的平均值的差异。

但是,根据您的测试情况(您正在收集的数据量、实现更改的风险/努力/影响、时间考虑等),将您的置信度降低到90%或80%是有意义的。无论如何,一定要有一个计划来监视您在测试中所做的任何更改的结果,以确保您做对了!

第六阶段:我们为什么要关心?

整体网站电子邮件注册率为3%。每封邮件的平均价值是20美元。通过将电子邮件注册表单嵌入登录页面,用户就省去了注册的一个步骤。如果我们能提高5%的电子邮件注册率,我们将获得额外的1.5个电子邮件注册每1000次。这意味着每一千次访问该网站的会议将额外增加30美元。

这是Doozie,您需要做一些研究。为什么您的公司应该测试这一点?它应该优先考虑吗?这会影响什么?提供了几种情况(保守和乐观的案例)可以提供一系列成功,而不是理解单一硬度。做一些数学,因为数字将证明这项测试的价值,特别是与其他人相比,争取有机会看到光明的一天。


你的利益相关者喜欢刨根问底,或者只是有更多的问题(样本量、测试日期、信心水平)?请在下面的评论中告诉我们。

订阅我们的通讯,以收到每月数字营销更新!