关于“实验”的炒作是什么?

你可能听说过"实验最近越来越频繁。但也许你还没有完全意识到它现在和将来有多重要。

在我看来，实验是当今商业中最重要的概念。就连Digital Analytics的领导者Avinash Kaushik最近也表示:

实验有能力掩盖你用数字分析所能产生的影响!

——Avinash Kaushik(数字分析传播者)

转化率优化的普及程度一直在不断增长。

谷歌趋势显示，该话题的搜索热度基本已经翻了一倍自2015年以来:

作为一个与CRO一起工作了10年的人，我也注意到这个话题正变得越来越主流。

它曾经只是几个试图在数字界面设计过程中复制科学方法的书呆子的一个奇怪的名字。

现在，它已成为营销人员、软件工程师和产品人员等的关键最佳实践。

衡量CRO受欢迎程度的另一种方法是查看Linkedin上数以千计的工作机会:

对于这样一个10年前还不存在的特定地区来说，这令人印象深刻，对吧?

为什么CRO越来越受欢迎?

首先，必须明确的是，正确探索实验的人将能够主导他们的市场(就像一些人已经做到的那样)。然而，无论谁将其视为“只是另一个炒作”并忽略它，最终都会被甩在后面。

CRO行业的发展有很多原因。当然，其中之一就是它确实有效。

但对这种持续增长的另一种解释是，每个人都想成为下一个谷歌，亚马逊、微软、Netflix、Spotify、优步，或当今任何主要科技行业的领导者。

他们都以在CRO和实验上投入大量资金而闻名，对他们所能做的一切进行测试。

Stefan Thomke哈佛大学的一项研究将大量投资于实验项目的公司的股票表现与标准普尔500指数进行了比较:

资料来源:实验工作室，2020年

尽管很明显，这些公司的发展并不仅仅是因为他们进行了AB测试，但公平地说，实验是他们文化和流程的核心。

亚马逊的成功取决于我们每年、每月、每周、每天做多少次实验。

——杰夫·贝佐斯(亚马逊创始人

谁不想要他们这样的表演，对吧?

有太多人把任何事都称为"实验"

没有一天没有人说他们做了一个“实验”(或“测试”)，而事实上，甚至在不知不觉中，他们甚至没有接近。

如果你创造了一些新的东西或探索了一个新的策略来改善当前的结果，这是强制性的A / B测试为了叫它"实验”。否则，你所做的只是创造了一些新的东西，而没有获得使用上述术语的权利。

(注:实验/测试形式多样。为了简化事情，在本文中我们将参考最简单的A/B测试。)

A/B测试被称为A/B测试随机对照实验(或试验)．

1. A组-“控制组是原始未经修改的版本;它不会暴露在你正在改变的任何东西下
2. B组-“待遇”组是实验有修改的版本;它暴露在你正在改变的任何东西中

这样，你隔离所有变量并准确地测量您所测试的内容所产生的效果。换句话说，控制组和实验组在相同的条件下，面对相同的受众，在相同的时间段内，受到相同的外部影响，等等。

我不想破坏那些执行未经过测试的操作的人的努力。在某些情况下，确实有办法去理解真实的，近似他们造成的影响，是事后发生的。但与实验相比，无论是在可靠性还是准确性方面，它们都相形见绌。

Ron Kohavi，一位在亚马逊、微软和Airbnb等公司的实验项目中发挥重要作用的科学家，定义了a /B测试(随机对照实验)作为将因果关系归因于某事的“黄金标准”。换句话说，就是理解一个元素或动作所造成的影响。

请注意，根据科学，像“专家做的研究”这样的方法存在严重的脆弱性，许多公司认为这足以理解现象。这种方法有很大的风险，也会混淆相关性和因果关系。

是的。分析孤立的数据不足以得出关于因果关系的安全结论。想知道为什么吗?

看看这张1949年的图表。它显示了美国冰淇淋销量与小儿麻痹症病例数量之间的相关性:

来源:Axbit.com, 2019

很有趣,对吧?我知道。根据这张图表上分析的数据，卫生专业人员要求人们停止购买冰淇淋，以减少小儿麻痹症病例的数量。

自然，很快人们发现根本没有因果关系在两段数据之间。脊髓灰质炎的传播在气温较高的时候——在一年中温暖的月份——更常见，就像冰淇淋的销售一样。

你觉得这个例子太牵强了吗?即使在今天，我们经常看到市场营销人员将产品流失的减少归因于使用了某种功能，而没有做可靠的实验来实际测试这一理论。

在70多年后的今天，我们仍然犯了同样的错误:假设存在因果关系可能只有相关的存在。

为什么最好的公司会投资于实验

想想任何一家在竞争激烈的行业中处于世界领先地位的数字公司。

你很有可能想到的是一个痴迷于实验的公司——一个一切都可以尝试的地方可以被测试将是。不仅如此，整个公司拥抱并鼓励进行最多数量的实验。

Airbnb、亚马逊、Booking、Facebook、Linkedin、Netflix、Spotify、Uber……

让我们来看看这些公司和其他关键公司的创新和决策是如何运作的。

让我们来看看这些公司如此重视实验的一些原因(以及为什么你也应该如此)。

1.实验可以避免你犯可能代价高昂的错误

不管你有多优秀，你对公司某个行动结果的预测也会有错误的时候。

在证明你想要采取的步骤时，你的研究或发现有多好也不重要。真正的机会是:事情仍然可能出错。

这些年来，我目睹了许多公司(其中一些是优秀的)在做出看似“明显”或非常有根据的改进时遇到了麻烦，但结果却是倒退。

你知道吗?在谷歌和微软这样的优秀公司，只有10%的测试成功了。

现在，你能想象这些公司在没有测试的情况下做出这些改变吗?你有没有想过，他们90%的努力实际上是在让公司倒退，这会损失多少时间和金钱?

实验的一大好处是，它可以让你避免执行会让你倒退(破坏kpi)的更改。可能发生的最坏情况是测试失败，而你的表现保持在同一水平。

2.实验加速你的创新

让我们花点时间来粉碎一个巨大的(也是非常常见的)关于实验的神话。

很多人认为做实验会拖公司的后腿。

“把所有东西都通过A/B测试??不可能的。那样我们就慢多了!这在这里行不通。我们太活跃了。”

听起来很熟悉，对吧?

我理解并同情这一点，这是一个合理的担忧。毕竟，在数字经济中，如果你不能快速增长，你就会被竞争压垮。

事实是，在任何更改永久生效之前，您确实需要将其置于测试环境中，直到有足够多的用户查看它以达到统计意义。这可能需要几天，几周，一个月，甚至更长时间。

然而，当你真正采用这个过程时，你花在等待统计显著性上的时间会被以下结果所补偿:

• 加速试验决策．计划将通过可靠的验证的确定性使其具有显著的减少讨论和官僚主义阻止它活过来。
• 衡量努力的结果要容易得多。当没有实验时，经常会看到公司打断高级专业人员甚至整个团队的工作，以试图理解最近所做的更改所产生的实际影响。在A/B测试中，每个人都可以获得准确的结果。
• 最后，我最喜欢的一点是:通过实验，你不必用最高质量的代码来实现你所做的每一件新事情，翻译成每一种语言，在所有设备上都能完美地响应，并拥有完整的文档等等。在测试时，您所关心的是实现最低限度的必要验证你的假设．只有在实验证明你的假设确实有效时，你才会投资于最终交付所需的一切。这可以极大地提高公司的效率和生产力。

3.实验使你的创新大众化

当一家公司拥有良好的实验文化时，阻碍人们创新的障碍就会更少。因此，更多的人将尝试通过实验进行创新。越来越多的人在自己的公司里进行尝试，就像杰夫·贝佐斯在本文开头说的那样:更多的实验=更多的成长．

这就是为什么最具创新力的公司如此关注创造一个人人都能进行实验的环境。

有趣的事情发生在Booking.com该公司在技术和产品领域的数千名员工中，约有75%积极使用该公司的实验工具。

2017年12月，这是网站行业的关键月份，一位设计师提出了一项测试残酷的重新设计主页。该公司花了数年时间优化的页面顶部的各种元素——住宿、交易、照片、文本……——将被一个简单的表单所取代，该表单询问用户想去哪里、什么时候去、带了多少人。

公司的首席执行官和其他董事都怀疑这个想法是否可行。他们甚至拿一瓶香槟打赌，相信转化率会下降。然而，实验仍然被授权进行。

毕竟，他们“全心投入”发展实验文化，并尽可能地将其民主化。协议规定，任何人都可以测试任何他们想要测试的东西，而不需要得到上级的授权。

你觉得怎么样?在你的公司，类似环境下的测试会上线吗?)

这是全面的创新，每个人都通过实验参与其中。

你想知道那个疯狂的实验结果如何吗?你所要做的就是看一眼Booking.com的主页，年后来，才知道。

4.试验是了解客户的最好方法

不要误会我的意思。我喜欢(并使用)以下技巧:

• 产品发现
• 用户访谈
• 可用性测试
• 在分析工具中寻找机会
• 观众调查

但它们都没有实验那么准确可靠。

让我举例说明:几年前，Intuit(一家为公司提供财务管理软件的公司)与20名用户进行了面谈，以了解他们是否有兴趣在员工创建账户时以更快的方式支付工资。面试结果很艰难没有．一致．

然而，在A/B测试中，选择更快付款表现得更好，从长期来看是非常优秀的，持续增加Intuit的收入。

总是会有不同的人们说,什么专家了解从他们说的话，和什么他们有效地做．

实验的重点是最后一项。它不受任何干扰地评估你的用户真正喜欢什么，什么让他们停留更长时间，什么让他们回来，什么让他们花更多的钱，等等。

在每个测试结果中，无论是积极的还是消极的，您都可以获得对客户有价值的了解。

实验是直接注射到顾客血管里的吐真剂。

这就是为什么这个流行的原则如此正确:

一个没有通过A/B测试的访问者是一个白白浪费的学习机会。

那些真正想要主导市场的人将这一原则牢记于心。这就是为什么，根据一些内部信息，每次你登录Facebook时，有99%的几率你在参与至少10个实验。

我如何开始在我的公司实施实验?

好问题。关于如何在公司中实施和发展实验，有很多话要说。我会不时地在Seer的博客上提到很多相关的内容。但现在，让我们专注于你需要知道的几个重要要点。

在我看来，为了在高水平上进行实验，公司需要照顾好以下3个支柱:人、技术和文化。

人

不幸的是，实验并不是世界上最琐碎的话题，如果在技术上出现错误，就会导致代价极其高昂的错误，因为公司高层的决策是由测试结果主导的。

这就是为什么让自己周围的人能够引导你的实验努力以正确的方式进行是很重要的。

与此同时，正如您在本文中所看到的，只有当整个公司都接受实验时，当所有团队都进行实验时，实验才能发挥最大潜力。

这就是为什么我看到的在这方面做得最好的公司的组织模式是集中和水平结构的混合:

在这个模型中，有一个核心实验团队:对实验项目的正常运作承担全部责任的核心实验团队:流程创建、技术、传道者的努力、沟通等。这个团队可以是一个第三方的专业团队，或者，如果你已经有合适的内部人才，你可以将他们组合到这个集中的团队中。

核心团队应该为公司内所有其他团队/小组提供必要的培训和支持，以应用实验。

请记住这个团队甚至可能不做自己的A/B测试．这不是他们的主要角色。它们的存在是为了让公司的其他人员可以运行自己的测试。

这种结构最酷的事情之一是，它允许扩展并避免相信公司中的每个团队都能够(根据自己的意愿)有效地将实验注入到他们的流程核心的陷阱。

(如果您希望我在以后的文章中更深入地讨论人员/组织结构的主题，请畅所欲言)

技术

如果你想从测试中获得可靠的结果，并扩展你的实验项目，你需要密切关注你的实验平台。

你的技术需求很大程度上取决于你所处的成熟程度。但就技术而言，你将面临以下问题:

• 我应该雇佣一个外部工具还是自己创建?
• 如何将业务数据与测试工具集成?许多流行的A/B测试工具(比如优化!)很难或不可能满足不同公司在这方面的需求。
• 如何进行服务器端测试?
• 如何以可靠的方式运行同步测试?

记住:如果你的平台提供给你不准确的结果，你可能会因为错误的决定而毁掉整个公司的未来。如果它不能让你快速，你可能会成为竞争对手的猎物。

出于这个和其他原因，不要低估使用可靠的技术来设置环境的必要性。

文化

泛指广泛的话题。实验文化涉及多种因素——没有它什么都不行。

例如,你的公司需要真正的数据驱动。你的测试结果必须被认真对待，比任何人的意见都更有说服力——不管是谁的意见。与此同时，必须设置障碍，防止在没有数据支持的情况下做出决策。

这也是文化的一部分，确保所有团队都理解实验的重要性，并有自由进行自己的测试。还记得Booking.com我之前提到的例子?

自然，文化的另一个关键部分是沟通．就像我之前说过的，从实验中得到的教训是非常有价值的。有时候它们甚至比转化率的提高更有价值。团队之间如何分享经验?他们如何讨论新的实验想法?他们如何区分轻重缓急?坚实的文化会回答这类问题。

结论

我希望，在看完这篇文章后，你现在能加入我和杰夫·贝佐斯关于实验及其与任何业务的相关性的观点。

这是一篇关于实验世界各个方面的介绍性文章。如果有什么特别的东西引起了你的注意，或者你觉得缺少什么，给我留言!

注册我们的时事通讯，获取更多这样的文章，直接发送到你的收件箱: