科技大厂做的A/B测试和你做的有什么区别？

你一定想问，A/B测试不就是个实验法吗？那科技大厂的A/B测试到底厉害在哪里？

要搞清这一点，你一定要区分清两个概念：

1. 企业中得以大规模执行A/B测试的系统和流程

2. 那些基础的、你可以在第三方软件中、靠简单的几下点击就能执行的A/B测试程序（比如Optimizely、VWO、Google Experiments、Adobe Target、Qubit等等）

大多数声称自己会A/B测试、或者声称A/B测试很简单的人，基本只做过2，并且不知道1的存在。

基础的A/B测试主要是聚焦于一些用户体验的改善，我们称为UX（user experience）。你可能是改动了网站或应用上的某个元素，测试这种改变是否更好地促使你的用户达成你想看到的商业目的。就算是这种基础的A/B测试，也并不是所有从业人员都做得很好的。它需要你有扎实的统计基础。否则，你也只是有过A/B测试的“执行经验”（更残酷的说法是：简单的点击软件按钮的经验），而并非真的会A/B测试。

那大规模的A/B测试系统到底是什么呢？

你有没有听说过江湖上流传着这样一段话：

“亚马逊每年都要做超过1 万个A/B 测试；谷歌则有10 万个之多；当你访问Facebook的页面时，你已经同时身处10 个A/B 测试之中了”

所以，同时可以向大规模的用户做大量的A/B测试、公司里盛行统治地位的测试文化的公司，都是需要搭建大规模的A/B测试内部平台的。而几乎所有你向往的互联网科技公司，都属于这个范畴——它们都需要高度客制化的技术支持（因为每个公司的需求不同）。

1. 大规模的A/B测试意味着平台的搭建

首先，你需要建造一个平台整合到开发中，这个平台必须能让测试变得简单，让那些负责设计实验和跑测试的人能够轻松使用。绝大多数的第三方商业A/B测试软件，都是没办法完全符合这些大公司的需求的。

其次，搭建A/B测试平台还意味着你要深刻地了解商业需求和用户体验的核心。

比如，Intuit建造了一个实验平台，然后要把它整合到它整个生态产品中，从小企业到个人理财，每个产品都要适应。并同时要把敏感的用户数据存在公司内部（而不是存在外面的平台）。这是一个相当复杂的过程。现在Intuit的A/B测试平台已经扩展到能够服务120个app，能够处理十亿（billion）级别的API呼叫。而且他们也已经把这整个项目的框架开源到了网上供其他公司参考。

2. 大规模的A/B测试需要从业者深刻把握统计

在评价一个分析师专业程度时，现在有了一个时髦的词汇叫做：统计成熟度。当然如果你不是个统计实力派也不用因此沮丧，因为即使是专家也有头疼的时候。最受欢迎的A/B测试平台Optimizely也曾经在2015年的时候宣布它要改写系统里的统计方法来避免平台犯某类常见的统计错误。

当你在一个大型的复杂的网站上测试数十个A/B测试时，测试和测试之间是非常有可能互相干扰的。所以企业内大规模的A/B测试平台还需要足够聪明地识别测试之间有什么互相影响。

3. 大规模的A/B测试需要从业者深度了解用户细分

A/B测试通常聚焦于具体的用户细分。首先，就单单在同意核心细分人群的定义上就可能引发一场公司内的大争论。营销、产品、客服都对哪个细分更核心、如何定义这个细分有着根深蒂固的见解。

其次，A/B测试平台应该要允许用户来根据线上线下行为数据来开发他们自己的细分。平台需要能够意识到这些不同的细分并且让操作者很容易地选择不同的细分组合来执行实验。

4. 大规模的A/B测试意味着要在全公司内展开培训

当企业里不只是数据部门的人能做A/B测试，而是剩余的其他人也能做A/B测试时，这才最大的胜利。但是，由于A/B测试必须正确地做才会有效，所以大规模的A/B测试平台必须能够指导大家如何规范操作，而那些使用平台的人也必须被培训才能得到有效的结果。

首先公司需要买账A/B测试的价值，然后实验操作与流程需要产品化，最后一大堆员工需要指导如何正确使用这个产品。引进A/B测试的概念可能会打破现有的权力结构，可能会受到那些不太对数据感冒的管理层的排斥。一位谷歌的朋友告诉我，“谷歌没有庞大的中层管理层，因为公司有足够的数据来进行决策取代了中层管理的作用。”很少有公司能够在引进数据驱动决策的方案时不受到阻碍的。

以上4点原因解释了为什么A/B测试虽然“简单”，但在各大科技公司的找人门槛上却异常突出A/B测试的权重，以至于Facebook的面试里A/B测试题的通过率只有3%。

如果你想获得专业的A/B测试培训，使用百万量级的原始数据，进行企业级A/B测试项目的实操的话，可以选择Uoffer科技大厂A/B测试培训课程。