评估数据管理技术好坏的标准（B测试不只是技术工具）

近日，《火山引擎A/B测试总体经济影响白皮书》正式发布。这份白皮书由市场研究公司Forrester调研撰写，以火山引擎客户为研究对象，揭示了A/B测试对于企业营收增长、运营成本、生产力优化等方面的重要影响。Forrester从中发现，企业营收增长与其洞察力高度相关，领先企业的营收增长速度可以达到落后者5倍，而A/B测试正是企业提升洞察力最有效的工具之一。

那什么是A/B测试呢？简而言之，A/B 测试是一种在线控制实验方法，在两个或多个选择中，得出一个最优解。具体来说， 在几乎相同的条件下，如同一用户群，分配一部分流量采用原方案A（对照组），另一部分流量给与新策略B（实验组），然后用同一指标来衡量，如点击率，比较是否具有统计学的显著性差异，最后得出维持A还是采纳B的结论。

A/B测试示意，来源：SA-VIT Fahad Dalwai

A/B测试在字节跳动这样的互联网公司是一项非常重要的基础工具，据说连“抖音”这个名字都是通过A/B测试挑选出来的。截至2022年3月，字节跳动累计已有 120万 的 A/B 实验，日新增实验 1800 ，同时运行实验 2万 ，服务 500 业务。如今，这项工具已于2020年实现产品化，通过火山引擎向企业客户开放。

火山引擎数据产品负责人郭东东对媒体表示，随着火山引擎A/B测试的客户越来越多，使用越来越深，就会越有信心觉得A/B测试是企业增长特别关键的能力和产品。A/B测试不只是一个测试，它的核心价值是数据驱动，作为企业决策的一环，更是对企业业务模式的一种转变。

“我们希望通过发布白皮书的方式，让更多的企业客户，尤其是中小客户了解到 A/B测试的能力，到底能帮助他们做什么，从而真正把A/B测试赋能到更多企业的业务增长过程中来，并以此为起点，帮助他们实现全局的数据智能。”郭东东表示。

用A/B测试驱动企业数字化决策的时代已经到来

随着人口红利逐渐消退，各行各业面临着不同程度的增长瓶颈，企业迫切需要由过去粗放式的运营模式，转变到以客户体验至上的精细化运营模式。然而，很多号称数字化的公司，其商业决策方式仍然没有发生根本性转变，其决策仍处于“黑箱模式”，大都凭借公司领导或部门负责人的经验或个人能力做出判断。

据数据猿了解，目前国内互联网公司的商业判断方法通常有三种：一是经验判断，本质就是靠决策者的经验；二是非A/B测试的数据分析，可以使用数据做决策，但问题很难归因，也不能在上线前得到预测；三是可以采用A/B测试进行事先判断和事后归因。

“与其说‘我有一个想法’，不如说‘我有一个新的假设，让我们测试一下，看看它是否有效，问问我们如何快速地验证它’，如果它不成立，就进入下一个问题。“微软CEO萨提亚·纳德拉（Satya Nadella）曾说道。这一段回答简练地描述了微软基于实验 – 分析 - 决策的数据驱动文化。

通过A/B测试标题改动让bing的收入增长了12%，来源：微软

今天，不只是微软，包括 Google、Facebook、亚马逊、字节跳动在内的全球各大公司都将A/B测试作为企业内部运营的重要支撑在推进。

为什么今天那么多知名公司都在进行A/B测试？一个重要的背景原因就是时代发生了变化，企业进入客户至上的时代，在这个时代，企业要转型为“洞察驱动型组织（Insight Driven Organization）”，实现数据驱动及科学决策已成为企业持续增长以及应对不确定性的关键。

作为“客户时代”的概念提出者，全球最具影响力的独立研究咨询公司之一的Forrester 认为，在这个时代，企业通常面临着来自客户日益增长的期望与愈发激烈的市场竞争，而优化客户体验（CX）对于赢得服务、留住客户变得至关重要。这意味着，企业必须缩小数据、分析、洞察力与行动之间的差距，基于数据和洞察不断优化和拓展与客户的互动，并通过精细化运营，才能破解企业营收持续增长的密码。

Forrester 的分析数据表明，94%的全球决策者认为，客户需求及偏好相关的数据洞察对于提升企业营收极为关键。81%的企业认为通过数据深入了解客户的需求，基于数据不断改进和优化解决方案，可以提升竞争优势。

随着云计算、大数据和人工智能为代表的现代信息技术迅猛发展，新兴技术与垂直领域不断深入融合，推动各行各业在体验、运营、创新和生态四个领域围绕客户至上的核心理念不断加速数字化转型的进程，越来越接近由数据全面驱动企业的战略与经营决策。

Forrester 的研究亦表明，洞察力驱动成熟度（Insights-driven maturity）与企业营收增长高度相关，具有较高成熟度的企业营收增长是落后者的5倍，其利用整个公司的洞察力来提高创新能力，增强竞争力。全球领先的企业，通常具备以下三个方面的关键能力：

●深入的客户互动数据洞察：领先企业更多地依靠高级分析、客服机器人和 A/B 测试来决定一个创新应该是什么，而非依靠个人的经验猜测；

●持续改进与创新：借助平台化的数据洞察工具，企业可以快速地将洞察转化为不断提升的客户价值与体验；

●集成式的产品发布管理：产品经理可以使用基于规则的系统来确定何时在生产中激活某些功能并选择向哪些客户发布这些功能，且在产品发布后无缝地实现客户体验升级。

具有较高成熟度的洞察力驱动企业，营收增长是落后者的5倍，来源：《火山引擎A/B测试总体经济影响白皮书》

据此次发布的白皮书指出，以A/B 测试为核心的在线测试（online testing）是目前使用最成熟的数据智能技术之一，是优化和创新数字客户体验的关键。

为了呈现A/B 测试给企业带来的帮助和实际价值，Forrester 还利用总体经济影响（TEI）模型访谈了使用火山引擎A/B 测试产品的客户。

来源：Forrester

结果表明，受访企业实现了广告业务及会员运营营收的增长， 改进了产品优化迭代的效率， 并显著降低了产品发布带来的客户体验下降、客户流失方面的风险。Forrester 还从三个组织中收集数据并创建了虚拟的复合组织，经过整合财务分析，该组织三年共实现人民币520万元的收益，扣除投入成本汇总后，最终获得人民币290 万元的净现值（NPV）以及 126%的 ROI。

来源：Forrester

据悉，整体的访谈前后历经四个月的时间，受访企业不但通过A/B 测试获得可观的量化收益，他们也认知到A/B 测试不只是产品UI的事，而是可以应用在研发运营、客户服务以及营销等领域。Forrester高级咨询顾问谷丰指出，无论是从使用的深度方面还是广度方面，A/B 测试都是企业支撑数据驱动增长、数据驱动运营模式转型很有价值的工具。

A/B测试只是企业转型洞察业务模式的起点

在字节跳动内部，有这么一句话：“A/B测试是一种信仰，风神（数据洞察平台）是一种习惯。” 2014年，当时还是初创公司的字节跳动上线了第一款数据产品Libra，这是字节跳动自研的A/B测试产品，意味着A/B测试在字节内部开始大规模应用。自此，数据驱动的理念完全地根植于字节跳动的基因中。

目前，基于字节跳动内部先进的底层算法、科学分流能力、智能统计引擎，火山引擎A/B测试已覆盖推荐、广告、搜索、UI、产品功能等业务场景，提供从实验设计、实验创建、指标计算和统计分析，到最终评估上线等贯穿整个实验生命周期的服务。

火山引擎A/B 测试实验列表：可以看到各测试的运行状态，来源：火山引擎

郭东东指出，A/B测试虽然是重要的生产力工具，但转型为洞察驱动型组织还需要搭配数据驱动更多的能力。为此，火山引擎基于字节跳动数据驱动的理念，为企业客户提供了一套完整的数据中台，实现从单品数智到全局数智。

据了解，火山引擎的A/B测试工具与数据中台产品是深度打通和联动的。比如 A/B测试产生的数据，可以直接在数据中台建数据仓库。或者把数据仓库里建设好的数据与A/B测试做联动，然后做指标分析。假设做A/B测试时发现指标颗粒度不够，火山引擎数据中台是支持下钻到数据仓库中，进一步分析信息粒度的指标，或者通过BI 工具去分析。“这是上下游深度协同的关系。”郭东东表示，只有在复杂场景下协同起来，才可以更好地解决业务问题。

“一站式的服务还能降低企业的对接成本，并通过数据中台的能力，提供更为全面的服务，比如说数据治理。”

火山引擎数据产品全景图，来源：火山引擎

数据猿了解到，与传统建设数据驱动体系的理念不同，火山引擎数据中台是面向业务价值构建的数据驱动能力，从业务场景出发，根据企业实际应用来驱动中台能力建设，从上往下逐步落地数据驱动能力，为企业客户构建敏捷的数智引擎。

文：陆易斯 / 数据猿