Netflix 是如何做产品决策的

乔梁 | 2022-06-18

本文介绍的是关于 Netflix 如何使用 A/B 测试做出决策,来不断改进他们的产品,从而为其会员带来更多的快乐和满足感。这一系列文章将涵盖了 A/B 测试的基本统计概念、实验在 Netflix 中的作用,以及 Netflix 是如何投资基础设施,从而支撑和扩展实验,以及 Netflix 内部实验文化的重要性。

Netflix 的经营理念是:「消费者的选择与掌控权,是娱乐体验的中心」。作为一家公司,他们不断开发其产品,并不断追求这一价值主张。例如,Netflix UI 在过去十年中经历了彻底的转变。早在 2010 年,用户界面是静态的,导航选项有限,演示文稿的灵感来自视频租赁店的展示。现在,用户界面是沉浸式和可视频转发,导航选项更丰富,但不那么突兀,并且 「Box Art」的展现形式更充分地利用了数字体验。

图 1:2010 年和 2020 年的 Netflix TVUI。

从 2010 年的体验过渡到现在(2021年)的体验,需要 Netflix 做出无数决定。例如,单个标题的大显示区域与显示更多标题之间的正确平衡是什么?视频比静态图像好吗?如何在受限网络上提供无缝的视频转发体验?如何选择要显示的标题?导航菜单属于哪里,它们应该包含什么?这个问题列表还在继续增长。

**做决定是很容易的,—难的是做出正确的决定。**如何确信做出的决策是在为现有会员提供更好的产品体验,并帮助新会员开拓体验?Netflix 通过多种方式来决定如何改进产品,从而为其会员带来更多快乐:

  • 领导:让领导做出决定。
  • 内容专家:聘请一些设计、产品管理、用户体验、流媒体交付和其他学科方面的专家——然后用他们最好的想法去做。
  • 内部组辩论,让最有魅力的同事的观点占据一席之地。
  • 复刻竞争对手。

图 2:不同的决策方式。从左上起顺时针:领导、内部专家、复刻竞争对手、小组辩论。

这些决策方式中的每一个,都有一些观点和角度有助于做出决定。领导小组很小,小组辩论也不会太大,而在 Netflix ,在我们需要做出决策的每个领域,也就只有这么多专家了。然而,可能有几十种流媒体或相关服务可以作为我们的灵感来源。此外,这些方式并没有提供一种系统的方式来做出决策,或解决相互冲突的观点。

Netflix 相信,有更好的方式来决定如何改善其向会员提供的体验:他们使用 A/B 实验。实验可以规模化。实验不是让一小群高管或专家参与决策,而是让 Netflix 所有会员有机会用他们的行动投票,决定如何继续发展他们愉快的 Netflix 体验。

更广泛地说,A/B 测试以及其他因果推理方法(如准实验)是 Netflix 使用科学方法为决策提供信息的方式。首先要形成假说,再收集经验数据,包括来自实验的数据,为刚形成的假说提供支持或反对的证据,然后得出结论并产生新的假说。正如 Netflix 的 Nirmal Govind 所解释的那样,实验在支撑科学方法的演绎(从一般原理中得出具体结论)和归纳(从具体结果和观察中形成一般原理)的迭代循环中起着至关重要的作用。


原文作者: Netflix Technology Blog 原文链接:Decision Making at Netflix 发表时间: Sep 7, 2021