算法改变未来：NetFlix百万美金数据建模大奖的故事

叶子颜

我常对学生讲，互联网真是个好东西，它为年轻人提供了绝佳的施展舞台和成功的技术条件，那里有无穷的宝藏，数不清的成功机会。有不少学生听了这个说法并不理 解，他们往往认为互联网不就是个社交平台吗？除了看看新闻、读读博客、发发电邮、灌灌论坛还能干啥？今天我讲的这个故事，也许能帮助你了解互联网的好处， 同时也普及一些数据挖掘、统计分析、机器学习方面的科学知识。

        电子邮件的出现极大地影响了邮局收发传统信件的业务；大容量光盘DVD的出现影响了电影院的生意；租一盘DVD录像光碟就可以坐在家里舒舒服服地看电影，同 一部电影还可以反复看，租金又相对很便宜，所以各种各样的出租录像光碟的商店如雨后春笋，多如牛毛。在如此激烈竞争的市场里，居然会冒出一个利用互联网的 影碟出租网站叫 NETFLIX，而且经营得十分成功，打垮了许多传统的影碟出租商店，最后连老牌影碟出租连锁店百事达(Blockbuster) 也不得不屈尊求教，学习 NETFLIX 的商业模式。

        NETFLIX 是如何成功的？俗话说，把戏就隔一张纸。NETFLIX 成功的秘诀其实就是一个小小的创意：租一次，随便看；不限租期。这就像是从传统的按菜单点菜的饭店到食客自选的自助餐厅，顾客可以随便选，随便吃，吃到 饱。1997年，NETFLIX 首创这种商业模式，用户支付固定的月租费，在NETFLIX 网站上选择自己想看的电影之后，这些电影光碟就会寄到你家，收到之后你爱看多久就看多久，没有期限，等到看满意后再用 NETFLIX 附上的免费回邮信封寄回，然后下一张电影光碟就会接着寄来。这个商业模式的图示如下：

        就是这样一个小小的创意，为 NETFLIX 带来了六百七十万顾客，出租九万张影碟的业务量，它还能向顾客提供四千多部影片或电视剧的在线观看服务。业务发展了，财大气粗了，NETFLIX 就开始琢磨怎样调动观众的积极性，对看过的电影进行网上在线评分，根据用户的个人偏好，再为他们及时推荐新推出的电影。

        为此，NETFLIX 设计开发了一个电影推荐系统叫 Cinematch，这是一个智能预测系统，它能够根据用户以前的评分数据预测到这位顾客可能喜欢什么样的主题和风格，等新电影发行后马上为相应的用户群 体进行推荐。可是这个推荐系统的智能水平有限，准确度不高，不能令人满意。

        采用传统的方法，NETFLIX 可以雇用新的计算机软件设计人员，改进已有的 Cinematch 系统，或者另起炉灶，开发新的电脑软件系统。但是，NETFLIX 使用了更好的方法。

        2006年， NETFLIX 对外宣布，他们要设立一项大赛，公开征集电影推荐系统的最佳电脑算法，第一个能把现有推荐系统的准确率提高 10% 的参赛者将获得一百万美元的奖金。2009 年 9 月 21 日，来自全世界 186 个国家的四万多个参赛团队经过近三年的较量，终于有了结果。一个由工程师和统计学家组成的七人团队夺得了大奖，拿到了那张百万美元的超大支票，获奖的照片 如下：

        在介绍获奖团队之前让我们先来算一笔账。看到上图的那七名获奖者了吗？他们个个都是专家、精英，我们到后来再详细介绍他们的算法；七位专家花三年时间拿到一百万美元，每人平均年收入是 47169 美元，还顶不上一个初出茅庐的大学生的年平均工资！

        而 NETFLIX 的年收入是 14 亿美金，一年要花九千万美元用于研发项目的开支。对于这样一个大公司，三年拿出一百万美元来搞这项大赛，简直如同九牛一毛，毫不在乎；可是，这世界上奖金 达到一百万美元的算法竞赛还真是凤毛麟角。所以，这项百万美元大奖赛一经宣布，马上吸引了全世界 186 个国家的四万多个参赛团队。NETFLIX 简直是太聪明了，他们设立这项大奖赛可以说是名利双收，甚至是一本万利，付出一分投资，获得十分回报。为什么这样说呢？

        第一，这是十分合算的研发外包。如上所述，把世界上最聪明的人集合在一起，采用其中最漂亮的解决方案，结果只需要付给他们相当于大专学生的工资。

       第二，这是很有创意的商业广告。由于这项比赛前所未有，奖金也高达百万美金，从而吸引了无数媒体的记者，跟踪报道，NETFLIX 的新闻满天飞，报纸上、电视上、网络上无所不在，可是 NETFLIX 却分文不拿，免费获得公关宣传，净赚不赔，恐怕就是拿出十倍于大赛奖金的钱来做广告，也难以达到如此的效果。

       第三，发现人才，吸引人才。通过这三年的比赛，NETFLIX 在全世界范围内发现了一大批人才，成为他们科研开发的后备军。

        难怪在这次大赛圆满结束之后，NETFLIX 立马宣布还要进行下一个百万大奖。

        上图是对于NetFlix的数据集中17,700部电影可视化展示，可以在如下网址翻墙查看交互版本 ( http://abeautifulwww.com/2007/04 ... flix-prize-dataset/ )