【赠书】地平线创始人余凯:一场秘密竞拍扣响 AI 科技变革发令枪
美国时间 2022 年 9 月 30 日,埃隆·马斯克带着技术团队举办了一年一度的特斯拉人工智能日(Tesla AI Day), 展示了他们在自动驾驶和人形机器人领域最新的进展,包括基于 FSD(完全自动驾驶) 芯片的擎天柱机器人、基于占用网络(Occupancy)的自动驾驶感知算法,以及云端自动驾驶训练平台 Dojo。
由于埃隆·马斯克的个人魅力和特斯拉在电动汽车领域的全球领导地位,特斯拉人工智能日已经成为“全球科技行业的春晚”。但是毫无疑问,如果没有最近 10 年的“深度学习革命”,就不会有特斯拉今天在自动驾驶领域取得的惊人进步。
《纽约时报》知名科技记者凯德·梅茨(Cade Metz)生动翔实地讲述了这段历史:一群少数派学者,在长期不被主流学术圈认可的情况下,坚信深度神经网络会改变世界,并在很多年的时间里在黑暗中持续探索,终于推动了人工智能技术在语音识别、图像识别、自然语言理解、博弈论、生物制药、搜索、推荐和自动驾驶等诸多领域取得改变世界的突破性进展。(文末参与互动有机会获得赠书)
一封邮件引发的秘密竞拍
《深度学习革命》这本书对我个人来说也有特别的意义,因为其开篇的前言讲述了 10 年前我亲身推动发起的一场竞拍,也是一段尘封的往事:我给杰夫·辛顿(Geoff Hinton)发出的一封电子邮件,导致了一场发生在美国加州太浩湖畔的秘密竞拍。
我在这里顺便补充一些背景,关于当初我为什么会发出邮件联系辛顿,进而扣响了深度学习产业变革的发令枪。2012 年4 月,我离开了美国硅谷的 NEC 实验室,回到北京,加入百度,领导百度新成立的多媒体部,包括语音识别团队和图像识别团队,这也是后来 IDL(Institute of Deep Learning,百度深度学习研究院)的前身。
那个时候,深度学习在中国还是非常小众的研究方向,几乎没有任何研究机构关注深度学习。那年 9 月,我专门给百度首席执行官李彦宏演示了我们的一些深度学习项目的进展,他感到非常震惊,没想到现在算法进展得这么快,这改变了他的认知。我记得,他还专门给全公司的产品经理发邮件,要大家关注深度学习的最新进展。
2012年10月,杰夫·辛顿和他的两名学生在 ImageNet 图像识别比赛上拿了冠军,并且发表论文介绍了冠军算法 AlexNet。这件事对于别人可能只是个新闻,但是对我来说意义非凡!因为我曾经带领 NEC 实验室的研究团队于 2010 年拿过第一届 ImageNet 竞赛的冠军。我们采用了多层的稀释编码方法——一种非监督的卷积深度学习算法,来提取图像特征,然后用浅层的监督学习方法来做识别。当时,我们也试过监督学习的卷积神经网络,但是训练很难收敛。所以,我应该是世界上最了解辛顿团队用卷积神经网络赢得 ImageNet 竞赛这件事的重要意义的人。当时我感到兴奋不已,就像触电了一样,于是立刻写电子邮件给辛顿,迫切地表达了要和他深入合作的想法。
百度的第一次报价:
1200 万美元
辛顿很快就回复了,说很愿意合作,但是希望百度能提供一些研究经费。我说没问题啊,大概需要多少钱?辛顿说,大概 100 万美元吧。我于是去找首席执行官李彦宏,对他说我希望有足够的经费支持辛顿与百度在深度学习研究方面开展合作,李彦宏非常支持。于是,我就回复辛顿说没问题,百度很愿意出研究经费。他一方面表示感谢,一方面很绅士地问我,是否介意他也去问一下谷歌的兴趣。我当时有点儿后悔,猜我可能回答得太快了,让辛顿意识到了巨大的机会。但是,我也只能大度地说不介意。
结果,他不只问了谷歌,还问了其他一些公司。大概 11 月 的时候,他告诉我,还有几家公司表示要和他合作,而且他注册了一家公司,叫 DNNresearch,准备让各家竞争者以秘密竞拍的方式来做团队收购。我心里想,辛顿真是聪明,不仅会做研究,还很有生意头脑。12 月初,我飞往美国旧金山,租了一辆车,开车去了太浩湖,参加一年一度的机器学习顶级盛会 NIPS(Neural Information Processing Systems,神经信息处理系统大会), 同时在那里与另外三家公司一起竞拍杰夫·辛顿的团队。我时刻与李彦宏以及时任百度投资副总裁的汤和松保持沟通,并且代表百度做了第一次报价——1200 万美元。
三家竞拍对手:
谷歌、微软和 ?
我当时百分之百地确信另外三家竞拍对手里一定有谷歌,还有一家我猜大概率是微软,但不是百分之百确信,直到竞拍后,我在从旧金山回北京的航班上碰到微软研究院的学者邓力博士。我和邓力属于业界很早的一批意识到深度学习重要性的学者,已经是多年的朋友了。我们俩于是在飞机上聊天,拐弯抹角地想搞清楚对方公司是不是参与了竞拍。尽管我们谁也不说出实情,但是下飞机的时候,我们俩都已经百分之百确信对方公司是竞拍对手之一。
10 年来,我一直猜不到第三家竞拍对手是谁。我当时觉得可能是 IBM(国际商业机器公司)或者 Nuance(语音识别技术公司),但是读了《深度学习革命》之后,我才恍然大悟。《深度学习革命》作者凯德·梅茨采访了参与竞拍的几乎所有人,还原了整个事件的全貌。其中一些有趣的细节,连我也是读了这本书才知道的,因为当年每个参与竞拍的人都不知道其他家的底牌。
有的披露令我忍俊不禁,比如,由于担心影响拍卖价格,辛顿和他的两名学生在太浩湖哈拉斯赌场酒店 731 房间里手忙脚乱地掩盖老教授当时糟糕的健康状况,而当时我敲门的时候完全不知道;再比如,我离开时把背包落在了他们房间里,他们三人还犹豫着要不要打开我的包,看看我出价的底牌......更有些细节披露,让我既觉得有趣,又感慨万千。
而百度的第三家竞拍对手是 DeepMind!它当时还是一家成立仅两年的名不见经传的小型初创公司,竟然要出价收购“深度学习之父”杰夫·辛顿的公司,可见当年 DeepMind 的首席执行官戴密斯·哈萨比斯(Demis Hassabis)有何其远大的雄心和抱负,难怪后来 DeepMind 推出了震惊世界的 AlphaGo(阿尔法围棋)。最近,DeepMind 又在《自然》杂志上发表论文,他们用强化学习技术发现了 50 年来最快的矩阵乘法算法。
少数派学者的胜利:
深度学习崛起十年
说了这么多,当年秘密竞拍的最终结果还没有告诉大家——谷歌从 4 家竞争公司中脱颖而出,以 4400 万美元的价格成功地收购了杰夫·辛顿和他的两名学生组成的研究团队。这也随后拉开了百度、谷歌、微软、DeepMind和英伟达等全球高科技公司竞相重度投资深度学习技术研发,并展开激烈的人才竞争的序幕。
而在那次事件之前,深度学习基本上还是在象牙塔里的纯学术研究,并不被众多科技公司重视。所以,这次秘密竞拍事件可以说是深度学习推动全球科技产业变革的“发令枪”。
在过去的 10 年里,深度学习改变了人工智能,也改变了世界。参与那场拍卖的大部分人今天都还活跃在科技的舞台上。2019 年,杰夫·辛顿与约书亚·本吉奥(Yoshua Bengio)、杨立昆(Yann LeCun)共同获得了计算机领域的最高奖— 图灵奖。他的两名学生之一伊利亚·萨特斯基弗——后来与埃隆·马斯克等人联合创立了著名的 OpenAI(人工智能研究公司),打造了在强化学习领域几乎与 DeepMind 齐名的研究机构。
辛顿一直都非常感谢我,有一次我在加拿大温哥华的一场学术会议上碰到他,他非常热情地请我 去餐馆吃饭。代表微软参与了竞拍的邓力博士,后来成为世界上最大的对冲基金之一— Citadel(城堡投资)的首席人工智能科学家。DeepMind 后来被谷歌收购,公司开发的 AlphaGo 震惊了全世界,激起了无数人对人工智能的热情。
最让我感动的是,经历过那场竞拍的大部分人到今天都在努力奋斗着,没有人懈怠或躺在功劳簿上,包括我自己,2015 年创立的地平线今天也成为行业里有影响力的科技企业。我们这些人都对人工智能的无限可能充满着孩童般的好奇,每天享受着技术改变世界带来的乐趣和满足感,并通过技术和产品让这个世界变得更加美好。
IDL与地平线
会议结束之后,我飞回了北京。我想我的目的也达到了,因为李彦宏亲眼见证了国际巨头不惜花费巨资来投资深度学习研发,这让他下定决心自己把深度学习做起来。所以,2013 年 1 月,百度在年会上宣布要组建 IDL,并招募全世界顶级的人才。为了提高对人才的吸引力,李彦宏亲任院长,我来担任常务副院长。
IDL 开创了中国公司建立前沿人工智能研发机构的先河,后来,中国几乎所有的大型科技公司都组建了类似的机构。IDL 率先把深度学习技术应用到语音、 图像、广告、搜索等方方面面的领域,招聘和培养了一批顶级人才,现在,这些人才在中国人工智能领域可谓群星璀璨。
我自己的职业生涯也如此,我从一名在硅谷从事基础研究的实验室主任变成了一个大型研发团队的管理者,并且使自己带领的团队研发的技术被上亿名用户使用。我很感谢百度能给予我一个这样的舞台。2015 年夏天,我从百度离职,迈向新的征程,创立了地平线。地平线创业的想法也来自我在 IDL 工作期间的 一个观察:GPU 运行深度学习算法的效率是 CPU(中央处理器) 的几十倍,但是 GPU 本来是为图形渲染设计的,所以,用 GPU 做深度学习是无心插柳的结果。那么,我进一步想,如果专门为深度学习设计加速芯片,会不会效率更高?答案是显而易见的。于是,地平线开辟了中国深度学习芯片创业的赛道。
深度学习领域发生的很多事情,包括我自己的职业生涯和创业经历,都和那场太浩湖畔的竞拍有着某种奇妙的联系。《深度学习革命》这本书并不是侧重在讲一个个研究成果的技术概念,而是在讲推动这些研究进展的背后这群人。人工智能领域最近取得的突飞猛进的进展,关键就在于有一群执着、热情和可爱的研究者。任何伟大的成就,其可贵之处都在于人的精神。
0条评论