ChatGPT里的清华元素 1 a* R2 h k: B" b+ m
OpenAI旗下大语言模型ChatGPT的成功让人眼前一亮,更让外界意想不到的是,这个产品不是出自拥有数千名人工智能团队的谷歌或者Facebook,而是仅成立8年只有三百多人的OpenAI。 4 G$ O. o. J/ C# ^
来自全球各地的顶尖人才为OpenAI和ChatGPT的成功奠定了基础。今年1月,OpenAI创始人及CEO奥特曼透露公司员工人数为375人 ,与谷歌和脸书等科技巨头从事人工智能工作的数千名员工相比,这是一个很小的数字。“我知道我不应该吹嘘OpenAI,我们要感谢我们所有的外包公司为训练模型提供了必不可少的数据。”
7 I/ Y/ m1 M& F1 \
而真正在ChatGPT项目中做出贡献的人员,据OpenAI官网显示,共有87人。ChatGPT只是OpenAI其中的一个项目,比如OpenAI之前发布的文本生成图像的大模型DALL-E,两个半月注册人数突破100万,也在人工智能领域备受关注。
" ?7 }$ T* l) ~; L# b [
在最近一份由智谱研究联合AMiner发布的《ChatGPT团队背景研究报告》中,这群人的显著特征被归纳为了“年纪很轻”、“背景豪华”、“聚焦技术”、“积累深厚”、“崇尚创业”和“华人抢眼”几个方面。
* F7 n' \: I9 O$ m0 n4 q5 b
智谱研究发布的报告显示,该团队平均年龄为32岁,“90后”是主力军。作为全球人工智能顶尖研发团队,其成员绝大多数拥有名校学历,但也并非“清一色”研究生学历,而是本、硕、博人数相对均衡。同时,其成员大多具有全球知名企业工作经历,其中,从谷歌跳槽而来的有10人,是为其贡献最多人才的外部企业(ChatGPT基于的也是谷歌提出的Transformer模型)。作为应届生直接加入ChatGPT 团队的也有11人,但不论是来自其他企业,还是作为应届生加入的人员,背景都相当“豪华”。 3 W0 O Y/ G, E. O8 f! X
而在技术上,该团队共有包括OpenAI 联合创始人Wojciech Zaremba在内的5人入选了今年“AI 2000 全球人工智能学者”名单。该名单由AMiner 每年推出,评选出全球人工智能 20个细分领域前 100 名最具影响力学者。这意味着,在 ChatGPT 不足百人的团队中,就有 5 人属于全球人工智能各领域顶尖学者,技术积累深厚。 ; \( Y8 d' ^0 |( [
此外,最值得一提的是,华人成为了该团队中一支重要的科技创新力量,共9人,占团队总人数的比例超10%。华人学者欧阳龙更是参与了与 ChatGPT 相关的 7 大技术项目中的 4 大项目的研发,是InstructGPT 论文的第一作者,也是RLHF 论文的第二作者。“可见他是这两个关键技术项目的核心人员。”智谱研究分析称。
6 k$ `) z5 a( s' ~9 ?+ q& i
在华人团队中,有5人本科就读于中国内地高校,其中3人(翁家翌、赵盛佳、袁启明)均来自于清华大学,并各有1人本科毕业于华中科技大学、北京大学/香港大学。不过,这5人后续均在海外高校继续深造。 1 a" T1 M' Y/ x7 h- d# H
其中,翁家翌是ChatGPT团队里最年轻的研发工程师之一。他于2020年从清华大学计算机系本科毕业,进入卡内基梅隆大学攻读硕士学位。在清华期间,翁家翌曾加入清华大学人工智能研究院基础理论研究中心主任朱军领导的TSAIL实验室,并在大三暑假加入加拿大图灵奖获得者 Yoshua Bengio 的实验室,深入开展RL和NLP的研究。其更是一度以本科生身份,成为基于 PyTorch 的强化学习算法库 Tianshou(天授)的第一作者。
* z7 |% g# i, _
清华大学也以3名成员的数量,与卡内基梅隆大学一起,并列ChatGPT团队毕业院校的第7名。排在他们之前的分别是斯坦福大学(14 人)、加州大学伯克利分校(10 人)、麻省理工学院(7 人)、剑桥大学(5 人)、哈佛大学(4 人)和佐治亚理工学院(4 人)。
1 j9 G- `- p6 O+ [
6 L' [& u; P, L0 ]# R
# w" f9 O% G R1 F4 r3 Y清华走出的人工智能大牛
. g& v) r+ A/ m1 ~. q" E
ChatGPT团队中出现不少的华人力量和清华元素令人意外。但实际上,华人尤其是清华系,早已成为全球人工智能领域中的一个中坚力量。
3 H2 P/ \' g6 S( a
2021年,AMiner曾根据AI2000人工智能全球最具影响力学者榜单,结合学者H-指数、论文数和影响因子,并经过去重处理后发现,过去十年,全球为AI发展贡献了力量的高层次学者共有1833位。这些人工智能领域的技术大牛共覆盖了37个国家,其中,美国1244人,占比62.2%,中国以196名位列第二,远超以113名排在第三的德国。
- z/ r& B/ Q& \# O4 K ]
而在这196名华人学者中,无论是本硕博毕业院校,清华大学都排在最前列。如本科毕业于清华的有41位,排在其后的分别是中国科技大学(21位)、北京大学(19位);硕士阶段毕业院校中,国外的麻省理工和伊利诺伊大学进入前十;到博士阶段,排名前十的院校中,国外高校整体数量则进一步增加到一半占比。
. W1 Z* T0 H" h5 T
类似的情形依然还在上演。在最新的“AI2000全球人工智能学者”名单人工智能细分板块下,以“在某个领域的顶级期刊和会议上发表的论文的总引文数”作为排序标准的榜单前100学者中,共有19名华人,占比约为两成,前10榜单中,华人学者占比更是达到了四成。 # I& b( Q( d$ r0 |- G
其中,位列第一的何凯明,本科就读于清华大学,博士毕业于香港中文大学多媒体实验室,并在2011年加入微软亚洲研究院(MSRA),主要从事计算机视觉和深度学习研究,后来又在2016年,加入Facebook AI Research(FAIR)担任研究科学家。
# p$ |8 G; Y0 e9 Z
" t4 p0 W# W3 N- o" t& M
国内人工智能的创业公司里也有不少清华的身影。 ! @/ Z% ^/ H7 {; X
被称为“AI四小龙”的旷视科技,其CEO印奇、CTO唐文斌和高级副总裁杨沐均毕业于清华大学计算机科学实验班,也即传言中“状元挤破头都进不去”的“姚班”,师从2000年图灵奖获得者,同时也是唯一一个获得该奖项的中国人——姚期智。而当他们在2011年创业时,印奇才不过23岁,唐文斌24岁,杨沐22岁。
, r; i( c9 E0 g, j. E9 m3 i
同属于“AI四小龙”的商汤科技,虽然创始人汤晓鸥并非出自“清华系”,而是在中科大完成本科学业后外出留学,但联合创始人之一的杨帆却先后在清华大学获得了电子工程学学士学位及硕士学位,001号员工徐持衡则是在高二通过奥赛保送至了清华,并在2013年大学毕业后加入汤晓鸥的实验室,后来成为商汤科技的联合创始人、001 号员工。而在去年从商汤执行研究总监岗位上离职回到母校任职的代季峰,同样来自于清华,并在清华一路攻读到博士以后,一度进入微软亚洲研究院工作5年之久。
5 t0 Y' i- ] x- w( v
不过,无论是商汤还是旷视主攻的方向是机器视觉,而不是自然语言处理。而这两家企业也遇到了人工智能技术不好落地和商业变现难的窘境,一直以来亏损比较严重。
' \8 D: J6 r( z) n
在此之外,据不完全统计,包括同是“姚班”学生的小马智行联合创始人兼CTO楼天城、英语流利说创始人兼CEO王翌、地平线联合创始人兼CTO黄畅、兆易创新创始人兼CEO朱一明、被赛灵思收购的深鉴科技创始团队姚颂、汪玉、韩松、单羿等诸多人工智能领域创业公司的创始人和联合创始人均毕业于清华。而在更早之前的搜狗创始人王小川也是毕业于清华大学计算机系。 9 @2 n" c( o% j' ^( k% k
各大厂的AI业务线同样有不少来自清华的大牛。如华为云人工智能领域首席科学家田奇,阿里巴巴平头哥首席科学家、达摩院高级研究员谢源,京东集团副总裁兼京东人工智能研究院常务副院长、深度学习及语音和语言实验室负责人何晓冬等。 |