Datawhale分享
团队:OpenAI Sora,来源:量子位
现在世界上最受关注的技术团队是哪一支?
Sora团队,已经来到聚光灯中心。
不仅项目负责人评论区被挤爆,成了𝕏最“景点”。
天才成员们的履历,也正在持续引爆关注。
△来自微博博主@木遥
大家伙发现,这支团队挺年轻:两位负责人都是在去年(2023年)刚刚博士毕业,团队里甚至还有00后选手……
但也是真的牛:
Tim Brooks,DALL-E 3作者之一,GitHub 5.7k️项目InstructPix2Pix作者,2021-2022年在英伟达实习时,就是视频生成研究的项目负责人。
William (Bill) Peebles,和谢赛宁合作,搞出了Sora的技术基础之一DiT(扩散Transformer)。论文还曾入围CVPR 2022最佳论文候选。
……
这支团队到底什么来头,咱们今天一起仔细聊聊。
Sora背后团队,顶级人才星聚
包括Tim和Bill在内,Sora的主要负责人一共有三名(以下排名不分先后)。
Tim Brooks,也是DALL-E 3的作者,去年1月刚从加州大学伯克利分校博士毕业。
Tim本科就读于卡内基梅隆大学,主修逻辑与计算,辅修计算机科学。
去年一月,Tim顺利毕业并取得了博士学位,转而加入OpenAI,并相继参与了DALL-E 3和Sora的工作。
而与Tim师出同门、晚毕业4个月的William Peebles,也是Sora的另一名负责人。
(Peebles在𝕏上用昵称Bill,在Linkedin上及论文署名时用大名William,下文一律用Bill指代。)
Bill本科就读于MIT,主修计算机科学,参加了GAN和text2video的研究,还在英伟达深度学习与自动驾驶团队实习,研究计算机视觉。
2022年5月,Bill到Meta进行了为期半年的实习,和谢赛宁(Bill开始实习时还未离开Meta)合作发表了DiT模型,首次将Transformer与扩散模型结合到了一起。
该成果被ICCV 2023录用为Oral论文。值得一提的是,OpenAI此次发布的Sora,被认为正是基于DiT构建的。
去年5月,Bill也从伯克利毕业,并入职OpenAI。
除了这两位去年加入的研究者,Sora团队的另一位负责人Aditya Ramesh则是OpenAI的“老人”。
Aditya是DALL-E的创造者,主导了三代DALL-E的研究,三个版本的论文当中他都是共同一作。
而这样一位主导三代DALL-E,如今又领导Sora团队的大神,却只有本科学历。
据LeCun介绍,Aditya本科就读于纽约大学,并在他的实验室参与过一些项目。
其间,Aditya就已经在研究生成式模型,并和LeCun共同发表论文。
毕业之后,Aditya本想继续深造,但在OpenAI的暑期实习中被留了下来,成为了正式研究人员。
最后,来看一眼完整作者名单:
从团队的组建情况和研究基础来看,Sora应该是OpenAI近半年来的最新成果,而非网传“早已有之但憋着不发”。
不过,Sora炸场,顶级人才又持续星聚,还是惊得众人开始重新考量OpenAI的技术领先性。
现在,是视频生成,下一个又会是什么?
Sora后续学习组织
根据学习者的建议,已建学习交流群,后续学习组织,会在群里第一时间通知,添加负责人微信,回复“Sora”会邀请进群。
参考链接:
[1]https://www.wpeebles.com/
[2]https://www.timothybrooks.com/about/
[3]http://adityaramesh.com/about.html