新智元报道
编辑:润 好困
【新智元导读】最近,似乎隐退了许久的Hinton又站在了AI风口浪尖之上,而他的家族图谱也再一次引发了网友的热议。
最近,针对AI监管态度的巨大差异,让「图灵三巨头」再一次来到了聚光灯之下。其中,Geoffrey Hinton的家谱也引发了网友热议——毫不夸张地说,整个家族几乎都是推动人类文明发展的科学巨匠。
一家子学霸
1947年,Geoffrey Hinton出生于英国温布尔登。还在童年时,Hinton的母亲就告诉他:「要么当学者,要么就是失败者」。Hinton的家族世代都是成绩优异的科学家,就像他本人一样。Hinton的曾曾祖父是布尔逻辑和代数学的创始人George Boole。布尔逻辑后来成为现代计算机的数学基础。
George Boole他的妻子Mary Boole和George一样,也是一位自学成才的数学家,还是代数和逻辑老师。与George结婚后,Mary也开始为他的工作出谋划策,这在19世纪中期的女性中是闻所未闻的。她甚至编辑了乔治的著作《思维法则》,该书提出了他的布尔逻辑理论。Mary的叔叔Surveyor General是一位地理学家和印度测量局局长,Mount Everest就是以他的名字命名的。
George EverestGeoffrey的曾叔父Sebastian Hinton是丛林健身器(jungle gym)的发明者。Boole的儿子、Geoffrey的曾祖父Charles Howard Hinton是一位数学家和幻想小说家,他创造了四维空间的概念。Charles的宇宙魔方概念至今仍出现在漫画书和漫威电影中。Geoffrey的姑妈之一,Joan Hinton是一位核物理学家,她以物理学家费米的学生的身份加入了曼哈顿计划,是为数不多的参与曼哈顿计划的女性之一。而且年轻的Joan曾今获得了美国奥林匹克代表队的参赛资格,如果1940奥运会没有被取消的话,她本可以参加 1940年的奥运会。在1948年,由于对即将出现的冷战感到震惊,她放弃了物理学,离开美国前往中国。居住在北京的Joan Hinton和丈夫一起,翻译了很多外国的著作,还为国内农场设计制造了自动化的巴氏消毒牛奶流水线。Geoffrey曾姑母Ethell Lilian Voynich是一位作家和音乐家,以创作《牛虻》而闻名。Geoffrey的父亲Howard Hinton是一名昆虫学家,研究墨西哥甲虫,曾当选为英国皇家学会会员。Geoffrey曾表示,由于感受到来自家庭的压力,他最终被迫退出学术界。他的父亲经常对他说:「努力工作,也许当你的年龄是我两倍的时候,能有我一半优秀。」Work really hard and maybe when you’re twice as old as me, you’ll be half as good.
成长的经历
Hinton和三个兄弟姐妹在布里斯托尔的一栋大房子里长大,房子里到处都是动物。家里养过一只猫鼬,车库的一个坑里还养了一只毒蛇。Hinton回忆小时候自己经常用东西挑逗毒蛇,有一次毒蛇差一英寸就咬到了他的手,差点要了他的命。
在布里斯托尔动物园,8岁的Hinton抱着一条蟒蛇(python)Hinton回忆说,自己对世界的好奇心诞生那四岁时,和母亲一起坐公共汽车去乡下。车上上有一个向后倾斜的座位。他从口袋里掏出一枚硬币放在座位上,但硬币并没有向后滑,似乎在逆着重力向上移动。这枚难以理解的硬币激发了Hinton的好奇心,这个问题一只困扰了他10年。当他十几岁的时候,他发现这枚硬币不寻常的移动轨迹是因为公交车的震动和与天鹅绒椅套上的纤维的共同作用——这个发现让他非常有成就感。「有些人看到自己不理解的事情,也能泰然处之。而我就完全受不了,必须要把事情搞清楚」Hinton说。Hinton的母亲很慈爱,但他的父亲却非常严厉。无论是身体上(他可以用一只手做引体向上,这一壮举让Hinton这个瘦小的孩子感到非常敬畏)还是智力上对Hinton的要求都很高。「他喜欢清晰地思考,如果你说了什么没有意义的话,他就会很不高兴。他不是一个感性的思想家。虽然他没虐待我,但他非常严厉。」Hinton这么评价他的爸爸。上世纪70年代,Hinton在获得了实验心理学学位后,一直在打零工和做木工。1972年,他开始攻读AI博士学位,但对自己的学业感到沮丧和矛盾。一个周末,他参加了一个小组讨论活动,一共有八个人,大家要敞开心扉,探索自己的愿望和追求。最后一天,每个参加者都必须宣布他们在生活中真正的追求是什么。大家说了很多天马行空的人生目标。但到了Hinton这里,他愣住了,不知道该说什么。Hinton最后憋了半天,脱口而出了一个自己都感到惊讶的答案:「我真正想要的是博士学位!」他吼道。这句话再次点燃了他对神经网络研究的热情。当被问及在这一非凡家族历史的阴影下成长的感受时,Hinton说:「压力,感觉压力很大。」他说,他一生都在与抑郁作斗争,工作是他解压的方式。当深度学习取得成功后,抑郁才稍有缓解。「很长一段时间以来,」他说,「我都觉得自己不是——好吧,我终于做到了,这让我能松了一口气了。」Hinton两任妻子都死于癌症,他人生中很多时间都在医院里度过。他亲身体会到病人在等待结果和得到模糊信息时的沮丧。但与大多数人不同的是,他还知道,很快就会有一种技术,可以把等待一周的检查结果缩短到一天。Hinton是个内敛的英国人,通常把人工智能的宣传工作留给别人去做,但他对深度学习会彻底改变医疗保健行业的潜力会感到由衷的兴奋。「我看到了医疗专业人员在使用数据时的许多低效之处。病人病历中的信息很多都没有被用上。医生对于CT的结果的理解也千差万别。如果让两个放射科医生看同一个扫描结果,很有可能会得到完全不一样的结果。」
为深度学习奉献一生
2018年,Geoffrey Hinton与Yoshua Bengio和Yann LeCun一起获得了图灵奖,以表彰他们在深度学习领域做出的奠基性贡献。2012年,Hinton和他的学生发表了一篇题为「Deep Neural Networks for Acoustic Modelling in Speech Recognition」的开创性论文。团队包括来自微软、IBM、谷歌等科技巨头以及多伦多大学的四个不同研究小组。论文首次证明了神经网络是当时最先进的技术——在识别语音模式方面优于隐马尔可夫模型(HMM)和高斯混杂模型(GMM)等经典模型。而这一年,正是人工智能的突破之年。
论文地址:https://research.google/pubs/pub38131/实际上,Hinton与神经网络的历史远比我们知道的要更加深远。当Frank Rosenblatt在上世纪50年代提出世界上第一台神经网络机器「感知机」(Perceptron)时,它只能解决线性可分的函数,面对NOR或NXOR函数则束手无策。此外,感知机与当时Marvin Minsky正在使用的传统符号方法之间,也存在着巨大的分歧。1969年,Minsky撰写了一篇题为「Perceptrons: An Introduction to Computational Geometry」的论文,指出了感知机的局限性。而这篇论文,也导致了被称为第一个「人工智能寒冬」的到来。1972年,Hinton在爱丁堡大学攻读博士学位,神经网络是他的研究重点。然而在学术界,神经网络普遍被视为边缘学科。虽然导师每周都会告诉他这是在浪费时间,但Hinton还是坚持了下来。在Hinton眼中,神经网络的想法并没有错,主要问题是功率。当时的计算机无法处理数以百万计的图像,也无法建立联系。1986年,他与David Rumelhart和Ronald Williams共同发表了一篇题为「Learning representations by back-propagating errors」的论文。
论文地址:http://www.cs.utoronto.ca/~hinton/absps/naturebp.pdf论文证明,神经网络中的多个隐藏层可以学习任何函数,从而解决了单层感知机的问题。算法利用网络的损失函数和反向传播误差来更新下层的参数。这就是著名的通用逼近定理。1987年,Hinton接受了加拿大高等研究院(CIFAR)的邀请,在多伦多大学开设了一个名为 「机器与大脑学习 」的项目。CIFAR鼓励围绕那些在其他地方可能找不到支持者的非主流科学想法开展研究,并为Hinton提供了学术自由和丰厚的薪水。随着时间的推移,一些深度学习的同道中人开始与Hinton展开合作。在这之中,就有后来成为OpenAI联合创始人的Ilya Sutskever。回忆起2000年代初加入Hion实验室的情景,Ilya表示,当时正值「人工智能寒冬」,人工智能研究领域的工作机会和资金都很稀缺,来自工业界的邀请就更少了。
Ilya Sutskever(左)、Alex Krizhevsky(中)、Geoffrey Hinton(右)2009年前后,当计算机终于有能力挖掘巨大的数据池时,超级强大的神经网络开始在语音和图像识别方面超越基于逻辑的人工智能。很快,业界就注意到了这一点。微软、Facebook、谷歌等大型科技公司,纷纷下场开始投资。2012年,谷歌公司的最高机密实验室Google X(后更名为X)宣布,它已经建立了一个由16000个处理器组成的神经网络,并将其投放到YouTube上。负责深度学习和人工智能研究的谷歌大脑(Google Brain),在高级研究员Jeff Dean的领导下,将数百万个来自YouTube的随机、无标签视频帧输入这台新的超级计算机,并对其进行编程,使其能够理解所看到的内容。基于YouTube海量的猫咪视频,这个神经网络最终能识别猫咪等其他事物。对于人工智能领域,这是激动人心的一刻。当时,Dean兴奋地表示:「我们在训练过程中从未告诉过它『这是一只猫』。可以说,是它自己发明了猫的概念。」这一突破将Hinton和他的追随者推上了人工智能的风口浪尖。同在2012年,Hinton和另外两名研究人员在ImageNet竞赛中获胜,他们基于神经网络建立的计算机视觉系统能够识别1000个物体。
论文地址:https://dl.acm.org/doi/10.1145/3065386
2013年,Hinton的公司DNNresearch被谷歌收购,而他本人也被Dean招募进谷歌兼职。然而,就在10年之后的2023年,作为深度学习泰斗、神经网络之父Geoffrey Hinton突然宣布离职。
随着GPT-4等生成式AI突飞猛进的发展,Hinton忧心忡忡地表示「我们几乎已经让学会计算机如何自我改进了,这很危险,我们必须认真考虑,如何控制它。」
从人工智能的开创者到末日预言者,Hinton的转变,也标志着科技行业正处于几十年来最重要的一个拐点。
在Hinton看来,如何防止坏人利用它做坏事,我们还未能找到方法。选择离职谷歌后,Hinton终于可以畅所欲言地谈论AI的风险了。
我对我的毕生工作,感到十分后悔。我只能这样安慰自己:即使没有我,也会有别人。参考资料:
https://torontolife.com/life/ai-superstars-google-facebook-apple-studied-guy/
https://analyticsindiamag.com/geoffrey-hinton-its-all-in-the-family-tree/