神经Lambda演算:神经符号人工智能遇见计算和函数式编程的基础。

843次阅读
没有评论

A Neural Lambda Calculus: Neurosymbolic AI meets the foundations of
computing and functional programming

解决问题:该论文旨在探讨神经网络在符号AI领域中执行程序的能力。相比较之前的研究,该论文试图提出一种不同的方法,使用简单的数学形式——Lambda Calculus(λ-Calculus)来实现。

关键思路:该论文的关键思路是使用Lambda Calculus作为程序执行的基础,通过神经网络学习如何进行规约(reductions),从而实现对程序的执行。与现有的研究相比,该论文提出的方法更加简单、直接。

其他亮点:该论文使用了Transformer Model和Sequence-to-Sequence Models来实现神经网络的学习。实验结果表明,该方法能够成功地执行Lambda Calculus中的程序,并且不需要引入任何偏见因素。该论文的代码已经开源,可以进一步探究。此外,该论文的方法也为神经网络在符号AI领域中的应用提供了新的思路。

关于作者:João Flach和Luis C. Lamb是该论文的主要作者。他们分别来自巴西联邦大学和美国康奈尔大学。João Flach之前的代表作包括“Neural-Symbolic VQA: Disentangling Reasoning from Vision and Language Understanding”等。Luis C. Lamb之前的代表作包括“Learning to Learn with Feedback and Local Plasticity”等。

相关研究:近期其他相关的研究包括“Neuro-Symbolic Program Synthesis”(作者:Pengcheng Yin等,机构:斯坦福大学)和“Neural Execution of Graph Algorithms”(作者:Thomas Kipf等,机构:阿姆斯特丹大学)。

论文摘要:本文题为《神经Lambda演算:神经符号人工智能遇到计算和函数式编程的基础》。在过去的几十年中,基于深度神经网络的模型成为机器学习中主导的范式。此外,最近人们认为在符号学习中使用人工神经网络变得越来越重要。为了研究神经网络在符号人工智能领域的能力,研究人员探索了深度神经网络学习数学构造(如加法和乘法)、逻辑推理(如定理证明器)甚至是计算机程序的执行能力。后者被认为对于神经网络来说是过于复杂的任务。因此,结果并不总是成功的,并且通常需要在学习过程中引入有偏见的元素,以及限制可能执行的程序的范围。在本文中,我们将分析神经网络学习如何整体执行程序的能力。为此,我们提出了一种不同的方法。我们不使用具有复杂结构的命令式编程语言,而是使用Lambda演算({lambda}-演算),这是一种简单但图灵完备的数学形式化方法,它是现代函数式编程语言的基础,并且是计算理论的核心。我们将介绍集成神经学习和Lambda演算形式化的使用。最后,我们探讨了在{lambda}-演算中程序的执行是基于规约的,我们将展示只要学会如何执行这些规约,就可以执行任何程序。关键词:机器学习,Lambda演算,神经符号人工智能,神经网络,Transformer模型,序列到序列模型,计算模型。

 

Read More 

正文完
可以使用微信扫码关注公众号(ID:xzluomor)
post-qrcode
 
评论(没有评论)
Generated by Feedzy