返回栏目
首页人工智能 • 正文

从认知和逻辑思维的角度谈自然语言理解

发布时间:  来源:河洛网

自然语言理解( NLU )是一个难题,从几十年前AI诞生到现在,语言理解一直是AI无法克服的冰山。 另一方面,语言将我们感受到的客观世界符号化,像原始人的洞穴中描绘的似是而非的象形文字一样,与所有现实世界中经常出现的事物联系在一起。 另一方面,语言是人类思维的载体,就像自然产生的计算机程序一样,描述逻辑、因果、事物的结构。

从认知和逻辑思维的角度谈自然语言理解

人类引以为豪的认知能力,都是以语言为载体进行的。 这种能力包括世界对感知能力的概念化、结构化、预测推理等不同能力的总和,通常用符号连接的某种图形结构表示。 由此来看自然语言的理解,实际上是学习单词背后的现实世界的概念,以及隐藏在符号与符号之间的人类认知的思考过程。

要建立完全理解自然语言的模型,显然需要做两件事。 1、它需要知道每个单词背后概念的感知概念(猫” 的符号与背后的视觉概念对齐,类似于多模态的感知),2需要真正掌握自然语言背后所蕴含的人类认知能力。 让我们首先关注后者。

如果一个完全没有看过客观世界的人,在纯文本的空之间飞行,他能学到语言背后所有人的认知吗? 想象一只具有无限记忆力的爬虫,可以自由窥探网络空之间。 反复窥探和推敲文字前后的联系,可以理解人是如何思考世界的。 那个也许最终能完全推测出你说的话。 下一句话你想说什么? 这就是现在的自然语言生成模式,如GPT所做的事情。 那个具备人类的认知能力吗? 逻辑是人类认知最具象征意义的思维方式。 那么,首先将认知与逻辑等同起来,考虑这种自然语言模型是否掌握了逻辑认知。

基于甄景贤的文章BERT的逻辑化,我整理了这个问题。 人类文本中可以随意窥探和预测的爬行动物,到底掌握了什么样的能力呢?

生活在这种自然语言空之间的爬虫,表面上是根据上下文回答问题,但其本质是解释和重构文章背后反应的事实的过程。 这一点上,语言作为由符号和符号组成的结构,本质上对应概念图,概念图对应现实世界的物理过程和社会事件。

如果把单词当成语言的单元的话,单词不过是命名的概念,而句子则是由几个概念组成的事件图。 通常,句子都符合一定的语法,语法的本质是通常的概念和概念的联系方式。 例如,主谓宾形式与一个三元组相对应,某个主体在一个对象上发生一个动作。 比如小明吃苹果。 也就是说,是两个节点由一边连接的情况。 一个自然的段落是指多个三元组相继出现的过程,这些三元组所描绘的事件构成了一个实际发生的过程。 这些事件不是简单的堆积,而是由神的针线精密地连接在一起,这就是逻辑。

逻辑的本质是结构化的思维过程。 的古希腊语原型logos是一种语言。 逻辑和因果关系密切,甚至有人认为两者基本一致。 两者的区别在于,因果更关注真实性,是现实世界中的逻辑。 另一方面,逻辑在思考和符号的世界中,如果具备自洽的结构,则不会引起悖论,因此范围变广。 逻辑之所以与现实世界一致,一定是因为其结构构成符合自然造物的法则(请想象一些世界是由各种基本力量构成的巨大网络)。

的逻辑推导过程一般分为indution (归纳)、deduction (演绎)、abduction ) )上溯及)。 这三种类型分别负责连接结构的产生和基于这一结构的演化。 Induction从特例中建立一般的联系。 deduction基于现有命题和已知结构,推出新命题。 这些推理步骤的重复应用可以用简单的规则把非常远的事实联系起来。

这样,这个自然语言世界的爬虫至少掌握了两件事1、语法构建2、事物与事物之间、事件与事件之间的逻辑联系。 语言生成过程的本质是指一个句子生成下一个句子的过程,它体现了语言背后概念(事件图结构)的相互作用,生成新的节点和边缘的过程,这对应于逻辑推导。 完美地生成自然语言的模型在某种程度上确实具备了这样的逻辑。

我们在说每一句话时,都会自觉无意识反应背后的逻辑思维过程,如” 动物死了,深埋在土里,肉体分解,骨头残留。 “ 对于一系列事件,大部分前一句是后一句的原因,后一句是前一句的导出结果。 如果没有这种前因后果的逻辑,就会觉得无法理解。

但是,与计算机程序相比,自然语言背后的逻辑更难理解和掌握。 因为它有两个缺点。 一个是中间大量的结构化信息经常被省略(就像苏格拉底一样) (人都会死) ),这是我们常说的常识。 二是其结构不一定是严格的数学逻辑。

例如“ 我妻子认为她的上司不够聪明,她要换工作。 我为她“ ,这体现了从事件到事件按照基本规律推导的过程,上司不聪明——(上司不聪明,公司就没有前途。 公司没有前途,员工就没有前途(妻子、员工)换工作) )妻子换工作,就会面临人生的不确定性)——我很担心她。 这是典型的deduction过程,但隐藏着许多约定俗成的常识。 中表达的只是命题的一部分,其背后的推理结构大部分被隐藏了。 这也是自然语言难以理解的原因。 我们需要从单口相声中不断寻找原因,从我们的记忆中寻找黑暗的信息进行解释。

同时,我们通常说某人的话没有逻辑,某人的话有逻辑。 这反映了语言本身不是准确的公理化逻辑,而且每个人背后的公理系统也不同(虽然同一个地方同一个时代和文化的人大部分应该是一样的)。 这是与我们狭义理解的数学逻辑的区别,更接近于非公理化的模糊逻辑。

因此,大脑持续预测下一件事的这种自然语言爬虫并不简单。 不仅需要发现文字背后隐藏的结构,还需要不断将文字中表现出来的实体与大脑的常识结构联系起来,应对这种模糊的逻辑。 介绍一下前者,其中包含三个基本的运算。 一个是entity dection (实体概念提取),另一个是structure selection,另一个是variable binding ),将实体和结构联系起来。

entity detection可以从语言中根据语法得到主谓宾这个基础结构,可以发掘单词背后实际表达的概念(以经典三段论苏格拉底死亡为例,首先发掘苏格拉底是人)。 然后,variable binding可以将名词与其背后的本体结构联系起来,进入演绎推理(苏格拉底是人,所以会死)。 这样就完成了理解。 当然,也与一些新命题有关(例如苏格拉底有吃饭、喝水、七情六欲)。

这样能完美地预测以下模型是否存在吗? 答案是否定的。 但是,我们确实一直在逼近这个答案。 然后,迈出了一大步。 这一大步是转换器。 如果用以前的分析观点来看transformer模型的结构,就会发现它确实是为了理解自然语言而产生的。 我推测自我证明似乎就是为了这些功能而诞生的。 一个句子进来,它首先离散为一个个单词token的集合,然后q,k,v像指针一样,将这些单词实体映射到背后的概念上,实现实体的识别和概念的绑定,但是,

根据积和的形式,实现文中概念和概念的一个全连接图,它表示所有可能的命题结构(主谓宾),最终得到一组新的可能的命题结构,通过后面的全连接层)得到新的命题)句。 层数的增加,使得transformer能够实现从简单逻辑到复杂逻辑的嵌套结构,即全文级的推理。

注意事项所有需要

转换器馈送前向层序列密钥值存储器

注意事项所有需要

GPT-3给文本的生成带来了越来越假的混乱,但有时不是严格的大人的话,而是像孩子的臆想一样。 这个重要的差距在哪里呢? 我刚才说的简单的人类词汇往往是模糊的逻辑,中途缺少大量的信息,推论也不严格。 如果要在掌握人类认知的基础上再进一步,就需要恢复这种严格的常识逻辑,而不仅仅是语言概率建模。

其实常识逻辑这条线AI系统已经在做了,从经典的图形算法到GNN这样的深度学习算法。 一开始依赖规则进行问答,然后在GNN上用知识图谱学习规则。 从AI诞生的初期阶段开始,人们的目标就是建立一个通用解决问题的逻辑系统,也就是我们现在所说的AGI。

由于不能解决最常见的问题,这个分支的努力很快就变成了细分领域的专家系统。 它们用符号描述专家的知识,以三元组、类似的知识图的形式保存,并根据一定的条件执行推理。 这些弱点是不容易学习、灵活性低、维护成本高,另外,正如我们刚才讨论的那样,人类经常使用模糊的逻辑而不是严格的数学公理逻辑。 当然,也有一些替代性的努力,使这些特性兼容。 比如王培教授的NARS系统。 是可以学习进化的非公理逻辑机器,可以执行一般的命题推理。 然后,通过模拟事件认知、目标行为认知、情绪自我认知等人脑认知的不同特征,实现基于推理的行为控制。

NARS系统的特征是,任何自然语言的句子,都被理解为主要被称为宾的命题结构,被总结为证据,增加公理系统的新边或更新现有的边。 例如,如果企鹅会游泳,南极的企鹅会自动游泳,但有时也会推倒鸟类游泳。 前者可信度高,后者只是可信度低。 因此,在接受自然语言证据后,结合induction、deduction和abduction形成了新的命题,在一定程度上类似于人的类比和联想能力。

让我们参考这条路线的工作,看看如何加强NLU的自然语言理解:

(1) NLP与常识图的结合

据悉,bert和gpt等大规模预训练型自然语言模型中,包含着很多语法等语言结构信息和嵌入语言中的概念和概念的关联。 因为纯粹的自然语言包含很多隐含的常识,所以自然可以考虑用知识地图等某种方法进行补充。 这就像我们的大脑用长期记忆中的概念常识解释语言文字,并结合记忆中的模型理解文字概念一样。 通过知识图谱来增加语言文字的信息也成为了NLU的重要方向。 在这个过程中,各个单词被选择性地读取,其背后相关的概念常识也可以同时展开。 最简单直接的方法之一当然是将千克与自然语言模型直接融合。 例如,k -贝特

k-Bert :启用语言记忆库

有些需要添加融合的嵌入式。 通过预训练隐式编码知识地图的内容,进入自然语言模型的文本解码器。 这些知识地图中的知识像插件一样被载入和读取。

KG-Bart :知识制图-认证数据库生成协议

也有对文本的编码和对图的编码分别执行后再进行融合,从而使语言序列始终与其背后的概念网络相关联的方法:

kowledge-Awareproceduraltextunderstandingwithmulti-stage培训

)2) NLP和逻辑规则的组合

那么除了规则以外,现实的induction、deduction、abduction的逻辑法则还有助于理解NLP的文章吗? 当然可以。 面向工作组的对话系统大多是这样的例子。

首先通过意图识别找出人类语言背后的真正原因,然后通过belief tracker在对话中继续寻找用户可能的状态,选择应该执行的干预,最终通过generation network或其干预转换为自然语言与用户进行对话, 这将逻辑结构灵活地纳入自然语言生成中。

最后总结:

NLP理解问题的本质是(1)概念定位)2)合理进入逻辑内部结构)3)这个结构最自然地解释文本中出现的所有单词。

NLP生成问题背后的本质是(1)概念的定位)2)合理的逻辑规则和结构的筛选)3)进行推理,翻译成新的逻辑statement (4的生成)4)表象的语言形式。

这两者实际需要的结构相似,好的生成模型也应该有很好的理解能力。

当然,这些角度仍然良莠不齐,如何真正融合两者,使自然语言模型的灵活性得到原有的逻辑系统的补充,逻辑系统的严谨性、常识的稳定性控制自然语言模型是意义深远的道路。

【编辑推荐】

    相关文章Related

    返回栏目>>

    河洛网首页

    Copyright © 2019 河洛网 版权所有 dahuimr@163.com