人工智能表征在发展到专家系统阶段之后,就逐步从自然语言处理的语形阶段向语义阶段迈进。而在自然语言处理的思想方法问题上,对语言意义的处理深受相关哲学思想的影响。其思想方法的哲学根源在于:为了获得关于语言本性的认识,首要的就是把意义概念置于首位。因此,“从一开始,包括弗雷格、罗素、卡尔纳普以及语言学家乔姆斯基等,在探讨意义理论时就未加分析地预设了许多前提”。对于自然语言处理影响最深的思想就是,“意义本质上在于把词和事物联系起来,句子的意义由它各组成部分的意义构成,或是它各部分的意义的函数,句子的本质作用是描述事态。这些理论或者采取的是意义规则的一种运算的和语形的形式,或者是一种自然语言的语义学形式”[72]。这种以分解为基础的指导思想映射到自然语言中就表现为,一个句子可以看作由词素、词、短语、从句等不同层次的成分构成,其中每个层次都受到相应语法规则的约束,层次之间互相影响和互相制约,而层次关系的实现则直接体现在自然语言句子的构成上。各个层次分解的意义最终组合成人们对整个自然语言句子的理解。
受这一思想的深刻影响,大多数自然语言处理都遵循以下方法:计算机对自然语言的处理是一个层次化过程,计算机用分解方法对输入的自然语言进行理解,并以构造方法生成所要输出的自然语言。并且,在这个过程中,语言的词汇可以被分离出来加以专门研究。这是一种建立在分解基础上的指导思想。根据语言的构成规则,在实现人与计算机之间的自然语言通信过程中,计算机除了需要理解给定的自然语言文本,还必须能以自然语言文本的方式来表达处理结果。因此,自然语言处理的核心技术主要包括:针对输入的自然语言理解(NaturalLanguageUnderstanding)和针对输出的自然语言生成(NaturalLanguageGeneration)两个过程。在输入过程中,系统以分解的方式,把自然语言逐层转化为计算机程序可以处理的表征形式,并利用各种层次的相关知识,进而实现对自然语言的语义理解;在输出过程中,系统又通过构造的方式生成完整句子,从而将所要表达的处理结果转换为人类可以读懂的自然语言。这样,智能系统不仅可以“听懂”人的语言,而且可以“说出”它想要表达的意思。这种基于分解的指导思想从一开始就决定了自然语言处理必须先从分词、句法分析、文本分割等语形处理方法入手,而后再通过语义及语用分析来完成对文本意义的理解。
然而,语境论指出,语词的意义由其所在的句子决定,而句子的意义由其所在的上下文(context)即“语境”决定。计算机在基于分解的语形处理基础上,必须借助于知识库中的常识知识才能进一步实现语义及语用处理。而常识知识工程的失败表明,用于语义理解的知识“是语境相关的。也就是说,关于知识的主张的正确与否,会随着会话和交流的目的而变化,因而,知识主张的适当性也是随着语境的特征变化着的”[73]。基于静态知识描写的常识知识工程不可能将语词在所有可能语境中的意义都预先表征出来。并且,语境在本质上是动态的和整体论的。在缺乏整体性知识的前提下,这种以静态知识表征为主要特征的分解方法在文本语义理解方面一直无法突破单句的限制,从而实现对句群甚至语篇的理解。即使在单句范围内,对句子语义理解的正确率也很低。这也是我们在使用一些搜索引擎或翻译软件时,处理结果一直不能如人所愿的根本原因。
第二,句法、语义以及语用平面的划界问题是分解方法难以突破的一大难题