正在阅读《(一)当代人工智能表征的分解方法及其问题》
第(4/7)页


从上述分析可以看出,分解方法是自然语言处理智能化发展过程中的必由之路。受乔姆斯基三个语法模式理论影响,对句子进行逐层分解成为自然语言形式处理的主要模式。

在人机交互系统中,早期自然语言处理在运用有限词汇与人会话时,分解方法表现出良好的适用性。然而,当把这类系统的处理范围拓展到充满不确定性的真实语境中时,就出现了很多难以克服的问题。其中,最关键的问题在于缺乏相应的常识知识来对句子的语义进行判断。因此,在自然语言处理的语形阶段发展相对成熟之后,就开始逐步向语义处理阶段迈进。

在这一发展过程中,对句子进行层次分解通常从句法分析入手。自然语言处理中最常见的是将句子分解为剖析树(parsetrees),其分析策略主要包括自顶向下、自底向上以及左角分析法等。其中,短语规则指出了从词到短语、从短语到句子的结合规律。也就是说,词可以看作句子中最小的语法成分,词与词之间通过一定的组成关系构成短语,各种类型的短语又可以根据特定的组合关系构成更大的短语成分,最后,各种短语按照句法语义构成规则组成完整的句子。

在上述分解过程中,要想完成对语义的正确理解,所涉及的每一步几乎都要涉及语义知识或语境知识。从技术层面来看,其主要的研究难点在于:

(1)在分词过程中,印欧语系的文字在书写上单词与单词之间有间隔,很容易实现对单词的自动识别。但对于像中文、日文、泰文等语言文字来说,在书写上没有单词之间的分界线。而句子剖析树的生成是以对单词的正确识别为基础的,这直接影响到智能系统对句法、语义、甚至语用的后续处理。如果分词发生错误,则不可能产生正确的语义理解,后续工作就没有任何意义。因此,分词是实现文本语义理解的第一步。在书写方式上没有单词分界线的语言中,分词对于计算机来说是一个非常困难的工作。因为在这类语言中,对于“词”的概念以及词的具体界定通常很难达成一致认识,普通人的语感与语言学标准之间常常有较大差异。并且,应用目的不同会造成对分词单位认识上的不同。[78]所以,很多分词系统往往从工程需要的角度出发制定相应的分词规范,从而解决信息处理用的“词”的划界问题。而自动分词系统很难将所有句子的单词都分割正确,句子中的某个字应该与前面的字组成词还是和后面的字组成词,往往需要根据整个句子中前后词语间的语义关系来确定。对于不具备人类认知能力的计算机来说,对这类语言进行分词常常会出现错误,通常都需要在自动分词的基础上耗费大量人工进一步校正。

(2)在分词基础上,需要通过词性标注才能进一步生成短语。词性标注难的根本原因在于词的兼类现象,即一个词具有多个词性。在一段文字中,一个词只能有一个意义,因而也只能有一个词性。想要对句子语义有一个正确的理解,就必须先正确判断每个词的词性。而在词性的确定过程中,一旦出现歧义现象,就需要引入相应的语义知识或语境知识。

(3)很多字词不止有一个义项,在自然语言处理中必须通过词义消歧从众多的义项中选出最为适合的一个。而词义消歧的选择过程也需要引入足够的语义知识或语境知识来协助判断。

(4)自然语言的语法通常模棱两可,对一个句子剖析可能会产生多棵剖析树。当一个句子可以分解为两个以上的剖析树时,这个句子就会产生句法歧义。而句法分析的主要目标就是消除句法歧义。此时,系统就必须根据相关的语义知识或语境知识,从中选出最为适合的一棵剖析树,从而达到消解歧义的目的。

相关小说

药祖 武侠 / 完结
药祖
何无恨
手握至尊药鼎,成就无上药祖。少年采药郎,偶然得到一尊神秘药鼎,从此打开修仙大门。药鼎之中,玄功秘法,药典丹方,天材地宝,仙田药园,应有尽有。成就最逆天的炼药祖师,炼制最完美的灵丹妙药,铸造最传奇的修士神话。没有妖孽天资,但凭大智慧,大毅力,终于问鼎乾...
250.77万字 3 小时前
绝世唐门 玄幻 / 完结
绝世唐门
唐家三少
这里没有魔法,没有斗气,没有武术,却有武魂。唐门创立万年之后的斗罗大陆上,唐门式微。一代天骄横空出世,新一代史莱克七怪能否重振唐门,谱写一曲绝世唐门之歌?百万年魂兽,手握日月摘星辰的死灵圣法神,导致唐门衰落的全新魂导器体系。一切的神奇都将一一展现。唐...
532.63万字 3 小时前
异界全职业大师 玄幻 / 完结
异界全职业大师
庄毕凡
网络游戏中的仓库小号,却意外的穿越到了异界。
483.07万字 40 天前
傲剑凌云 玄幻 / 完结
傲剑凌云
小刀锋利
这是个以剑为主的大陆。
266.39万字 40 天前
九界独尊 武侠 / 完结
九界独尊
兵心一片
“混沌之子,九界乱始,开天辟地,九界独尊!” “如意宝袋天下装,九天神笔大道扬;镇魂碑里明混沌,轮回指环生死藏;宝冶神鼎炼万物,神砚乾坤此一方;混沌之子临九界,九界独尊一界皇。” 南海仁,一个生在神洲天龙朝清泉镇穷书生家的子弟,一个偶然的际...
419.19万字 3 小时前
天珠变 玄幻 / 完结
天珠变
唐家三少
人有本命珠,觉醒后或为意珠、或为体珠,如手串分别在左右手腕处盘旋。天珠如人类之双胞胎,当意、体双珠同时出现在一个人身上的时候,即为天珠。修炼体珠者是为体珠师,修
269.21万字 40 天前