1.汉语自动分词的现实性与可能性 众所周知，中文文本没有类似英文空格之类的显式表标示词的边界标志。汉语自动分词的任务，通俗地说，就是要由机器在中文文本中词与词之间自动加上空格。一提到自动分词，通常会遇到两种比较典型的质疑。一种质疑是来自外行人的：这件事看上去平凡之极，好像一点儿也不“热闹”，会有什么用呢？另一种质疑则是来自内行人的：自动分词研究已经紧锣密鼓地进行了十几年了，可到现在也未见一个经得起考验的系统推出来（与此形成鲜明对照的是，日语同样也存在分词问题，但已经有了圈内人士广泛认同的日语分词系统），这几乎成了中文信息处理中一个“永恒”的话题，那么，到底还有没有希望搞出真正意义上的“门道”来？ 第一种质疑关心的是自动分词的现实性问题，其答案是十分明确的。当前的大环境令人鼓舞：中国正在向信息化社会迅速前进，其突出表征是Internet上中文网页的急剧增加和中文电子出版物、中文数字图书馆的迅速普及。以非受限文本为主要对象的中文自然语言处理研究于是也水涨船高，重要性日益显著。而汉语自动分词是任何中文自然语言处理系统都难以回避的第一道基本“工序”，其作用是怎么估计都不会过分。只有逾越这个障碍，中文处理系统才称得上初步打上了“智能”的印记，构建于词平面之上的各种后续语言分析手段才有展示身手的舞台。否则，系统便只能被束缚在字平面上，成不了太大气候。具体来说，自动分词在很多现实应用领域（中文文本的自动检索、过滤、分类及摘要，中文文本的自动校对，汉外机器翻译，汉字识别与汉语语音识别的后处理，汉语语音合成，以句子为单位的汉字键盘输入，汉字简繁体转换等）中都扮演着极为重要的角色（Wu Z.M.and Tseng G.1993;Wu Z.M. andTseng G.1995; Nie J.Y.and Brisebois M.et al.1996;Sun M.S.andLin F.Z.,et al.1996）。我们举两个例子直观说明一下。 [文本检索] 设文本A含句子（1a）而文本B含句子（1b）： （1）a.和服│务│于三日后裁制完毕，并呈送将军府中。 b.王府饭店的设施│和│服务│是一流的。 显然，文本A讲的是日本“和服”，文本B则与酒店的“服务”有关，两者风马牛不相干。如果不分词或者“和服务”分词有误，都会导致荒谬的检索结果。 [文语转换] 注意句子（2a）、（2b）中的“查金泰”： （2）a.他们是来│查│金泰│撞人那件事的。 b.行侠仗义的│查金泰│远近闻名。 句子（2a）中“查”为动词，应读cha，句子（2b）中则为姓氏， 应读zha。 第二种质疑直指自动分词的可能性问题。虽然迄今为止我们尚不能下一个完全肯定的结论，但经过圈内学者十几年不懈的探索，这个答案的轮廓还是大体凸显出来了。毕竟词平面上的研究与句法平面和语义平面相比照，本身难度要小得多，并且无论是在计算语言学方面还是在普通语言学方面，所取得的成果也要成熟、扎实得多。现有的工作积累已经达到了可以厚积薄发的程度。如果说面向非受限文本的汉语句法、语义自动分析还是可望而不可即的话，那么，面对相同对象的汉语自动分词，则距凯歌初奏只有几步之遥了（当然即使达到了那个目标，也还不是功德圆满）。Sproat R.and Shih C.L.,et al.（1996）及Sun M.S.and Shen D.Y.,et al.（1997 ）的汉语自动分词原型系统已初具处理非受限文本所需的种种功能，他们沿着正确方向跨了一大步。 本文的重点是第2节，将集中讨论汉语自动分词中的基本问题， 并扼要评介十几年来产生的各种方法（文后的参考文献基本囊括了这一领域比较有代表性的论文）。第3 节则就今后的研究要点发表一些个人意见。 2.汉语自动分词中的基本问题和主要解决方法 2.1切分歧义及其处理方法 2.1.1切分歧义的基本类型 切分歧义是汉语自动分词研究中的一个“拦路虎”。梁南元（1987）最早对这个现象进行了比较系统的考察。他定义了两种基本的切分歧义类型： 定义1 汉字串AJB被称作交集型切分歧义，如果满足AJ、JB同时为词（A、J、B分别为汉字串）。此时汉字串J被称作交集串。 [例]交集型切分歧义：“结合成” （3）a.结合│成 b.结│合成 其中A＝“结”，J＝“合”，B＝“成”。 定义2 汉字串AB被称作多义组合型切分歧义，如果满足A、B、 AB同时为词。 [例]多义组合型切分歧义：“起身” （4）a.他站│起│身│来。 b.他明天│起身│去北京。 对交集型切分歧义，他还定义了链长： 定义3 一个交集型切分歧义所拥有的交集串的集合称为交集串链，它的个数称为链长。 如，交集型切分歧义“结合成分子”、“结合”、“合成”、“成分”、“分子”均成词，交集串的集合为｛“合”，“成”，“分”｝，链长为3。
