- 上一篇：基于python的虚拟仪器技术研究及实现
- 下一篇：火炮弹道参量数据库设计
绪论随着信息时代的到来，可供人们查阅和检索的中文信息越来越多，如何在浩如烟海的中文信息世界里找到自己需要的资料成为一个越来越重要需要研究的课题。在当今时代，要处理迅猛增长的信息，手工处理已经变得不太现实。因此出现了自动化处理的方法，自动化处理方法帮助人们检索、管理信息，来解决现在社会信息丰富而知识贫乏的现状。目前已经出现了很多自动化的工具诸如自动摘要、自动文件检索等语言处理技术，而在这些技术的一个核心关键是主题词，对于主题词的提取有助于简化此类工作，而如何找到主题词是需要中文分词技术的。此外中文分词也是搜索引擎，翻译等技术的基础。64236
中文分析技术属于自然语言处理范畴，是语义理解过程中最初的一个环节[1]。它将组成语句的核心此提炼出来供语义分析模块使用。在分词的过程中，如何能够恰当地提供足够的词来供分析程序处理，并且过滤掉冗余的信息。这是后期语义分析的质量和速度的重要前提。对于一句话，人可以通过自己的知识来判断哪些是词，哪些不是词，但计算机如何也能理解。其处理过程就称为分词算法。
中文分词，就是借助计算机自动给中文断句，使其能够正确表达所要表达的意思。中文不同于西文，没有空格这个分隔符，同时在中文中充满了大量的同义词，相近词，如何给中文断句是个非常复杂的问题，即使是手工操作也会出现问题。中文分词是信息提取、信息检索、机器翻译、文本分类、自动文摘、语音识别、文本语音转换、自然语言理解等中文信息处理领域的基础研究课题。对于中文分词的研究对于这些方面的发展有着至关重要的作用。可以这样说，只要是与中文理解相关的领域，都是需要用到中文分词技术的。因此对于中文分词技术的研究，对于我国计算机的发展有着至关重要的作用。
在本文中首先对分词的概念，现在的发展现状给出了一定的介绍。然后针对现在主要的三大类算法：基于字典的分词算法，基于统计的分词算法，基于理解的分词算法，进行了一定的分析。最后是本文的主要内容：对最大匹配，最大概率两种算法的分析与实现，并且将其进行比较，分析两者之间的关系。
2 中文分词概述
2.1中文分词的概念
2.1.1什么是中文分词
众所周知，英文是以词为单位的，词和词之间是靠空格隔开，而中文是以字为单位，句子中所有的字连起来才能描述一个意思。例如：英文句子I am a student，用中文则为：“我是一个学生”。计算机可以很简单通过空格知道student是一个单词，但是不能很容易明白“学”、“生”两个字合起来才表示一个词。把中文的汉字序列切分成有意义的词，就是中文分词，有些人也称为切词。我是一个学生，分词的结果是：我/是/一个/学生。
2.1.2.中文分词的意义
通过近几年的发展，互联网已经离我们不再遥远。互联网上的信息也在急剧膨胀，在这海量的信息中，各类信息混杂在一起，要想充分利用这些信息资源就要对它们进行整理，如果由人来做这项工作，已经是不可能的，而如果面对中文信息不采用分词技术，那么整理的结果就过于粗糙，而导致资源的不能充分利用，例如：“制造业和服务业是两个不同的行业”和“我们出口日本的和服比去年有所增长”中都有“和服”，而被当作同一类来处理，结果是检索“和服”的相关信息，会将他们都检索到，在信息量少的情况下，似乎还能够忍受，如果是海量信息，这样的结果就会令人讨厌了。通过引入分词技术，就可以使机器对海量信息的整理更准确更合理，在“制造业和服务业是两个不同的行业”中“和服”不会被当作一个词来处理，那么检索“和服”当然不会将它检索到，使得检索结果更准确，效率也会大幅度的提高。