基于词频统计的中文分词的研究

作者：费洪晓康松林朱小娟谢文彪

来源：计算机工程与应用, 2005, (07): 67.

• 中文分词
• 词频统计
• 互信息
• N元统计模型
• t-测试 Chinese word segmentation
• statistic the frequency of the word
• mutual information
• N-Gram
• t-test

论文介绍了一个基于词频统计的中文分词系统的设计和实现。通过这个系统,可以将输入的连续汉字串进行分词处理,输出分割后的汉语词串,一般是二字词串,并得到一个词典。词典中不重复地存储了每次处理中得到的词语,以及这些词语出现的频率。这个系统选用了三种统计原理分别进行统计:互信息,N元统计模型和t-测试。文中还对这三种原理的处理结果进行了比较,以分析各种统计原理的统计特点,以及各自所适合的应用场合。

• 单位
  中南大学