Hadoop云平台下Nutch中文分词的研究与实现

作者：朱潜; 吴辰铌; 朱志良; 刘洪娟

来源：小型微型计算机系统, 2013, (12): 2772-2776.

• Nutch
• Hadoop
• 中文分词
• 云计算 Nutch
• Hadoop
• Chinese word segmentation
• cloud computing

Nutch是开源搜索引擎,Hadoop是Apache开发的类似于Google GFS和MapReduce的开源云平台.利用Nutch和Hadoop可以设计高效、可靠、可扩展的搜索引擎,然而Nutch的分词模块对中文进行单字切分,不符合在汉语中以词语切分的习惯,为了解决这个问题,采用词典分词的中文分词器IK Analyzer对Nutch的分词模块进行改进,首先描述在Nutch上实现IK Analyzer的方法,然后在Hadoop云环境下对该分词模块进行测试.测试结果表明,IK Analyzer的中文分词效果很符合汉语的习惯,对Nutch的理论和应用研究具有一定的意义.

• 单位
  东北大学