面向大规模社区问答数据的问题检索方法

摘要

随着问答社区网站的兴起,越来越多的用户生成数据积累了起来。这些用户生成数据不仅具有海量的、多样性的等特点,还有着极高的质量和重用价值。为了高效地管理和利用这些数据,近年来研究人员基于这些数据进行了大量的研究和实践,而社区问答中的问题检索就是一个被广泛研究的课题。主要研究了面向大规模社区问答数据的问题检索方法。收集来自Yahoo!Answers等社区网站的超过1.3亿问题和10亿答案的大规模数据,与之前的基于百万量级的数据的问答社区相关研究工作相比有着明显的不同和极高的实用价值。在此数据的基础上,通过查询自动分类方法来提高每次查询效率和效果。在问题检索过程中,提出了应用查询问句和问题的结构信息和语义信息,结合排序学习算法来融合多种不同类别的特征的方法,通过应用训练数据生成排序模型来提高问题检索的相关性和词语不匹配等问题。实验表明,本文应用Ranking SVM方法来训练的排序模型在不同数据集上,其准确率等评价指标上都相比以往的方法有着显著的提高。

关键词