无人工标注全自动文本检索评价方法研究

文本检索的评价是一个非常重要的研究课题。现有的方法都需要大量或较大量的人工标注工作。人工标注一方面费时费力，另一方面在查询或语料集合发生改变的情况下缺乏灵活性。本课题拟研究完全不需要人工标注的全自动文本检索评价方法。主要的思路是：不仅仅从单个检索结果的相关性判定出发，而同时考虑检索结果的群体分布特征来进行检索评价。通过对已有标注检索结果进行统计分析和训练，得到不同质量检索结果的分布特征，利用上述特征构造预测函数来自动预测检索结果的好坏程度，再通过设计统计试验，对不同的检索系统进行比较。本课题的成果不仅可以用于文本检索评价，还可以用于自适应的文本检索、检索结果融合等。