基于稀疏隐语义分析与众包的查询意图发现与推荐算法研究

Accurate query understanding is substantially important for improving service quality in all kinds of search engines. In this proposal, we specifically analyze large-scale query logs, search result contents and open knowledge bases to represent, discover and recommend query intents, by building the multi-layer stacking sparse latent semantic analysis models and employing the crowdsourcing. The following studies will be carried out. First, we will invent the query intent discovery algorithm based on the multi-layer stacking structured sparse latent semantic analysis models, which automatically identify the appropriate number of latent query intents from the data. Second, we will devise the hybrid human-machine query intent discovery algorithms based on the generalized active learning framework, which models the quality of workers and selects the most valuable worker-task pairs to obtain the human feedbacks. At last, we will devise the utility-based diverse query intents selection and recommendation algorithms. Our studies aim at identifying multiple latent query intents of high-quality from query logs, search result contents and knowledge bases and recommending the most effective ones to the users, by combining the crowdsourcing with the sparse latent semantic analysis algorithms and leveraging the strengths of both humans and machines.

准确地理解用户查询对于提高各类搜索引擎的服务质量至关重要。本项目以查询-点击日志、搜索结果内容以及开放知识库为主要研究对象，采用多层堆叠的稀疏隐语义分析模型以及众包作为主要技术手段，按照查询意图表示、查询意图发现、查询意图推荐的研究步骤开展研究。具体内容包括：基于多层堆叠的结构化稀疏隐语义分析模型的查询意图发现方法，自动从数据中学习得出合适的隐查询意图数目；基于泛化主动学习框架的结合众包-隐语义分析的查询意图发现方法，建模众包工人的工作质量，挑选对算法最有贡献的工人-任务配对进行众包；以及基于效用的多样化查询意图筛选与推荐方法。本项目旨在有机地结合众包与稀疏隐语义分析算法，同时发挥人脑与机器的长处，以从查询-点击日志为主的大规模异构数据中高质量地发现用户查询对应的多种隐查询意图，并选择最具效用的若干隐查询意图推荐给用户。

准确地理解用户查询对于提高各类搜索引擎的服务质量至关重要。本项目以查询-点击日志、搜索结果内容以及开放知识库为主要研究对象，采用稀疏隐语义分析模型以及众包作为主要技术手段，从查询意图发现、众包、推荐算法等方面进行了深入研究，研究内容包括：1）在意图发现方面，研究了多种基于结构化稀疏隐语义分析模型的查询意图发现算法；2）在众包方面，研发了人在回路的查询意图发现方法和验证系统，验证了算法-众包相结合的必要性；3）在推荐算法方面，研究了多种基于哈希编码学习、流式数据处理的高性能推荐算法。本项目验证了人在回路的机器学习算法的有效性，同时发挥人脑和机器的长处，本项目成果已集成到CADAL数字图书馆，面向国内外100余所高校的师生提供在线服务。.