基于多示例学习的多模态信息表达与推荐方法研究

There are multi-modalities of media objects in Internet. The representation of single modality information limits the validity and accuracy of information user accesses. Multi-instance learning(MIL) is suitable for solving the problems to represent multi-modality information,but its existing algorithms cannot deal with multi-modality information. In this project, the methodology of multi-modality information representation and recommendation will be studied on the basis of MIL. ..(1)Based on MIL, the representation mechanism of multi-modality information will be researched to build up heterogeneous multi-modality information representation model and homogeneous multi-modality information representation model, for representing multi-modality information comprehensively and accutately. ..(2)The MIL algorithms for multi-modality information will be designed. Heuristic heterogeneous SVM classification algotrithm based on instance selection and homogeneous MIL algotrithm based on uniform method, are presented to compare and compute the multi-modality information...(3)The recommendation algorithms of multi-modality information will be designed to recommend on both bag level with rough granularity and instance level with fine granularity. The algorithms of updating user interest will be studied to track user interest timely. Cloud model will be applied to visualize user interest. ..In the end, the multi-modality information recommendation prototype system will be developed to verify the validity and reliability of the methodology. The research result will provide theoretical and technical support for helping users access informtain comprehensively and accutately. It has further potential value for future application.

互联网中存在多种模态的媒体对象，单一模态的信息表达限制了用户获取信息的有效性和准确性。多示例学习适合解决多模态信息的表达问题，但其现有的方法不能处理多模态信息。本项目研究基于多示例学习的多模态信息表达和推荐方法：.(1)研究多模态信息的多示例表达机制，构建异质多模态信息表达模型和同质多模态信息的表达模型，以全面准确地表达多模态信息；.(2)研究多模态信息的多示例学习算法，设计基于示例选择的启发式异质多示例SVM分类算法，以及基于多模态信息统一化方法的同质多示例学习算法，实现多模态信息的比较和计算；.(3)研究多模态信息的多示例推荐算法，实现包层次粗粒度的推荐和示例层次细粒度推荐；设计用户兴趣更新算法及时跟踪用户兴趣，用云模型可视化用户兴趣。. 本项目最后研制原型系统验证方法的有效性和可靠性，成果将为用户全面准确地获取信息资源提供理论和方法支持，具有潜在的应用价值。

现有的信息表达和推荐方法是针对单一模态信息的，限制了用户获取信息资源的准确性和有效性。鉴于多示例学习独特的性质适合解决多模态信息的表达和推荐问题，本项目研究了基于多示例的多模态信息表达和推荐方法，具体内容包括.（1）构建多模态信息的表达模型。基于多示例学习，面向网页多模态信息推荐，构建了基于多示例的多模态网页信息表达模型；面向手写体识别，构建了包含不同特征空间的基于异质多示例的多模态手写体表达模型；面向电影推荐，构建了包含项目内容特征的多模态电影信息表达模型。.（2）设计和实现多示例学习算法。在多示例学习领域，在实现包内示例的重抽样方法的基础上提出了一种双层多示例集成学习框架，有效提高了多示例学习精度。在异质多示例学习领域，设计和实现了基于SVM的异质多示例学习方法，包括基于SVM的异质多示例学习的框架和基于SVM的启发式异质多示例学习算法，实现了多模态信息的计算。.（3）设计和实现多示例推荐算法。基于多模态电影信息表达模型，根据多示例学习模式具有一定容错性的特点，设计和实现了了基于多示例聚类的协同推荐算法，通过多示例聚类计算用户的最近邻集合，根据最近邻集合对用户评分进行预测。该算法不仅提高了推荐结果的准确性也有效地缓解了数据稀疏性问题。.（4）基于多示例的应用。在多示例算法研究的基础上，将算法成功应用于财务风险识别、手写体数字识别和电影推荐领域。.通过上述研究构建基于多示例学习的多模态信息表达和推荐的理论与方法体系，达到了项目的预期目标。在项目基金的支持下，项目成员在国内外核心期刊上发表高质量的学术论文11篇，其中SCI收录 7篇，EI收录3篇。参加国际学术会议交流2次，编写十二五工信部规划教材1本，获得软件著作权1 项，获湖北省科技进步一等奖，联合培养博士生1名，硕士生4名。