基于深度学习的富媒体本体学习模型研究

In recent years, along with the expansion of Web 2.0 and social networks, an extreme growth of rich media content on the Web is registered. People's demand for rich media resources is also increasingly urgent. However, the traditional search technology cannot meet the diversified demand for rich media resources. How to enable rich media resources to be effectively discovered and exploited attracts more and more researchers' concerns. Although a series of advances have been made in the semantic analysis of rich media, there are still some problems with the current complexity of rich media data. This paper addresses the above scientific problems by constructing a rich media ontology learning model based on deep learning for the diversity of rich media data, the validity of semantic annotation and the accuracy of ontology relevance. First, in order to achieve a unified model for various types of media, this project designs more flexible rich media ontology definition which is based on the existing rich media ontology. Second, we construct a semantic annotation model based on deep learning to solve the problem that the traditional semantic annotation features are low in quality and the result is not accurate. Third, we propose an ontology association model based on deep learning to ensure the accuracy of ontology association, and use the dual learning method to train the model effectively.

随着Web 2.0和社交网络的发展，互联网上的富媒体内容呈现爆炸式增长，人们对富媒体资源的需求也越来越越迫切。但是传统的检索技术无法满足用户对富媒体资源的多样化需求，如何使富媒体资源被有效地发现和利用吸引了越来越多研究者的关注。尽管针对富媒体的语义分析取得了一系列进展，但由于富媒体数据的复杂性目前的工作还存在一些问题。针对富媒体数据的类型多样性，语义标注有效性，本体关联准确性，本项目通过构建基于深度学习的富媒体本体学习模型来解决以上科学问题。本项目基于已有的富媒体本体设计更为灵活的富媒体本体定义，实现对各类型媒体的统一建模；构建基于深度学习的语义标注模型解决传统语义标注特征质量低，标注结果不准确的问题；提出基于深度学习的本体关联模型，保证本体关联的准确性，使用对偶学习方法来进行模型的有效训练。

随着移动互联网的高速发展，富媒体数据（文本、图像、视频等）呈现爆炸式增长，传统的检索技术已无法满足用户对图像、视频等富媒体数据的强烈需求。富媒体数据的知识挖掘也受到越来越多研究者的关注。近来基于内容的富媒体检索，虽然一定程度上提高了检索的精度，但由于媒体内容描述符与用户描述的意思相差甚远，导致检索结果仍无法满足用户需求。如何缩短用户和计算机之间在语义和概念上的差距，需要更成熟的理论和方法来支持。本体是对领域中的概念及其语义关系的一个规范描述，能够很好的表示特定领域的语义信息；而且，本体能够被机器理解和处理，从而支持信息的进一步语义化处理，例如信息的语义搜索、语义推理、以及深层次的数据挖掘等。但是，经过调研，富媒体环境下的本体学习仍面临一些挑战，如富媒体数据类型多样，富媒体语义标注质量低、语义关联准确度低。因此，项目对这些关键问题进入了深入研究。.本项目提出基于深度学习的富媒体本体学习模型来解决以上问题。具体地，对于富媒体环境下数据类型多样的问题，项目基于已有的富媒体本体扩展以支持不同类型的富媒体数据统一建模，在此基础上，项目将此技术应用到了相关的生成应用中去，在多个公开的标准评测集上的结果表明了我们所提出方法的优越性；项目深入研究了富媒体的语义标注问题，通过对分词、命名实体识别等技术的改进，有效提升了语义标注的质量，在此基础上，项目还进一步考虑了领域迁移及对抗样本下的语义标注问题，有效缓解了标注数据少及标注模型鲁棒性低的问题；进一步地，项目基于端到端的训练方法实现语义标注与本体的映射，有效的提升了本体关联的准确率，在此基础上，为了更好地利用构建的本体知识库，项目对问答系统的相关技术进行了研究，并取得了多项成果。