基于社会标记精化的多标记学习算法研究

Multi-label learning, which considers the case of an object related to multiple labels, attracts much attention in recent years. However, the performance of multi-label learning is still not satisfied due to its own complexity. Moreover, the scarcity of training samples for learning process becomes the necklace of the research for the great price of manually labeling works. Focusing on the automatic video content annotation, this project studies the following problems. Firstly, considering the problem that the social tags contributed by common users on the Web are often ambiguous, limited in terms of completeness,and overly personalized, the social tag refining algorithm is proposed based on content perception and semantic computing.Secondly, considering the uncertainty relationship among labels, the algorithm based on Bayesian Networks is proposed to modeland describe their relationship.In addition, considering the effect of label correlation, the algorithm of ensembling multiple single classifiers constrained by label dependency is proposed.Different from the traditional transductive learning methodology, this proposal adopts the strategy of "divide and rule" which resolve the problem of refining social tags and advancing multi-label learning performance respectively. It enriches and extends the theories and approaches of machine learning and has significant meaning to the application of automatic Web video content annotation.

不同于传统的单标记学习问题，多标记学习考虑一个对象对应多个类别标记的情况，是当前国际机器学习领域研究的热点问题之一。然而，由于多标记学习中标记组合的多样性，其学习的准确率尚待提高，并且训练样本获取困难问题已成为制约该领域研究的瓶颈。本项目以互联网视频自动标注为背景，研究以下问题：1）针对社会标记的模糊性、个性化等问题，拟通过内容感知与语义计算相结合的方法，对社会标记进行去噪、修正、推荐、合并，实现社会标记精化；2）针对标记关系不确定性的问题，拟通过贝叶斯网络对标记关系建模，实现标记关系的量化描述；3）针对多标记学习中常忽略标记依赖关系的问题，拟通过最优化理论训练标记关系对多标记集成学习的约束参数，达到提高多标记分类性能的目的。不同于传统的直推式学习方法，采取将样本精化和多标记学习两个复杂问题分而治之的思路，丰富和拓展了机器学习理论和方法，对于解决互联网视频标注问题具有重要的指导意义。

本项目针对多标记学习中标记组合多样性带来的诸多不确定性问题，以图像多标记分类为主要研究对象，围绕以下几方面进行了深入的研究：.1）.针对多标记分类中样本标记较难获取、训练集扩展困难的问题，我们研究了半监督多标记分类算法，提出了基于最近邻编辑的半监督多标记学习算法。.2）.针对样本社会标记不确定的问题，研究了社会标记精化算法。运用图像相似度和图像相关的文本相似度来精化社会标记，包括去除不正确标记、增加规范化标记等。基于排序思想研究多标记文档分类算法，从标记之间序的关系入手提升分类准确率。.3）.针对多标记分类算法本身，研究针对不同问题的分类模型。不同的数据集往往存在不同的内部关系，这就需要根据实际情况进行分析和设计相应算法。.4）.面向具体应用，研究监控视频序列中人、车等对象的自动标注算法。对于多标记图像分类的实际应用，我们主要在监控视频序列中人、车等对象的标注方面展开研究。目前，已经较好地解决了视频序列中单个对象的标注问题，下一步将解决多目标标注问题。.5）.建立了多标记图像数据集。一方面，我们基于web搜集了大量图片，建立了层次结构的图像数据集，包括10个大类，81个小类，超过2500张来自真实世界的图片。另一方面，我们采集了车载行人检测和车道检测实验所需的视频资源，按照不同场景对视频进行了划分。这些资源为我们开展研究工作做了良好的储备。.另外，课题组在监控视频中人、车、物等检测和跟踪方面也开展了大量的研究工作，为后续视频内容理解和自然语言描述的进一步研究奠定了良好的基础。