移动视觉搜索关键技术研究

With the significant advance of Mobile Internet, smart mobile devicesas well as cloud computing in recent years, more and more people prefer to surf the Internet via a mobile device and accomplishthe on-the-go search through Mobile Internet to find out useful information anytime and anywhere. Clearly,mobile search is becoming one of the most promising technologies in the daily life of mobile users. In particular, mobile visual search is meant to snap a picture via an embedded camera on a mobile deviceas a visual query to retrieve the information of interest (say, landmarks, documents, commerce products, etc.) via Internet. However，the emerging technologiesin mobile visual search have not yet beenfully developed or applied in a wide range of deserved domains in spite of pervasive mobile computing scenarios..Our proposed project aims to address key challenges in mobile visual search, involvingwireless (3G) bandwidth constraints, prominent battery consumption, the large-scale image indexing, the limited computational power as well as the diversity in image capturing and lighting. From the perspectives of mobile devices, the server end as well as mobile users, we propose to perform comprehensive and cutting-edge research regarding the practical solutions as well as the arising theoretical problems in visual features, compact representation, coding, etc. In the context of visual search, we propose to fix key and practical issues in mobile visual computing. Our proposed topics include but are not limited to compact descriptors for visual search, a memory-light visual vocabulary quantizer, topical visual descriptors,Bag-of-Pattern (BoP) mining, visual query performance prediction, learning based distributed vocabulary indexing and other practice issues in improving visual search performance, etc.. Overall, our proposed project is committed to investigate and develop core technologies in the pipelineof mobile visual search and to improve visual search experiences of mobile users; meanwhile, weattempt to formulate fundamental problems(say information theory on visual entropy) and seek to make theoretical contributions.

近年来随着移动互联网、智能终端以及云计算的迅速崛起，越来越多的人希望在移动中高速接入互联网，获取实时信息。移动视觉搜索毫无疑问成为未来移动世界中有影响的基础技术之一。移动视觉搜索是指利用移动终端获取的图像或视频作为查询，通过移动互联网检索出感兴趣信息的检索方式。人们通过移动视觉搜索技术，可以快速便捷地采集现实世界的视觉对象信息，从移动互联网获取感兴趣的关联信息。尽管移动视觉搜索技术已经面世，仍未得到大范围地应用。该项目将定位移动视觉搜索面临的技术瓶颈与挑战，包括无线带宽压力、移动端电池消耗、查询迟滞、大规模索引文件、移动端有限计算资源、拍照姿态光线多样性等。从移动端、服务端、用户三方面，对紧凑视觉描述子、多尺度量化、视觉主题模型、视觉搜索性能估计、分布式索引等关键环节开展研究。该项目总体目标是提升移动视觉搜索各项关键技术性能，萃取科学问题，从解决方案、理论方法两方面开展研究。

图像是计算机视觉、多媒体技术等方向的重要研究对象。结合智能手机等移动终端的便携图像视觉采集能力，移动视觉搜索技术正在变革移动互联网的用户体验。通过智能移动终端抽取紧凑视觉特征，并将特征传输至后端进行内容分析，可以大幅降低带宽占用，突破图像视频大数据应用平台面临的数据汇聚与计算瓶颈，提升大规模图像识别与检索的性能。.针对基于移动视觉搜索系统在移动终端资源有限、带宽受限、索引数据规模大等方面都面临技术瓶颈和挑战，本项目分别从紧凑视觉描述子、低复杂度特征提取、海量图像索引等方面展开研究，取得如下研究成果：.1）低比特、低复杂度、高性能的局部视觉特征聚合技术:在移动终端进行局部特征聚合与压缩，发送紧凑特征至后端服务器进行搜索，降低了流量、缩短了查询响应延迟。单幅图像抽取256~436字节特征可在百万量级国际标准评测数据集上取得86%~92%的检索准确率。.2）低比特、低复杂度、高性能的局部视觉特征提取与压缩技术：本项目对SIFT性能进行了大幅提升，提出的算法可将特征尺寸缩小40倍，特征匹配速度提高20倍，而内存开销仅为SIFT的1/20。.3）基于紧凑特征表示的海量图像索引技术：解决了传统分布式倒排索引架构面临的特征在线实时索引难题，大幅降低了计算复杂度；单幅图像索引数据仅为广泛使用的词袋检索模型的2%。.4）交互数据规范化模型及移动端交互查询技术：作为标准主起草人之一，牵头制定了紧凑特征国际标准CDVS(Compact Descriptors for Visual Search)，使得基于云端计算的图像大数据应用可以直接利用智能移动终端抽取的规范化图像特征数据，将图像搜索应用高效地部署于多样化的设备与平台。.上述四项研究内容形成一套具有自主知识产权的“视觉特征紧凑表示方法及高性能图像搜索技术”系统性成果。发表国际期刊论文11篇，国际会议论文20篇，申请发明专利23项（授权4项），多项技术被国际标准CDVS采纳，对该标准的技术贡献度过半。研究成果被著名互联网公司（百度、腾讯）采纳并投入实际运营，在安防、广电、传媒、旅游等多个领域得到规模化应用，累计经济效益超过3000万元。.以高水平论文、发明专利、国际标准以及产业化应用为主要形式，本研究成果荣获“2016年度高等学校科学研究成果奖（科学技术）技术发明奖，一等奖”，为我国在相关领域的自主创新乃至引领产业潮流做出了突出贡献。