复杂背景图像中文字关键词匹配技术研究

The wide spread of Internet images has brought a series of security problems. It is a challenging problem in the field of information security to identify and filter the sensitive text information in complex background images. It also has important research value, social benefits and broad market prospects. Different from the traditional text recognition technology, we attempt to study the text keyword matching in complex background images with image matching, determining whether particular keywords appear in the query image. Firstly, we design stroke feature based text detection method, multi-level text location algorithm and deep learning to hash based cross-space feature fusion framework, to improve the precision of text location and text keyword matching in complex background images. Then, we propose data-oriented multi-index hashing, text geometric consistency constraint and build a CPU-GPU co-processing image matching system, to improve the speed and scalability of text keyword matching. This project will verify its performance with real large-scale network data. Our research can obtain a breakthrough in the key techniques of text keyword matching in complex background images, and provide technical support for national network image supervision.

网络图像的广泛传播带来了一系列安全问题。如何识别过滤复杂背景图像中的敏感文字信息是当前信息内容安全领域的研究热点，具有重要的研究价值、社会效益和广阔的市场应用前景。不同于传统的文字识别技术，本项目以图像样例匹配为技术手段研究复杂背景图像中文字关键词匹配技术，判定特定关键词是否出现于查询图像。拟通过设计基于笔画特征的文字检测算法、多级文字区域定位算法和基于深度哈希学习的跨空间特征融合方法，以有效提高复杂背景图像中文字区域定位和文字关键词匹配的精度；进而通过研究数据依赖的多索引哈希算法和文字几何一致性验证方法，并构建一个CPU-GPU协同处理的样例匹配系统，充分提高文字关键词匹配的速度和可扩展性。本项目将在真实数据环境下验证系统性能，以期在复杂背景图像中文字关键词匹配的关键技术方面取得突破，为国家网络图像管理提供核心技术支持。

以复杂背景图像为载体传播非法文字信息给网络信息内容安全带来巨大挑战。本项目针对这一挑战，研究了多级文字区域定位、多尺度图像文本检测、视觉与语言集成的通用图像文本识别和图像中维语文字（关键词）识别等方法，相关技术指标位居国际先进水平。本项目在国际著名会议和期刊上发表23篇高水平研究论文、授权专利5项、申请专利3项、软件著作权2项；1名项目组成员获得国家级奖励、1名项目组成员获得国家级人才项目；培养5名博士研究生、6名硕士研究生。本项目研究成果已经应用于新疆生产建设兵团公安局及其下辖的14个师（市）级公安局，为防范有害视频在新疆传播发挥了有效作用。