基于多模态特征语义融合的网络不良视频识别

互联网不良信息的识别与过滤是当前我国互联网络发展过程中所面临的一个重大课题，而不良网络视频内容已成为当前互联网不良信息的主要传播形式。本项目的研究不仅具有重要的理论研究价值，而且具有积极的社会效益和广阔的市场应用前景。本项目针对基于多模态特征语义融合的网络不良视频识别开展研究，采用机器学习的方法对不良视频内容进行信息挖掘，重点研究视频的文本特征语义分析、视频的语音特征分析、视频的图像特征分析、视频的运动特征分析、视频的多模态特征融合等，提出一些有效的新算法，完成包含这些前沿问题的不良网络视频识别原型系统，在国际主流刊物和重要国际学术会议上发表一批高质量学术论文。通过本项目的研究，将进一步丰富和完善互联网不良信息识别与过滤的理论，对提升和净化我国互联网环境，维护广大青少年网民的身心健康具有重要的指导意义。

本项目针对基于多模态特征语义融合的网络不良视频识别开展研究，采用机器学习的方法对不良视频内容进行信息挖掘，重点开展视频的文本特征语义分析、视频的语音特征分析、视频的图像特征分析、视频的运动特征分析、视频的多模态特征融合以及原型系统构建等方面的研究。. 针对上述研究内容，课题组开展了一系列研究工作，取得的主要研究成果包括：(1)针对网络视频相关的文本信息较为简短和破碎，提取的词汇间语义关联较小这一特点，我们采用词袋模型来提取视频相关文本特征。进而使用回归模式的随机森林分类器对获取的样本进行分类，输出视频相关文本为色情内容的概率。(2)在音频特征分析过程中，我们首先提取音频信息的MFCC特征，进而采用混合高斯模型对色情相关的声音进行建模，通过实验对混合高斯模型中的各个参数进行了优化。(3)提出了一种基于区域的肤色检测算法。算法采用了基于滑动窗口的规则区域生成机制和基于图像分割的非规则区域生成机制这两种区域生成机制来满足肤色检测速度和肤色检测精度的不同要求，肤色检测效果明显优于其它算法。(4)提出了一种色情图像检测算法。该算法在有效的图像肤色检测基础上，提取图像整体特征、人体局部部位特征以及人体躯干形状特征三类构成33维特征向量，采用随机森林分类器对输入图像的色情程度进行检测。(5)提取视频运动直方图特征，构建了一个588维的运动矢量，最后采用随机森林算法进行人体往复运动检测。为了滤除正常场景中一些往复运动形式的干扰，检测过程中仅考量肤色区域的往复运动。(6)我们开发了基于贝叶斯融合策略算法，进行视频多模态信息的融合。融合过程中，我们重点以图像帧的集合识别为主，其他几个模态：视频文本信息、音频信息和运动信息经过加权融合后以图像集合的先验概率形式输入到贝叶斯判别公式中，从而对当前视频片段的色情与否进行综合判定。(7)针对上述研究内容，项目组开发了不良网络视频识别原型系统并进行了实验验证。. 项目获得计算机软件著作权1项，第十五届中国专利奖优秀奖1项，北京市科学技术奖一等奖1项，获授权发明专利3项，在国际会议上发表论文4篇。此外，本项目的相关算法还植入了国家广电“视音频监管应用示范系统”，并获得成功应用。基于本算法开发的识别软件包还成功应用于中国联通、云南广播电视厅等多家单位，取得了较好的社会和经济效益。