蔬菜病害视频的声像镜头聚类方法与自动语义标注模型研究

As the farmers can accept agricultural knowledge in form of video more easily, with existing video retrieval method，agriculture video data retrieval accuracy is not high, and lack of professionalization and individuation. This project to vegetable diseases video for example, intends to study the segmentation algorithm based on agriculture video features and video annotation method,to achieve the organic integration of video retrieval methods and the field of agriculture video;combination of knowledge reconstruction and video retrieval methods, result in content-based retrieval of video clips video reconstruction, intended to solve the problem of the search results discrete, the lack of logic. Through the coupling of the video retrieval method with vegetable disease diagnosis expert system, we will overcome the agricultural field of video retrieval professional,personalized deficiency to provide new approaches for agricultural video information services.

病害是制约我国蔬菜生产可持续发展的重要因子，农民对病害知识的视频表达形式接受度较高。本项目拟研究基于蔬菜病害防治影视节目特点的视频镜头聚类算法，弥补视频分割方法在农业领域的研究缺乏针对性、镜头分割精确率的不足；研究基于有监督的视频多语义自动标注方法，弥补视频标注主观性和视频多语义标记的问题；将知识重构理论与视频检索方法相结合，在基于镜头的视频片段检索中对结果进行视频重构，拟解决检索结果离散、缺乏逻辑性的问题。通过视频检索方法与蔬菜病害诊断专家系统的耦合，克服农业视频检索领域专业性、个性化方面的不足，构建适合移动终端的蔬菜病害视频检索平台。从理论上，提出面向农业科技影视节目的声像镜头聚类算法与多语义自动标注模型，提高农业专业视频检索方法的准确性，为农业视频信息服务的研究提供新的方法途径。从实践上，为移动网络的农业视频信息服务提供检索方法上的新思路。

蔬菜病害是制约农业可持续发展的主要因素之一，病害知识视频是一种病害的直观表现形式，通过视频检索方法与蔬菜病害诊断专家系统的耦合，构建适合移动终端的蔬菜病害视频检索平台，将农业科技影视节目的声像镜头进行聚类及自动标注，以方便农民对蔬菜病害知识的检索，有效帮助其了解病害防治知识，及时防治病害，以提高蔬菜产量和品质。本项目主要进行了四方面的研究：1基于声像特征的蔬菜病害视频镜头聚类算法研究，基于音频特点，对蔬菜病害防治影视节目中声音序列进行边界检测，基于视频特点，建立蔬菜病害视频分割模型，并且通过优化方法来对分割过剩的镜头边缘检测结果进行修正；2提出了有监督的蔬菜病害视频多语义自动标注方法，综合蔬菜病害视频镜头的图像、声音及文字信息，对分割后的蔬菜视频场景进行自动识别，运用统计学原理，统计蔬菜病害专有名词及专业术语的词频信息，构建蔬菜知识中文词典和蔬菜病害场景标注图模型，实现了对视频场景的识别结果进行自动分词；3提出了基于多语义标注的蔬菜病害视频重构方法，构建了基于关键词的蔬菜病害视频重构模型，建立了蔬菜病害视频知识检索系统，并完成了搜索引擎的构建，将蔬菜病害诊断的知识表示进行符号化处理，根据产生式规则，完成视频辅助的蔬菜病害诊断知识库的构建，将复杂的蔬菜病害诊断知识结构化、系统化，将蔬菜视频场景融合到专家系统中，拓宽了蔬菜视频分割与标准方法的应用范围；4提出了面向病害诊断的蔬菜视频检索方法，通过基于改进数值诊断的推理算法进行病害诊断，并采用基于关键词的蔬菜病视频重构技术，将蔬菜视频场景融合到专家系统中，设计开发了视频辅助的蔬菜病害诊断系统，用户只需观看相应的蔬菜病害视频选择症状，即可得出唯一诊断结果。项目从理论与实践上，完成了蔬菜病害视频的声像镜头聚类方法与自动语义标注模型研究，提高了农业病害视频检索的准确性，为农业视频信息服务的研究提供新的方法途径。