基于语义的农业多模态数据深度解析机制研究

With the rapid developing and applying of information technology in agriculture, the data which is produced form farmland and greenhouses appears with multimodal feature. However, we want to realize agriculture multimodal data deep parsing with high efficiency, accuracy and low-cost that, it is very important for object recognition, disease discovery and agriculture scene understanding. Nevertheless, with the increasing of data patterns, the dimension of data samples will increase, and the cost of data parsing and semantic errors of analysis results will also rise. As we see, it is more difficult to learn agriculture multimodal data in automatic by computer and restricts the development of agriculture intelligent information technology. To solve these problems, using semantic technology as a breakthrough, this project will establish an agriculture semantic collection, transform the data samples according to the associated characteristics between different data attributes, reduce the dimension of agriculture multimodal data samples, optimize the composition and structure of data samples, accelerate the convergence of deep neural networks, make semantic mining of sample training result, reduce the original training results deviation, realize the optimization of the agriculture multimodal data deep parsing. This project will provide a theoretical basis and technical methods of deep learning and help improve the multimodal deep learning research.

随着信息技术在农业领域的快速普及与应用，在农田、温室等环境下获取的农业信息数据呈现多模态化特点。然而，随着数据模态的增加，数据样本的维度也随之增加，增加了计算机对农业数据的自动解析难度。目前，针对多模态数据的研究主要集中在如何利用模态间的语义关系提高数据解析的效率和准确率。本研究将针对上述问题开展如下研究：1、研究农业多模态数据间数据属性的关联特征，以降低农业多模态数据样本维度；2、研究多模态数据样本的组成与结构的优化方法，以提高深度解析数据的收敛速度；3、研究数据训练的语义挖掘与补充方法，以降低训练数据的语义偏差，完成农业多模态数据深度解析过程优化。本项目有助于完善多模态深度学习研究体系，为农业领域多模态深度学习研究与应用提供理论基础和技术方法。

随着信息技术在农业生产过程中的应用，农业数据呈现出内容多元化、种类多样化的特点。而随之而来的是数据的数量和维度的激增，这也加大了人们对农业数据信息理解与使用的难度。利用计算机实现对农业数据的自动解析是解决该问题的唯一出路，而高维数据所带来的高成本、低精度等问题就变得十分突出，这也成为制约农业领域数据自动解析与农业智能技术发展的重要问题。目前，面向农业数据解析机制研究的关键点主要集中在如何利用数据模态间的关联性来提高数据解析的效率和精度，而深度学习模型已经成为解决自动数据解析的一个重要手段，但相在处理多模态数据时会遇到一些突出问题，具体表现在：1）农业数据的多模态特征会提高数据样本的特征维度，使模型的训练时间变得不可控，提高了训练成本；2）农业数据样本的随机模态组合和模态缺失会使样本在训练后出现语义偏差和语义缺失，影响农业数据在语义层面的解析精度。针对上述问题，本项研究如何利用语义技术建立完整农业多模态数据深度解析机制，提高计算机在语义层面上对农业数据自动理解能力。具体研究内容包括：1）农业多模态数据语义化重构方法研究；2）基于语义的多模态深度学习过程优化方法研究；3）农业多模态数据样本训练结果的语义解析方法研究。在研究中我们发现一些现象：1）异质数据之间可以通过语义关系建立联合表示模型；2）利用内容互补的多模态数据对深度模型进行训练，可以提高深度模型的输出精度。为了验证上述结论，项目人员在项目执行期内收集了大量的相同时序的多模态图像数据，并建立了多组深度模型进行测试和比较，我们发现利用多模态数据可以分别提高分类、目标检测、目标识别和分割等任务的的精度。研究证明，建立多模态数据间的语义关系，有助于提高深度卷积神经网络在处理目标识别、语义分割问题时的输出精度，为建立多模态数据解析机制，提高计算机对农业数据在语义层面的自动理解能力提供了技术支持。