基于深度局部回归模型的田间目标计数方法研究

Targeting several important economic crops in our country, this proposal studies accurate counting of in-field objects. What we mean by in-field objects includes field plants, leaves, flowers (maize tassels, wheat spikes and rice ears for example), fruits (e.g., cotton bolls), etc. In contrast to crowd, cars or cells that have similar physical sizes, In-field objects are with varying physical sizes due to different growth status and cultivars, distribute heterogeneously and are prone to be affected by extrinsic environmental variations. These challenges render difficulties for existing methods, leading to poor counting performance. After pondering over inherent limitations within object counting, this proposal first proposes to alleviate the problem of sample imbalance based on the idea of balance regularization when training deep regression models, to use double-line annotations tackling variations of object physical sizes, to construct multi-scale models with cross-layer fusion reducing errors caused by perspective distortion. Second, this proposal proposes to learn robust feature representations from field images in a self-supervised learning manner, assisting in improving the precision of counting models. Finally, to deploy models in real-world scenarios, this proposal explores domain adaptation ideas in regression-based object counting models. In particular, a deep domain adaptation approach with joint vector and tensor subspace regularization is proposed to correct distribution shifts, and thus to prevent models from performance degradation.

本项目以我国重要的经济作物为对象，研究田间目标的精确计数问题。所指田间目标包括田间植株、叶片、花（如玉米穗、麦穗、稻穗等）以及果实（如棉桃）等。与人群、车辆、细胞等物理尺寸相似的对象不同，田间目标由于生长发育状态不同、品种不同导致物理尺寸大小不一、分布不均匀且易受外在环境干扰，现有方法难以应对田间视觉挑战，计数精度较低。本项目首先解决目标计数本身还存在的问题：提出基于平衡正则思想解决深度回归模型训练时的样本不均衡问题，提出双线标注方式探究应对目标物理尺寸变化的方法，提出跨层融合的多尺度模型克服透视变化引起的计数误差。其次，本项目拟从自监督学习的角度从田间图像中学习鲁棒的视觉表达应对田间视觉挑战，辅助计数模型提升精度。最后，以实际场景为应用目的，项目探索基于回归的目标计数模型可用的领域适应方法，提出以张量子空间与向量子空间联合正则的深度领域适应模型，纠正因数据分布差异导致的模型性能退化问题。

基于视觉的田间植物计数在农业和植物表型领域是获取植物生长状态的重要手段之一。现有视觉计数途径难以应对田间目标不同发育状态变化、不同品种变化，计数精度难以满足实际应用需求。本项目突破了常规基于密度图的视觉计数范式，以面向植物对象而设计的局部计数范式为基础，主要研究内容包括：.（1）完善基础局部计数模型范式，提升局部计数范式的计数精度、效率、对分布外计数值的泛化能力；.（2）样本不平衡、含噪标签、多尺度条件下目标计数模型的正则，解决连续目标计数值的长尾分布、标签噪声、以及多尺度预测问题；.（3）鲁棒的目标计数表征，获取目标实例更加具有区分性的表达；.（4）局部计数网络的无监督领域回归适应，缓解环境、品种差异对计数性能的影响；.（5）实际田间场景植物计数模型在不同作物品种上的应用以及改进。.研究周期内，本项目已发表SCI期刊和顶会论文16篇，其中CVPR、ICCV、ECCV与IEEE Transactions论文8篇，获授权国家发明专利4项、申请1项，国际竞赛获奖1项。培养博士研究生4名，硕士研究生5名。代表性成果如下：.（1）基础局部计数网络TasselNet的系列改进模型，包括a）TasselNetV2，发表于Plant Methods 2019，有效开发了模型本身的理论感受野提升计数性能；b）TasselNetV2+，发表于Frontiers in Plant Science 2020，提出了V2模型的高效实现；c）TasselNetV3，发表于IEEE TRGS 2022，提出了一种具备可解释性的植物计数模型，在多种作物上均展示了通用性和有效性。.（2）空间分治计数网络，发表于ICCV 2019，可有效将开集计数值转化到闭集，提升模型对分布外计数值的感知能力。.（3）基于深度强化学习的天秤计数网络，发表于ECCV 2020，将计数问题转化为类人的序贯决策问题，有效提升计数模型的泛化能力。.（4）基于概率图表示的二阶段局部计数框架，发表于IEEE TIP，提出了目标的概率图中间表示，避免了常规高斯核中的加性混叠，可有效保持目标的峰值响应特性，同时辅助计数与定位任务。.（5）双线性类别无关计数框架，发表于CVPR 2022，提出了一种类别无关的目标计数框架，通过利用双线性模型对目标图像与模板目标进行动态相似性建模，可有效提升计数准确性。