面向脑组织切片自动收集装置的智能感知与控制方法研究

To understand the structure and working principle of brain neural networks, the scanning electron microscope is used to 3-dimensionally reconstruct brain samples. In order to improve the reconstruction performance, the sequence of brain slices should be collected by the silicon wafer for further observation. Currently, the collection approach is the microscope-based manual collection which requires the high experienced operation skill, and the manual collection performance is not satisfied either. Under this circumstance, this project designs an automatic collection prototype for brain slices to achieve the automatic collection goal, and studies the sensing (the brain slice is automatically recognized by processing the microscopic image) and control (the collecting silicon wafer is driven by the piezoelectric actuator) challenges of this prototype. The main research contents include: use the deep learning approach to detect the positions of brain slices in microscopic images, and propose an object detection approach based on the data augmentation method and the transfer learning; to address the strong nonlinearity of piezoelectric actuators, this project proposes an intelligent multi-model fusion approach to model its nonlinear dynamics; for the high-precision control of piezoelectric actuators, this project proposes a composite optimal controller where the inner controller is based on the reinforcement learning and the outer controller is the model predictive control. The research outcomes of this project not only provide the key technologies for micro/nano robotic systems but also promote the development of brain science, which have significant academic value and application prospect.

理解大脑神经网络的结构和工作原理需要利用扫描电子显微镜对脑组织样品进行高精度的三维重建。为了提高重建效果，脑组织切片序列需要被收集到硅片上进行观测。目前的收集方法是通过显微镜观察的人工收集法，操作难度大、收集效果差。在此背景下，本项目以自主研发的一套脑组织切片自动收取装置为对象，研究其感知（利用显微图像对切片进行自动识别）与控制（利用压电陶瓷执行器自动定位收取硅片）问题。项目的主要研究内容包括：利用深度学习方法检测显微图像中脑组织切片的位置，拟提出一种基于数据增广以及迁移学习的显微图像目标检测方法；针对压电陶瓷执行器的强非线性，拟提出一种多模型互补融合的智能建模方法；针对压电陶瓷执行器的高精度控制，拟提出一种内层使用强化学习控制，外层使用模型预测控制的复合优化控制方法。项目的研究结果可为微操作机器人的感知和驱动提供关键技术，同时促进脑科学的发展，具有重要的学术价值和应用前景。

本项目围绕脑组织超薄切片自动化收取装置的智能感知与控制问题开展研究，在脑组织切片显微图像处理与识别、压电陶瓷执行器智能控制和脑组织切片自动收集装置优化与实验等方面取得了系列成果。具体来说：(1)在脑组织切片显微图像处理与识别方面，提出了基于Cycle-GAN网络的显微图像增广方法和基于SGMD-AAE模型的显微图像重建方法，有效增加训练样本数量。提出了简化的SSD模型对脑组织切片进行识别，并进一步提出一种迁移学习框架来提高模型识别的泛化能力。(2) 在压电陶瓷驱动器的建模与控制方面，提出了一种基于Kalman滤波信息融合手段的微纳尺度位移精准测量方法，提出了基于TS模糊模型的迟滞非线性建模方法。在此基础上，提出了基于自适应动态规划和模型预测控制的压电陶瓷执行器混合控制方法以及基于迟滞逆补偿和强化学习的“前馈+反馈”组合控制方法，可有效提升控制精度。同时设计了几种新颖的自适应动态规划算法，在理论上分析了算法的稳定性。（3）在脑组织切片自动收集装置方面：优化了“双挡板-切片-水槽”结构的脑组织超薄切片的收取装置，通过脑组织切片实时识别定位和压电陶瓷驱动器的精准控制，实现了脑组织切片的闭环自动收取，开发了收集装置的可视化操作软件，实验结果表明闭环自动收取模式能大幅提升收取效率，同时收集到的脑组织切片的后期成像效果优于现有条带收取法。.项目成果在国内外学术期刊上发表SCI论文31篇，其中IEEE期刊论文16篇，Automatica论文1篇，中国科学信息科学/技术科学论文5篇；同时发表会议论文12篇，获得会议最佳论文奖3次。授权发明专利7项。项目组成员入选国家杰青1人、国家优青1人、北京市杰青1人，入选IET 会士1人。依托项目培养博士2名，硕士2名，在读博士生3名。项目研究成果被Science出版社官方新闻网站EurekAlert！专栏报道。