时空深度学习方法与应用

With the rapid development of Internet, mobile computing and sensor networks, in particular the rising of surveillance, remote sensing, position and localization systems, large-scale spatiotemporal data has been collected. Spatiotemporal data is distributed over continuous space and is dynamically changing over time, which embodies very complex patterns and finds important applications in various domains such as video surveillance, medical imaging, meteorological forecasting, and environmental monitoring. There are two key characteristics of spatiotemporal data: the non-stationarity in the time domain and the high-dimensional correlation in the spatial domain, which poses great challenges to existing spatiotemporal machine learning methods. In this research, we plan to systematically study the theories and algorithms of Spatiotemporal Deep Learning by embedding spatiotemporal data characteristics into deep learning architectures. We aim to make significant breakthroughs towards three key problems: spatiotemporal feature joint modeling, high-dimensional spatial structure modeling, and long-term dynamical dependency modeling. Based on these progresses, we plan to design a series of spatiotemporal deep learning methods for cross-domain, multi-modal, and large-scale spatiotemporal recognition and prediction, develop a spatiotemporal deep learning system and deploy the system and technology to real engineering applications, including metrological forecasting and video analysis. This research will contribute to lay solid theoretical and methodological foundations for spatiotemporal deep learning, and provide profound technology supports for spatiotemporal big data analysis under non-stationary environment.

随着互联网、移动计算、传感器网络的快速发展，特别是监控、遥感、定位系统等技术的崛起，人们获得了海量的时空数据。时空数据分布于连续空间，并且随着时间动态变化，具有十分复杂的模式规律，在视频监控、医学影像、气象预报、环境监测等很多领域都有着重要的应用。时空数据存在时间上的非平稳性和空间上的高维相关性两大技术特性，给现有的时空机器学习方法带来严峻的挑战。本项目系统地研究时空深度学习的理论与方法，将深度学习技术与时空数据特性紧密结合起来，重点突破时空特征统一建模、高维空间结构建模、长时动态依赖建模等关键问题，形成跨领域、多模态、大规模时空序列识别与预测的深度学习方法，研发一套面向大数据的时空深度学习系统，并在气象预报、视频分析等实际应用中进行工程化。本项目的完成将为时空深度学习奠定更为坚实的理论与方法基础，为非平稳环境下的时空大数据分析挖掘提供坚实的技术支撑。

随着互联网、移动计算、传感器网络的快速发展，特别是监控、遥感、定位系统等技术的崛起，人们获得了海量的时空数据。时空数据分布于连续空间，并且随着时间动态变化，具有十分复杂的模式规律，在视频监控、气象预报、环境监测等很多领域都有着重要的应用。时空数据存在时间上的非平稳性和空间上的高维相关性两大技术特性，给现有的时空机器学习方法带来严峻的挑战。本项目系统地研究了时空深度学习的理论与方法，将深度学习技术与时空数据特性紧密结合起来，突破了时空特征统一建模、高维空间结构建模、长时动态依赖建模等关键问题，形成了跨领域、多模态时空序列识别与预测的深度学习方法，自主研发出一套工业物联网时空深度学习引擎Anylearn，为非平稳环境下的时空大数据分析挖掘提供坚实的技术支撑。项目执行期间，以第一作者/通讯作者发表SCI/EI论文49篇，包括TPAMI等CCF-A类期刊论文1篇（入选高被引论文），ICML、NIPS、CVPR等CCF-A类会议论文43篇，Google Scholar引用1万余次，单篇论文最高引用1千余次，入选NIPS最具影响力论文1篇。授权国家发明专利22项，相关成果在智能天气预报与环境监测等领域实现规模化应用，集成了相关技术的新一代气象大数据平台已部署中央气象台、31个省级气象台和6个“一带一路”国家气象台，为国庆70周年阅兵、2022北京冬奥会等重大事件提供了精准的天气保障，产生了显著的经济社会效益和巨大的国际影响力。项目负责人获2018年教育部技术发明奖一等奖（排名第4）、2020年北京市科技进步奖一等奖（排名第8）、2021国际人工智能会议（IJCAI）专题论坛时间检验奖（排名第1）等荣誉，并于2020年入选国家优青和北京市科技新星。