流形上的信息论极值不等式

Network information theory is one of the major directions of information theory. But up till now, there are many canonical problem not been solved yet, and no powerful math tools that have been systematically developed in this area. So there is a request to develop higher mathematical point of view, and more powerful mathematical tools. Currently, information-theoretical extremal inequalities are among the major tools in deriving achievable regions in multi-user coding and transmission. In this study, we will first push forward the inequalities to more general differentiable manifolds and the probability measure spaces. We will systematically study the extremal inequalities on manifolds by using methods already developed in Riemannian geometry and functional analysis. We will focus on the geometrical meanings of functional inequalities by using the methods such as the heat semi-group methods, information geometry, and variational methods. Our aim is to obtain more inequalities. And accordingly, we can go on studying the achievable regions in network information theory. We plan to give some simple judgement on the tensorization of outer bounds. We hope to make breakthroughs in the boundary problems in network information theory, and meanwhile, also build a bridge over the traditional network information theory and modern mathematics. We will bring new (mathematical) insights to the traditional information theory.

网络信息论是当前传统信息论的发展方向之一，但目前网络信息论的许多经典问题还未得到解决，没有形成较为完善的方法体系，急需引入更高的数学观点与更强的数学工具。目前信息论极值不等式逐渐成为多用户编码和传输问题中的重要研究手段。本研究将传统信息论中欧氏空间上的极值不等式推广到一般微分流形上，将研究对象提升至流形上的概率测度空间。借助黎曼几何与泛函分析等领域中的数学方法，系统研究流形上的信息论极值不等式。将重点考察泛函不等式的几何内涵，并利用诸如半群方法，信息几何方法，变分方法等数学工具，研究现有不等式关联，以获得更多的信息论极值不等式。并籍此研究在一般拓扑结构下多端编码的率失真区域以及传输的容量可达区域的外边界，给出可达区域边界可张量化的一些判据。通过本项目的研究，希望在网络信息论的理论边界问题上取得突破。同时，在传统网络信息论领域与近代数学方法之间搭建起桥梁，为信息论的发展提供新的数学思路。

本项目主要围绕信息论极值不等式以及应用开展研究。在前期我们对于高斯信源多终端编码成果的基础上，考察了一个推广的高斯多终端信源编码问题。在该问题中，共有k个相关高斯信源，任意不同的信源之间的相关系数为p。每个编码器都可以拿到其中m个信源。然后所有的编码器输出都被集中解码器获得，用于重建所有k个信源。研究了此多终端编码器的率失真区域。在特定条件下获得了其率失真区域的表达式。在信息论极值不等式的证明方法上，我们还针对一个长Markov链上的信息论极值不等式给出了新的证明方法，提出了对偶路径的方法，拓展了单调路径方法的应用场合。本项目还研究了联邦学习中的多终端编码率失真问题，在无偏估计量下获得二次向量高斯 CEO 问题的率失真区域。还进行了一些面向机器学习的信息论方法研究，包括：利用信息论测不准原理的变分自编码器的建立、基于能量的生成模型的性能边界问题等等。.受本项目资助的论文有13篇，其中包括IEEE Trans. Information theory，Entropy，IEEE Trans. Multimedia，IEEE Trans. Image Processing等重要期刊，也包括当前机器学习等领域的顶会，比如AAAI，CVPR以及NeurIPS等等。