不确定环境下认知无线电自治多跳网络分布式决策研究

Cognitive radio adhoc (CR-ADHOC) plays an important role in civilian and military areas. It is inevitable to be uncertain for environment sensing due to limitations of perceiving device or environment. Communication decision making under uncertainty has become an arduous problem for cognitive radio. Partially observable Markov Decision Process (POMDP) is regarded as a valid method for this problem. Existing POMDP methods are mainly used for frenquency detection, allocation and access. In CR-ADHOC, however, the decision-making of a communication node not only copes with frenquency access, but olso handles influence from other protocol layers and nodes.Because of the time varying characteristics of the CR-ADHOC, the existing POMDP methods cannot be used for this environment. In order to effectively solve decision making for CR-ADHOC under uncertainty, this project will research decentralized partially observable markov decision process (DEC-POMDP) for CR-ADHOC based on decentralized offline policy generation, decentralized online decision, model-free interactive decision, cross-layer & multi-hop decision making and performance evaluation. This project will solve some key issues for decentralized decision making for CR-ADHOC based on partial observations, and at the same time, will provide theoretic support for decentralized decision of CR under uncertainty.

认知无线电自治多跳网络(CR-ADHOC)在民用和军用上具有显著意义，由于感知设备或环境的限制，无线系统对环境感知会出现不确定性。不确定环境下的通信决策已成为CR 面临的一大难题，部分可测马尔科夫模型（POMDP）被认为是解决该难题的有效途径。现有POMDP主要用于解决CR频谱探测、分配与接入等。但在CR-ADHOC 中，节点除了要考虑自身频谱处理外，还需考虑其它协议层和节点的处理策略，由于网络具有时变动态特征，使得现有POMDP无法应用于这种环境。为有效解决CR-ADHOC在不确定环境下的决策问题，本项目拟从离线策略生成、分布式在线决策、无模型交互决策、跨层多跳传输决策及性能评价等方面研究基于分布式POMDP 模型（DEC-POMDP）的CR-ADHOC决策技术。通过上述研究，项目将解决部分可测CR-ADHOC分布式决策的一些关键问题，为构建CR 在不确定环境下的分布式决策提供理论支撑。

不确定环境下的认知决策是认知无线电网络的关键技术，对提高频谱利用效率，改进认知无线电网络的性能具有非常重要的作用。为此，本项目主要研究认知无线电网络分布式离线学习与决策、分布式在线学习、交互决策、跨层分布式传输决策与性能评价等技术。针对离线学习，项目提出了基于多目标蜂群算法和模糊推理的认知无线电决策引擎求解方法。针对在线与交互决策，项目引入了多臂赌博机机制，通过自适应调整包大小来降低能量消耗。同时，项目提出一种基于预测的拥塞控制机制，通过Q-Learning方法搜索合适窗口来有效提升无线网络TCP性能。针对跨层决策，项目提出一种协作去耦合和跨层联合方法解决多跳CR网络多层资源的分配问题。仿真实验表明，项目提出的方法能够有效提升认知无线电网络的决策能力，能够有效提升无线网络的传输性能。项目执行期间，发表SCI/EI学术论文17篇，授权发明专利2项，获军队科技进步奖1项，培养研究生11名，培养年轻老师4名，项目成果在风洞直升机模型设计实验中得到应用。