基于深度学习的对手真实模型判别方法研究

Artificial intelligence has made great achievements in the past few years. Multiagent system has been the focus of artificial intelligence research. Generally speaking, the environment is very complex. Therefore, it is not an easy task for the agent to make decisions, the agent needs not only to consider the current state of the environment, but also to the actions of other agents, and the impact of these actions on the environment. <The art of war> said:” If you know yourself and your enemy, you’ll never lose a battle”. This project utilizes the interactive dynamic influence diagrams (I-DIDs) to model other agents in the environment, record the actions of the opponents in the interaction between the agents, and identify the true model of the opponents using deep learning with precomputed policy trees of the candidate models. This enable our own agent to predict their future actions, formulate the corresponding strategy, and gain great advantage in competition so as to defeat the opponents easily. On the other hand, I-DIDs suffer too much from the huge state space, which leads to high computational complexity. This project puts forward a new computation method, which elimiates the irrelevant models and leaves only the true model of the opponents. This radically compresses the model space and greatly improves the efficiency of solving I-DIDs which is applicable to practical problems.

人工智能在过去的许多年里取得了巨大的成就。多智能体系统一直是人工智能研究的重点。一般来说，智能体所处的环境十分复杂。因此，智能体的决策制定不是一件容易的事情，不仅要考虑当前的环境状态，还要考虑其它智能体可能做出的动作，以及这些动作对环境产生的影响。孙子兵法中有：“知己知彼，百战不殆”。本项目利用交互式动态影响图（I-DIDs）对环境中的其它智能体建模，在智能体之间的不断交互中记录下对手的动作信息，结合预先求得的候选模型策略树，利用深度学习算法判定对手的真实模型。这让己方Agent可以预测对手将来的行动，制定相应的对策，在竞争中获得极大的优势，从而轻松打败对手。另一方面，I-DIDs饱受状态空间太大的困扰，致使其计算复杂度较高。本项目提出一种新的计算方法，在模型空间中逐步剔除不相关模型，仅保留对手的真实模型。这从根本上压缩了模型空间，使得I-DIDs的求解效率大大提高，具有了应用于现实问题。

本项目的研究工作建立在成熟的多智能体序贯决策工具——交互式动态影响图（Interactive dynamic influence diagram, I-DID）I-DID的基础上，针对I-DID原始模型不具有辨别对手真实模型以及计算复杂度很高的问题，进行了深入的研究。. 首先，利用深度神经网络判断对手使用的真正模型。在I-DID模型中，存在着模型节点，用于保存对手智能体的所有可能的候选模型。随着时间的推进，模型节点会不断更新其中保存的对手模型，使得模型数量呈指数级增长。这给计算带来了很大的困难。本项目的做法是找出对手的真实模型。我们采用深度学习作为判断对手真实模型的方法。在环境中记录下对手的动作序列，将其作为深度神经网络输入，而神经网络的输出是各候选模型是对手真实使用的模型概率。. 其次，在模型空间中逐步地删除不相关或者弱相关的模型。I-DID的求解过程计算复杂度较高，是将其用于实际问题的阻碍，一般的方法都是采用了合并策略树的方法。在本项目中，我们通过引入深度学习机制，在前面已经判断出了每个候选模型可能是真实模型的概率（权重大小）。接下来，将模型空间中权重相对较小（也叫弱相关）或者权重为0（不相关）的模型逐次地删除。这样一来模型空间的大小就被有效地抑制住了。这里附带研究了两个问题。首先是怎么才能安全地删除候选模型，不相关模型可以直接删除，并将不相关模型原本的权重分配给其它候选模型。而对于弱相关模型，要慎重选择阈值，也就是确定弱相关的最大权重值。其次，删除模型时要保证模型的最优解不变，因此进行了相关的误差区间估计。