协商Agent智能化中关键技术的研究

Agent technology has boosted the development of distributed systems and artificial intelligence. One of its subfield -- agent-based negotiation, has gained increasingly more interests from the community and industry, for a great part this is because of its broad application potential in different areas such as economics, e-commerce, and the political and social sciences. The complexity of automated negotiation in a multi-issue, incomplete-information and continuous-time environment poses severe challenges, and this project proposed a novel negotiating agent framework to this challenge. In more detail, a strategy based on pseudo-input Gaussian processes is designed for one-shot negotiation against opponents of no prior knowledge; then, Conditional Restricted Boltzmann Machines and Lifelong Learning algorithm are used to tackle the problem of opponent learning and knowledge transfer in different situations, to optimize the negotiation outcomes.

Agent技术从理论和实践上有力地推动了分布式系统和人工智能领域的发展，并在社会各个领域中获得了广泛应用。特别地，由于基于Agent的自动协商在多个领域中具有巨大的潜在应用价值，该方面的研究因此成为目前国际学者探讨的热点之一。为了增强解决实践中复杂协商问题的能力，提高自动协商过程的智能度和协商结果的收益，本项目针对协商对手信息缺乏环境下的复杂协商问题，设计了一种新的智能协商Agent框架。面对未知对手的单次协商，依靠稀松高斯过程对对手行为进行学习；针对未知对手的多次协商，协商Agent利用深度学习和终身学习技术从以前任务获取额外知识，优化对协商对手行为的学习性能，并以此为基础动态协商策略，以取得实践条件下最优协商结果。最后，对协商Agent进行有效性和稳定性的验证。本项目的研究为未来自动协商技术和多agent系统的发展提供新的思路和方法。

本项目的执行时间为2017年1月~2019年12月，这期间项目主要研究了智能体协商和学习关键技术的各个方面，进一步提升了智能体智能交互能力。现总结如下： .1. 对手学习技术方面，项目组提出了具有社会意识的梯度上升算法来学习对手策略，使得其在多智能体间交互中实现社会角度下最优结果。特别针对较多实际问题中无法获知对方策略和偏好的情况（例如协商问题中），提出了该算法的改进版本，增强了方法的通用性。.2. 动态协商策略研究方面，项目组提出了面向人机交互环境的动态协商策略。基于高斯过程对未来收益进行预测，协助智能体调整己方目标和行为；通过结合模拟退火算法进行不同问题域和对手的知识迁移，复用已训练好的模型以提高策略效率。为解决复杂人机交互提供了有效方法。.3. 智能体效率评估方面，因交互评估缺乏统一的平台和标准，项目组设计并实现了在线多用途交互平台，支持人机交互和智能体间交互，提供内置场景管理器，具有完善的交互结果分析和展示并针对不同类型交互提供针对性的指标，以及多场景并发交互和大规模智能体交互的竞赛模式。此外，平台提供大量API接口和基准智能体方便平台使用者设计和测试各种新的交互策略。.4. 基于智能体交互技术的应用，项目组将智能体交互的应用到网络资源分配，网络社区识别，图像识别等领域，进一步拓宽其应用范围，具有重要的理论意义与实际应用价值。本项目实施过程中，项目组已在AAMAS、JAAMAS等智能体领域顶级国际期刊、会议上发表论文8篇，其中CCF-B类期刊和会议2篇、SCI检索 4篇。并申请软件著作权3项。项目培养博士生1名，硕士生3名。参加国际人工智能顶级会议IJCAI（CCF-A类）的智能体协商交互竞赛单元（ANAC 2017, 2018, 2019），均获得决赛前三名，这也是我国高校首次在该项竞赛上获奖。成果达到了申请书预定的考核标准。