基于强化学习的G蛋白偶联受体三维结构预测方法研究

G protein coupled receptor (GPCR), which has seven transmembrane helices, is a kind of important receptor proteins of biological signals. The study of the determination of the three-dimensional structure of GPCR has become the key to understand the GPCR structure, function and drug-targets. This project is starting from the amino acid sequence, does not rely on any template information, and uses the advantages of online-learning abilities of reinforcement learning to predict the optimal three-dimensional structure of GPCRs. First of all, in the face of the complex relationship among the evolution, sequence and structure of biological characteristics, this project establishes a dynamic model of environment perception from the perspective of multi-scale feature; then in terms of the conversion between the energy function of evaluating three dimensional structure and strategy evaluation function of evaluating behavior, we put forward a unified strategy evaluation function which can take into account both the local and global energy function so as to enhance the decision abilities of the learning system; finally, considering huge state space and complex high order energy function to easily lead to "dimension disaster" and the slow convergence , we shall build a multi-level parallel reinforcement learning framework based on state space decomposition and strategy evaluation function. Through this project, we expect to progress on the theoretical or technical prediction of the three dimensional structure of GPCRs and generates high-resolution candidates, relieve the difficulties of determination of the three dimensional structure of GPCRs, and provide references to drug discovery, virtual screen, functional inference, diagnosis.

G蛋白偶联受体(GPCR)具有七个跨膜螺旋，是一类重要的生物信号受体蛋白质，确定GPCR三维结构的研究已经成为开启GPCR结构、功能、靶向关系的钥匙。本项目拟从氨基酸序列出发，不依赖任何模板信息，利用强化学习在线学习的优势来预测GPCR的最优三维结构。首先，面对生物特征之间进化、序列、结构的复杂关系，本项目拟从全新的多尺度特征视角，建立环境的动态感知模型；随后，对于评价三维结构的能量函数与评价行为的值函数之间的转换问题，本项目拟提出局部与全局的统一策略评价函数，从而全面提升评价系统的决策能力；对于巨大状态空间与高阶能量函数容易导致“维数灾难”的问题，拟构建基于空间分解与函数分解的多级并行强化学习方法，建立Agent信息共享与调度新机制。最终形成GPCR三维结构预测的完整的方法链，从而缓解GPCR结构确定的难题，为药物靶点发现、功能推断、疾病诊断提供示范，从而提高我国应对重大疾病的能力。

G蛋白偶联受体（GPCRs）是跨膜蛋白受体家族中一个庞大的群体，它具有七个跨膜螺旋，是一类非常重要的生物信号受体蛋白质。GPCRs广泛参与感知、发育、生殖、神经、生长和精神等多种生命活动以及内分泌和代谢等多种生理过程。基于GPCRs在生理病理过程中的重要生物作用，研究人员对GPCR进行的大量的研究，本项目拟从氨基酸序列出发，不依赖任何模板信息，利用强化学习的优势来预测GPCR的最优三维结构。..本项目主要研究了基准模型方法的建立、从头强化学习方法与改进的设计、并行强化学习框架建立、系统整合及系统优化。具体而言，我们首先在完成了对目前国内外先进GPCR三维结构预测方法的研究与归纳的基础上，研究了GPCR三维结构预测中多尺度动态环境模型及相关尺度特征，设计了适用的目标函数，初步完成了从头预测GPCR三维结构的基准平台。之后，我们研究了GPCR结构的单处理器强化学习框架及序列相关的回归模型，对已有的实验数据进行整理并进行人工标注，实现了主要参数的初步预测。针对强化学习中值函数的问题，我们研究并改进了Q学习算法，并研究了基于能量函数的策略评价函数，形成了相应关系的计算方案，从而设计了适合的值函数。最后，我们完善了GPCR三维结构预测的两层并行强化学习框架，对算法框架、能量函数及相似性度量进行了改进实验。..在结果方面，我们使用GPCR-AIM在人类基因组中94个研究困难且未知的GPCR上进行研究，我们的GPCR-AIM模型的注释残基对的平均长度为10.26Å，相较于Rosetta从头预测模型的平均长度21.01Å短了51.2%。另外，在GPCR超家族分析方面，GPCR-AIM能获得78.3%的正确的超家族注释，而序列比对方法NWalign只有49.4%的案例可以正确分配。..综上所述，本项目形成了GPCR三维结构预测的完整的方法链，对于缓解GPCR结构确定的难题具有重要意义，同时为药物靶点发现、功能推断、疾病诊断提供了示范，从而在推动我国应对重大疾病的防治能力。