基于强化学习的前列腺癌蛋白质间相互作用网络的模型及方法研究

Prostate cancer is one of malignant tumors with the highest incidence, and is always a hot spot of biologists. Analyzing prostate cancer protein interaction networks will help to deepen the understanding, treatment and prevention of prostate cancer disease mechanisms. This project studies how to construct prostate cancer protein interaction networks starting from protein map by using reinforcement learning. In the reinforcement learning framework, the network topology of each stage is regarded as the current state, bio-confidence of protein interaction is treated as a reward, and interaction choice is viewed as the action. As we have to to deal with large-scale networks which have millions of potential nodes, we establish a kernel-based reinforcement learning model which is suitable for large large-scale space problem,and use an adaptive normalized radial basis function as a potential function to shape the reward so as to optimize algorithm. Finally, through analyzing network from a biological point of view, we propose features and mathematical model which can be utilized to describe prostate cancer networks. The project effectively expands the sacle of the network through building network from protein map, integrate biological domain knowledge by giving full play to openness of reinforcement learning method, and ensures network stability and optimization by using characteristics of reinforcement learning which explores the the optimal decision in an unknown environment.The project also provides a new solution for solving other biological problem.

前列腺癌是最主要的高发性恶性肿瘤之一，也始终是生物研究者的关注热点。分析前列腺癌蛋白质相互作用网络有助于加深对前列腺癌疾病机理、治疗和预防的理解。本项目研究如何从蛋白质图谱出发，使用强化学习的方法，建立一个前列腺癌的蛋白质相互作用网络。在该强化学习框架中，以每个阶段网络拓扑结构作为当前状态，以蛋白质作用的生物置信度作为奖赏，以选择交互作为动作。由于需要处理数百万个潜在节点的大规模网络，本项目建立一个适用于大规模空间问题的基于核方法的强化学习模型，并使用自适应归一化径向基函数作为势函数来塑造奖赏优化算法。最后，通过从生物学角度解析网络，提出描述前列腺癌相关网络的特征和数理模型。本项目通过蛋白质图谱建立网络可以有效扩充网络的规模，充分发挥强化学习方法的开放性以融合生物领域知识，利用强化学习在未知环境探索最优决策的特性以保障网络的稳定性和最优性。本项目的方法也为其他生物问题的求解提供了新的思路。

前列腺癌是一类高发的恶性疾病，是各种生物基本组成单位之间复杂相互作用的结果，因此，构建和分析前列腺癌症的蛋白质相互作用网络，有助于加深对疾病机理、治疗和预防的理解，显得尤为有价值。.针对保证精度和泛化能力的前提下降低时间、空间复杂度方面，项目组展开了大量研究工作。项目组提出在线式的时空抽象方法，提高了数据样本的利用率，加快算法收敛速度，能解决更大规模的问题；项目组提出将状态值映射成哈希值，然后分组比较的方法，减少了时间和空间复杂度；项目组提出基于近似模型表示的启发式Dyna优化算法，解决了在大规模状态空间中收敛速度慢、环境模型难以表征以及对变化环境的学习滞后性等问题；项目组提出通过存储在线生成的样本并且使用最小二乘法重用样本数据来更新控制策略，提高了数据利用率，改进了算法的有效性。.在平衡探索和利用方面，项目组提出利用概率分布来预估Q值并通过贝叶斯推理计算Q值的后验分布，以提高值函数估计的准确性；项目组提出了知识迁移的方法，在学习过程中通过迁移值函数信息，减少算法收敛所需要的样本数量，加快算法的收敛速度。.很多生物医学问题本身很复杂，具有不确定性，贝叶斯推理的方法能够很好对具有不确定性问题进行建模。项目组在行动者-评论家方法的基础上，使用概率对策略进行评估，优化动作选择策略；所提出的基于强化学习的方法，以节点表示蛋白质，以边表示交互，通过状态值函数促进网络演化，之后使用语义模式识别交互，然后扩展到未处理文本发现交互，构建符合生物网络特性的蛋白质交互网络。.随着对复杂疾病研究的不断深入，目前已经积累了大量的生物医学研究文本，推动了生物医学研究进入了新纪元。项目组也在使用深度学习处理较大规模数据方面开展了探索。.项目组通过文本中的蛋白质建立相互作用网络，可以有效地扩充网络规模，充分发挥强化学习方法的开放性以融合生物领域知识，利用其在未知环境探索最优决策的特性保障了网络的稳定性和最优性。