支持强一致性的高可伸缩事务处理技术研究

With the accelerated development of network and mobile computing, the revolution in data management technology has shifted from the internet applications to core business branch: finance, telecommunications, energy and so on, whose main features require DBMS to support strong consistency, highly scalability and high performance. In this project, we tries to propose some new theories and methods in field of the high-scalability transaction processing with strong consistency, based on the analysis of data value and causal ordering, research on isolation across multi-partitions etc. This proposal mainly focuses on four key aspects,1）data storage, organization and access methods based on date values in order to improve the access efficiency and reduce the complexity of elasticity processing;2）Forecasting incremental data aggregation technology with high concurrency based on causal ordering;3）The mechanism which ensures Read Consistency across Multiple Partitions supporting various isolation level;4）High availability transaction processing mechanism, aiming at improving the efficiency of the transaction. The works of this project meet the demands of real applications, focus on solving the issues highlighted of transaction processing in distributed database. The applicant has a good accumulation in the related research field. The proposed research plan is feasible. All of these ensure that the project will be completed successfully.

随着网络和移动计算的加速发展和不断深入，数据管理技术的变革已经从互联网应用领域向包括金融、电信及能源等核心商业领域扩展，其主要特点是要求DBMS同时支持强一致性、高可伸缩性及高性能。本课题拟通过对数据价值、数据因序关系的分析以及多分区隔离等方法进行研究，从存储模式和事务处理技术两方面提出兼顾强一致性及高可伸缩性事务处理的理论与方法。包括：1）基于数据价值的数据存储、组织与访问方法，在提高访问效率的同时减少伸缩处理复杂度；2）基于因序关系的预反应式增量数据聚集技术以减少分布式事务比例提高并发度；3）多种隔离级别下的跨分区读一致性保证机制以确保强一致性；4）高可用事务处理机制优化以提高事务执行效率。同时,结合理论分析和完整的实验测试来检测新理论和方法的有效性，相关研究成果将应用于事务密集型的核心领域,具有重要的理论和实践意义。

项目针对分布式数据库可扩展事务处理技术展开研究，研究过程中，团队和国内五大行之一的交通银行展开了技术合作。通过对金融实际应用的分析，课题组研究内容聚焦于可扩展事务处理能力这一核心难点，主要包括高可伸缩事务处理系统的存储模式、分布式事务性能优化和并发控制以及针对金融应用事务复杂度较高所进行的针对性研究。提出了分布式LSM-Tree架构以及基于该架构的增量数据分区和平滑数据再分区等基础机制；研究了分布式条件下事务隔离级别的新内涵，结合金融应用特征，提出了跨分区读一致保证机制、基于向量时钟的快照、轻量级锁等系列算法和策略来提升事务处理效率；同时，针对金融应用复杂事务特征，提出了鲁棒查询优化处理、混合式索引、异步错峰数据同步等多种机制；项目实施开展期间，发表论文10篇，申请专利2项，软件著作权5项；培养博士研究生两名，硕士研究生10余名。项目核心技术已经应用在国产分布式金融事务型数据库系统CBASE中，该系统已经成功应用于交通银行分布式数据库项目，包括核心账务系统、征信系统、历史库等多个核心应用，不仅解决了传统集中式数据库的事务处理瓶颈，也摆脱了国外垄断数据库厂商的高昂成本，更为重要的是，为我国金融系统核心软件全面国产化和自主可控战略需求提供了强有力的技术支撑。