群组查询引擎

Modern Internet applications such as e-commerce website or mobile games often produce a large volume of user activity records. Data analysts are interested in cohort analysis, or finding unusual user behavioral trends, in these large tables of activity records. In a traditional relational database system, cohort analysis queries are both painful to specify and expensive to evaluate. This project proposes to extend database systems to support cohort analysis. We do so by extending relational database systems in three steps. First, we extend the relational data model to store user activity records. Second, we design a transaction processing strategy for user activity records management. Finally, we introduce new cohort operators and cohort query processing strategies for efficient cohort query processing.

现代互联网应用如电子商务或手机游戏经常产生海量的用户行为数据。分析师希望通过群组分析从海量的用户行为大数据中发现用户行为趋势，提升决策水平。然而，传统的关系数据库难以支持群组分析。将群组分析任务转换为关系查询不仅过程复杂而且性能低效。本项目提出从三个方面扩展关系数据库，支持群组查询。首先，扩展关系数据模型，支持用户行为大数据存储。其次，引入新的事务处理机制管理行为数据更新事务，维护行为大数据集的行为完整性约束。最后，引入新的群组查询算子和群组查询技术高效处理群组查询。

现代大数据应用，如智慧审计、电子商务、在线游戏，经常产生海量的用户行为数据集。该数据集中的记录描述了用户的某次行为相关的信息。数据分析师亟需一种用户行为趋势发现技术，可以从行为大数据集中发现用户行为趋势（即，用户行为随时间变化的关系），提升企业的决策水平。群组分析是社会科学家提出的一种量化分析人类行为趋势的方法。然而，传统的关系数据库系统无法有效地管理行为大数据，且不支持群组查询，无法将群组分析技术从社会科学推广到其他领域。..课题从数据模型、事务处理、查询处理三方面扩展关系数据库，支持行为大数据管理和群组查询。课题具体研究成果如下：1）提出了两种新的数据完整性约束：复杂完整性约束和聚合代数约束，扩展了关系数据模型，描述行为大数据的数据完整性。进一步，课题提出了复杂完整性约束和聚合代数约束的发现算法，自动从行为大数据集中发现约束条件，提升数据库管理员的工作效率；2）提出了所见即所得的行为大数据抽取技术，从原始非结构化数据中可靠地抽取行为记录，保障行为大数据写事务的数据正确性。提出了基于Wrangling DSL脚本的行为大数据加载技术，利用MapReduce并行编程框架，加速行为大数据写事务的执行速度；3）提出了三个群组查询算子描述群组查询任务，以及算子的优化算法，并成功开发了群组查询系统原型，验证了提出技术的有效性。