以用户为中心的电子商务大数据偏好查询处理与优化

With the rapid development of computer information techniques, the E-Commerce has been welcomed by people for the characteristics of convenient, fast, economy and so on. The amount of E-Commerce data increases sharply, such as the products descriptions data and the user reviews data. The characteristics of E-Commerce big data are isomerism, high-dimensionality, high relevancy and quick updating, which lead the traditional techniques of data storage and query processing cannot satisfy the practical application requirements of E-Commerce big data. How to provide the search with the user requirements has become the urgent problem. This project researches the preference query processing and optimization problem of E-Commerce big data combining the query input and the preference features of users. The important research problems are the query semantics of combining the query input and the preference features of users, data storage with isomerism and high-dimensionality, the distributed preference query processing and optimization for user-centered design. A original system of preference query processing for user-centered design will be designed in this project to verify the correctness and efficiency of the research results. The results will offer efficient theoretical supporting and solutions for preference query processing applications of E-commerce big data, which have important theoretical research significance and practical application value.

伴随着计算机信息技术的快速发展，电子商务以其方便、快捷、经济等优点迅速得到了人们的青睐，积累了大量的诸如商品描述、用户评论等电子商务大数据。电子商务大数据的异构性、高维性、相关度高和快速更新等特性导致传统的数据存储和查询处理技术无法满足电子商务大数据查询处理应用的实际需求，使得如何提供更加符合用户需求的商品搜索成为亟待解决的重要问题。本项目研究结合用户主观查询输入和用户客观偏好特征的以用户为中心的电子商务大数据偏好查询处理与优化问题，重点研究结合用户主观输入和用户客观偏好的查询语义、统筹原始数据异构性和特征向量高维性的数据存储、以用户为中心的分布式偏好查询处理与优化技术，并设计实现一个以用户为中心的电子商务大数据偏好查询处理与优化原型系统来验证研究成果的正确性和有效性。研究成果将为电子商务大数据偏好查询处理应用提供有力的理论支持和解决方案，具有重要的理论研究意义和实际应用价值。

本项目从电子商务大数据用户偏好分析、电子商务大数据分布式存储和索引、以用户为中心的分布式偏好查询处理与优化三个方面展开深入的研究工作。首先，在电子商务大数据用户偏好分析方面，主要研究了基于动态图模型的用户偏好计算方法、面向用户分组和特定用户的推荐方法、基于大规模图top-k兴趣子图或频繁子图的用户匹配方法等，实现了有效的用户偏好分析。其次，在电子商务大数据分布式存储和索引方面，研究了基于属性列聚类的行列并存高维大数据混合存储模型、基于极限学习机的模糊聚类方法、高维大数据的分布式划分和压缩方法、基于树形索引和环形拓扑相结合的高维大数据分层索引结构、高维大数据分层索引结构的更新和负载均衡方法等，实现了有效的高维大数据存储和索引。再次，在以用户为中心的分布式偏好查询处理与优化方面，研究了基于MapReduce的增广动态Skyline查询处理方法、MapReduce环境下基于用户偏好的top-k skyline 查询处理方法、MapReduce环境下面向用户偏好的top-k连接查询处理方法、基于MapReduce的向量空间约束连接路径查询方法、数据流中ρ-支配轮廓查询算法、双缀过滤的大数据相似性连接处理算法、MapReduce环境下基于扩展Bloom Filter的两表连接查询处理算法、基于k-skyband的top-k skyline查询处理方法、MapReduce环境下基于支配层次树的k支配skyline查询方法等，实现了大数据环境下的top-k查询、join查询、skyline查询等。在理论研究方面，在Neurocomputing、JLMC、IEEE ACCESS、电子学报、计算机科学与探索、小型微型计算机系统、计算机应用、计算机与数字工程、WISA、ICPCSEE、ICNC-FSKD、CCF大数据学术会议等学术期刊和会议发表相关学术论文28篇，其中，被SCI检索4篇次，EI检索12篇次；在原型系统研发方面，设计并实现了一个以用户为中心的电子商务大数据偏好查询处理与优化原型系统，对相关的理论研究成果进行验证，申请并公开中国发明专利3项。在学术交流方面，项目组成员和硕士研究生三年来共12人次参加了国内外重要的学术会议。在人才培养方面，协助培养硕士研究生9人，均已顺利毕业。