基于自编码机的半监督特征表示学习方法研究

The effective expression of information determines the quality of information task. Feature representation learning aims at mapping original data into low-dimensional feature vector space for more efficient knowledge discovery and data mining tasks. Due to the large amount of labeled data required in applications is intractable, it is of great significance to improve the performance of feature representation learning by combining semi-supervised learning with a large amount of unlabeled data that is available. The auto-encoder is an unsupervised neural network which has achieved excellent performance in feature representation learning. This project intends to conduct the research on auto-encoder-based semi-supervised feature representation learning methods. Firstly, this project studies the construction of the semi-supervised auto-encoder model, including the integration and optimization method of the semi-supervised multi-layer auto-encoder model. Secondly, this project studies how to fuse and optimize the feature representation obtained by multi-layer integrated auto-encoder model learning in the mapping vector space. Based on this, the objective function strategy of feature representation learning method about transfer learning is studied to improve the performance of model. Finally, taking the classification of sentiment comment text as an example, the prototype system is constructed to improve the research work. This project provides a new theoretical exploration for semi-supervised feature representation learning and makes a meaningful attempt to develop knowledge representation learning algorithms with practical value.

信息的有效表达决定了信息任务的完成质量。特征表示学习旨在将原始数据映射到低维特征向量空间中以进行更有效的知识发现任务。由于在实际应用领域中标记数据需要大量的人力，因此，利用少量标记信息结合容易获得的大量无标签数据进行半监督学习成为提高特征表示学习性能的重要途径。自编码机是无监督的神经网络模型，已在特征表示学习领域获得突破性进展。本项目拟基于自编码机研究半监督特征表示学习方法，首先研究半监督自编码机模型的构建方法，包括半监督多层自编码机模型的集成和优化策略。其次，研究在映射特征向量空间内，如何融合和优化自编码机集成模型学习得到的特征表示。基于此，研究特征表示学习方法在面向迁移学习任务时的目标函数表示问题，以提升特征表示向量的表现。最后，以情感评论文本分类为例构建原型系统并以此完善和深化研究工作。本项目为半监督特征表示学习提供新的理论探索，为研发具有实用价值的知识表示学习系统作出有意义的尝试。

特征表示学习旨在将原始数据映射到低维特征向量空间中以进行更有效的知识发现任务，利用少量标记信息结合容易获得的大量无标签数据进行半监督学习成为提高特征表示学习性能的重要途径。本项目从半监督自编码机模型的构建、融合和优化多源特征、跨领域特征应用和自编码机、提示学习等前沿思想出发，深入研究了半监督特征表示学习方法，并在迁移学习、个性化推荐、短文本分类等方面开展了相关应用研究。该项目取得了较好的研究成果，完成的创新工作总结如下：.（1）提出了一种堆叠卷积稀疏的半监督自编码机模型，以完成高层特征表示学习。具体来说，首先通过堆叠稀疏自编码机结合Softmax回归，完成了半监督特征表示学习的自编码机模型构建。在真实数据上进行实验，相对已有的算法，实验结果显示该模型具有更好的结果。.（2）为了解决多自编码机架构中多源特征的融合和优化问题，提出了一种基于集成自编码机的特征表示学习方法，并应用在无监督领域自适应中。通过真实的数据进行实验，实验结果显示该算法具有更好的性能。.（3）面对个性化推荐中，基于用户的特征和基于物品的特征具有不同特点的问题，提出一种基于协同自编码机的个性化推荐算法。具体来说，通过两种不同的自编码机模型分别学习基于用户和基于物品的不同特征以实现推荐。在公开数据集上的实验证明了方法的有效性。.（4）开展了面向情感评论文本分类和个性化推荐方面的应用研究，建立了面向具体任务的有效算法，促进了相关应用的发展。.上述工作已在国内外学术期刊和会议上发表8篇论文，其中7篇期刊论文，1篇会议论文；申请发明专利8项；培养硕士研究生5人。