面向用户评论的复杂产品消费者偏好提取机制研究——基于数据驱动型特征选择的方法

Mining personalities and attitudes of the consumers from ultrahigh dimensional online consumer reviews using machine learning techniques is one of the essential trends of approaches for consumer preference analysis for complex products in future. However, the characteristics, i.e. ultrahigh dimensionality, heterogeneity, and anti-structurality of online user reviews restrict the generalization ability of the existing machine learning techniques. Meanwhile, the sentiment information concealed in the context of the reviews does not yet attract much attention in consumer preference analysis for complex products. This project tries to make existing machine learning techniques qualified for consumer preference analysis for complex products via novel dimensionality reduction approaches for big-data. Specifically, three main subprojects will be conducted, which are: (1) a novel data-driven feature selection framework will be proposed to tackle the problems caused by the three characteristics of online user reviews, so as to complete the dimensionality reduction task for user reviews, (2) an effective sentiment analysis framework for online reviews will be constructed and applied in sentiment classification and tagging, and (3) the Latent Dirichlet Allocation model will be refined by embedding sentiment analysis in order to successfully complete the consumer preference analysis and extraction for complex products, combining with the achievements from the prior two works. The results and achievements of this project will contribute to literature in related fields, and will be of valuable references for real-world applications such as market segmentation, precision marketing, production innovation, personality-based recommendation, etc.

采用机器学习技术挖掘海量在线用户评论中所蕴含的消费者特质和态度，是未来复杂产品消费者偏好研究的重要趋势。然而评论文本的高维性、异质性和高度非结构化特性限制了机器学习技术的泛化能力；同时，用户评论文本中所潜藏的多维度情感信息尚未充分应用于复杂产品消费者偏好分析中。本项目采用大数据降维方法结合机器学习技术对复杂产品消费者偏好进行提取和分析。拟从以下三个方面展开研究：（1）针对在线消费者评论文本的高维性、异质性以及非结构化特性等问题，提出一种数据驱动型文本特征选择方法对用户评论文本进行有效降维；（2）构建有效的面向在线消费者评论的情感分析流程，并对评论信息进行多维度情感极性分类与标注；（3）对潜在狄利克雷分配模型进行改进，并结合前面的研究成果对复杂产品消费者偏好进行有效的分析与提取。本项目的成果将丰富相关领域的研究，对市场细分、精准营销、产品创新以及个性化推荐等领域有着重要的应用价值。

文本型非结构化大数据因其稀疏性和异质性使之难以被有效地量化分析，这对从海量的在线用户评论中挖掘出消费者对品牌、产品属性及服务的态度等消费者个性化偏好构成了挑战。本项目聚焦于数据驱动的特征选择方法，通过对文本型非结构化大数据进行领域知识挖掘和主题降维的方式，实现对消费者个性化偏好的识别。本项目的研究成果主要有以下四个方面：（1）基于信息论与稀疏表示技术，通过对非结构化数据特征的类相关性、冗余性和互补性分析的结构化嵌套与参数选择，实现对文本型非结构化大数据的特征赋权；（2）提出了一种基于信息论的数据驱动型特征选择方法，该方法依据在前述研究的基础上对特征高阶相关性的低阶近似的理论分析，利用一个新的联合互信息的理论下界对文本型非结构化大数据中的领域知识进行有效挖掘；（3）将前述特征选择方法和概率图模型相结合，对文本型非结构化大数据中特征的类相关性、冗余性、互补性以及共现（co-occurrence）性进行综合分析，构建一种考虑了情绪强度且具有较强可解释性的消费者偏好提取模型；（4）厘清消费者的态度（主题）偏好和情绪强度与消费者人格特质的内在关联，通过调整主题分布的超参数以实现将领域知识嵌入进主题建模过程中，最终获得费者态度（主题）偏好—情绪强度—人格特质的联合分布，进一步提高消费者偏好提取的准确度。此外，本项目的主要研究成果还被成功拓展于面向时空轨迹大数据的用户偏好挖掘与分析中，形成了明确的未来研究方向。本项目的研究成果主要以高水平论文形式呈现，主要核心工作已发表于European Journal of Operational Research、Decision Support Systems以及心理学报等国内外权威期刊上。本项目的研究将有助于产品销售方对消费者进行更为准确的用户画像并进行精准营销，为数据驱动范式下的消费者行为分析理论和实践奠定了基础；同时，本项目的研究也是大数据时代科学研究范式创新的一次成功尝试，为大数据视域下管理、心理等社会科学领域的前瞻性研究提供了有价值的参考。