面向社交媒体的需求智能发现和分析方法

The distinctive feature of the Web 2.0 era is User Generated Content (UGC), which means that the requirements are not proposed by the software commissioner or the developer, but are generated by the software users participating in, customizing, and continuously evolving the content. The vast amount of user demand resources have accumulated in the social media throughout the Internet. Needless to say, accurate requirements are the foundation for software development and successful application. In the Web 2.0 era, the acquisition channels for software requirements have undergone major changes. Correspondingly, the software demand analysis technology is also facing enormous challenges: how to quickly identify user needs from massive resources, how to quickly analyze the demand and estimate its scale. In order to solve the above problems, this project proposes a method of recognition and analysis of requirements based on natural language understanding. Using the latest technologies of part-of-speech standards, syntactic analysis, semantic role tagging, dependency analysis, and named entity recognition in natural language understanding technologies, the main intent of the text description is identified, and based on this, we identify user needs from massive social media text. Combined with heuristic rules, data mining, deep learning and other methods, the rules and models for identifying function point items from requirements are established and verified and applied in actual industrial project data.

Web 2.0 时代的鲜明特点是用户生成内容，也就是说需求不是软件委托方或者开发商提出的，而是由软件用户在广泛参与、自定内容并持续演化产生的。整个互联网的社交媒体中累积了海量的用户需求资源。毋庸置疑，准确的需求是软件开发并且成功应用的基础。在互联网时代，软件需求的获取渠道发生了重大的改变，与之对应，软件需求的分析技术也面临着巨大的挑战：如何从海量资源中快速识别出用户需求、如何快速地分析需求并估算其规模。为了解决上述难题，本项目提出了一种基于自然语言理解的需求识别与解析的方法。利用自然语言理解技术中的词性标准、句法分析、语义角色标注、依存关系分析、命名实体识别等最新技术，识别出文本描述中的主要意图，并以此为依据收集主要意图为需求表达的社交媒体文本信息。结合启发式规则、数据挖掘、深度学习等方法，建立从需求中识别功能点项的规则和模型，并在实际工业项目数据中验证和应用。

在互联网时代，软件需求的获取渠道发生了重大的改变，与之对应，软件需求的分析技术也面临着巨大的挑战：如何从海量资源中快速识别出用户需求、如何快速地分析需求并估算其规模。为了解决上述难题，本项目研究了面向社交媒体的需求智能发现和分析方法，包括：.（1）提出了一种基于多任务学习的需求发现与意图标注方法，利用需求发现、需求意图标注两个任务之间的互信息，提升两个任务的性能。实验结果表明，在需求获取和意图标注两个任务中的表现优于所有选定的基线，对单个任务的F1和分类准确率分别提高了4%和8%。 .（2）提出了基于深度孪生网络的隐藏需求挖掘方法，首先基于双向LSTM(BiLSTM)结构构建了一个上下文敏感对话模型，再将上下文敏感对话模型与孪生网络相结合，以学习一对对话之间的相似性。实验结果表明，本项目的方法明显优于两个句子级别需求分类模型和四个传统文本分类方法，其平均精度，召回率和F1值分别为88.52%，88.50%和88.51%。.（3）提出了基于混成方法的事务功能项抽取与分类方法，采用机器学习的方法训练模型，从需求中预测关键短语作为功能项进行推荐。结果表明，该方法可以推荐的事务函数的内容质量高，排序理想，BLEU，MAP@5 和Recall@5 分别达到34分、0.6 和 0.94。.（4）提出了基于自举方法的数据功能项抽取方法，将抽取任务建模为序列标注问题，并训练条件随机场（CRF）模型，在CRF模型的训练中使用自举方法迭代地从未标注样本中扩充训练集和训练模型，以解决标注资源的问题。实验结果表明该方法可以达到84%的准确率、80%的召回率和82%的F1，并且以最少的训练成本达到优于四种基线方法的模型性能。..综上，本项目的成果可以有效地检测聊天消息中的隐藏需求，从而可以自动方式从大量用户收集全面的需求；对识别出的需求进行自动化地深入分析，从而使传统的功能点方法可以与新的需求获取渠道接轨，目前功能点自动计算的成果在招商银行投入实际使用，2020年10月2021年10月，平均每个项目节约57%的功能点计算成本。