基于海量代码相似性分析的漏洞信息关联研究

Nowadays, the vulnerability analysis technology has a revolution on scaling-up. It is primarily featured by the parallelizability and sustainability of the methods on vulnerability analysis and assessment, and can greatly improve the depth of learning, the breadth of searching, and the efficiency of matching on vulnerability discovery. However, existing vulnerability analysis methods is essentially based on scheme, relying on the knowledge of professional staff and specific analysis model, which limits the scaling-up of the vulnerability analysis system. To this end, we try to study vulnerability analysis methods without a scheme, and tackle to build similarity association between mass code snippets, so that vulnerability analysis applications can correlatively mine and exploit the vulnerabilities in a self-learning way and thus the dependence on knowledge and model could be reduced. To construct similarity association, we will study the problem of vulnerability abstraction and deduction from code snippets, large-scale and efficiency comparison between vulnerability features, the framework of massive vulnerability features association, feedback mechanism on association error, etc, aiming to insure the precision and efficiency of mass vulnerability correlation. This research would help enriching the theory and methodology on information security and big data, and provides underlying support for safety analysis, which has favourable application prospects.

当前漏洞分析技术已经出现规模性的变革。这种技术革新以分析和评估方法的并行化和持续化为主要特征，可以极大地提高系统漏洞发现的深度、广度和效率。与之相悖的是，现有的主流漏洞分析方式本质上可以称为基于模式的手段，并行化和持续化的程度依赖于人员的专业知识和特定的分析模型，使得漏洞分析的规模化容易受限。针对这一问题，本项目尝试对无模式的漏洞分析方式展开探索，试图为海量代码片段中所包含的漏洞分析信息建立相似关联，使得漏洞分析应用可通过自学习的方式对漏洞进行关联挖掘和利用，从而减少对人员知识和模型的依赖。为达到这一目标，本项目将对代码片段的漏洞分析信息抽象与推断、大规模高效的漏洞特征提取与比对、海量漏洞特征关联及误差有效控制机理等内容进行研究，意图在保证海量漏洞信息关联精确性的同时，亦不失高效。本项目的开展将有助于丰富信息安全与大数据交叉领域的理论与方法体系，为安全分析提供底层支撑，具备良好的应用前景。

传统主流漏洞检测高度依赖于分析人员的经验总结以形成漏洞模式，开发相应的检测工具，这使得漏洞检测受限于一些特定的漏洞模式种类，且需要分析人员能应对极高的劳动复杂度和参与度。该项目旨在就无固定模式的漏洞检测方式进行探索，以关联的方式构建互联网上散布的漏洞知识与代码间的联系，从而减少漏洞检测对人员经验和特定工具的依赖。为达到这一目标，项目对代码片段的漏洞分析信息抽象与推断、大规模高效的漏洞特征提取与比对、海量漏洞特征关联及误差有效控制机理等内容进行研究，保证海量漏洞信息关联精确性和高效性，以用于较大规模地漏洞检测发现。.在研究过程中，项目研究人员已建立近期60257个未公开披露的疑似漏洞和4278个已公开披露漏洞信息至代码间的关联关系，并提取和组织漏洞相关的补丁文件、漏洞函数和PoC（漏洞验证）等百万级的数据条目，形成包含实体节点数3185万和关联关系数5446万的漏洞知识系统（公网演示 http://60.205.204.65:7474）。基于该套知识系统及关联构建关键技术，已检测发现70余个0day漏洞，其中公开申报获得46个CVE漏洞编号（包括Linux内核漏洞等）；识别出2270对闭源软件与常用开源库代码间的组件复用关系及相关1day漏洞，并发现其中110对存在违反开源协议的复用情况。相关关键技术及研究成果已整理成文，发表在ASE、ICSE、SANER、TSE等会议期刊(共11篇，其中CCF-A类4篇，B类4篇)上，申请受理专利（共5项）。