基于高阶逻辑的归纳逻辑程序设计学习算法及其应用研究

By using first-order logic to represent empirical data and learned rules, Inductive logic programming (ILP for short) overcomes two limitations of classical machine learning: a limited knowledge representation formalism which is essentially propositional logic and inability to use substantial background knowledge in the learning process. In recent years, the first-class international journal "machine learning" has published several special issues on ILP. ILP has been a hot topic of machine learning. The research further improves the expressive ability of ILP, adopts higher-order logic to represent empirical data and learned rules, and studies higher-order logic based ILP learning algorithm and its application. Firstly, according to search strategy, determined ILP algorithm and stochastic ILP algorithm are studied. Secondly, in practical applications, unlabeled data are readily available but labeled data are fairly expensive to obtain because they require human effort. Based on the two algorithms proposed above, the project investigates how to exploit unlabeled data to enhance classification performance of higher-order ILP algorithm. Finally, higher-order ILP algorithm is applied to image semantic classification system adopting higher-order logic to represent space relation. This research provides machine learning with more in-depth theory and method, provides strong technical support for the application of artificial intelligence.

归纳逻辑程序设计（Inductive logic programming，简称ILP）采用一阶逻辑表示经验数据和学习到的规则，克服了传统机器学习方法描述能力弱和无法利用背景知识的限制，近年来，顶级国际刊物《机器学习》相继出版了多期ILP的专刊，ILP逐渐成为机器学习领域的前沿研究课题。本研究进一步提高ILP的表达能力，采用高阶逻辑表示经验数据和学习到的规则，研究基于高阶逻辑的ILP学习算法和应用。首先，根据搜索策略不同研究确定性高阶ILP算法和非确定性高阶ILP算法。然后，针对实际应用中对数据标记的代价很高，容易获得的是无标记数据，在上述两个算法的基础上，研究利用无标记数据提高高阶ILP算法的分类性能。最后，将高阶ILP算法应用于图像语义分类系统中，采用高阶逻辑表示图像内部的空间关系。该研究为机器学习方法提供了更加深入的理论和方法，为人工智能的应用领域提供了强有力的技术支持。

归纳逻辑程序设计（Inductive Logic Programming, ILP）采用一阶逻辑表示经验数据和学习到的规则，克服了传统机器学习方法描述能力弱和无法利用背景知识的限制。项目从进一步提高ILP的表达能力和利用无标记数据提高泛化能力两个方面出发，对ILP算法和应用进行了深入研究。重点研究内容和执行情况如下：（1）提出了确定性高阶ILP算法HFOIL，该算法采用高阶逻辑表示学习到的规则。给出了高阶规则候选特化式的构造方法，给出了评价候选特化式的评价函数。实验结果表明该系统具有更精确的分类性能。（2）提出了非确定性高阶ILP算法ABCHILP。该算法同样采用高阶逻辑表示学习到的规则，采用ABC算法搜索假设空间。给出高阶规则编码的方法；提出了生成新食物源的操作：插入、删除和变异；提出了新的适应度函数。实验结果表明ABCHILP具有更好的泛化能力，提出的适应度函数能够更好地刻画高阶规则的优劣。（3）提出利用无标记数据提高泛化能力的ILP算法—UDBILP。UDBILP首先利用初始标记数据和背景知识初始化三个ILP分类器，该算法首先根据初始标记数据初始化3个不同的ILP系统得到分类器h1,h2和h3，然后迭代地用无标记样例对3个分类器进行精化，直到任何分类器都不再发生变化为止。每轮迭代包括三个过程：互标记过程、重新标记过程和重新训练过程。实验结果表明UDBILP能够利用无标记数据提高泛化能力，并且算法最终分类错误率低于NFOIL，KFOIL和ALEPH系统。（4）提出了基于高阶ILP算法的图像分类系统。一阶谓词逻辑表示图像的空间关系信息，作为高阶ILP算法的输入。实验结果表明该系统具有更好的分类性能。项目研究期间发表论文14篇，其中SCI检索3篇，EI检索3篇。获得2项国家授权专利；获批2项国家软件著作权。