玻尔兹曼机的组稀疏化研究以及在物体识别中的应用

物体识别（Object Recognition）尤其是物体类别识别（Object Category Recognition）是人类的一项独有的本领，也是机器视觉领域一个根本的问题。物体识别的困难之处在于得到关于自然图像的抽象的表示。受限玻耳兹曼机（Restricted Boltzmann Machine）作为深层学习方法的基石具有优异的特征提取能力，从而成为物体识别任务特征提取算法的有力候选者。但普通的RBM作为非监督学习方法学习到的特征通常不具备很强的辨别力。结合统计学界近来提出的组稀疏性以及3阶RBM在物体识别问题的最新进展，我们提出从组稀疏化的角度研究RBM在物体识别中的应用。通过组稀疏化策略使得RBM可以从物体图像数据中提取具有辨别力的成组的特征，最终提高现有算法的物体识别准确率。3阶RBM在这个研究框架下被视作实现组稀疏性的一种特例，从而得到系统地研究。

物体识别（Object Recognition）是人类的一项独有的本领，也是机器视觉和机器学习领域的一个根本的问题。受限玻耳兹曼机（Restricted Boltzmann Machine）作为深层学习方法的基石具有优异的特征提取能力，从而成为物体识别任务特征提取算法的有力候选者。本项目通过分析RBM的学习算法–对比散度（Contrastive Divergence, CD），指出RBM的学习到的特征可能有时并不具有辨别力，并且随着隐单元数目的增加，所学习到的特征也开始出现同质化的现象。基于这些分析，本项目提出从组稀疏的角度来看待RBM的特征学习。.首先，从监督学习的角度，提出一种混合的三阶受限玻尔兹曼机（Hybrid 3-order RBM, H3RBM），一方面利用类别数据和网络结构，保证了模型的组稀疏属性，另一方面通过引入类别无关隐单元，而这个混合的三阶受限玻尔兹曼机所定义的分类器只建立在类别相关的特征之上，从而具有更高的分类效率。.其次，从非监督学习的角度，提出一种基于隐单元激活概率的l1/l2正则化方法来考虑局部隐单元的统计相关性。这种正则化方法不仅促使大量隐单元组保持在不激活状态，即组间稀疏，同时使得组内的隐单元也大多保持在不激活状态，即组内稀疏。我们称使用这种正则化方法训练的受限玻尔兹曼机为稀疏组受限玻尔兹曼机（Sparse Group Restricted Blotzmann Machine, SGRBM）。进而我们将这种正则化方法推广到两种深层网路模型（Deep Belief Net 和Deep Boltzmann Machine）。在这种正则化方法的帮助下显著地改进了这一系列模型在不同的学习任务（自然图像建模、生成模型、分类器）中的性能。