基于概率图模型的张量分析及应用

现有的张量分析方法基本上都围绕着重建误差最小化和类间可分离量最大化的思路进行，而本项目则在概率图模型下研究张量分析，是研究张量分析的新方向。本项研究将不仅揭示张量分析的概率本质(概率解释)，更为重要的是能够借助体系完备的概率论定理和图模型，使张量分析的理论更加完善，能够对基于张量数据的实际系统建立强有力的概率图模型，使张量分析在处理诸如最优化方法、收敛性、在线学习等问题上有更先进、更灵活的解决方法。传统的概率图模型基本上都是基于向量数据的，对于小样本训练集容易过拟合，而基于张量的概率图模型则可以克服或缓解这一难题。传统的张量分析主要用来特征提取，而本项目的张量分析有明显的概率意义，还可直接用于物体分类、数据摘要化和检索、物体合成等。本项目的主要研究内容是建立张量数据和多层贝叶斯模型之间的联系，研究张量多层贝叶斯模型的最优化问题以及相关的应用。

在张量分析、概率图模型等方面发表22篇，其中SCI论文14篇。申请2项国家发明专利。(1) 对于诸如影评-用户等推荐系统中的数据，我们提出把这类数据增加一个时间维数，构成三阶张量数据，作为协同滤波的输入。进而提出了基于三阶张量的概率张量分析方法，引入了时间信息以及周期信息作为约束条件。在目标函数中采用了Tsallis divergence，使得算法对噪声的鲁棒性得到了显著提高。算法的最优解由q-EM算法迭代求解。(2) 已有张量分析大都基于Frobenius范数，而该范数受离群样本的影响很严重。为了克服这一问题，提出了基于L1范数的鲁棒张量分析方法。该方法对于张量数据，用L1范数表达了各个模态下的基向量构成的目标函数，通过在多模态上交替迭代求得最优解。对算法的收敛性进行了严格证明。(3) 为了充分挖掘图像和文本的信息，建立两者之间的语义联系，提出了两层概率主题模型。该模型由文本层概率主题模型和图像层概率主题模型组成。文本层概率主题模型能够从大量文本中抽取有用主题，有效抑制文本的噪声；图像层概率主题模型，得到了图像的视觉相似度和语义相关性信息，这些信息可以有效补充文本语义。该算法已成功应用于游记文本配图系统中。(4) 提出了能够挖掘局部主题和全局主题的概率主题模型。把Document-term的概率分布表示成局部主题和全局主题的概率组合。其中局部主题与文本的位置主题相关联，表达了某位置的独特主题特性。全局主题则包含了该类文档的总体特性。用多层概率图刻画各变量之间的概率依赖关系。为了突出局部主题，提出用互信息量衡量局部主题和数据集合的相关性。在最优化上，使用广义期望最大化算法，通过E-Step和M-Step迭代进行参数求解。(5) 提出了三阶张量和三角形约束(三对约束)的尺度不变的图像匹配方法。传统谱分解方法仅仅利用了成对约束(pairwise constraint),当两幅图像的尺度差别较大时，该约束失效。为了克服这一问题，提出三对约束进行图像匹配的方法，利用相似三角形的原理，使用一个三阶张量来表示候选配对点的affinity matrix。还提出了加权投票机制，使得图像匹配既具备尺度不变性，还有很高的匹配效率。(6) 提出了一种基于高斯分布的增量式阈值分类器。用增量式的方法来对特征的概率分布进行建模，利用Chernoff界来近似训练误差，并解析解来得到最优阈值。