面向Web环境下藏语社会网络分析的关键技术研究

本项目通过藏语网络实体关联分析，为国家安全提供分析数据。以此为背景，研究WEB环境下藏语社会网络分析关键技术。研究内容：藏语Web社会网络分析数据获取和表示；藏语Web数据实体识别和检索；以图模型为指导的藏语社会网络多关系挖掘；对藏语社会网络时空图模型发展变化进行预测。拟解决的关键问题：建立藏语Web数据统一表示模型；藏语实体识别和检索算法；高效的藏语网络实体语义关系抽取和建模方案；藏语Web时空动态变化和藏语实体间依赖关系，建立概率图模型，求解动态变化的藏语社会网络模式；社会网络分析中藏文本体技术，包括藏文编码统一、变形显现、版式规范、藏文分词、语料库及其标注体系、藏汉辅助翻译系统等。创新点：藏文实体搜索引擎的研发；Web环境下藏语实体属性模型和实体关联计算体系结构；动态网络环境下藏语网络群体的挖掘及演化分析算法；藏语社会网络全局信息发展态势分析及舆情预测的集成展示环境。

本项目采用社会网络分析方法，分析藏文Web的全局信息，为国家安全提供分析数据和舆情态势预测平台。通过对藏语Web社会网络分析数据的获取和表示，进行藏语Web数据实体的识别，形成藏语Web社会信息的搜索引擎；并通过对藏语社会网络多关系的挖掘以及对其时空发展变化的分析，构建可视化藏语Web社会动向的预测平台。针对WEB环境下藏语社会网络分析关键技术的深入研究，顺利完成项目目标。完成情况如下：.(1) 藏语web社会网络数据处理与表示. 提出了统计与规则相结合的藏文句子自动断句方法，以解决藏文标点符号功能的歧义问题；将句子作为一个语境主题，以卡方统计量来计算文本中词项与对比词项的关联程度，结合信息检索领域的经典模型—向量空间模型，提出了一种新颖的文本表示方法Chi-T-VSM以解决藏文文本表示问题；提出了一种基于条件随机场的紧缩词识别方法，显著地提高了藏文分词的效果。.(2) 藏语实体识别及实体关联分析. 建立了3.5M的藏语实体标注库和12万词典的藏汉词典；在分析藏语实体构成规律和特点的基础上，提出了一种最大熵和条件随机场相融合的藏语实体识别方法，根据语法特点整理了藏语概念词库、概念聚类、概念抽取的规则，以图模型为指导对藏语关联数据建模，挖掘潜在主题和实体与实体之间的关系，从而实现藏语实体关系分析器。 .(3) 藏语实体的社会网络分析平台. 藏语实体的社会网络分析平台以文本之间的内容关系作为边构建藏文资源网络，通过对该网络的结构分析来确定藏文文本重要程度，以藏文网页内容中的实体为研究对象来构建社会网络分析平台，依据 Web中藏语实体网络数据分析藏语实体之间的关系网络及演进情况。得出以下结论：截止2012 年共发现101873个藏语实体，这些实体通过各种关系建立了Web藏语实体关系网络，其中包括2453个实体建立了确定关系，213个中心节点，3654个群体关键点，117个藏语社区网络，以及13268个孤立节点（均是新发现实体）；数据表明Web藏语实体关系网有17%的社区通过关系节点之间建立关系，存在大量无关系网络导致网络相互隔离，此种情况跟复杂网络理论的网络封闭性不符合，这也是当前Web藏语网络的一个特点。. 经过三年的技术研发和资源建设，项目负责人和骨干成员在执行期内申请到国家自然基金项目和甘肃省重大科技专项各一项。