面向实体信息集成的非合作半结构化深网数据源选择

In web environment, most of deep webs are semi-structured, and web crawler can not get the content of them. Therefore, non-cooperative semi-structured deep web is our research object. As entity imformation integration is the important research content of the Deep Web information integration, meeting user damand for integrated retrieval of entity and improve the efficiency of Deep Web integration is our goal,so we study the corresponding data source selection method for semi-structured Deep Web.The work of research include sampling deep web, construct summary, summary update and evaluation strategy. The representation of sampling data of existing methods is not strong.Therefore, taking the characteristics of the entity data of semi-structured deep web into consider, we propose a sampling technique for semi-structured deep web sampling base on random walk tree and graph. For the demand of integrated retrieval,including entity information integration and Entity association mining,we propose a summary construction method base on documents ,feature word and label.Taking above demand characteristics into account, we propose two data source selection methods,the first is based on interest and novelty,the second is base on characteristics transfer relationship of entity. In order to reduce the workload of the update of data source summary,we take the update characteristics of data sources in the same field into account,proposing a summary update strategy base on sampling and entites extended. The study will help to enhance the semi-structured deep web integration efficiency and also has a good application prospects.

Web环境下，大部分深网是半结构化的且不能用传统爬虫获取其中内容，因此本项目以非合作半结构化深网数据源为研究对象。由于实体信息集成是深网集成的重要研究内容，因此以满足用户实体集成检索的需求，提高Web深网集成效率为目标，研究相应的半结构化深网源选择方法。研究内容包括深网抽样、摘要构建、摘要更新、选择策略。项目针对已有深网抽样采样数据代表性不强等问题，鉴于半结构化深网实体数据特点，提出了基于图和随机游走的半结构化深网抽样技术；针对实体信息整合与实体关联挖掘的集成检索需求，提出了基于文档与特征词标注的摘要构建方法，并结合以上需求特点分别提出了基于兴趣度和新颖度的数据源选择方法、基于实体特征传递关系的数据源选择方法；为了减少数据源摘要更新工作量，基于同领域数据源数据更新特点，提出了基于抽样和实体扩展的局部摘要更新策略。该研究有助于提升半结构化深网集成效率，具有较好的应用前景。

为满足基于相关性和多样性的集成检索需求，提出了一种基于主题与概率模型的非合作深网数据源选择策略。我们构建了基于主题的层次化数据源摘要和偏差概率分布模型，提升了相关性判别的准确率。. 实体集成需求具有多样化的特点，我们做了以下相关研究：1）实体信息集成检索需求以实体为核心，因此我们构建了以实体为中心的数据源简要摘要。利用情感词与主题词进行重复度计算，基于信息增量进行数据源选择。2）景点人文信息集成的数据源选择的本质是基于所有相关的名人人文信息集成的数据源选择。为了有效实现基于“景点+名人”、“景点”或“名人”模式的旅游人文信息集成的Web数据源选择，我们构建了基于名人、人文主题以及相应的人文信息长度和标记词等为组成元素的数据源摘要，以较少的数据量较好地概括了数据源的人文信息；另外，基于名人人文信息增量设计了相应的数据源选择策略。. 数据源内容更新时，摘要也需对应更新才能保证数据源选择的准确性。整体更新数据源摘要工作量巨大，因此使用局部更新策略提高效率。首先，建立了基于人物与特征词关系对的数据源摘要。当某个人物对应内容变化达到一定程度，其摘要需要及时更新，且与其关联紧密的人物对应摘要也需要更新。而后，我们提出了基于文化内容增益的数据源评分策略。. 实体关联信息挖掘以丰富实体之间的关系为目标，满足用户深层次的检索需求。我们基于实体关联图中的实体权重以及链接信息，构建了实体关联矩阵摘要；基于实体关联查询意图提出了数据源相关性计算方法。. 另外，为进一步提升数据源选择策略的效率与效果，我们还做了一些扩展研究。为了进一步提升Web数据集成的价值，提出了基于行为与内容的垃圾数据识别方法。针对时空关键词检索需求，提出了一种基于混合位图的索引，既节省了空间，又支持相关性计算。本课题研究有助于提升半结构化深网集成效率，在海量数据处理领域具有较好的应用前景。