现代藏文自动校对研究

Research of Modern Tibetan automatic proofreading technology is a research topic with broad prospects and challenges in Tibetan information processing technology. The development of the Tibetan information processing technology prompted modern Tibetan publishing industry electronic. Tibetan website, Tibetan e-books, e-newspapers, e-mail and office documents, etc are emerging. Electronic text is growing massively ，which greatly increases proofreading. Manual proofreading has been unable to adapt to the electronic text proofreading. With auto-check system， proofreading to modern Tibetan words, phrases and syntax can be fast, easy and accurate. Based on the present Chinese and English proofreading technology, this project will study on syllable words, phrases, and grid particle in Tibetan text automatic proofreading. This project will make full use of the theoretical findings of the traditional Tibetan grammar and study on the formation and matching rules of syllable words, phrases, and grid particle in modern Tibetan text. Combined with text proofreading methods and the analysis of wrong types of syllable words, phrases, and grid particle, it will propose some debug and error correction methods and algorithm on proofreading modern Tibetan text.

现代藏文自动校对技术研究是藏文信息处理技术中一项具有广阔前景和极具挑战性的研究课题。随着藏文信息处理技术的发展促使现代藏文出版业电子化，藏文网页、藏文电子书、电子报纸、电子邮件及其办公文件等不断涌现，电子文本呈海量增长。使得在使用这些电子文本时，其中的校对环节的工作量大大增加，人工校对的方式已经无法适应电子文本校对，有了自动校对系统就可以通过快捷、简便、准确的对现代藏文文本进行字、词和句法的自动校对，将改变原始、落后、繁重、劳苦的人力校对方式。本项目在借鉴现有中文和英文文本校对技术的基础上，对现代藏文文本自动校对领域中的音节字、词和格助词进行深入研究和分析。充分利用传统藏语语法的理论成果，研究现代藏文文本中音节字、词和格助词的构成方式和搭配规则，结合文本校对的方法和理论分析音节字、词和格助词的错误类型，针对性的提出用于校对现代藏文文本的侦错与纠错方法及算法。

现代藏文自动校对广泛运用于藏文拼写检查、文本编辑、自动分词、语料库建设、辅助教学等领域，现代藏文自动校对的研究不仅能提升藏文信息处理的研究成果，而且能开拓一些新的研究领域，具有非常重要的研究意义和现实意义。.计算机自动校对研究在不同文种的信息处理中都非常重要，研究不仅有共性，每个文种都有各自文种的个性。本项目以“现代藏文自动校对研究”为题，从现代藏文音节字、词和格助词的自动校对入手，详尽分析音节字、词和格助词的结构类型、搭配规则以及错误来源和错误类型等，结合藏文文本由音节字成词、词成句、格助词表示语法关系的藏文文本特点，以自动校对的两个基本任务侦错和纠错为主要目标，提出了将现代藏文自动校对分为现代藏文音节字自动校对和词的自动校对、格助词的自动校对等三个模块的校对理论和方法。.本项目《申报书》中的主要任务确定为：1、现代藏文音节字的侦错与纠错研究；2、藏文词的的侦错与纠错研究；3、藏文格助词的侦错与纠错研究。以三项任务为主线，在现代藏文音节字的自动校方面，按照藏文文本的黏着性特点，对文本进行预处理，重点解决藏文格助词黏着性的分离和还原，再根据其错误类型将音节字校对分为非词和真词的校对；藏文词的自动校对是本项目的重点，也是本项目的一个难点，在对词进行校对时首先通过BCCF算法对文本进行分词，而后通过藏文分词单位对文本中散串进行定位，处理完散串后，将通过词的二元同现和词类的二元同现对词中出现非词错误和真词错误进行自动校对；藏文格助词的校对，首先要正确识别格助词，但由于藏文格助词的兼类现象极为复杂，本项目通过研究也提出了识别格助词的有效方法，建立了格助词知识库，识别格助词后，通过格助词知识库对其进行自动校对。项目的总体研究完成了《申报书》中提出的所有任务。.本项目在研究过程中，以《申报书》中的三项任务为主线，研制了“现代藏文音节字提取”软件、“N元模型统计”软件、“词频与词类统计”软件和“藏文自动校对”；建立了“音节字表”和“藏文词表”两个数据库。对开放文本进行测试，“藏文自动校对”软件对音节字的校对准确率为89%，词的校对准确率为68%，格助词的校对准确率为88%，达到了研究的预期目标。