网格环境下基于数据交换区的作业分配与再调度

网格计算能够高效的完成各种大规模的科学计算以及仿真模拟。随着大规模计算精度的提高，其产生的数据量也呈指数级不断增加，网格环境下受到网络和存储设备的限制，数据的访问速率远远低于处理器的处理速率，成为系统的瓶颈。本项目将提出一种新的作业执行辅助设施：网格数据交换区GSwap，用来为作业的数据交换提供一个高效可靠的场所，并统一管理与作业相关的文件，改进作业执行中数据交换的模式。提供一个GSwap文件的访问代理，依据作业的类型选择数据访问模式以及数据分布，为作业访问GSwap提供一个统一的、透明的访问接口；提供GSwap节点的异常检测与处理，提高其文件访问服务的可靠性。基于GSwap作业执行中间结果实现检查点算法，缩小检查点算法和再调度算法的开销。在动态网格环境下为调度决策系统提供调度依据，提高作业对数据的访问效率，使得网格资源的利用更加合理，保证任务完成时间门限值，改进应用程序的执行性能。

网格环境下受到网络和存储设备的限制，数据的访问速率远远低于处理器的处理速率，成为系统的瓶颈。本项目引入分布式文件系统的数据共享与传输协议改进网格作业数据传输模式，提出了一种新的作业执行辅助设施：网格数据交换区GSwap，将分散在多个节点中的文件共享目录聚合成数据交换区，为网格作业的执行提供了一个数据交换的平台，实现了网格数据副本的索引与校验。建立了基于云存储的文件访问代理体系结构，为网格计算作业的数据访问提供一个统一的、透明的访问接口。设计了一个基于HDFS的数据备份系统，实现了数据备份与恢复操作的负载平衡。提出了轻量级网格性能监测方法以及基于计算智能的网格性能预报方法，设计并实现了低开销、高精度的通用网格性能在线监测预报系统，为调度决策系统提供调度依据，提高了文件服务的可靠性。设计了基于身份别名与辅助认证方的方法改进IBE方案，解决了部署IBE系统所遇到的问题，扩大IBE系统的应用范围，使之更加适用于网格等领域，并基于改进的IBE系统设计了网格资源安全访问模型，实现了资源的安全访问。使用伪随机序列和线性探测再散列方法改进IDEA算法，使用伪随机生成阶段中加入行移位和列移位的过程改进RC4算法，并在算法改进的基础上设计实现了网格数据加密系统，对网格中存储与传输的数据进行加密保护。提出了合作式本体模型，多步入侵警报关联模型，朴素贝叶斯分类模型，实现了分布式智能入侵检测系统，能够为大规模网格计算环境提供安全保障。设计并实现了支持作业调度机制、数据调度机制与检查点机制的大规模并行作业元调度系统，是国际上公认的网格元调度系统之一，被写入IBM的技术白皮书，且与世界上网格计算的标准工具集Globus Toolkit同步开发及发布，应用于多家单位的科学研究与产品制造过程中并受到广泛好评。以上学术成果提高了作业对数据的访问效率，使得网格资源的利用更加合理，保证任务完成时间门限值，改进应用程序的执行性能。项目执行期内，在国际期刊、国际会议和国内核心期刊上发表论文30篇，出版专著2部，取得国家发明专利1项，申请国家发明专利2项，代表文章发表于分布式计算领域顶级SCI期刊IEEE TPDS。相关学术成果获得了中国工程院周仲义院士，美国佐治亚大学生物信息学院Ying Xu教授，美国德克萨斯大学达拉斯分校计算机科学系Edwin Sha教授、郑斯清教授等的好评与认可。