关于多种神经网络集成剪枝方法的综合研究

神经网络集成是用于提高学习机精确度的著名方法，有效的集成系统是由精确且多样化的成员网络集合构成的，很多情况下，由原集成系统的一个适当的子集所构成的新系统较原系统性能更优，而如何选择此适当的子集则是个难解的复杂问题。本项目拟结合机器学习、神经网络和模式识别领域的知识和方法，研究解决上述问题，即：研究集成系统剪枝方法的设计问题，也称为：选择性集成系统的构建问题。具体而言，项目拟针对现有方法的不足，构建一个新颖的n位二元编码ICBP集成系统，并在此基础上综合研究多种新型的集成系统剪枝方法，包括基于遗传算法、粒子群优化算法、聚类、半正定规划，以及粗糙集理论的集成系统剪枝方法。本研究有助于降低学习模型的复杂度，提高系统的推广性能，避免过拟合的发生，同时缓解集成系统在大规模真实世界应用中所面临的庞大的存储空间和冗长的计算时间两方面的严重问题，因此，本项目的研究工作具有重要的理论意义和实际价值。

集成学习方法由于其良好的性能表现，近年来成为机器学习和模式识别领域的热门研究课题，且被成功地应用于多个领域，如人脸识别、光学字符识别、科学图像分析、医学诊断、时间序列预测等。我们对集成学习方法进行了深入研究。首先，我们研究了一种多样化神经网络集成系统的构建方法；第二，研究了集成剪枝算法及其在模式分类问题中的应用，提出了多个新颖且高效的算法，包括：竞争性的基于交叉验证方法的集成剪枝（CEPCV）算法；基于回溯法的集成剪枝算法；高效的“一条路径往返两次搜索”的集成剪枝（OPTT）算法；新颖的基于随机化贪婪选择策略和投票机制的集成剪枝（RGSS&B-EP）算法；基于贪心随机自适应搜索过程的贪婪剪枝（GraspEnS）算法；第三，研究了集成剪枝算法及其在时间序列预测问题中的应用；最后，将对集成学习的研究与对其他经典神经网络模型的研究结合起来，力图进一步提高模型的泛化性能及鲁棒性，更好地满足实际应用问题的需求。