多模态人手手内操作技巧研究及其在仿生机械手上的应用

Improving bionic hands with human hand-like advanced manipulation capabilities is one of the most difficult and important challenges in the research of robotics. The project attempts to intensively investigate in-hand manipulation skills of human, and further transfer such skills into bionic multi-fingered dexterous robotic hands. ..Main research content includes: 1) To design the first hierarchical human in-hand manipulation database based on multi-modal data. 2) To analyse and model human in-hand manipulation skills via data fusion and corresponding techniques. 3) To develop approaches to generate finger trajectories and force distributions based on the derived skill models, and further to apply them to control bionic multi-fingered dexterous robotic hands...Two key issues will be addressed: 1) How to represent multi-modal human in-hand manipulation based on sub-actions and finger primitives. 2) How to dynamically link the status of the manipulated objects to the manipulation decisions...The main contributions are summarised as follows: 1) A novel hierarchical representation of human in-hand manipulation is proposed based on multi-modal data. 2) A new transferable model of in-hand manipulation skills is developed based on finger primitives. 3) Control strategies integrated with human manipulation skill models and online learning capabilities are designed for bionic robotic hands...This project will achieve effective approaches and practical solutions to develop advanced manipulation skills for bionic robotic hands, with more dexterous, autonomous and adaptive human-like in-hand manipulation capabilities.

增强仿生机械手操作技能，使之具有类人手复杂操作技巧是机器人研究领域所面临的难点热点问题之一。本项目将深入研究人手手内操作技巧，进而将此操作技巧转移至仿生多指灵巧机械手操作中。.主要研究内容包括：基于多模态传感数据，构建第一个多层次人手手内操作数据库；通过数据融合和关联技术，对人手手内操作技巧进行分析与建模；基于手内操作策略模型，开发手指轨迹规划和手指力分布算法，并应用于仿生多指灵巧机械手控制中。.重点解决两个关键问题：基于操作子行为和手指行为元，将复杂多模态人手手内操作进行有效地分解；构建操作物体状态和操作决策之间的动态关系。.创新点包括：基于多模态数据的复杂人手手内操作分解方法；基于行为元的可移植的手内操作策略模型；具有经验积累和在线学习能力的仿生机械手灵巧操作。.本项目研究将提出有效算法和切实可行的解决方案，增强仿生机械手操作技能，可望使之具有更加灵巧、自主和适应的类人手手内操作技能。

制造出具有人手灵活性的仿生机械手，一直以来都是科学家和工程师们梦寐以求的目标。对于人类很擅长的复杂动作，比如人手手内操作、双手协调操作、多次抓取等，仿生机械手目前却能力不够。人手手内操作的研究和分析，对增强仿生机械手灵巧性和拓宽其应用领域具有重要意义。本项目针对人手手内操作技能学习与多指机械手灵巧操作学习，已完成项目计划内容: 1）构建第一个人手手内操作数据库，包含了多种日常使用的手内操作行为；2）通过数据融合和关联技术，实现了对多模态传感器信息分析；3）利用机器学习算法对人手手内操作策略进行了有效建模；4）开发了手指轨迹规划和力分布算法，并研究了基于动态力的稳定性判断依据；5）在仿生多指灵巧机械手控制中，验证了所开发的算法框架应，在日常生活环境中实现了仿生手灵巧与操作。本项目立项以来，课题组共发表（含录用）论文57篇，其中SCI 收录26 篇，EI 收录论文31 篇。并在斯普林格发表学术专著《Human Motion Sensing and Recognition: A Fuzzy Qualitative Approach》（ISBN 978-3-662-53690-2、英文、436 页、35 万字）一部，申请国家专利2项（在审），并在国际杂志举办了关于智能人机交互的多个专题。课题组在项目研究成果基础上，继续开展了生物信号与视觉信号融合研究，以及在假肢和外骨骼机器人应用中的人机交互研究。