基于日常移动平台的用户状态感知与软件协同技术研究

Understanding the user's appearing and hidden states are critical for building software services that maches personalized requirements and with high user experience. However, exiting techniques are limited for servral reasons: lacking proper formalization of domain knowledge, over simplified computing method, invasive sensing approach, closed service contents, pre-defined coordination approaches, etc. Based on existing research on related topics, this research targets at the everyday life scenario, aims at understaindng the user's key appearing and hidden states. This techonolgy is based on non-invasive daily mobile platform-based sensing technology and digitalized domain knowledge, and relies on crowdsourcing based cognitive computing methodolgy. Base on the cognition results, this research aims at understanding user's service requirements based on user's states, and further develop user state driven, self-adaptive software service coordination methods to provide services that maches user's personalized requirements and can self-adapt according to the requirement changes. Finally, the research results will be used to construct a campus abnormal state alert and aid demo service. This demo service will demonstrate the usefulness of this research and build foundations for further research and applications.

深入理解用户的外显和内隐状态对提供符合用户个性化需求、体验良好的计算服务有重要的指导意义。但是现有的相关技术在以下几个方面尚存在局限性：领域知识形式化程度较低；认知计算方法单一；感知手段复杂侵入性较高；服务内容封闭碎片化，协同手段预定义等。在已有工作的基础上，本项目旨在研究围绕日常生活应用场景，通过日常移动平台自然化的感知手段，以数字化领域知识为指导，在群智计算所获得的认知计算模型的基础上，实现对用户关键外显和内隐状态的感知。在认知结果的基础上，探讨从用户外显和内隐状态中获取其服务需求。以用户需求驱动服务协同与自适应，实现为用户提供满足其个性化需求，并使得软件服务随需求变化而演化的目标。最后,通过面向在校大学生教育和生活状态中的异常状态预警和干预服务,综合体现研究成果,为后续的研究与应用奠定基础。

本项目围绕用户外显和内隐状态感知、识别与软件协同与构造问题展开了系统性的研究。我们的研究内容从领域知识建模、认知计算模式、自然化感知、软件协同构造和示范应用五个方面取得了良好的进展。在知识建模方面，以用户思维工作负荷、情绪为代表的用户内隐态建模方面创新性地提出了三维度思维工作负荷模型，通过实证研究的方法，验证了该模型的有效性，并构建了外在点击动作特征与内隐思维状态之间的识别模型，具有较高的创新性。进一步发展出针对在校学生和企业程序员在编程学习和开发过程中的情绪模型，具有广阔的应用前景。在认知计算模式方面，提出了在线性和连续性两条实时性标准并提出了相应的实时识别算法；针对多维度领域知识模型，创新性地提出了包括时空关联关系和反馈式迭代认知计算方法，能够有效增强现有机器学习方法对用户状态的识别准确性；针对持续用户状态认知过程中的关键技术问题，如，数据缺失问题，进行了深入研究并提出了包括HKMF-T和CARMUS在内的创新性的数据补全算法，相应成果处于国际领先地位。在自然化感知方面，提出了包括穿戴舒适性、隐私保护性、设备简易免维护性在内的非侵入、自然化感知系统的设计准则，提出了使用可穿戴式RFID、薄膜式振动传感器、可穿戴体音感知设备、基于日常移动和计算设备在内的多种自然化感知设备，实现了针对多种用户状态的有效感知，有望实现进一步的推广与应用。在软件协同构造方面，提出了面向动作的上下文感知应用软件构造与验证方法，以及以开发者主题认知位核心的软件关联关系预测技术。在上述研究工作的基础上，针对在校学生和企业程序员群体的情绪与心流状态感知、识别与应用技术展开了创新性的应用研究，设计实现了相应的示范应用系统。针对学生群体，展开了含约150位学生，持续5个月的数据采集，并将相应的技术运用到实验教学过程中，展示了其应用前景；针对企业程序员，采集了包含20位程序员持续3个月的数据并开发了应用原型系统，有望取得大规模应用。