从人脸视频中远程读取生理信号

Heart Rate (HR), Respiration Rate (RR) and Blood Pressure (BP) are important vital signs and has applications in many fields including medical diagnostics, daily health monitoring and human computer interaction. They may change when one’s health condition changes or emotional states vary. So far the standard to acquire these signals is to use some contact device, such as Electrocardiography (ECG) instrumentation for measuring the voltage gradient generated by cellular electrical activity within the heart. But these devices need to be fixed (tied) to some body parts, which may cause discomfort and not suitable for long time monitoring. It would be very valuable in both theory and application research if these physiological signals can be monitored in a more comfortable way, e.g., remotely without skin contact, for longer time. Remote non-intrusive bio-signal estimation is an attractive topic for both academic and commercial purposes. The basic idea is to reconstruct facial PPG (fPPG) signal from facial images, and use the fPPG signal to estimate HRV and then generalize to RR and BP. The objective is to collect the face video and the ground truth bio-signal data from both healthy people and patients, and from under different emotional states, investigate the reliable remote bio-signal estimation with computer vision and machine learning methods and build the prototype systems for different applications, which is expected to be utilized for health care related issues or online custom service. It will be the first attempt for studying the remote bio-signals analysis toward real world applications.

心跳、呼吸频率和血压都是非常重要的生理信号，在许多医学诊断、日常健康跟踪和人机交互中都有着广泛应用。它们会因为身体健康状况或情绪变化而随之变化。目前，检测这些信号仍需要使用接触式设备，比如使用心电图设备来检查心跳。但是这些设备需要接触到人体上，带来不适感，同样也不适用于长时间跟踪。如果能够以更舒适的方式，比如使用远程不接触方式，来检测这些信号，将会非常有理论研究和应用价值。远程非接触式生理信号估计是一个非常有吸引力的课题。基本思路是从人脸图像中重建PPG信号，然后用得到的PPG来估计心跳变异率，并扩展到呼吸频率和血压检测。我们的目标是从不同的健康和情绪应用中采集人脸视频数据和用接触式设备得到的生理信号，用计算机视觉和机器学习方法来研究远程生理信号估计算法，并用采集的数据和提出的算法建立测试性原型系统，以用于和健康相关或在线客户服务相关的应用。这也是第一个面向实际应用的远程生理信号估计研究。

心跳、呼吸频率和血压都是非常重要的生理信号，在许多医学诊断、日常健康跟踪和人机交互中都有着广泛应用。检测这些信号需要使用接触式设备，比如使用心电图设备来检查心跳。但是这些设备需要接触到人体上，带来不适感，同样也不适用于长时间跟踪。研究以更舒适的方式，比如使用远程不接触方式，来检测这些信号有重要的理论研究和应用价值。本项目着重于远程非接触式生理信号估计，1）采集并发布了100个健康人和100房颤病人的多模态信息数据库，包括人脸视频以及心电图，血压和呼吸等多种生理信号；2）首次提出了多个基于深度学习的新算法来进行端到端的人脸视频分析以及更精准地在高压缩视频中检测平均心率以及心跳变异性特征，并研究使用自动网络搜索算法来得到最佳网络架构；3）并用采集的数据和提出的算法建立测试性原型系统，通过远程检测的生理信号进行房颤的远程早筛和辅助疼痛检测。课题组成员组织了基于计算机视觉的生理信号检测国际竞赛，吸引了世界各地的研究人员参加，更好地推动了该领域的发展。该项目采集到的数据库以及提出的计算机视觉和机器学习方法检测远程生理信号，在情感分析以及医疗健康等方面有广泛的应用价值。