深度学习背景下面向普通用户的立体照片风格迁移

Image style transfer techniques apply certain artistic style onto a given photo. The generated results inherit the content of the given photo while show the visual appearance of the specified style. Image style transfer under the technical background of deep learning, also known as neural style transfer, achieves a great success in social networks. The industry of stereo cameras and stereo monitors develop fast these years. Thus, it is significant and forward-looking that working on stereo photo neural style transfer research...A dense disparity map can be calculated from a stereo photo by using stereo vision techniques, which reveals the spatial structure of the scene. This project aims at exploring the potential of the disparity map on guiding neural style transfer process. We propose a stereo photo neural style transfer framework for common users. The research content of this project includes: (1) Photo-effects oriented disparity map refinement. (2) Stereo photo neural style transfer with stereo consistency protection. (3) Detailed/abridged composition in neural style transfer based on stereo disparity. (4) Stroke orientation control by using stereo disparity...This project extends the neural style transfer method into stereo photo editing area. By using the disparity map, we also enhance the visual appearing generated results. Our proposed method has application value in online social networks and is enlightening for related areas like stereo video editing or augmented reality.

照片风格迁移方法将某种艺术作品的风格施加在给定照片上，形成符合该照片内容的艺术图像。深度学习背景下的照片风格迁移，也称神经风格迁移，在社交媒体中取得了巨大的成功。随着当前民用电子设备支持立体照片的拍摄和观看，立体照片神经风格迁移研究具有重要意义，且具有前瞻性。本课题旨在发掘立体照片带来的视差图在神经风格迁移中的应用潜力，并建立使普通用户易于使用的立体照片神经风格迁移方法。具体研究内容包括：有针对性的视差图强化方法；神经风格迁移中保持立体图像左右一致性；利用视差图控制神经风格迁移中的详略安排以及物体边缘笔触走向等。本研究将神经风格迁移方法拓展到立体照片应用，且有助于使合成结果更符合绘画中的表现意图，在社交网络中具有应用价值，且对立体视频编辑以及增强现实等领域具有启发意义。

本项目对无标记点运动分析系统展开了一系列研究。当前人体运动学和动力学研究主要采用有标记点的三维运动分析系统。此类系统准确性高，但是体积大，不易操作，价格昂贵，且使用前的需要较长时间进行准备（标定摄像机阵列，为受试者佩戴反光球）。这些因素使得有标记点运动分析系统的应用场景收到了限制，尤其是在临床应用方面有很大的局限性。本项目研究了更为廉价、快捷、易用的无标记点运动分析系统，提出了上肢功能运动评估模型，步态分析模型，并对传感器位置摆放的影响进行了实证研究。.本项目还进行了一项人体动力学相关研究，提出一种基于深度学习的模型，以人体下肢或全身三维运动信息来预测上梯和下梯过程中的地面反作用力。地面反作用力是生物力学研究中经常要用到的重要参数。在实验中，地面反作用力通常经由测力台获得，然而测力台这种设备价格昂贵，且铺设条件苛刻。很多实验场景下没有条件捕获地面反作用力。已有一些研究根据人体三维运动信息或简单的佩戴式压力传感器数据对走路或者跑步过程中的地面反作用力进行预测。登梯是一种常见的日常功能运动。大部分实验室不具备搭载测力台的台阶装置，因而无法测得登梯过程中的地面反作用力。本项目采集了登梯过程中的人体三维运动信息和真实地面反作用力，并以此训练了深度神经网络模型，根据三维运动信息对上梯和下梯过程中的地面反作用力进行预测。.