基于轨迹分析的动态几何运动分割与压缩编码

With the popularization of devices for acquiring dynamic geometries, it is espected that dynamic geometric data such as RGBD videos, animated point clouds, animated meshes will increase explosively in the near future. This project makes use of computer vision and computer graphics tools such as trajectory analysis, low-rank and sparse decomposition, barycentric coordinates and so on to investigate the motion segmentation and compression coding of dynamic geometries. Concretely, it involves following issues: a segmentation framework between motion foreground and still background as well as between motion objects; motion segmentation of animated point clouds based on trajectory analysis, multiresolution representations of RGBD videos based on piecewise-smooth subdivision surfaces, compression of animated clouds based on motion predition via animated CAGE reverse engineering,localized bilinear decomposition of shape and trajectory matrices of animated meshes,low-rank and sparse decomposition of shape and trajectory matrices of pose aligned animated meshes, and *CAGE-based compact representations of animated meshes as well as its error control method.

随着动态几何获取设备的普及,可以预见在不久的将来RGBD视频、动画点云、动画网格等动态几何数据会象图像和视频一样出现爆炸式增长.本项目利用轨迹分析、低秩与稀疏分解、重心坐标等计算机视觉和图形学工具研究动态几何数据的运动分割及在此基础上的压缩存储.内容包括：RGBD视频中的刚性运动模型估计及运动前景与背景之间、运动物体之间的分割框架;基于轨迹分析的点云序列刚性运动共分割；RGBD视频的细分曲面多分辨率压缩存储；通过CAGE序列重构进行运动预测的动画点云压缩编码；动画网格序列形状与轨迹矩阵的局部化双线性分解；经过对齐处理的动画网格序列形状与轨迹矩阵的低秩与稀疏分解压缩编码;基于*CAGE表示的动画网格紧凑表示及其误差控制方法。

围绕如下内容展开研究：静态/动态几何场景分割、压缩与处理；图像/视频特定动态对象分割与紧凑表示及其应用；动态几何误差可控的紧凑表示及在人体动态几何参数化表示与重构中的应用。取得如下重要成果。. (1)对带噪声、有缺失的物体运动点云序列（如Kinect数据）进行一致分割，提出从局部序列到全局序列的运动刚性块共分割方法。提出两阶段的法引导法向量去噪法，引入多法向概念并利用L1骨架提取算法进行尖锐特征分析。提出点云模型特征去除新算法，利用滚动滤波对点云法向量场进行滤波，提出细节特征感知的顶点约束模型。. (2)动画网格压缩与紧凑（参数化）表示。提出基于矩阵低秩稀疏分解的动态网格压缩算法。提出可感知模型运动的边长与二面角(LA)表示，并对边长二面角残差进行稀疏局部分解得到一组具有全局旋转不变性、能感知关节运动的稀疏局部化基。在此基础上，设计了一个局部稀疏基驱动的薄壳变形网格模型编辑算法。. (3)研究了图像/视频中运动物体的分割、跟踪与紧凑表示。提出一种三步骤“高精度连续人脸轮廓提取”方法：拟合关键点形成初始化曲线，沿曲线进行局部人脸轮廓线细化，局部人脸轮廓线全局融合得到最终的人脸轮廓线。提出误差可控的图像细分曲面表示。提出一个轻量级的宽基线图像插值算法，通过简单的单应计算来获得理想插值效果。. (4)系统地研究了人体姿态的特征识别、骨架提取、基于照片与视频重建、多样化、多尺度人体动态几何数据库构建和统一参数化表示。研究了300多个头发模型的数据集的稀疏局部化分解，能对常见的头发模型进行有效表达；结合encoder-decoder和CNN对模型的体向量场进行多尺度参数化编码和预测，增强基于照片头发重构中的细节表达；构建了基于人脸参数化模型FLAME的单张照片人体带头发头部重构系统。提出基于稀疏局部化基表示的统一人体参数化方法，可更有效解决大变形关节塌缩问题。对公开三维头发模型进行裁剪与物理仿真等方式创建了1000多个新头发模型的数据集；合成了带形状、表情、手势的18000个网格模型的数据集。. 围绕项目内容，在图像视频、点云/三维网格及其序列的分割、压缩、参数化表示、滤波与操纵等方面取得了一批高水平的研究成果；培养了一批地方经济紧缺的三维图形处理高层次人才。很好地完成了研究目标。