基于跟踪的多方向场景文本检测

Computer vision is a very popular research field in recent years, in which video understanding is a research hot. In the literature, some research shows that the semantic information from text contains more than 70% of the whole image, so detecting and recognizing text from images and videos is an important task for video understanding. Multi-orientation scene text detection is a difficulty. Its challenges includes skew distortion, low contrast, and arbitrary motion. Most conventional video text detection methods using individual frames have limited performance. First, we research a multi-information fusion-based multi-orientation text detection method in each frame is proposed to extensively locate possible character candidates and extract text regions with multiple channels and scales. Second, we research a tracking-by-detection methond: energy minimizing based tracking to improve the simple tracking method. Finally, we research a dynamic programming based text tracking framework in which 3 different type tracking methods are used respectively and combined finally to improve detetion。

计算机视觉是近年来非常热门的研究领域，其中视频理解是一个研究热点。研究表明，在有文字的图像中，文字所包含的语义信息占整张图像的70%以上，因此对图像中的文本进行提取和识别是视频理解的重要任务。其中，多方向场景文本的检测是一个难点，其中的挑战包括扭曲，低对比度，不规则运动等等。传统方法常采用单帧图像做文本检测，这影响了其效果。本项目首先研究一种单帧图像的多信息融合的多方向文本检测方法，在多通道多尺度上定位字符候选并获取文本区域。然后研究一种tracking-by-detection方法：基于能量最小化的跟踪方法，提高单独跟踪算法效果。最后研究一种基于动态规划的文本跟踪框架，采用3种不同类别的跟踪方法分别进行跟踪，然后融合，提高检测效果。

计算机视觉是近年来非常热门的研究领域，其中视频理解是一个研究热点。研究表明，在有文字的图像中，文字所包含的语义信息占整张图像的70%以上，因此对图像中的文本进行提取和识别是视频理解的重要任务。其中，多方向场景文本的检测是一个难点，其中的挑战包括扭曲，低对比度，不规则运动等等。传统方法常采用单帧图像做文本检测，这影响了其效果。本项目首先提出了一种单帧图像的多信息融合的多方向文本检测方法，通过字符候选提取，字符候选的验证和融合，文本候选区域的构建和文本候选区域的过滤，解决了多通道多尺度的算法带来的冲突和更多误检。然后提出了一种基于能量最小化的跟踪方法，通过结合检测能量模型、外观能量模型、互斥能量模型，提高跟踪算法效果。然后提出了一种基于动态规划的文本跟踪框架，采用3种不同类别的跟踪方法分别进行跟踪，然后融合，高检测效果。最后，提出了一种基于时空信息的文本跟踪算法，将检测和跟踪任务融合到一个深度神经网络中，提高了性能。