中国科学技术大学：《信息检索与数据挖掘》课程教学资源（研讨汇报）FOTS - Fast oriented Text Spotting with a Unified Network

FOTS:Fast oriented Text Spotting with a Unified Network 报告人：符子龙 2018年11月14日

FOTS：Fast oriented Text Spotting with a Unified Network 报告人：符子龙 2018年11月14日

CONTENTS ● 1 作者及单位介绍 2 相关工作概述 3 具体算法 4 实验结果及讨论

1 2 3 具体算法 相关工作概述 作者及单位介绍 CONTENTS 4 实验结果及讨论

作者介绍 乔宇，中国科学院深圳先进技术研究集成所副所长，多媒体集成 技术研究中心主任，广东省机器视觉与虚拟现实重点实验室常务 副主任。 商汤科技 2017:23篇CVPR,20篇ICCV 2018:44篇CVPR,37篇ECCV junjie yan,商汤科技研究员。 研究领域：行人识别，文字识别，目标识别 2015年获PHD,被引量3000+

作者介绍 乔宇，中国科学院深圳先进技术研究集成所副所长，多媒体集成 技术研究中心主任，广东省机器视觉与虚拟现实重点实验室常务 副主任。 junjie yan,商汤科技研究员。 研究领域：行人识别，文字识别，目标识别 2015年获PHD，被引量3000+ 商汤科技 2017:23篇CVPR，20篇ICCV 2018:44篇CVPR，37篇ECCV

0。.02 相关工作

相关工作 02

related work 文本定位 EAST 直接回归 基于 字符 基于回归 DRN SSD based 基于文 简接回归 Faster RCNN based 本行 Rotate RPN 主要不同：post processing 基于分割 目的：在保证分割准确率的前提 下，分离相近字符

related work 文本定位 基于回归 基于分割 直接回归 简接回归 基于 字符 基于文 Faster RCNN based 本行 SSD based EAST DRN 主要不同: post processing 目的：在保证分割准确率的前提 下，分离相近字符。 Rotate RPN

目前方法比较 精度方面 focus on 基于分割 基于回归 多方向 基于Word或文本行 基于字符 扭曲 不规则形状检测和相邻文本分离 基于分割 基于回归 文本 分离 基于字符 基于Word或文本行

目前方法比较 基于分割 基于回归 基于Word或文本行 精度方面 基于字符 不规则形状检测和相邻文本分离 基于分割 基于回归 基于字符 基于Word或文本行 多方向 扭 曲 文本 分离

related work ● 基于Word分类：多分类任务 文字识别 基于sequence-to-labelf解码：RNN(编码)+CTC(解码) 基于sequence-to-sequence建模

related work 文字识别 基于Word分类：多分类任务 基于sequence-to-label解码：RNN（编码）+CTC（解码） 基于sequence-to-sequence建模

0…03 本文算法

本文算法 03

pipeline Text Shared Convolutions Predicted BBoxes Detection 50 Branch Text Proposal Text Predicted Rol Features Recognition texts Shared Features Rotate Branch 文章思路： (1)、结合检测和识别(end-to-end),相互supervise提高精度 (2)、检测和识别共享卷积特征 (3)、ROI rotate选择合适特征进行识别

pipeline 文章思路： （1）、结合检测和识别（end-to-end）,相互supervise提高精度 （2）、检测和识别共享卷积特征 （3）、ROI rotate选择合适特征进行识别

EAST Feature extractor Feature-merging Output resize到原 stem(PVANet) branch layer 图 7×7,16,/2 3×3,32 1×1,1 Y ha conv stage 1 3×3,32 score map 64,/2 t:与上边框距离 1×1,32 RBOX concat geometry unpool,.×2 1×1,4 b:与下边框距离 local conv stage 2 3×3,64 text boxes 128,2 1×1,64 1×1,1 :与左边框距离 NMS concat unpool,×2 text rotation h angle r:与右边框距离 conv stage 3 3×3,128 256,2 1×1,128 QUAD geometry concat 日：角度 unpool,×2 1×1,8 conv stage 4 h text quadrangle 384,2 coordinates

EAST t: 与上边框距离 b:与下边框距离 l:与左边框距离 r:与右边框距离 θ：角度 local NMS resize到原 图