电子科技大学：《智能嵌入式系统设计》课程教学资源（课件讲稿）手势识别简介

例 /96 手势识别简介 信息与通信工程学院 潘晔 电子州放女学 电子科技大学信息与通信工程学院 2019/10/19

电子科技大学 宽带通信网络实验室 信息与通信工程学院 1 2019/10/19 手势识别简介 信息与通信工程学院 潘晔

目录 4 /96 手势识别 手势识别简介 2 基于视觉的手势识别 3 基于可穿戴设备的手势识别 4 手势交互案例 电子种放女学 电子科技大学信息与通信工程学院 2 2019/10/19

电子科技大学 宽带通信网络实验室 信息与通信工程学院 2 2019/10/19 目录 手势识别 1 手势识别简介 2 基于视觉的手势识别 3 4 手势交互案例 基于可穿戴设备的手势识别

4 /956 1 手势识别简介 1.1 手势识别概念 1.2 基于可穿戴设备的手势识别 1.3 基于视觉的手势识别 电子种放女学 电子科技大学信息与通信工程学院 3 2019/10/19

电子科技大学 宽带通信网络实验室 信息与通信工程学院 3 2019/10/19 1 手势识别简介 1.1 手势识别概念 1.2 基于可穿戴设备的手势识别 1.3 基于视觉的手势识别

1.1手势识别概念 手势是一种符合人类日常习惯的交互手段； /986 手势信息具有直观性、自然性和丰富性的 特点； ● 手势识别，即把外部设备检测到的含有手 势信息的数据输入到计算机中，通过处理 来对手势信息进行提取、分析和识别。 手势识别分类： √基于可穿戴设备的手势识别 √ 基于计算机视觉的手势识别 电子特做女学 电子科技大学信息与通信工程学院 2019/10/19

电子科技大学 宽带通信网络实验室 信息与通信工程学院 4 2019/10/19 1.1手势识别概念 • 手势是一种符合人类日常习惯的交互手段； • 手势信息具有直观性、自然性和丰富性的 特点； • 手势识别，即把外部设备检测到的含有手 势信息的数据输入到计算机中，通过处理 来对手势信息进行提取、分析和识别。 • 手势识别分类：  基于可穿戴设备的手势识别  基于计算机视觉的手势识别

1.2基于可穿戴设备的手势识别 /96 可读取手势信息的数据手套 利用可穿戴设备可以直接获取精确的关于手指的空间特征， 因而只需要对数据进行数据预处理就可以得到有效的手势数 据，之后对手势信号进行坐标系变换、特征量提取和特征分 类就可以识别手势。 电子特放女学 电子科技大学信息与通信工程学院 2019/10/19

电子科技大学 宽带通信网络实验室 信息与通信工程学院 5 2019/10/19 1.2基于可穿戴设备的手势识别 可读取手势信息的数据手套 利用可穿戴设备可以直接获取精确的关于手指的空间特征， 因而只需要对数据进行数据预处理就可以得到有效的手势数 据，之后对手势信号进行坐标系变换、特征量提取和特征分 类就可以识别手势

1.3基于视觉的手势识别 /96 EC680 Kinect:深度照相机 ·基于视觉的手势识别系统，相比于穿戴设备，能够使操 作者以更加自然的方式进行人机交互。 。 是指对视频采集设备拍摄到的包含手势的图像信息，通 过计算机视觉技术进行处理，进而对手势进行识别。 电子种放女学 电子科技大学信息与通信工程学院 6 2019/10/19

电子科技大学 宽带通信网络实验室 信息与通信工程学院 6 2019/10/19 1.3基于视觉的手势识别 Kinect深度照相机 • 基于视觉的手势识别系统，相比于穿戴设备，能够使操 作者以更加自然的方式进行人机交互。 • 是指对视频采集设备拍摄到的包含手势的图像信息，通 过计算机视觉技术进行处理，进而对手势进行识别

两种识别方式的比较 基于可穿戴设备的手势识别 986 √优点在于利用精确的硬件设备可以获得丰富的手势信 息，在各种复杂的背景中不易受到影响： √ 缺点在于需要昂贵的硬件设备，限制了手势的自然表 达方式，降低了用户的舒适度。 > 基于计算机视觉的手势识别 √优点在于不需要高昂的设备，且在操作时也更方便； 困难在于如何在复杂背景下将手势信息检测、分割 出来；类肤色的人脸等其他物体也会在手势分割 段被误分割出来，增加了错误率。 电子州做女望 电子科技大学信息与通信工程学院 2019/10/19

电子科技大学 宽带通信网络实验室 信息与通信工程学院 7 2019/10/19 两种识别方式的比较  基于可穿戴设备的手势识别  优点在于利用精确的硬件设备可以获得丰富的手势信 息，在各种复杂的背景中不易受到影响；  缺点在于需要昂贵的硬件设备，限制了手势的自然表 达方式，降低了用户的舒适度。  基于计算机视觉的手势识别  优点在于不需要高昂的设备，且在操作时也更方便；  困难在于如何在复杂背景下将手势信息检测、分割 出来；类肤色的人脸等其他物体也会在手势分割阶 段被误分割出来，增加了错误率

4 /96 2 基于视觉的手势识别算法 2.1 手势识别流程 2.2 静态手势识别 2.3 动态手势识别 2.4 3D手势识别 电子州做女学 电子科技大学信息与通信工程学院 8 2019/10/19

电子科技大学 宽带通信网络实验室 信息与通信工程学院 8 2019/10/19 2 基于视觉的手势识别算法 2.1 手势识别流程 2.2 静态手势识别 2.3 动态手势识别 2.4 3D手势识别

2.1手势识别流程 用户做手势 图像采集 手势检测与分割 /96 设备 手势分析 手势建棋 手势识别结果 手势识别 基于视觉的手势识别分为三个关键步骤： ·输入图像经手势分割进行分离，定位出手势区域： ·根据需求选择手势模型进行手势分析，并依据模型 提取手势参数： ，根据模型参数对手势选择合适的算法进行手势识别。 电子州放女学 电子科技大学信息与通信工程学院 2019/10/19

电子科技大学 宽带通信网络实验室 信息与通信工程学院 9 2019/10/19 2.1手势识别流程 基于视觉的手势识别分为三个关键步骤： • 输入图像经手势分割进行分离，定位出手势区域； • 根据需求选择手势模型进行手势分析，并依据模型 提取手势参数； • 根据模型参数对手势选择合适的算法进行手势识别

手势识别的算法根据输入数据的不同可分为三类 /96 静态手势识别 ·输入单帧的图像，识别手的形态。 动态手势识别 ·输入多帧的图像序列，识别手的二维运动状态。 3D手势识别 利用Kinect摄像头等获得三维的深度图像，将多帧的 深度图像序列作为输入，识别手的三维运动状态。 电子特放女学 电子科技大学信息与通信工程学院 10 2019/10/19

电子科技大学 宽带通信网络实验室 信息与通信工程学院 10 2019/10/19 手势识别的算法根据输入数据的不同可分为三类 静态手势识别 • 输入单帧的图像，识别手的形态。 动态手势识别 • 输入多帧的图像序列，识别手的二维运动状态。 3D手势识别 • 利用Kinect摄像头等获得三维的深度图像，将多帧的 深度图像序列作为输入，识别手的三维运动状态