电子科技大学：《智能嵌入式系统设计》课程教学资源（课件讲稿）人机交互（主讲：庄杰）

电子种越女学 University of Electroale Sclence and Technelery of China 986 人机交互 庄杰 2019.11

人机交互 庄杰 2019.11

主要内容 1936 ◆可穿戴计算中人机交互 ◆基于多普勒效应的自然人机交互系统 ◆基于WiFⅰ信道状态信息的手势识别 ◆往届参赛作品 ◆脑机交互 ◆课后作业

u 可穿戴计算中人机交互 u 基于多普勒效应的自然人机交互系统 u 基于WiFi信道状态信息的手势识别 u 往届参赛作品 u 脑机交互 u 课后作业 主要内容

呀 986 1.回穿戴人机交互系统整体设计 2019-12-9 2

2019-12-9 2 1. 可穿戴人机交互系统整体设计

系统整体设计 人体姿态 识别系统 操作员 VUI语音 虚拟机械臂 遥操作系统 空间机器 识别系统 视频反馈 视频采集 可穿戴人机交互系统整体框图 2019-12-9 3

系统整体设计 可穿戴人机交互系统整体框图 2019-12-9 3

好 人体姿态人机交互系统硬件 EEPROM FLASH 按键 单片机 NRF24L01 MPU6050 (STM32F103RBT6) USB接口 电源 串口 JTAG接口 可穿戴人体姿态人机交互系统硬件框图 2019-12-9 4

人体姿态人机交互系统硬件 可穿戴人体姿态人机交互系统硬件框图 2019-12-9 4

系统芯片简介 936 MPU6050传感器芯片，该芯片可同时测得被测物体 的角速度数据和加速度数据，相对于多组件设计方案 可以有效避免组合陀螺仪与加速度计出现的轴间差问 题。 NRF24L01的工作频段为2.4GHz,传输数据速率能够 达到2Mbps,室内的传输距离为20m,室外传输可达 50m,可满足室内可穿戴设备的数据传输。 NRF24L01 NRF24L01 无线串▣ USB 模块 模块 模块 可穿戴人体姿态多维传感捕捉系统 2019-12-9 5

系统芯片简介 MPU6050传感器芯片，该芯片可同时测得被测物体 的角速度数据和加速度数据，相对于多组件设计方案 可以有效避免组合陀螺仪与加速度计出现的轴间差问 题。 5 NRF24L01的工作频段为2.4GHz，传输数据速率能够 达到2Mbps，室内的传输距离为20m，室外传输可达 50m，可满足室内可穿戴设备的数据传输。 2019-12-9

人体姿态人机交互系统钦件 信息采集 数据处理 无线发送 MPU6050 STM32 NRF24L01 传感器 单片机 芯片 三轴加速度 三轴角速度 解算姿态角 体姿态识别 发送识别结果 可穿戴人体姿态人机交互系统软件功能框图 2019-12-9 6

信息采集 数据处理 无线发送 STM32 单片机 解 算 姿 态 角 人 体 姿 态 识 别 MPU6050 传感器 三 轴 加 速 度 三 轴 角 速 度 NRF24L01 芯片 发 送 识 别 结 果 2019-12-9 6 可穿戴人体姿态人机交互系统软件功能框图 人体姿态人机交互系统软件

求解姿态角流程 1956 开始 读取三轴加速度值 初始化姿态角 读取三轴角速度 值Kalman滤波 姿态解算 否 是否运动 读取三轴加速度值 解算姿态角 是 输出姿态角 校正当前姿态角 2019-12-9 7

求解姿态角流程 2019-12-9 7

人体姿态识别 人体姿态动作设计原则：容易被计算机识别 人体姿态 具体操作 对应操作 人体姿态1 操作员手臂向上移动 虚拟机械臂向上移动 人体姿夺2 操作员手臂向下移动 虚拟机械臂向下移动 人体姿备 操作员手臂向左移动 虚拟机械臂向左移动 非姿态4 操作员手臂向右移动 虚拟机械臂向右移动 人体姿态5 操作员手臂顺时针旋转 虚拟机械臂顺时针旋转 人体姿态6 操作员手臂逆时针旋转 虚拟机械臂逆时针旋转 2019-12-9 8

人体姿态动作设计原则：容易被计算机识别 人体姿态识别 人体姿态 具体操作 对应操作 人体姿态1 操作员手臂向上移动 虚拟机械臂向上移动 人体姿态2 操作员手臂向下移动 虚拟机械臂向下移动 人体姿态3 操作员手臂向左移动 虚拟机械臂向左移动 人体姿态4 操作员手臂向右移动 虚拟机械臂向右移动 人体姿态5 操作员手臂顺时针旋转 虚拟机械臂顺时针旋转 人体姿态6 操作员手臂逆时针旋转 虚拟机械臂逆时针旋转 2019-12-9 8

VUI人机交互系统 986 回穿戴空间机器人VU人机交互系统 2019-12-9 9

VUI人机交互系统 2019-12-9 9 可穿戴空间机器人VUI人机交互系统