《多媒体技术基础》课程教学资源（PPT课件讲稿）第九章 多模态人机交互技术

多媒体技术基础

多媒体技术基础

第九章多模态人机交互技术 从最早的手工操作到命令语言,再到 广泛使用的图形用户界面,操作的直观性 有了明显的改善 通过本章学习,可以了解(或掌握) 多模态人机交互技术的概念 科学计算可视化 信息可视化 虚拟现实技术

第九章 多模态人机交互技术 从最早的手工操作到命令语言，再到 广泛使用的图形用户界面，操作的直观性 有了明显的改善 通过本章学习，可以了解（或掌握） •多模态人机交互技术的概念 •科学计算可视化 •信息可视化 •虚拟现实技术

91人机交互技术概述 9.1基本概念 人机交互式研究人、计算机以及它们 相互影响的技术。 人机界面是计算机与人之间通信和对 话的接口,是计算机系统的重要组成部分

9.1人机交互技术概述 9.1基本概念 人机交互式研究人、计算机以及它们 相互影响的技术。 人机界面是计算机与人之间通信和对 话的接口，是计算机系统的重要组成部分

91.人机界面的发展历史 1.手工操作 2.命令行界面 3图形用户界面 WIMP界面,即以窗口、图表、菜单和指点 装置为基础的人机界面技术

9.1.人机界面的发展历史 1.手工操作 2.命令行界面 3.图形用户界面 WIMP界面，即以窗口、图表、菜单和指点 装置为基础的人机界面技术

9.1.3人机交互的发展趋势 目前,人机交互技术正朝着以人为中心, 减少人机隔阂,建立和谐的人机环境这 目标发展

9.1.3人机交互的发展趋势 目前，人机交互技术正朝着以人为中心， 减少人机隔阂，建立和谐的人机环境这一 目标发展

92多模态人机交互 9.2.1多模态人机交互概述 模态是心理学领域中的一个标准术语, 指感知信息的感觉,也就是感觉模态。 所谓多模态人机交互,就是基于智能 接口技术,充分利用人的多种感知通道, 以并行的、非精确的方式与计算机系统进 交互,旨在提高人机交互的自然性和高 效性

9.2多模态人机交互 9.2.1多模态人机交互概述 模态是心理学领域中的一个标准术语， 指感知信息的感觉，也就是感觉模态。 所谓多模态人机交互，就是基于智能 接口技术，充分利用人的多种感知通道， 以并行的、非精确的方式与计算机系统进 行交互，旨在提高人机交互的自然性和高 效性

多模态人机交互技术所涉及的研究范围 包括感知模型,语音识别,手写识别,姿 势识别,表情识别,眼动跟踪,自然语言 理解,触觉感知与表示,多模态通道信息 融合,高性能视觉和听觉处理平台等

多模态人机交互技术所涉及的研究范围 包括感知模型，语音识别，手写识别，姿 势识别，表情识别，眼动跟踪，自然语言 理解，触觉感知与表示，多模态通道信息 融合，高性能视觉和听觉处理平台等

1.采用多模态交互可以充分利用各种模态 的特性,完成其在功能上的划分和互补。 2.使用多模态可以提高交互方式的灵活性 3多模态并非多个模态的集合,m是它仍 之间的整合。也就是说,将手势、语音与 其他模态结合起来,采用具体的整合模型 或算法,得到高一级的语义特性并且实现 特定的应用

1.采用多模态交互可以充分利用各种模态 的特性，完成其在功能上的划分和互补。 2.使用多模态可以提高交互方式的灵活性。 3.多模态并非多个模态的集合，而是它们 之间的整合。也就是说，将手势、语音与 其他模态结合起来，采用具体的整合模型 或算法，得到高一级的语义特性并且实现 特定的应用

多模态人机交互的研究主要包括以下 五个部分 1)语音识别、理解及合成 2)手势识别技术 3)人脸的研究 4)唇读的研究 5)人体动作的研究

多模态人机交互的研究主要包括以下 五个部分： 1）语音识别、理解及合成 2）手势识别技术 3）人脸的研究 4）唇读的研究 5）人体动作的研究

92.2多模态人机交互的特点 1)使用多个感觉和动作模态 2)三维的和直接操纵的要求 3)允许模糊交互 4)交互双向性 5)交互的隐含性 它所要达到的目标 自然性、高效性和兼容性

9.2.2多模态人机交互的特点 1）使用多个感觉和动作模态 2）三维的和直接操纵的要求 3）允许模糊交互 4）交互双向性 5）交互的隐含性 它所要达到的目标 自然性、高效性和兼容性