南京大学：《物联网技术导论 Introduction of Internet of Things》课程教学资源（课件讲稿）第三章 传感器感知技术

第二篇感知模态 第2章传感器感知技术 《智能感知技术导论》


  
  ƙIƞ ĄƁŌÿ

目录 1 视觉感知技术 2 语音感知技术 3 触屏感知技术 4 惯性感知技术 5 其他感知技术

 LjljĄƁČĺ  ǖȗĄƁČĺ njâĄƁČĺ ăĀĄƁČĺ
 rmĄƁČĺ

PART.1 7 视觉感知技术

   PART.1

基本原理 视觉感知是对图像或视频数据中的目标、行为、场景等信息进行识 。 别、测量和理解的过程，用于目标检测、行为识别、场景感知等。 目标 检测 行 图像处理 识别 场景 感知 视频收集 图片帧序列 应用场景

dn@ • LjljĄƁĴÙ¸jĆLjȚĨėAŶŹńȲǂBȲ»ĵƚgĂDzǂǔ ƒȲŚȃ²ŮNjŶǮƏOŰdŹńʼnŚȲǂBǔƒȲ»ĵĄƁƚȳ %  + /  & ¤Án½ >W\- ]ˆ@r >%D†

典型的数据预处理方法 ·ROI提取：设置感兴趣区域 ·灰度化：像素点为0-255的灰度值 输入图像 Mask图像 ROI区域 Gray R2.2+(1.5G)22+(0.6B)22 1+1.52.2+0.62.2 ·通道分离：RGB三通道分离 RGB图像 R通道图像 G通道图像 B通道图像

4c‚he¹Lkx • ŢïPjƤţBŶŢïh RGB>% Rµ¶>% Gµ¶>% Bµ¶>% • ǺǼ~ƉP4-)SǺǼ~Ɖ • 41/ ĝžPǑƴĄqǠ’Á + = °&>% Mask >% ROI 3B

典型的数据预处理方法 ·滤波：简单常用的图像处理方法，主要用于减少噪点或失真 ·线性滤波：方框滤波、均值滤波、高斯滤波等 ·非线性滤波：中值滤波、双边滤波等 ·形态学滤波：腐蚀、膨胀、开/闭运算等 输入图像 均值滤波 形态学腐蚀 形态学膨胀

• ŠŘPƜèŰŶ¸jÅŮįŗOCDŽŰdzß·ţĆÌż • xeec4Y_ecœ:Cecœ•Xecu • ’xeec4CecœOˆecu • Hd@ec4šœ™œFŽ‰vu °&>% [#| aeJÆÈ aeJÇÅ 4c‚he¹Lkx

研究进展 目标检测 人脸识别[1) 眼球追踪[2] 三维重建[3] [1]Farrukh,H.,Aburas,R.M.,Cao,S.,Wang,H."FaceRevelio:a face liveness detection system for smartphones with a single front camera".ACM MobiCom,2020. [2]Song,C.,Wang,A.,Ren,K.,Xu,W."Eyeveri:A secure and usable approach for smartphone user authentication".IEEE, INFOCOM.2016. [3]https://github.com/raulmur/ORB SLAM2

‹¬n ‹ux~ Ÿª. [1] [1] Farrukh, H., Aburas, R. M., Cao, S., Wang, H. “FaceRevelio: a face liveness detection system for smartphones with a single front camera”. ACM MobiCom, 2020. [2] Song, C., Wang, A., Ren, K., Xu, W. “Eyeveri: A secure and usable approach for smartphone user authentication”. IEEE, INFOCOM. 2016. [3] https://github.com/raulmur/ORB_SLAM2. …´® [2] ™·_ [3]

研究进展一人体关节点检测 ·从单张深度图中预测人体关节的3D位置，设计一种身体部位的中 间表示形式，将姿势估计问题映射为像素分类问题，然后采用随 机森林分类器识别身体部位，重新投影生成人体关节。 (I,x) tree 1 tree 7 ront ront depth image body parts 3D joint proposals [1]Shotton,J.,Fitzgibbon,A.,Cook,M.,Sharp,T.,Finocchio,M.,Moore,R.,...Blake,A.Real-time human pose recognition in parts from single depth images.In IEEE CVPR 2011

‹¬nAG3š{uy • lôśï¸AșŚPzpƿŶ ^ƴOǑǍȣƊǦzǾ^ŶA ȉǃƇøóOÝȩŽ]ǍȈțijÜBjƤ~ƠȈțOŤ«ȀŰȏ Ļŋł~Ơ¶ǔƒǦzǾ^OȂĮčùůąPzpƿȳ [1] Shotton, J., Fitzgibbon, A., Cook, M., Sharp, T., Finocchio, M., Moore, R., ... & Blake, A. Real-time human pose recognition in parts from single depth images. In IEEE CVPR 2011.

研究进展一3D人脸识别 利用智能手机屏幕从多个方向照亮用户的脸部，捕获不同光照下的 面部图像通过光度立体恢复面部表面，并将其整合为3D面部轮廓， 以实现3D人脸识别、避免2D模仿攻击 M=LTS. [1]Farrukh,H.,Aburas,R.M.,Cao,S.,Wang,H."FaceRevelio:a face liveness detection system for smartphones with a single front camera".ACM MobiCom,2020

‹¬n A£9 • ‚ŰĶƹĈĻâélÈ@į¬ťiŰćŶƻǾOĕǁVªlťUŶ ȖǾ¸jǺǮlïƔzāÇȖǾǃȖOìÝrĪ©B ȖǾǩðO VÔŬ PƻǔƒȲǽnŌuĥ} [1] Farrukh, H., Aburas, R. M., Cao, S., Wang, H. “FaceRevelio: a face liveness detection system for smartphones with a single front camera”. ACM MobiCom, 2020.

研究进展一 眼球追踪 基于眼球追踪的移动设备身份验证系统，通过前置摄像头跟踪人眼 的运动，并应用信号处理和模式匹配技术来验证用户身份 Visual Stimuli Eye-tracking Authentication Design System Processing Dynamic Feature Corner-Gif Facial Info Eye Locations Statisticol Features Style Fruit-Row Processing Iris Contours Extraction Feature Selection Static Illusion-Image Gaze-angle Eyeball Model User SVM classifier Style Simple-Dot calculation Plane Projection Authentication Prediction [1]Song,C.,Wang,A.,Ren,K.,Xu,W."Eyeveri:A secure and usable approach for smartphone user authentication".IEEE, INFOCOM.2016

‹¬n†~­¨ • ÂdžŭǵǥŶƍŒǑÆǦtȞǒƣƮOǺǮ‡ƴĞjÍǢǥPž ŶǯŒOìîŰg§ÅŮ²Ōó‘ǿČĺĽȞǒŰćǦt [1] Song, C., Wang, A., Ren, K., Xu, W. “Eyeveri: A secure and usable approach for smartphone user authentication”. IEEE, INFOCOM. 2016