电子科技大学：《机器学习 Machine Learning》课程教学资源（课件讲稿）第17讲 循环神经网络 Recurrent Neural Networks

电子科技大学研究生《机器学习》精品课程 第17讲循环神经网络 17 Recurrent Neural Networks 郝家胜(Jiasheng Hao) Ph.D.,Associate Professor Email:hao@uestc.edu.cn School of Automation Engineering,Center for Robotics University of Electronic Science and Technology of China,Chengdu 611731 Aug.2015第一稿：Mr:2021第四稿

Email: hao@uestc.edu.cn School of Automation Engineering, Center for Robotics University of Electronic Science and Technology of China, Chengdu 611731 郝家胜 (Jiasheng Hao) Ph.D., Associate Professor Aug. 2015 第一稿；Mar. 2021 第四稿 电子科技大学研究生《机器学习》精品课程 第17讲 循环神经网络 17 Recurrent Neural Networks

人工智能是什么 The pen was in the box. The box was 电子科技大学研究生《机器学习》

电子科技大学研究生《机器学习》 The pen was in the box. The box was in the pen. 2 人工智能是什么

人工智能是什么 夏天，能穿多少穿多少。冬天，能 穿多少穿多少。 如果你到了我还没到，你就等着吧 如果我到了你还没到，你就等着 吧 电子科技大学研究生《机器学习》

电子科技大学研究生《机器学习》 夏天，能穿多少穿多少。冬天，能 穿多少穿多少。 3 人工智能是什么 如果你到了我还没到，你就等着吧 ，如果我到了你还没到，你就等着 吧

Why RNN 在NLP领域取得巨大成功 OpenAl @OpenAl Congratulations to the GPT-3 team for earning a Best Paper Award this morning at #NeurlPS2020! B R ECURIED OpenAIat NeurIPS:2020 OpenAl at NeurlPS 2020 Live demos and discussions at our virtual booth. openai.com 1:33AM·Dec8,2020 1.5K 223 people are Tweeting about this 知乎@Sophia 电子科技大学研究生《机器学习》

电子科技大学研究生《机器学习》 Why RNN o 在NLP领域取得巨大成功 4

Why RNN 口在CV领域成为新兴的热点研究方向 Convolutional Set of Transformer neural image encoder- network features decoder Set of box predictions ,No object{o}● No object {0) ■■■■ Bipartite matching loss 电子科技大学研究生《机器学习》

电子科技大学研究生《机器学习》 Why RNN o 在CV领域成为新兴的热点研究方向 5

内容提要 Motivation RNN LSTM/GRU Applications Discussion 电子科技大学研究生《机器学习》

电子科技大学研究生《机器学习》 Motivation RNN LSTM/GRU Applications Discussion 内容提要

例 1 Motivation 电子科技大学研究生《模式识别》

电子科技大学研究生《模式识别》 1 Motivation

Learning with Neura orks cat dogx Convolution 】● output layer input layer Max Pooling hidden layer 2 Can repeat Fully Connected many times Feedforward network 16@10x1 I S4:f.maps 16@5> Convolution T.maps 14X14 64 Max Pooling Full c ction Gaussian connections Convolutions Flatten ull connection 电子科技大学研究生《机器学习》

电子科技大学研究生《机器学习》 Learning with Neural Networks Fully Connected Feedforward network cat dog …… Convolution Max Pooling Convolution Max Pooling Flatten Can repeat many times

Motivation ▣无法预测趋势 Loss Feature- Steering- Extracting Predicting Sub- Prediction Sub-network network 2900 2800 0 25 50 75 100 125150 175 4027407 电子科技大学研究生《机器学习》

电子科技大学研究生《机器学习》 o 无法预测趋势 Motivation 9

Motivation 口语音识别差 What can I help you with? 讯Z听见 准确率95% 数字0-10语音波形 讯门配暗 一站式配音服务平台 目标语音 预处理 特征提取 对比匹配 识别结果 训练 数据库 电丁什夜大于听无生《机器学)

电子科技大学研究生《机器学习》 o 语音识别差 10 准确率95% Motivation