中国高校课件下载中心 》 教学资源 》 大学文库

广东工业大学:《机器学习》课程教学资源(课件讲义)第14讲 循环神经网络(RNN)

文档信息
资源类别:文库
文档格式:PDF
文档页数:47
文件大小:2.51MB
团购合买:点击进入团购
内容简介
广东工业大学:《机器学习》课程教学资源(课件讲义)第14讲 循环神经网络(RNN)
刷新页面文档预览

动手学深度学习 19.循环神经网络 中文教材:zh.d21.ai 英文教材:www.d2I.ai 教学视频:https:l/courses.d2l.ai/berkeley-stat-157/units/rnn.html D2L.ai

动手学深度学习 19. 循环神经网络 中文教材:zh.d2l.ai 英文教材:www.d2l.ai 教学视频:https://courses.d2l.ai/berkeley-stat-157/units/rnn.html

概要 循环神经网络 ·实现RNN语言模型 截断通过时间反向传播 ·门控循环单元(GRU) ·长短期记忆网络(LSTM) D2L.ai

概要 • 循环神经网络 • 实现 RNN 语言模型 • 截断通过时间反向传播 • 门控循环单元(GRU) • 长短期记忆网络(LSTM)

10 2 9 2 2 8 3 3 8 3 循环神经网络 7

循环神经网络

隐变量模型 ·隐含状态总结了有关过去所有的相关信息 ht f(x1,...xt-1)=f(ht-1,xt-1) p(htlht-1,xt-1),p(xtlht,xt-1) D2L.ai

隐变量模型 • 隐含状态总结了有关过去所有的相关信息 x h � ℎ! ℎ!"#, �!"# , �(�!|ℎ!, �!"#) ℎ! = �(�#, … �!"#) = �(ℎ!"#, �!"#)

循环神经网络 解释 行动 D2L.ai

循环神经网络 行动 解释

循环神经网络 输出 解释 观测 ·隐含状态更新 ht =(Whhht-1+WhxXt-1+bn) ·观察更新 ot=(Whoht +bo) D2L.ai

循环神经网络 • 隐含状态更新 • 观察更新 x h 观测 解释 �! = �(�""�!#$ + �"%�!#$ + �") �! = �(�"&�! + �&) 输出 o

代码.… D2L.ai

代码 …

实现RNN语言模型 D2L.ai

实现RNN语言模型

输入编码 需要将输入标记映射到向量 ·选择颗粒度(单词,字符,音节) ·映射到单热门编码的向量 nd.one_hot(nd.array([0,2]),vocab_size) [[1.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0. 0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.] [0.0.1.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0. 0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.0.] ·再乘以嵌入矩阵W D2L.ai

输入编码 • 需要将输入标记映射到向量 • 选择颗粒度(单词,字符,音节) • 映射到单热门编码的向量 • 再乘以嵌入矩阵 W

输入编码 H TI M 0 0 0 0 0 0 简洁向量V 01- 0 0 0 00 0 0 0 0 嵌入矩阵W 嵌入向量v D2L.ai

输入编码 简洁向量 � 嵌入矩阵 � T H E _ T I M E 1 0 0 0 0 0 0 1 0 0 0 0 0 0 1 0 0 0 0 0 0 1 0 0 1 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 1 0 0 1 0 0 0 嵌入向量 �’

刷新页面下载完整文档
VIP每日下载上限内不扣除下载券和下载次数;
按次数下载不扣除下载券;
注册用户24小时内重复下载只扣除一次;
顺序:VIP每日次数-->可用次数-->下载券;
相关文档