北京林业大学：《深度学习》课程PPT教学课件（Deep Learning）第二章 神经网络与优化方法（主讲：孙钰）

深度学习 Deep Learning) 孙钰副教授 suny@bjfu.edu.cn 沙智能感知实验室 Smart Sensing Lab 北京林业大学信息学院 2021/2/9

北京林业大学信息学院 2021/2/9 深度学习(Deep Learning) 孙钰 副教授 sunyv@bjfu.edu.cn

1:神经网络简介 1.1深度学习与神经网络 12人工神经网络与生物神经网络 1.3神经元与感知机 14单感知机与多层感知机

1：神经网络简介 1.1 深度学习与神经网络 1.2 人工神经网络与生物神经网络 1.3 神经元与感知机 1.4 单感知机与多层感知机

1.1深度学习与人工神经网络 ①深度学习是种学习方式,指采用深度模型进行学习 ②人工神经网络是—种模型,只要层数够多深度够深,就能称为深度模型 X1 X3 X n 深度学习的基础是——人工神经网络

①深度学习是一种学习方式，指采用深度模型进行学习； ②人工神经网络是一种模型，只要层数够多深度够深，就能称为深度模型。 深度学习的基础是——人工神经网络 1.1 深度学习与人工神经网络

1.2人工神经网络与生物神经网络 人工神经网络是受到生物神经网络的启发而产生的: ①神经元的一端受到刺激会将信号传递到另一端 ②神经网络上的一个神经元将刺激信号传给下一个神经元 细胞核 神经冲动 ③复杂的神经系统是由简单的神经元相连组成

人工神经网络是受到生物神经网络的启发而产生的： 1.2 人工神经网络与生物神经网络 ①神经元的一端受到刺激会将信号传递到另一端 ②神经网络上的一个神经元将刺激信号传给下一个神经元 ③复杂的神经系统是由简单的神经元相连组成

1.3神经元与感知机 生物神经网络的最小单元—神经元 人工神经网络的最小单元—感知机 输入:一个向量 输出:一个标量 运算 线性变换(加权求和) 非线性变换(非线性函数) 输出=线性变换+非线性变换 z=P1W1+p2W2+…+p,W+b 8=

• 输入：一个向量 • 输出：一个标量 • 运算： – 线性变换（加权求和） – 非线性变换（非线性函数） – 输出 = 线性变换 + 非线性变换 生物神经网络的最小单元——神经元 人工神经网络的最小单元——感知机 1.3 神经元与感知机 z = p1w1 + p2 w2 + ... + pr wr +b a1 = g(z)

14单感知机与多层感知机 ①感知机是人工神经网络中的最小单元 ②单感知机是最最简单的神经网络 ③神经网络又被称为多层感知机模型 input layer hidden layer 1 hidden layer 2 hidden layer 3 output layer 如左图,若每个神经元都和下一层的 所有神经元相连,则被成为全连接 复杂的神经网络

①感知机是人工神经网络中的最小单元 ②单感知机是最最简单的神经网络 ③神经网络又被称为多层感知机模型 1.4 单感知机与多层感知机 一个复杂的神经网络 如左图，若每个神经元都和下一层的 所有神经元相连，则被成为全连接

2:神经网络优化方法 21训练过程三部曲24梯度下降 2.2正向传播 引例 2.3反向传播 更新参数 实现过程 导数、偏导数、梯度 多种实现方式 BP算法 多种优化算法 举例讲解 2.5综合举例 与正向传播的关系 2.6小结

2：神经网络优化方法 2.1 训练过程三部曲 2.2 正向传播 2.3 反向传播 导数、偏导数、梯度 BP算法 举例讲解 与正向传播的关系 2.4 梯度下降 引例 更新参数 实现过程 多种实现方式 多种优化算法 2.5 综合举例 2.6 小结

21训练过程三部曲 ①正向传播②反向传播③梯度下降 训练宏观过程:蓝色实线为正向传播 红色虚线为反向传播 求偏导数 A3 Y A 损失函数 梯度下降: A b=b-ac

2.1 训练过程三部曲 ①正向传播 ②反向传播 ③梯度下降 训练宏观过程：蓝色实线为正向传播 红色虚线为反向传播

2.2正向传播 正向传播 给出—个计算图,按照图中的箭头顺序,并根据模型参数 的当前值,依次计算并存储模型中各个中间变量的值。 如下图,需要依次计算q=x+y和f=q×z 这里的q就是中间变量,而在得到最终的结果之前,需要 计算并存储q的值。 3 f-12

2.2 正向传播 正向传播： 给出一个计算图，按照图中的箭头顺序，并根据模型参数 的当前值，依次计算并存储模型中各个中间变量的值。 如下图，需要依次计算 𝑞 = 𝑥 + 𝑦 和 f = 𝑞 × 𝑧。 这里的 𝑞 就是中间变量，而在得到最终的结果之前，需要 计算并存储 𝑞 的值

2.3反向传播:导数、偏导数、梯度 ①导数:f(x)y=1im(x+A(=im f(x)-f(x-△x) →00 △x ②偏导数 偏导数表示固定面上一点的切线斜率 通常只关心x轴和y轴方向的偏导数 假设f是一个多元函数,f(x,y)=x2+xy+y2 ∫在x轴方向的偏导数为=3x 在点(1,1,3)处x轴方向的偏导数是为3 ③梯度 是一个向量(矢量) 梯度即某一点最大的方向导数 沿梯度方向函数有最大的变化率(正向增加,逆向减少) 在某点为极大值或极小值只有当在该点的每个偏导数等于0才有可能,也就是说梯度等于0

2.3 反向传播：导数、偏导数、梯度 ①导数：𝑓 𝑥 ′ = lim 𝑛→∞ 𝑓 𝑥+∆𝑥 −𝑓(𝑥) ∆𝑥 = lim 𝑛→∞ 𝑓(𝑥)−𝑓(𝑥−∆𝑥) ∆𝑥 ②偏导数： - 偏导数表示固定面上一点的切线斜率 - 通常只关心 x 轴和 y 轴方向的偏导数 - 假设 𝑓 是一个多元函数，𝑓 𝑥, 𝑦 = 𝑥 2 + 𝑥𝑦 + 𝑦 2 - 𝑓 在 x 轴方向的偏导数为 𝜕𝑓 𝜕𝑥 = 3𝑥 - 在点(1,1,3)处 x 轴方向的偏导数是为3 ③梯度： - 是一个向量(矢量) - 梯度即某一点最大的方向导数 - 沿梯度方向函数有最大的变化率(正向增加，逆向减少) - 在某点为极大值或极小值只有当在该点的每个偏导数等于0才有可能，也就是说梯度等于0