中国科学技术大学：《人工智能基础》课程教学资源（课件讲稿）Lecture 13 神经网络与深度学习

神经网络与深度学习 吉建民 USTC jianminOustc.edu.cn 2021年6月11日 4口◆404三·1=，生9QC

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 神经网络与深度学习 吉建民 USTC jianmin@ustc.edu.cn 2021 年 6 月 11 日

Used Materials Disclaimer:本课件大量采用了台大李宏毅教授及复旦大学邱锡鹏 副教授的深度学习课件内容，也采用了GitHub中深度学习开源 代码，以及部分网络博客内容 口·三4，进分双0

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Used Materials Disclaimer: 本课件大量采用了台大李宏毅教授及复旦大学邱锡鹏 副教授的深度学习课件内容，也采用了 GitHub 中深度学习开源 代码，以及部分网络博客内容

Table of Contents 深度学习简介 Neural Network Goodness of Function Pick the Best Function 前馈神经网络 Tips for Deep Learning 卷积神经网络(Convolutional Neural Network,CNN) 循环神经网络(Recurrent Neural Network,RNN) Keras CNN in Keras RNN in Keras 4口◆4⊙t4三1=，￥9QC

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Table of Contents 深度学习简介 Neural Network Goodness of Function Pick the Best Function 前馈神经网络 Tips for Deep Learning 卷积神经网络（Convolutional Neural Network, CNN） 循环神经网络（Recurrent Neural Network, RNN） Keras CNN in Keras RNN in Keras

Machine Learning Looking for a Function ·Speech Recognition r )=“"How are you" ·Image Recognition r( )=“cat" ·Playing Go f( ）=“5-5” (next move) ·Dialogue System f( “Hi” )= “Hello” (what the user said) (system response) 口卡回t·三4色，是分Q0

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Machine Learning ≈ Looking for a Function

Image Recognition: Framework "cat A set of Model function 万，2… “cat" "money" “dog" f( "snake" 4口◆4日4三+1=，￥9QC

. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..

Image Recognition: Framework "cat" A set of Model )="cat" “money' function f Better! "dog" “snake Goodness of function f Supervised Learning Training function input. Data function output:"monkey”"cat” "dog" ,口+++·三·4色，进分Q0

. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..

Image Recognition: Framework “cat” A set of Model Training Testing Function "cat" Step 1 fif2… Goodness of Pick the "Best"Function Using function f Step 2 Step 3 Training Data “monkey" “cat" “"dog

. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. .. ..

传统机器学习 目前机器学习解决问题的思路 Low-level Pre- Feature Inference: Feature sensing processing extract. selection prediction, recognition 中间的三部分，概括起来就是特征表达。良好的特征表达，对最 终算法的准确性起了非常关键的作用，而且系统主要的计算和测 试工作都耗在这一大部分。但这块实际中一般都是人工完成的。 靠人工提取特征 Feature Learning Representation algorithm Input E.g.,SIFT,HoG,etc. 手工选取特征不太好，那么能不能自动地学习一些特征呢？能！ Deep Learning(Unsupervised Feature Learning)

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 传统机器学习 目前机器学习解决问题的思路 中间的三部分，概括起来就是特征表达。良好的特征表达，对最 终算法的准确性起了非常关键的作用，而且系统主要的计算和测 试工作都耗在这一大部分。但这块实际中一般都是人工完成的。 靠人工提取特征 手工选取特征不太好，那么能不能自动地学习一些特征呢？能！ Deep Learning (Unsupervised Feature Learning)

Three Steps for Deep Learning Step 1:define a set of function Neural Network Step 2:goodness of function Step 3:pick the best function 4口卡404三·1怎生0C

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Three Steps for Deep Learning

Table of Contents 深度学习简介 Neural Network Goodness of Function Pick the Best Function 前馈神经网络 Tips for Deep Learning 卷积神经网络(Convolutional Neural Network,CNN) 循环神经网络(Recurrent Neural Network,RNN) Keras CNN in Keras RNN in Keras 口·三，4色，进分Q0

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Table of Contents 深度学习简介 Neural Network Goodness of Function Pick the Best Function 前馈神经网络 Tips for Deep Learning 卷积神经网络（Convolutional Neural Network, CNN） 循环神经网络（Recurrent Neural Network, RNN） Keras CNN in Keras RNN in Keras