广东工业大学：《机器学习》课程教学资源（课件讲义）第12讲 卷积神经网络（卷积和池化层）

动手学深度学习 11.卷积和池化层 中文教材：zh.d2l.ai 英文教材：www.d2I.ai 教学视频：https://courses.d2L.ai/berkeley-.stat-157/units/convnet..html D2L.ai

动手学深度学习 11.卷积和池化层 中文教材：zh.d2l.ai 英文教材：www.d2l.ai 教学视频：https://courses.d2l.ai/berkeley-stat-157/units/convnet.html

概要 ·卷积 ·平移不变性和局部性 ·卷积层 ·填充和步幅 。 多个输入和输出通道 ·池化 D2L.ai

概要 • 卷积 • 平移不变性和局部性 • 卷积层 • 填充和步幅 • 多个输入和输出通道 • 池化

卷积

分类图像中的狗和猫 使用好的相机 o RGB图像具有36M个元素 Dual ·使用100个神经元单隐含层的 12MP MLP模型： wide-angle and telephoto cameras ·有36亿个参数 超过地球上的狗和猫的数 量(900M狗+600M猫) 2L.ai

分类图像中的狗和猫 • 使用好的相机 • RGB图像具有 36M 个元素 • 使用 100 个神经元单隐含层的 MLP 模型： • 有 36 亿个参数 • 超过地球上的狗和猫的数 量（900M 狗+ 600M 猫）

单隐含层网络 Output layer 01 100个神经元 Hidden layer hi h2 h3 h4 h5 3.6B参数=14GB 36M特征 Input layer X1 X2 X3 X4 h=o(Wx+b) D2L.ai

单隐含层网络 36M 特征 100个 神经元 � = � �� + � 3.6B 参数 = 14GB

Valdo在哪？

Waldo 在哪?

两个原则 ·平移不变性 ·局部性

• 平移不变性 • 局部性 两个原则

重新思考稠密层 ·将输入和输出变形为矩阵（宽度，高度） ·将权重变形为4-D张量(h,w)到(h',w) hij=∑Wij,klxk,l=∑ija,bi+a,j+b k.I a h 。V是W的重索引 Vi,j,a,b =Wi,j,i+a,j+b D2L.ai

重新思考 - 稠密层 • 将输入和输出变形为矩阵（宽度，高度） • 将权重变形为4-D张量（h, w）到（h’, w’） • V是W的重索引 ℎ!,# = ∑ $,% �!,#,$,%�$,% = ∑ &,' �!,#,&,'�!(&,#(' �!,#,$,% = �!,#,!&$,#&%

原则#1-平移不变性 hi,j=∑i,ja,bxi+aj+b a,b ·x的变化也导致h的变化 ·V不应该依赖于（i,j),所以i,j,a,b三Va,b hi,j=∑va,bXi+a,jtb a b D2L.ai

原则 #1 - 平移不变性 • x 的变化也导致 h 的变化 • V 不应该依赖于（i，j），所以 �!,#,$,% = �$,% ℎ!,# = ∑ &,' �&,'�!(&,#(' ℎ!,# = ∑ &,' �!,#,&,'�!(&,#(

原则2-局部性 hi,j=∑va,bXi+a,j+b ab ·当评估h(,j)时，我们不应该用远离x,j)的参数 ·外部参数a叫，b>△消失，va,b=0 △ hij=_∑，∑，va,bxi+a,jitb a=-△b=-△ D2L.ai

原则 #2 - 局部性 • 当评估 h(i,j) 时，我们不应该用远离 x(i, j) 的参数 • 外部参数 |�|, |�| > Δ 消失，�!,# = 0 ℎ!,# = ∑ &,' �&,'�!(&,#(' ℎ!,# = ∑ &)*+ + ∑ ')*+ + �&,'�!(&,#(