广东工业大学:《机器学习》课程教学资源(课件讲义)第12讲 卷积神经网络(LeNet, AlexNet, VGG和NiN)

动手学深度学习 12.LeNet,AlexNet,VGG NiN 中文教材:zh.d2.ai 英文教材:ww.d2.ai 教学视频:https://courses.d2L.ai/berkeley-stat-157/units/lenet..html D2L.ai
动手学深度学习 12.LeNet, AlexNet, VGG 和 NiN 中文教材:zh.d2l.ai 英文教材:www.d2l.ai 教学视频:https://courses.d2l.ai/berkeley-stat-157/units/lenet.html

概要 ·LeNet(第一个卷积神经网络) ·AlexNet ·升级版的LeNet ·ReLu激活,丢弃法,平移不变性 ·VGG ·升华版的AlexNet ·重复的VGG块 ·NiN ·1x1卷积+全局池化 D2L.ai
概要 • LeNet (第一个卷积神经网络) • AlexNet • 升级 版的 LeNet • ReLu 激活, 丢弃法,平移不变性 • VGG • 升华版的 AlexNet • 重复的 VGG 块 • NiN • 1x1 卷积 + 全局池化

LeNet架构 convolution pooling full convolution pooling full Gauss 6@14x14 S2 feature map 32x32 image 16@5x5 6@28x28 16@10x10 C1 feature map C3 feature map S4 feature map D2L.ai
LeNet 架构

b乡B1erk sh加g0CA等9gi Dae色nM亿 心地n Hood Rier DR 17021 97031206000 dytoplpphful年p 手写的数字识别 CARROLL O'CONNOR 17a5 715 BUSINESS ACCOUNT NANAS,STERN,BIERS AND CO. 9454 WILSHIRE BLVD.,STE.405 273-2501 BBVERLY HILLS,CALIF.90212 2hcL包192 16-24/6 1220 5000 DOLLA >tWE8A好S9AN区 y rit 1to Chwu pihup yo Uc0. ®1:1220m00241:7150B351a1bB75 '0000500000
手写的数字识别

MNIST bD000O00000 ·居中和缩放 22 2上QQ2.2282 ·50,000个训练数据 6 333 3333 3 3 3 3 ·10,000个测试数据 图像大小28*28 H 444 4 ·10类 5 5 5 55 5 5 s o 6 o 6 o(0 (0 b 6 G a 7 7 77?7 7 子 7 n 8 888g 8 888 飞 8 99 999 9 9
MNIST • 居中和缩放 • 50,000 个训练数据 • 10,000 个测试数据 • 图像大小28*28 • 10 类

ATET LeNet 5 RESEARCH answer: 0 0 163 Y.LeCun,L Bottou,Y.Bengio P.Haffner,1998 Gradient-based learning applied to document recognition 2L.ai
Y. LeCun, L. Bottou, Y. Bengio, P. Haffner, 1998 Gradient-based learning applied to document recognition

如果我们有很多输出,那开销就很 convolution pooling full convolution pooling full Gauss 6@14x14 S2 feature map 32x32 image 16@5x5 6@28x28 16@10x10 C1 feature map C3 feature map S4 feature map D2L.ai
如果我们有很多输出,那开销就很大 了

MXNet中的LeNet net gluon.nn.Sequential() with net.name_scope(): net.add(gluon.nn.Conv2D(channels=20,kernel_size=5, activation='tanh')) net.add(gluon.nn.AvgPool2D(pool_size=2)) net.add(gluon.nn.Conv2D(channels=50,kernel_size=5, activation='tanh')) net.add(gluon.nn.AvgPool2D(pool_size=2)) ● net.add(gluon.nn.Flatten()) net.add(gluon.nn.Dense(500,activation='tanh')) ● net.add(gluon.nn.Dense(10)) loss gluon.loss.SoftmaxCrossEntropyLoss() .(size and shape inference is automatic) D2L.ai
MXNet 中的 LeNet • net = gluon.nn.Sequential() • with net.name_scope(): • net.add(gluon.nn.Conv2D(channels=20, kernel_size=5, activation='tanh')) • net.add(gluon.nn.AvgPool2D(pool_size=2)) • net.add(gluon.nn.Conv2D(channels=50, kernel_size=5, activation='tanh')) • net.add(gluon.nn.AvgPool2D(pool_size=2)) • net.add(gluon.nn.Flatten()) • net.add(gluon.nn.Dense(500, activation='tanh')) • net.add(gluon.nn.Dense(10)) • loss = gluon.loss.SoftmaxCrossEntropyLoss() • (size and shape inference is automatic)

AlexNet 2048 2048 dense 192 192 128 11 48 128 3 13 *28 224 5 I3. 03 dense dense 27 11 755 1000 192 192 128Ma× 2048 224 Max pooling 2048 Stride 128 Max of 4 pooling pooling 3 48 D2L.ai
AlexNet

2001 机器学习 In the 1990s,a new type of learning algorithm was developed,based on results from statistical learning theory: Learning with Kernels the Support Vector Machine(SVM).This gave rise to a new class of theoretically elegant learning machines that use a central concept of SVMs--kernels-for a number of Support Vector Machines,Regularization, Optimization,and Beyond 提取特征 ·选择内核以获得相似性 Bernhard Scholkopf and Alexander J.Smola ·凸优化问题 米 米 。许多完美的定理… D2L.ai 米
机器学习 • 提取特征 • 选择内核以获得相似性 • 凸优化问题 • 许多完美的定理 ...... 2001
按次数下载不扣除下载券;
注册用户24小时内重复下载只扣除一次;
顺序:VIP每日次数-->可用次数-->下载券;
- 广东工业大学:《机器学习》课程教学资源(课件讲义)第12讲 卷积神经网络(卷积和池化层).pdf
- 广东工业大学:《机器学习》课程教学资源(课件讲义)第11讲 感知机模型与多层感知机(前馈神经网络,DNN BP).pdf
- 广东工业大学:《机器学习》课程教学资源(课件讲义)第10讲 神经网络的优化(激活函数 dropout).pdf
- 广东工业大学:《机器学习》课程教学资源(课件讲义)第10讲 神经网络的优化(梯度消失和梯度爆炸BN).pdf
- 广东工业大学:《机器学习》课程教学资源(课件讲义)第10讲 神经网络的优化(自适应学习率 AdaGrad RMSProp).pdf
- 广东工业大学:《机器学习》课程教学资源(课件讲义)第10讲 神经网络的优化(batch和动量Momentum NAG).pdf
- 广东工业大学:《机器学习》课程教学资源(课件讲义)第9讲 神经网络的优化(梯度下降、学习率adagrad adam、随机梯度下降、特征缩放).pdf
- 广东工业大学:《机器学习》课程教学资源(课件讲义)第9讲 神经网络的优化(损失函数).pdf
- 广东工业大学:《机器学习》课程教学资源(课件讲义)第8讲 集成学习(决策树的演化).pdf
- 广东工业大学:《机器学习》课程教学资源(课件讲义)第7讲 集成学习(决策树).pdf
- 广东工业大学:《机器学习》课程教学资源(课件讲义)第6讲 线性回归模型及其求解方法 Linear Regression Model and Its Solution.pdf
- 广东工业大学:《机器学习》课程教学资源(课件讲义)第5讲 分类问题(4.4 朴素?叶斯分类器).pdf
- 广东工业大学:《机器学习》课程教学资源(课件讲义)第5讲 分类问题(4.3 ?持向量机 SVM).pdf
- 广东工业大学:《机器学习》课程教学资源(课件讲义)第4讲 分类问题(4.1 分类与回归问题概述 4.2 分类性能度量?法).pdf
- 广东工业大学:《机器学习》课程教学资源(课件讲义)第3讲 特征工程 Feature Engineering.pdf
- 广东工业大学:《机器学习》课程教学资源(课件讲义)第2讲 模型评估与选择.pdf
- 广东工业大学:《机器学习》课程教学资源(课件讲义)第1讲 机器学习概述.pdf
- 《机器学习》课程教学资源:《大语言模型》参考书籍PDF电子版 THE CHINESE BOOK FOR LARGE LANGUAGE MODELS(共十三章).pdf
- 《机器学习》课程教学资源:《Python数据科学手册》参考书籍PDF电子版(2016)Python Data Science Handbook,Essential Tools for Working with Data,Jake VanderPlas.pdf
- 《机器学习》课程教学资源:《统计学习方法》参考书籍PDF电子版(清华大学出版社,第2版,共22章,作者:李航).pdf
- 广东工业大学:《机器学习》课程教学资源(课件讲义)第13讲 卷积神经网络计算机视觉应用(Inception, 批量归一化和残差网络ResNet).pdf
- 广东工业大学:《机器学习》课程教学资源(课件讲义)第13讲 卷积神经网络计算机视觉应用(目标检测,计算机视觉训练技巧).pdf
- 广东工业大学:《机器学习》课程教学资源(课件讲义)第14讲 循环神经网络(RNN).pdf
- 广东工业大学:《机器学习》课程教学资源(课件讲义)第15讲 无监督学习——降维深度学习可视化(PCA Kmeans).pdf
- 广东工业大学:《机器学习》课程教学资源(课件讲义)第15讲 无监督学习——降维深度学习可视化(Neighbor Embedding,LLE T-SNE).pdf
- 广东工业大学:《机器学习》课程教学资源(PPT讲稿)第16讲 现代循环神经网络(高级循环神经网络).pptx
- 广东工业大学:《机器学习》课程教学资源(PPT讲稿)第16讲 现代循环神经网络(编码器解码器,Seq2seq模型,束搜索).pptx
- 广东工业大学:《机器学习》课程教学资源(PPT讲稿)第16讲 现代循环神经网络(嵌入向量, 词嵌入, 子词嵌入, 全局向量的词嵌入).pptx
- 广东工业大学:《机器学习》课程教学资源(PPT讲稿)第17讲 注意力机制(概述).pptx
- 广东工业大学:《机器学习》课程教学资源(课件讲义)第17讲 注意力机制(自注意力).pdf
- 广东工业大学:《机器学习》课程教学资源(PPT讲稿)第18讲 变换器模型 Transformer.pptx
- 广东工业大学:《机器学习》课程教学资源(课件讲义)第18讲 变换器模型 Transformer.pdf
- 广东工业大学:《机器学习》课程教学资源(课件讲义)第19讲 ViT及注意力机制改进(Vision Transformers ,ViTs).pdf
- 广东工业大学:《机器学习》课程教学资源(课件讲义)第19讲 ViT及注意力机制改进(各式各样的Attention).pdf
- 广东工业大学:《机器学习》课程教学资源(课件讲义)第20讲 预训练模型 Pre-training of Deep Bidirectional Transformers for Language Understanding(授课:周郭许).pdf
- 广东工业大学:《机器学习》课程教学资源(课件讲义)第21讲 生成式网络模型(自编码器 Deep Auto-encoder).pdf
- 广东工业大学:《机器学习》课程教学资源(课件讲义)第21讲 生成式网络模型(VAE Generation).pdf
- 广东工业大学:《机器学习》课程教学资源(课件讲义)第22讲 生成式网络模型(Diffusion Model).pdf
- 广东工业大学:《机器学习》课程教学资源(课件讲义)第22讲 生成式网络模型(Stable Diffusion).pdf
- 北京信息科技大学:计算机学院各专业课程教学大纲汇编.pdf