DeepMind丢掉了归一化，训练速度提了8.7倍开源 | 转载量子位

发布于 2021-02-19 14:53:39 浏览：595 订阅该版

[tocm]

在**大规模图像识别**任务上，DeepMind的新方法火了。

不仅拿到了**SOTA**，训练速度还提升了**8.7倍**之多！

![](https://gitee.com/lebhoryi/PicGoPictureBed/raw/master/img/20210219145356.png)

## 方法关键：去“批处理归一化”

对于大多数图像识别模型来说，批处理归一化（batch normalization）是非常重要的组成部分。

但与此同时，这样的方式也存在一定的局限性，那就是它存在许多并不重要的特征。

虽然近期的一些研究在没有归一化的情况下，成功训练了深度ResNet，但这些模型与最佳批处理归一化网络的测试精度不相匹配。

而这便是DeepMind此次研究所要解决的问题——提出了一种**自适应梯度剪裁** （AGC） 技术。

具体而言，这是一种叫做**Normalizer-Free ResNet** （NFNet）的新网络。

![image.png](https://oss-club.rt-thread.org/uploads/20210219/f54c25d6b01636c2318d665c9c11455a.png)

整体来看，NFNet的整体结构如上图所示。

以有无“transition块”来划分，可以再细分为2种情况。

![image.png](https://oss-club.rt-thread.org/uploads/20210219/869d6eb6f69287eca76f47e18d3ec25d.png)

其中，它们的bottleneck ratio均设置为0.5，且在3 x 3的卷积中，无论信道的数量为多少，组宽都固定为128。

二者的区别在于skip path接收信号的方式，左侧的是在用β进行variance downscaling和缩放非线性之后；而右侧则是在用β进行variance downscaling之前完成。

## 实验结果

在实验部分，DeepMind的研究人员，采用了与NFNet相关的**7个**模型做了对比实验，分别是NFNet-F0至NFNet-F6。

不难看出，在各个模型的对比过程中，在Top-1精度方面均取得了最好结果。

值得一提的是，与EfficientNet-B7相比，训练速度方面提升了**8.7倍**之多。

![image.png](https://oss-club.rt-thread.org/uploads/20210219/498fe186da83f7efd60f22845eb44e68.png)

此外，在对**3亿**张标记图像进行大规模预训练后，在ImageNet上还取得了89.2%的Top-1精度。

![image.png](https://oss-club.rt-thread.org/uploads/20210219/ea0f2987b7714d6bde5a7ef28377d2e0.png)

最后，对于这项研究的代码，也已在GitHub上开源。

## 传送门

论文地址：
https://arxiv.org/abs/2102.06171

代码地址：
https://github.com/deepmind/

0 条评论

发表评论

请登录后再发布评论，点击登录

关于作者

lebhoryi

这家伙很懒，什么也没写！

文章

回答

被采纳

关注TA

发私信

RT-Thread AI Kit 相关资料和教程在哪里？

20号的开发者大会上，人脸识别AI

2020 开发者大会演示的 AI 套件什么时候开源？

请问RT-AK有没有部署MobileNet的例子呢

请问RT-AK会支持paddlepaddle的模型吗

嵌入式比赛中要求的 RT-Thread ai toolkit 能介绍一下吗？

本月文章贡献

2 篇文章 15 次点赞

2 篇文章 5 次点赞

2 篇文章 4 次点赞

1 篇文章 7 次点赞

1 篇文章 2 次点赞

回到
顶部

发布
问题

回到
底部

DeepMind丢掉了归一化，训练速度提了8.7倍开源 | 转载量子位

关于作者

lebhoryi

相关文章

热门标签

本月文章贡献

DeepMind丢掉了归一化，训练速度提了8.7倍 开源 | 转载量子位

关于作者

lebhoryi

相关文章

推荐文章

热门标签

本月问答贡献

本月文章贡献

DeepMind丢掉了归一化，训练速度提了8.7倍开源 | 转载量子位