Toggle navigation
首页
问答
文章
积分商城
专家
专区
更多专区...
文档中心
返回主站
搜索
提问
会员
中心
登录
注册
DeepMind
关注话题
创建问题
发布文章
举报
问题
0
文章
2
0
点赞
606
浏览
DeepMind最新研究NFNet:抛弃归一化,准确率新高 | 转载机器之心
AI_人工智能
DeepMind
NFNet
lebhoryi
2021-02-19
深度学习,已经不需要归一化了。 我们知道,在传递给机器学习模型的数据中,我们需要对数据进行归一化(normalization)处理。 在数据归一化之后,数据被「拍扁」到统一的区间内,输出范围被缩小至 0 到 1 之间。人们通常认为经过如此的操作,最优解的寻找过程明显会变得平缓,模型更容易正确的收敛到最佳水平。 然而这样的「刻板印象」最近受到了挑战,DeepMind 的研究人员提出了一种不需要归一化的深度学习模型 NFNet,其在大型图像分类任务上却又实现了业内最佳水平(SOTA)
1
点赞
508
浏览
DeepMind丢掉了归一化,训练速度提了8.7倍 开源 | 转载量子位
AI_人工智能
DeepMind
弃BN
lebhoryi
2021-02-19
对于大多数图像识别模型来说,批处理归一化(batch normalization)是非常重要的组成部分。 但与此同时,这样的方式也存在一定的局限性,那就是它存在许多并不重要的特征。 虽然近期的一些研究在没有归一化的情况下,成功训练了深度ResNet,但这些模型与最佳批处理归一化网络的测试精度不相匹配。 而这便是DeepMind此次研究所要解决的问题——提出了一种自适应梯度剪裁 (AGC) 技术。 具体而言,这是一种叫做Normalizer-Free ResNet (NFNet)的新
问答
0
文章
2
关注者
0
推荐文章
1
RT-Thread应用项目汇总
2
玩转RT-Thread系列教程
3
机器人操作系统 (ROS2) 和 RT-Thread 通信
4
国产MCU移植系列教程汇总,欢迎查看!
5
五分钟玩转RT-Thread新社区
6
【技术三千问】之《玩转ART-Pi》,看这篇就够了!干货汇总
7
关于STM32H7开发板上使用SDIO接口驱动SD卡挂载文件系统的问题总结
8
STM32的“GPU”——DMA2D实例详解
9
RT-Thread隐藏的宝藏之completion
10
【ART-PI】RT-Thread 开启RTC 与 Alarm组件
最新文章
1
stm32f407zgt6移植CherryUSB
2
MDK5开发RTduino
3
en28j60驱动的一点小问题
4
新建项目时常遇到的问题一
5
TLSF --- 内存管理中的超级英雄!
热门标签
RT-Thread Studio
串口
LWIP
Env
SPI
Bootloader
AT
ART-Pi
Hardfault
CAN总线
FinSH
USB
文件系统
DMA
RT-Thread
SCons
线程
RT-Thread Nano
MQTT
STM32
RTC
FAL
rt-smart
ESP8266
ota在线升级
WIZnet_W5500
I2C_IIC
UART
flash
cubemx
packages_软件包
freemodbus
PWM
潘多拉开发板_Pandora
定时器
BSP
ADC
中断
flashDB
socket
编译报错
keil_MDK
GD32
msh
Debug
SFUD
MicroPython
ulog
SDIO总线
rt_mq_消息队列_msg_queue
本月问答贡献
小小李sunny
4
个答案
3
次被采纳
踩姑娘的小蘑菇
6
个答案
2
次被采纳
a1012112796
4
个答案
2
次被采纳
crystal266
3
个答案
2
次被采纳
sakumisu
3
个答案
2
次被采纳
本月文章贡献
比特饼干
2
篇文章
5
次点赞
Z_Y
2
篇文章
2
次点赞
aeniac
2
篇文章
1
次点赞
聚散无由
1
篇文章
6
次点赞
zhuzhuzhu
1
篇文章
4
次点赞
回到
顶部
发布
问题
投诉
建议
回到
底部