CNN更新换代!性能提升算力减半,还即插即用

更新时间:2019-04-16 21:34:08

  量子位 出品 | 公众号 QbitAI

  传统的卷积运算,要成为过去时了。

  Facebook和新加坡国立大学联手提出了新一代替代品:OctConv,效果惊艳,用起来还非常方便。

  OctConv就如同卷积神经网络的“压缩器”。用它替代传统卷积,能在提升效果的同时,节约计算资源的消耗。

  比如说一个经典的图像识别算法,换掉其中的传统卷积,在ImageNet上的识别精度能获得1.2%的提升,同时,只需要82%的算力和91%的存储空间。

  如果对精度没有那幺高的要求,和原来持平满足了的话,只需要一半的浮点运算能力就够了。

  想实现这样的提升,怕不是要把神经网络改个天翻地覆吧?

  根本不需要,OctConv即插即用,无需修改原来的网络架构,也不用调整超参数,方便到家。

  就是这个新一代的卷积,让GAN的主要创造者、AI大牛Ian Goodfellow迫不及待,不仅转发力荐,还表示要持续关注进展,开源时再发推告诉大家。

  OctConv也获得了众网友的认可。短短5个小时,Goodfellow的推文就收获了700赞,网友直呼“Excellent work!”

  所以,OctConv到底是什幺神仙网络?

  算力↓↓,准确率↑↑

  我们先来看看它效果究竟如何。

  比如说经典的图像识别算法:ResNet-50,换了新的卷积运算会带来什幺变化?

  上图中粉红色的折线就是不同参数配置的OctConv对ResNet-50的影响。左起第二个粉红圆点显示了一种比较均衡的配置:比原版略高的精度,所需的浮点算力却只有原版的一半。

  其他折线代表的各种图像识别网络,小到ResNet-26、DenseNet,大到ResNet-200,在OctConv加持下,都体现出了成绩的提升和算力需求的下降。

  调节OctConv的参数α,可以在性能提升和算力节约之间寻找平衡。

  降低算力需求的同时,OctConv还能够缩短神经网络推断所需的时间。比如ResNet-50的推断时间,就会随着参数α的增大而逐步缩短。保持精度不变,推断时间能缩短到74毫秒,也就是原来的62%。

  对大、中、小型的模型,研究人员们分别测试了OctConv会如何影响它们的图像分类能力。

  大型神经网络ResNet-152用了OctConv后,仅用22.2GFLOP的算力,Top-1分类准确率就能达到82.9%。

  OctConv的适用范围也不仅限于图像识别。

  无论是2D还是3D的CNN,都能实现这种提升。论文不仅测试了ResNet、ResNeXt、DenseNet、MobileNet、SE-Net等2D CNN在ImageNet上的图像分类能力,还测试了C2D、I3D等视频行为识别算法改用OctConv之后的性能变化。

  像压缩图像一样压缩卷积

  OctConv节约的计算力,都是从哪儿省出来的?

  对于普通卷积运算,所有输入和输出特征映射具有相同的空间分辨率。

  实际上,一张图片可以分成粗略结构和边缘细节两个部分,比如一张企鹅照片能分离出两个成分:

  企鹅身上毛色相近的部分、背景颜色变化比较缓慢,属于低频信息,信息量较少;而两种毛色交接的部分、企鹅身体边缘的颜色变化剧烈,属于高频信息,信息量较多。

  既然这样,我们完全可以将信息量较少的低频部分压缩一下,减少冗余空间。

  类似地,卷积层的输出特征映射和拍摄的照片一样,也可以被视为不同频率信息的混合,进行相似的处理。

  研究人员从图片的频率分离和压缩中受到启发。Octave Convolution的思路就是对卷积网络也进行类似操作,压缩低频部分,分别处理高低频两个部分的数据,并在二者之间进行信息交换,从而减少卷积运算对存储和计算量的消耗。

  为了适应新的特征表示,文章推广了传统卷积,提出了OctConv。Octave是指八音阶,在音乐中降低八音阶代表频率减半。

  OctConv中低频部分张量的大小是0.5h×0.5w,长宽正好是的高频部分h×w的一半,从而节省了张量的存储空间和计算量。

  虽然OctConv压缩了低频部分的信息,但同时也有效地扩大了原始像素空间中的感受野,可以提高识别性能。

  实现过程

  对于普通的卷积方法,以W表示k×k的卷积核,X和Y分别表示输入和输出张量,X和Y的映射关系为:

  (p, q)是X张量中的位置坐标,(i, j)表示所取的近邻范围。

  而OctConv的目标是分开处理张量中的低频和高频部分,同时实现的高频和低频分量特征表示之间的有效通信。

  我们将卷积核分成两个分量:

  W=[WH, WL]

  同时实现高低频之间的有效通信。因此,输出张量也将分成两个分量:

  Y=[YH, YL]

  YH=YH→H+YL→H,YL=YL→L+YH→L

  其中YA→B表示从A到B的特征映射后更新的结果。YH→H和YL→L是频率内的信息更新,YL→H和YH→L是频率间的信息更新。

  因此YH不仅包含自身的信息处理过程,还包含从低频到高频的映射。

  为了计算这些项,我们将卷积核每个分量进一步分为频率内和频率间两个部分:

  WH=WH→H+WL→H,WL=WL→L+WH→L

  张量参数可以用更形象的方式表示:

  △OctConv的卷积核

  这种形式有些类似于完全平方公式a^2+b^2+ab+ba,两个平方项WH→H、WL→L是频率内张量,两个交叉项是频率间张量WL→H、WH→L

  △OctConv的卷积核的“交叉”处理过程,红色箭头表示高低频之间的信息交换

  输出张量的计算方式和前面普通卷积的方式相同:

  在OctConv中比例α是一个可以调节的参数,就是前文提到过的那个可调节参数。在整个网络内部层中令αin = αout = α,第一层中αin = 0,αout = α,最后一层中αin = α,αout = 0。

  OctConv的另一个非常有用的特性是低频特征映射有较大的感受野。与普通卷积相比,有效地将感受野扩大了2倍。这会进一步帮助每个OctConv层从远处捕获更多的上下文信息,并且有可能提高识别性能。

  华人一作

  这篇论文是Facebook联合新加坡国立大学共同完成的。

  其中,Yunpeng Chen、Haoqi Fang、Bing Xu,、Zhicheng Yan、Yannis Kalantidis、Marcus Rohrbach等6人均来自Facebook AI实验室。

  一作Yunpeng Chen,中文名为陈云鹏,2015年本科毕业于华中科技大学,去年开始在Facebook实习。

  陈云鹏现就读于新加坡国立大学博士,师从颜水成和冯佳时,两人也均为这篇论文的作者。今年毕业后,陈云鹏将成为Facebook的一名研究员。

  此前作为一作,陈云鹏已有4篇论文被CVPR、NeurIPS、ECCV和IJCAI等顶会接收,主攻深度学习于视觉交叉领域的研究。

  颜水成是新加坡国立大学的终身教授的颜水成,现在也是360副总裁、人工智能研究院院长和首席科学家。

  他主要研究计算机视觉、机器学习与多媒体分析领域,目前发表学术论文近500篇,被引次数超2.5万次,曾三次入选全球高引用学者。目前,颜水成有诸多荣誉加持,并评为IEEE Fellow, IAPR Fellow和ACM杰出科学家等。

  冯佳时现任新加坡国立大学电子与计算机工程系助理教授,为机器学习与视觉实验室负责人。

  本科在中国科学技术大学毕业后,冯佳时在新加坡国立大学读博,此后又去UC伯克利人工智能实验室从事博士后研究,研究方向为图像识别、深度学习及面向大数据的鲁棒机器学习。

怎么申请配资证监会:IPO审核政策无新调整

4月27日,针对有媒体报道证监会将放宽IPO的盈利要求、放慢审核节拍等成绩,证监会旧事发言人称,已关注到相关媒体报道。近来,证监会坚持新股常态化发行,严厉依照现行法律法规规章,对主板、中小板、创业板首发企业停止审核,审核政策没有新的调整,次要从公司管理、标准运转、信 大圣配资 息披露等多个维度对首发企业严厉把关,从源头上进步上市公司质量。审核进度听从质量。

下一步,证监会将充沛发扬资本市场配置资源的重要作用,持续坚持新股常态化发行,严把资本市场入口关,添加市场可预期性,更好效劳实体经济高质量开展。

金融与科技如何深度融合

  上海市副市长吴清称,随着新一轮科技反动和财产反动的鼓起,科技对经济社会生长影响不停的深化,而且在上海国际金融中间设置配备摆设历程中将饰演越来越紧张的脚色。
  随着技能的迅猛生长,科技与金融的深度交融成为金融业的紧张生长偏向之一。3月23日,在第九届北外滩财产与文明论坛上,多位业内子士就两者之间的联合展开了讨论。
  吴清表现,现在上海创建了较为齐备的金融市场体系,曾经成为中国金融对外开放的最前沿、金融革新创新的先行区、海内金融生长情况最佳地域之一。2018年上海金融市场成交总额到达1645万亿元,同比增长15%。“本年我信赖大概还会更多。”
  他还称,上海金融中间设置配备摆设已进入冲刺阶段,上海正从扩展对外开放、深化革新创新、集聚上风资源、加强市场功效、防控金融危害连续发力,加速打造环球资产办理中间、跨境投融资办事中间、金融科技中间、国际保险中间、环球人民币资产订价和付出结算中间,以及金融危害办理与压力测试中间“六大中间”,高兴打造一个国际一流的最优的金融生态情况。
  上海证券生意业务所党委布告、理事长黄红元则指出,设立科创板试点注册制是资源市场支持科技创新紧张办法,也是上海国际金融中间和科创中间设置配备摆设的一个紧张联合点。黄红元说,在设立科创板并试点注册制的预备事情中要秉持“四个必需,一个协力”的事情理念,必需敬畏市场,敬畏法治,敬畏专业,敬畏危害。
  国度金融与生长实行室副主任、中国社科院金融所长处助理杨涛以为,岂论是Fintech照旧Techfin,金融科技更紧张的任务是经过资源的气力与金融制度摆设,完成底层前沿技能前进,拓展多条理使用场景,直接经过提拔技能外溢性,办事于经济增长与社会生长,完成技能驱动的良性循环。他还说,“金融科技创新的提供侧驱动要素是不停演进的新技能和不停变革的金融羁系。”
  大成基金副总司理兼首席经济学家姚余栋表现,金融与科技两者之间的机制联合在于股权众筹,他还提出证券法修正应实时归入并范例股权众筹,“众筹自己便是注册制,由于要给投资者表露,而且由投资者来果断。”
  “科创板的定位十分高,我们归纳综分解三个面向,六个支持。”他说,三个面向是指要面向天下前沿技能、面向我们百姓经济主战场和面向国度庞大需求;六个支持是要支持新一代信息技能、高端配备、新质料、新动力、节能环保、生物医药六个重点财产。”
  上海证券生意业务所资源市场研讨所长处施东辉称,在金融与科技之间,每轮技能创新都市带来金融大生长,分外是资源市场大生长,然后资源市场生长又给技能创新提供了壮大的资源的动力。他表现,科创板并试点注册制的推出便是在金融更好支持科技的大配景之下。
 

相关热词搜索:卷积张量

中国南方航空股份(01055.HK)拟回售“16南航02”

小鹏汽车P7亮相上海车展 星际语言设计/年底上市