AOGNets与或文法网络结构理解

AOGNets与或文法网络结构理解

AOG是CVPR2019年收录的一篇文章,因其独特思想,本文对AOG进行简单介绍。AOG是对CNN卷积网络提出的一种通用框架,传统的卷积网络各有优缺点。但基本的发展路线有三:

  • 加深网络结构:LeNet->AlexNet->VGG
  • 增加多尺度卷积:GoogleNet
  • 增加跳跃连接,实现特征重用和减少梯度消失与网络退化:ResNet、DenseNet

AOG相当于提出了一种通用的架构,结合以上各网络的优点,在与与或文法结合的基础上提出一种通往的卷积网络架构

1.深度网络结构设计

  • 神经网络结构
    深度网络的设计过程可以考虑成如下模式:一个输入、一个输出、中间网络结构的设计。中间网络结构的设计咱们可以进一步分成若干块。

  • 传统填充网络块设计
    对于块的设计,如下图所示,咱们可以用传统的神经网络结构,如:ResNet、VGG等。

  • AOG网络结构
    本文提出一种通用的神经网络卷积结构,可以用AOG构建块代替过往的所有卷积网络结构块,如下图所示:

2.AOG构建块结构设计

AOG结构块的设计如下图所示:

  • 其中蓝色节点表示And-Node(不停的对特征进行拆分)
  • 绿色节点表示Or-Node(不停的对And-Node拆分的特征进行组合)
  • 标红框的节点表示Terminal-Node(对特征实现传统网络的变换,又实现类似于ResNet的跳跃连接)
  • 又加入了紫色的横向连接(相当于在不引入额外参数的情况下增加了特征重用与流动节点深度)
  • 与或图组成式架构:提供了更灵
    活的信息流,实现多种特征组合方案
  • 整体与或语法:实现了有效的网络深度和宽度的平衡

AOG构建块的具体构建结合了广度优先算法,具体可参考原文。

3.AOG构建块的简化

由于语法句子结构是存在冗余情况的,类似于我是LY与LY是我表达的是同样的意思,所以可以进一步再对AOG构建块进行剪枝。剪枝策略:凡是碰到Or-Node,其节点子集中若存在对称节点,则删除其一。
比如下图,最上面的根节点的第二个节点与第四个节点对称,所以就可以剪去第四个节点。

4.实验结果

作者针对本网络对ImageNet 1K与COCO测试集进行了测试,发现在使用更小参数的情况下,对图片的识别效率更好。

评论

Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×