EfficientDet(BiFPN)
date
Mar 13, 2023
Last edited time
Mar 13, 2023 09:25 AM
status
Published
slug
EfficientDet(BiFPN)
tags
DL
CV
summary
type
Post
Field
Plat
EfficientDet 是目前最优秀的检测器，backbone 是基于 depthwise separable convolution 和 SE 模块利用 AutoML 搜索出来的，EfficientDet 出彩的地方在于设计了高效的 FPN 结构，即 BiFPN。
摘要
模型的效率在计算机视觉中变得越发重要。本文系统地研究了神经网络结构在目标检测中的设计选择，并提出了提高检测效率的几个关键优化方案。首先，本文提出了一种加权的双向特征金字塔网络（BiFPN），它可以方便、快速地融合多尺度特征；其次，文中提出了一种混合缩放方法，可以同时对所有主干、特征网络和 box/class 预测网络的分辨率、深度和宽度进行均匀缩放。基于这些优化和 EfficientNet backbone, 文章开发了一类新的目标检测，称为 EfficientDet，该类检测算法比现有的检测算法都要高效。
EfficientNet
检测网络的 backbone 采用的是 EfficientNet 系列，这一系列的网络是由 Auto ML 搜索出来的网络。网络的主要成分为 Depthwise Separable Conv 和 SENet 结构，这一系列网络结构从 B0 到 B7，有以下这些参数控制差别：
- 由 width 参数控制除 MBConvBlock 外两个卷积层（Stage1 和 Stage9）的输出通道数:
- 由 depth 控制 Block 重复次数 (向上取整):
3. res 控制图像输入尺度，dropout 控制最后 AVG_POOL 和 FC 之间的 DropOut 层的 dropout_rate
下面是基础的 EfficientNet-B0，MBConv 后面的数字代表深度可分离卷积中 expand 系数，Resolution 代表输入特征图分辨率， Channel 代表输出通道数，Layers 代表 Block 重复次数：
默认每个深度可分离卷积中，DW 和 PW 之间会插入 SEblock， 同时默认开启 skip connection。
区别于常规的 CNNs, 如果 skip connection、stride=1 且 block 的输入和输出通道数相同则在 skip connection 之前、深度可分离卷积之后加上 dropout 操作！下面是 MBConvBlock 的部分实现：
BiFPN
同 YOLOV3 等检测框架一样，EfficientDet 也加入了 FPN 元素来加强输出 feature map 的特征表示。区别在于 BiFPN 的连接更加复杂，同时可以作为一个基础层重复多次！
如上图所示：(a) 是传统的 FPN 结构，只有自顶向下的连接；(b) PANet 包括自顶向下和自底向上两条路径连接；(c) NAS-FPN 则是通过 NAS 搜出来的连连看结构。
作者观察到 PANet 的效果比 FPN 和 NAS-FPN 效果好，但就是计算量大了点。于是，作者从 PANet 出发，先移除掉了两个节点，然后在同一 level 的输入和输出节点之间，连上了一条线，有点 skip-connection 的味道。最后作者认为这样的连接可以作为一个基础 Block 而重复使用。
这里首先会将所有的输出 feature map 统一到相同 channel 来进行后续 Block 处理，这个 channel 数和 Block 重复次数也会根据不同的子版本而变化。
BiFPN 相比 FPN 能涨 4 个点，而且参数量反而是下降的：
