SECOND 算法

前面的相关文章中，我们简单解析了自2017年来相关的 3D视觉/点云 算法。 在AVOD的论文解析中，我们提到了AVOD（2018）其实是MV3D（2017）论文的升级版。 相似地，本文要介绍的SECOND（2018）其实就是VoxelNet（2017）论文的升级版。 SECOND的全称是 Sparsely Embedded Convolutional D etection。 论文的地址为： 代码的地址为： 论文提出的 主要动机 为： （1）考虑到VoxelNet论文在运算过程中 运算量较大，且 速度不佳。作者引入了 稀疏3D卷积去代替VoxelNet中的 3D卷积层，提高了 检测速度和 内存使用 ； （2）VoxelNet论文有个比较大的缺点就是在训练过程中，与 真实的3D检测框 相反方向的 预测检测框会有 较大的损失函数， 从而造成训练过程不好收敛。 顺带着动机，作者又提出了一些其他的创新点： （1）比如数据增强这块，作者使用了数据库采样的操作； （2）对于正负样本数量的极度不平衡问题，作者借鉴了RetinaNet中采用的Focal Loss。 这篇文章有关稀疏卷积部分稍微有些难懂，我找遍了全网有关SECOND的解读，大家都跳过了稀疏卷积这块，这确实让人头大。 考虑到VoxelNet通过Feature Learning Network后获得了 稀疏的四维张量，而采用3D卷积直接对这四维的张量做卷积运算的话，确实耗费运算资源。SECOND作为VoxelNet的升级版，用 稀疏3D卷积替换了 普通3D卷积 。 这里我们直接给出VoxelNet的结构图，然后再此基础上进行修改，获得SECOND的网络结构图，分别如下两张图所示。 这么一看，大家就很容易看的出来两者之间的 共性和 差异了。接下来以我自己不成文的见解，简单聊聊 稀疏卷积 。 作者在VoxelNet的Convolutional Middle Layers的基础上引入了 Sparse Convolutional Middle Layers，稀疏卷积就用在这个模块里面。 作者在论文中提到： We need to gather the necessary input to construct the matrix, perform GEMM, and then scatter the data back.