助力移动机器人下游任务！Mobile-Seed用于联合语义分割和边界检测

摘要

精确、快速地划定清晰的边界和鲁棒的语义对于许多下游任务至关重要，例如机器人抓取和操作、实时语义建图以及在边缘计算单元上执行的在线校准。虽然边界和语义分割是相辅相成的任务，但大多数研究都集中在语义分割的轻量级模型上，而忽略了边界检测的关键作用。在这项工作中，我们引入了一个轻量级的双任务框架Mobile - Seed，用于同时进行语义分割和边界检测。我们的框架具有双流，主动融合解码器( AFD )和双任务正则化方法。编码器分为两个通道：一个通道捕获类别感知的语义，另一个通道从多尺度特征中辨别边界。AFD模块通过学习通道间的关系来动态适应语义和边界信息的融合，允许对每个通道进行精确的权重分配。此外，我们引入正则化损失来缓解双任务学习和深度多样性监督中的冲突。与现有方法相比，提出的Mobile - Seed提供了一个轻量级的框架，可以同时提高语义分割性能和精确定位对象边界。在Cityscapes数据集上的实验表明，在1024 × 2048分辨率输入下，Mobile - Seed在mIoU和mF - score上分别比SOTA基线提升了2.2个百分点( pp )和4.2个百分点( pp )，同时在RTX 2080 上保持了23.9帧每秒( FPS )的在线推理速度。在CamVid和PASCAL Conxt数据集上的额外实验证实了我们方法的可推广性。

效果展示

Mobile - Seed能够实时地同时推理出2D RGB图像的边界图和语义图。( a )展示了我们的Mobile - Seed的动机，它可以为下游任务提供强有力的约束，例如实例分割，语义SLAM和传感器校准。( b )和( c )表明Mobile - Seed的核心思想是将语义分割流和边界检测流集成在一个共享的框架中，并以相互促进的方式进行学习，同时保持实时效率。

主要贡献

（1）提出了一个轻量级的移动机器人联合语义分割和边界检测框架，该框架可以同时学习边界掩码和语义掩码。

（2)提出了AFD用于学习语义特征和边界特征之间的通道关系。与固定权重方法(融合权重与输入无关)相比，AFD在为语义特征和边界特征分配合适的权重方面更加灵活。

（3）引入双任务正则化损失来有效缓解DDS产生的冲突，使得语义分割和边界检测任务互相促进。

具体原理是什么？

Mobile - Seed的工作流，其中语义流S和边界流B分别提取语义和边界特征。AFD估计每个通道的语义特征Fs和边界特征Fb的相对权重。在语义流中应用一个辅助分类头，用于训练过程中的直接监督。分别对语义预测s、融合语义预测sf和边界预测b进行监督，并依此进行监督。正则化损失Lreg减轻了由双任务学习引起的分歧。

和其他SOTA方法的对比

语义分割的定性结果对比。

边缘检测的定性结果对比。

总结

这篇文章提出了一种新颖的轻量级框架Mobile - Seed用于联合语义分割和边界检测。该方法由双流编码器和主动融合解码器( AFD )组成，其中编码器分别提取语义和边界特征，AFD为两种特征分配动态融合权重。此外，引入正则化损失来缓解双任务学习中的发散问题。Mobile - Seed可以部署在轻量级机器人平台上，服务于语义SLAM、机器人操作等下游任务。

审核编辑：刘清