入选 AAAI 论文的语义分割中跨数据集协同学习

（Cross-Dataset Collaborative Learning,CDCL）

一种简单、灵活且通用的语义分割方法

在这篇论文中，我们针对自动驾驶领域中的语义分割任务，探究了目前相关工作的局限性——专注于设计网络结构来提升单个目标数据集的精度。为了解决上述问题，我们研究了如何利用多个数据集协同训练，从而提升单个模型在多个数据集上的泛化能力。这就是我们在论文中提出的跨数据集协同学习。

我们的目标是训练一个统一的模型，利用多个数据集的综合信息来提高网络的泛化性，进而在各个数据集上达到满意的性能。

例如，基于PSPNet (ResNet-18) 的分割算法，我们的方法在 Cityscapes、BDD100K、CamVid 三个公开数据集的验证集上比单数据集基线分别提升了5.65%、6.57% 和 5.79%。同时，我们还将 CDCL 应用于3D点云语义分割任务，进一步验证了我们方法的通用性。

左右滑动查看更多图片

新的算法支持多个数据集协同训练，而且无需算力开销即可带来稳定的数据集精度提升

首先，目前的分割算法主要通过设计不同复杂度的网络结构来提升目标数据集上的精度。针对多个数据集，该类算法需要保存多组网络，每个网络只负责其对应的数据集，未考虑多个数据集之间的关系。

其次，在处理多个数据集分布差异并提高目标数据集准确性方面，基于微调（ Finetuning ）的方法是最直接的解决方案，却需要丰富的经验去设置一些超参数，而且两阶段式的训练方式会带来额外的训练开销。另外一种利用多数据集训练的方式是标签重映射（ label remapping ），该方法同样存在缺点。

我们的研究方向与上述方法不同。我们观察到，分割网络中BN的统计参数是可以直接反应数据分布的差异性，而Conv是数据集可共享的。因此，我们引入了数据集感知块（ DAB ）作为网络的基础计算单元，它有助于捕获跨不同数据集的同构Conv和异构BN统计分布。此外，我们提出了一种数据集交替训练（ DAT ）机制来促进协同优化过程。

简而言之，我们提出的算法不仅支持多个数据集协同训练，而且在模型推理过程中无需引入额外的算力开销，即可让各个数据集上精度得到稳定提升。

在我们看来，针对多个数据集的语义分割任务，目前算法往往需要分别采集各个目标场景的数据集对模型进行精调，而像素级别的标注是很耗时耗力的。我们的方法在不需要额外标注数据集的前提下，可以有效利用公开数据集提升网络的泛化能力。这样一来，就能在不增加额外资源开销的前提下，使单个模型在多个目标场景上均能获得满意的效果。同时，这种方法在零样本的场景上也可以达到较好的精度。

在未来，这一方法可以应用到自动驾驶场景中。针对不同的驾驶场景，我们不需要分别采集和标注对应场景下的数据集来训练多个模型参数来。采用本文的算法可以直接利用公开的带标注的自动驾驶场景的数据集训练得到统一的模型，使得在多个场景上均得到较好的结果。这种方法既节省了数据采集标注的成本，也提高了算法的实用性。

注：赛灵思现在是 AMD 的一部分