华为荣获ICRA2020 国际自动驾驶3D目标检测挑战赛冠军

近日，第二届大规模自动驾驶数据集2020 nuScenes Challenge （Workshop on Benchmarking Progress in Autonomous Driving, ICRA 2020）落下帷幕。在3D 目标检测挑战赛中，华为诺亚方舟实验室与HUAWEI Octopus自动驾驶云服务联合团队 Noah CV Lab & Octopus，取得了3D detection track第一名（mAP：64%， NDS：69%）的成绩，大幅领先第二名CenterPoint (UT Austin) mAP 3.1，NDS 1.5个百分点，超过上一届挑战赛冠军模型 mAP 11.4，NDS 5.7个百分点。

此次参赛单位包括：华为诺亚方舟实验室、德州大学奥斯汀分校、约翰霍普金斯大学、上海交通大学、中科院自动化所、卡耐基梅隆大学、香港中文大学和商汤科技等全球著名企业、高校或研究机构。

图1：2020 nuScenes Challenge 3D Detection排名情况

(图片来自https://www.nuscenes.org/)

* nuScenes是nuTonomy在2019年发布的大规模自动驾驶数据集，包含1000多个场景、140万幅图像、40万次激光雷达扫描和110万个三维边界框，其规模和精确度超过KITTI、百度ApolloScape和Udacity等公共数据集。nuScenes不仅需要识别10类物体，还加入了速度和属性等预测，同时类别差异显著的数据集也更具实际意义。

3D目标检测旨在通过多传感器数据如LIDAR、Camera、RADAR等，使得自动驾驶车辆具备检测车辆、行人、障碍物等物体的能力，保障行驶安全，是自动驾驶领域要解决的核心问题之一。

普通2D目标检测并不能提供感知环境所需要的全部信息，仅能提供目标物体在二维图片中的位置和对应类别的置信度，而3D目标检测结合了深度信息，能够提供目标的位置、方向和大小等空间场景信息，这些对于后续自动驾驶场景中的路径规划和控制至关重要。

此次挑战赛中，Noah CV Lab & Octopus团队提出了多模态（图像、激光雷达）连续特征融合策略以及多模态自适应数据增强技术，极大地提升了现有3D检测框架的性能。

在3D点云目标检测过程中，难点主要体现在遮挡、远距离/小目标、以及旋转角度（车头朝向）的学习。

如下图所示，在一个复杂场景的3D点云目标检测中，左下角是一个停车场，停放的车辆车头朝向并不一致，同时也造成了大量的遮挡，尤其是停车场远端的车辆识别难度非常大。此外，图中右侧行人和非机动车较为密集，也存在大量的相互遮挡。但我们可以看到华为的3D目标检测算法依旧给出了精准度较高的标注结果。

图2：nuScenes 3D目标检测结果对比

2D目标检测在自动驾驶领域也扮演着非常重要的角色，主要用于交通灯状态识别、交通指示牌检测、电子眼检测、辅助3D目标检测等任务。2D目标检测以相机拍摄的图片作为输入，输出的是检测目标在图片中的位置与范围。

截止目前，华为诺亚方舟实验室 Noah CV Lab团队稳居COCO BBOX Detection的榜首（2020年度挑战赛尚未开赛），检测精度mAP 58.8%，领先第二名1个百分点。

图3：COCO Detection Leaderboard排名情况

* COCO的全称是Common Objects in COntext，是微软团队于2014年发布的一个可以用来进行图像识别的数据集，目前已经成为2D图像标注的标准测试平台，是当前物体识别、检测等领域的一个最权威、最重要的标杆，汇集了Google、微软、Facebook 以及国内外众多顶尖院校和优秀创新企业共同参与。

* MS COCO数据集共计提供了80类对象的实例分割和91个类别的物品分割，超过33万张图像（其中超过20万张打好了标签），该数据集主要是解决目标检测、目标之间的上下文关系和目标在2维图像上的精确定位。

华为诺亚方舟实验室 Noah CV Lab在现有框架基础上，整合并优化验证了大量最新的检测框架及模块，极大的提升了基础2D检测框架的性能，在COCO测试集上实现了SOTA性能。

如下图所示，蓝色框是ground truth，绿色的框是模型给出的检测结果，可以看到对于图中交通信号灯、较小的杯子以及受到遮挡的女式提包，模型都给出了优秀的表现。

图4：COCO 2D目标检测结果对比

近年来，在自动驾驶的探索上，无论是天博下载链接企业，还是互联网企业都卯足劲，投入大量的人力物力进行研发。华为八爪鱼（HUAWEI Octopus）自动驾驶云服务为自动驾驶研发企业提供了一站式数据服务、训练服务和仿真服务能力。通过自动化数据处理流水线，快速支撑开发企业对自动驾驶算法的训练、仿真和调优。基于自动驾驶云服务丰富而强大的数据处理能力，可实现路测场景自动分类、难例挖掘和数据自动化标注等，实现数据集生成效率提升70%，极大的降低自动驾驶的开发周期和成本。

对于自动驾驶开发企业来说，基于数据驱动的机器学习算法成为业界主流。但目前以监督学习为主的算法需要耗费大量人力进行数据标注，而且还不能有效解决自动驾驶场景中的长尾问题。依赖于人工标注的感知模型训练，对于亿级路测数据是不具备可行性的，因此基于2D和3D的目标检测算法构建路测数据自动标注能力，解决人工数据标注瓶颈，是推动自动驾驶产业发展的关键一步。

华为诺亚方舟实验室（Noah CV Lab）一直致力于人工智能前沿技术的研究和开发，涉及计算机视觉，语音语义，推荐搜索，决策推理，AI基础理论等领域。在自动驾驶方面，华为智能车云服务产品部和诺亚方舟实验室形成联合攻坚技术团队（Noah CV Lab & Octopus），开展自动化数据标识、传感器融合算法、SLAM/VIO算法、智能决策和推理、路径规划和运动控制、智能交通系统模拟仿真等业务方向的研究。华为八爪鱼（HUAWEI Octopus）自动驾驶云服务依托联合团队以及诺亚方舟实验室的最新研究成果，优化自研算法，多项算法模型的精准率达到业界领先水平。

算法的优劣主要是通过数据集测试结果进行评判的，自动驾驶中最重要的测试任务包括了3D目标检测、2D目标检测、语义分割、实例分割、场景流预测、光流预测、深度估计、目标追踪等，其中3D目标检测和2D目标检测是几乎所有自动驾驶数据集都会聚焦的标竿任务场景。3D目标检测数据集包括了Kitti、nuScenes、lyft dataset、Waymo open dataset、appllo scape、H3D等，其中nuScenes和Waymo是最具份量的测试集。2D目标检测则以COCO测试集为标杆。

华为选择当前业界最具权威性的开源数据集作为算法验证集进行测试，通过持续优化算法设计，实现数据挖掘算法在数据集上获得SOTA性能，以提升华为在自动驾驶数据迭代领域的竞争力。在开源数据集获得模型验证后，华为还会在自有数据集验证数据挖掘的闭环系统，构建高质量的亿级数据标注能力，以满足商用环境下量产算法对数据规模的要求。可以说华为自动驾驶云服务在算法性能和商用能力上都处于领先水平。