2021年12月30日最新消息:Waymo正在用AI模拟自动驾驶汽车的摄像头数据

导读 Waymo表示，它开始利用自动驾驶汽车收集的传感器数据，使用AI生成摄像头图像进行模拟。该公司的研究人员(包括首席科学家德拉戈米尔安古洛夫

Waymo表示，它开始利用自动驾驶汽车收集的传感器数据，使用AI生成摄像头图像进行模拟。该公司的研究人员(包括首席科学家德拉戈米尔安古洛夫)的最新论文描述了SurfelGAN技术，该技术使用纹理映射的表面元素来重建场景和相机视点的位置和方向。

像Waymo这样的无人驾驶汽车公司将使用模拟环境来训练、测试和验证其系统，然后将模拟系统部署到实际汽车上。有无数种方法可以设计模拟器，包括模拟中间物体的表示，但是基本的模拟器忽略了对理解场景至关重要的线索，例如行人手势和闪光灯。对于像Waymo的CarCraft这样更复杂的模拟器来说，它们对计算要求很高，因为它们试图以高精度对材料进行建模，以确保像激光雷达和雷达这样的传感器显示出真实的性能。

在SurfelGAN中，Waymo提出了一种更简单的数据驱动方法来模拟传感器数据。人工智能利用激光雷达传感器和摄像机在现实世界中提供的数据，创建并保留了关于场景中所有对象的3D几何、语义和外观的丰富信息。重建后，SurfelGAN可以从不同的距离和视角渲染模拟场景。

Waymo发言人通过电子邮件告诉VentureBeat:“我们开发了一种新的方法，使我们能够直接使用自动驾驶汽车收集的传感器数据来生成逼真的摄像头图像进行模拟。”“在模拟中，当自动驾驶汽车和其他人(如其他汽车、骑自行车的人和行人)的轨迹发生变化时，系统会生成逼真的视觉传感器数据，帮助我们在更新的环境中对场景进行建模.该系统的组件正在生产中。”

冲浪运动员

SurfelGAN使用所谓的纹理增强冲浪地图表示，这是一种紧凑且易于构建的场景表示，可以保留传感器信息，同时保持合理的计算效率。Fels(表面元素的缩写)是指带有光盘和照明信息的物体。Waymo的方法使用激光雷达扫描捕获的体素(定义3D空间中的点的图形信息单元)，并将其转换为冲浪板，冲浪板的颜色根据相机数据进行估计，然后对冲浪者进行后处理，以解决光照和姿势的变化。

为了处理车辆等动态对象，SurfelGAN还采用了Waymo开放数据集(Waymo自动驾驶车辆传感器日志开放语料库)中的标注。激光雷达从感兴趣的对象扫描的数据将被累积，因此在模拟中，Waymo可以生成可以放置在任何地方的汽车和行人的重建，即使它们的几何形状和纹理并不完美。

Surgan生成对抗网络中的一个模块负责将表面图像渲染转换为真实图像。它的生成器模型使用分布式采样从随机噪声中生成合成样本，然后将它们与训练数据集中的真实样本一起馈送到鉴别器中，以尝试区分它们。并且提高了生成器和鉴别器的能力，直到鉴别器不能区分真实例子和合成例子，其准确率优于预期的50%。

SurfelGAN模块是无监督训练的，这意味着它可以推断语料库中的模式，而无需参考已知的、标记的或注释的结果。有趣的是，评估师的工作会告诉制作人——每次评估师正确识别出合成作品，他都会告诉制作人如何调整其产量，以便在未来变得更加逼真。

有希望的结果

Mo进行了一系列实验来评估SurfelGAN的表现，并为其提供了798个训练序列，包括20秒的摄像头数据(来自5个摄像头)和激光雷达数据，以及Waymo Open Dataset中针对车辆、行人和骑行者的笔记。SurfelGAN团队还创建并使用了一个名为Waymo Open Dataset-new View的新数据集-该数据集缺少相机图像，但从场景开始，从受现有姿态干扰的相机姿态渲染surf图像-为每一帧创建一个新的surf图像，并在原始数据集中进行渲染。(扰动是由应用随机平移和偏航角引起的。)

最后，Waymo收集了额外的无标注的相机图像序列(总共9800个，每个序列100帧)，并建立了一个名为“双相机后期数据集”(DCP)的语料库来衡量SurfelGAN生成的图像的真实性。DCP处理两辆车同时观察同一个场景的场景。Waymo利用第一辆车的数据重建场景，并在第二辆车的精确姿态下渲染冲浪图像，从而生成约1000对来判断逐像素精度。

该论文的合著者报告说，当SurfelGAN生成的图像被提供给现成的车辆检测器时，最高质量的合成图像达到了与真实图像相当的指标。SurfelGAN还改进了DCP的Surfel渲染，可以在一定距离内生成更接近真实图像的图像。此外，研究人员已经证明，SurfelGAN的图像可以将车辆检测器的平均精度(即不同样本的估计值彼此有多接近)从11.9%提高到13%。

韦默指出，SurfelGAN并不完美。例子

如，有时无法从损坏的几何形状中恢复，从而导致外观不切实际的车辆。而且在没有冲浪提示的情况下，AI表现出很高的方差，尤其是当它试图使数据集中不常见的幻觉模式产生幻觉时，例如高层建筑。尽管如此，该公司的研究人员认为，它为将来的动态对象建模和视频生成模拟系统奠定了坚实的基础。

发言人说：“仿真是自动驾驶技术发展的重要工具，它使我们能够从超过2000万条公共道路的自动驾驶里程中选择并重播最有趣和最复杂的场景。”“在这种情况下，(使用SurfelGAN等方法)准确模拟车辆传感器的能力非常重要。”