超现实虚拟世界被誉为自动驾驶汽车（AVs）的最佳驾驶学校，因为它们已被证明是安全尝试危险驾驶场景的卓有成效的试验台。特斯拉（Tesla）、Waymo（Waymo）和其他自动驾驶公司都严重依赖数据来实现昂贵且专有的照片级真实感模拟器，因为测试和收集细微差别的几乎崩溃的数据通常不是最容易或最需要的。
为此，麻省理工学院计算机科学和人工智能实验室（CSAIL）的科学家创建了“VISTA 2.0”，这是一个数据驱动的模拟引擎，车辆可以在现实世界中学习驾驶，并从接近崩溃的场景中恢复。此外，所有代码都向公众开放。
麻省理工学院教授兼CSAIL主任Daniela Rus表示：“如今，只有公司拥有类似VISTA 2.0的模拟环境类型和功能，而且该软件是专有软件。通过此次发布，研究界将获得一种强大的新工具，用于加速自主驾驶自适应鲁棒控制的研发。”，一篇关于这项研究的论文的资深作者。
VISTA 2.0是在团队以前的型号VISTA的基础上构建的，它与现有的AV模拟器有着根本的不同，因为它是数据驱动的鈥攎eaning它是根据真实世界的数据构建和真实照片级渲染的鈥攖从而实现直接转化为现实。虽然初始迭代仅支持一个摄像头传感器的单车道跟踪，但要实现高保真数据驱动模拟，需要重新思考如何合成不同传感器和行为交互的基础。
进入VISTA 2.0：一个数据驱动系统，可以模拟复杂的传感器类型和大规模交互场景以及大规模交叉口。与以前的模型相比，该团队使用的数据少得多，因此能够训练出比在大量真实数据上训练的自主车辆更强健的车辆。
CSAIL博士生亚历山大·阿米尼（AlexanderAmini）与博士生王振轩（Tsun Hsuan Wang）共同撰写了两篇新论文，他说：“这是自动驾驶汽车数据驱动模拟能力的一次巨大飞跃，以及规模和处理更大驾驶复杂性的能力的提高。”。“VISTA 2.0不仅能够模拟2D RGB摄像头之外的传感器数据，还能够模拟具有数百万个点的超高维3D激光雷达、不规则计时的基于事件的摄像头，甚至还可以模拟与其他车辆的交互和动态场景。”
该团队能够扩展交互式驾驶任务的复杂性，例如超车、跟随和协商，包括高度真实感环境中的多智能体场景。
为自动驾驶汽车培训人工智能模型涉及到各种各样的边缘案例和奇怪、危险的场景，因为我们的大多数数据（谢天谢地）只是日常驾驶的普通数据。从逻辑上讲，我们不能仅仅为了教神经网络如何避免撞上其他汽车而撞上其他汽车。
最近，人们已经从更经典的人工设计的模拟环境转向了基于真实世界数据构建的模拟环境。后者具有极强的照片真实感，但前者可以轻松建模虚拟相机和激光雷达。随着这一范式的转变，出现了一个关键问题：能否准确地合成自动驾驶车辆所需的所有传感器的丰富性和复杂性，例如更稀疏的激光雷达和基于事件的摄像头？
在数据驱动的世界中，激光雷达传感器数据更难解释鈥攜你实际上是在尝试用数百万个点生成全新的3D点云，而这些点云仅来自稀疏的世界视图。为了合成3D激光雷达点云，该团队使用汽车收集的数据，将其投影到来自激光雷达数据的3D空间中，然后让一辆新的虚拟车辆从原始车辆所在的地方在当地行驶。最后，他们在神经网络的帮助下，将所有这些感官信息投射回这个新虚拟车辆的视野。
与以每秒数千个事件的速度运行的基于事件的摄像头的模拟一起，模拟器不仅能够模拟这种多模式信息，而且能够实时模拟所有这些信息鈥攎使离线训练神经网络成为可能，但也可以在增强现实设置中的汽车上进行在线测试，以进行安全评估。阿米尼说：“在数据驱动模拟领域，是否可以进行如此复杂和逼真的多传感器模拟，这是一个悬而未决的问题。”。
这样，驾校就成了一个聚会。在模拟中，您可以四处移动，使用不同类型的控制器，模拟不同类型的事件，创建交互式场景，只需插入原始数据中没有的全新车辆。他们测试了车道跟驰、车道转弯、汽车跟驰以及静态和动态超车等更危险的场景（看到障碍物并四处移动以避免碰撞）。使用多代理，真实代理和模拟代理都可以交互，并且可以将新代理放到场景中，并以任何方式进行控制。
把他们的全尺寸汽车带到“野外”鈥攁.k、 a.Devens，马萨诸塞州鈥攖他的团队看到了结果的即时可转移性，既有失败也有成功。他们还展示了自驾车型的豪言壮语：“强健”他们表明，完全在VISTA 2.0中训练的AVs在现实世界中非常健壮，能够处理具有挑战性的故障的难以捉摸的尾部。
现在，人类所依赖的一道无法模拟的护栏就是人类的情感。这是友好的挥手、点头或眨眼表示感谢，这是团队希望在未来工作中实现的细微差别。
阿米尼说：“这项研究的核心算法是我们如何利用数据集，构建一个完全合成的学习和自主世界。”。“这是一个平台，我相信有一天它可以在机器人的多个不同轴上扩展。不仅仅是自动驾驶，还有许多依赖视觉和复杂行为的领域。我们很高兴发布VISTA 2.0，以帮助社区收集自己的数据集，并将其转换为虚拟世界，在那里他们可以直接模拟自己的虚拟自动驾驶车辆，在se虚拟地形，在这些世界中训练自动驾驶车辆，然后可以直接将其转换为全尺寸、真正的自动驾驶汽车。"
这篇文章由麻省理工学院新闻网（web.MIT.edu/newoffice/）转载，该网站是一个受欢迎的网站，涵盖了有关麻省理工学院研究、创新和教学的新闻。
