首页 首页 资讯 查看内容

全新3D物体检测,让自动驾驶变得更敏锐

2024-11-29| 发布者: 抚远百事通| 查看: 135| 评论: 1|文章来源: 互联网

摘要: 自动驾驶的慧眼难题面对高温暴雨的天气,四周堆砌的集装箱,港口的自动驾驶卡车仍要保持24小时不间断的作业计划。夜间的安全运输,无疑对任何一辆自动驾驶卡车来说,挑战巨大。这就需要一双智慧的“眼睛”精准识别并避开障碍物。卡车的“慧眼”功能来自于3D检测技术。在自动驾驶领域,它是实现环境精准感知的关键支柱,为车辆运行做出安全决策。现有的3D检测方案中,单目摄像头因为.........

  自动驾驶的慧眼难题

  面对高温暴雨的天气,四周堆砌的集装箱,港口的自动驾驶卡车仍要保持24小时不间断的作业计划。夜间的安全运输,无疑对任何一辆自动驾驶卡车来说,挑战巨大。这就需要一双智慧的“眼睛”精准识别并避开障碍物。

  卡车的“慧眼”功能来自于3D检测技术。在自动驾驶领域,它是实现环境精准感知的关键支柱,为车辆运行做出安全决策。现有的3D检测方案中,单目摄像头因为部署简单、成本较低而通用,但难以估算复杂场景中的深度信息,存在一定安全隐患。而采用立体摄像头,也并非完美。



  3D检测技术助力 自动驾驶车辆“理解”并“感知”周围环境

  虽然它模仿人类双眼成像原理,通过“视差”计算深度信息解决部分问题。但面对强光变化或动态物体的干扰,对于远距离或小物体的感知精度欠佳。这好比车辆会常常因为“视力不佳”影响作业安全与效率。因此,提升深度感知的精度和鲁棒性,成为3D检测技术的重要挑战。

  一场“视力”升级的考验

  假如这项技术难题被攻克,带来的不仅仅是安全性、自动化效率,还能创造降本,加速智能化的进程。这无疑是一项值得探索的创新行动。对此,西井科技联合同济大学,研发了一种全新的3D检测法——立体金字塔变压器(Stereo Pyramid Transformer,SPT),为自动驾驶的“慧眼”赋予了全新的视角以及更清晰的视野。

  在今年的IROS(IEEE/RSJ国际智能国际智能机器人与系统会议)学术会议上,双方共同就研究成果发布了一篇论文《3D Object Detection via Stereo Pyramid Transformers with RichSemantic Feature Fusion》(《通过立体金字塔变换器和丰富语义特征融合的3D目标检测》),并被IROS官方收录及正式发表。



  荣获IROS官方收录及正式发表 并在IROS 2024国际顶尖学术会议上广受关注

  SPT的创新在于多层“金字塔”结构,通过逐层提取和融合图像特征,使模型具备深入理解和处理复杂信息的能力。这一结构使得每一层都能专注于特定的图像区域,捕捉到更细致的场景细节。同时,语义注意力机制帮助模型理解物体之间的空间关系,为自动驾驶车辆规划最优路径提供有力支持。


  定性结果表明 SPT检测算法准确地定位了物体

  此外,SPT还创新地结合了双目检测与单目深度预测,将双目摄像头与单目摄像头的数据融合,以更高的深度感知精度应对复杂环境。即便在大雨或或雾霾等恶劣天气,它依然能够整合多视角的图像数据,保持稳定高效的检测性能。

  技术验证的里程碑成果

  在KITTI和自有数据集上的测试表明,SPT在复杂环境中的表现力远超以往的3D检测技术。它的检测准确率达到85.14%的mAP3D,足以证明其在多种环境中的稳定性。在严苛的消融实验中,我们的研发人员明确了各模块的贡献,进一步明确了“深度信息”对于模型构建的重要性。


  注:KITTI公开基准数据集实验结果


  注:消融实验结果

  即使在极端测试条件下,如严重遮挡和复杂光照下,SPT仍能精准识别目标物体,显示出其对动态环境的强适应性。同时,我们深度误差分析表明,SPT的像素平均深度估算误差显著低于其他模型,从0.25降至0.1567米,为空间位置估计提供了可靠的技术支持。


  西井新能源自动驾驶重卡E-Truck应用于海港运输


  西井新能源无人驾驶牵引车Q-Tractor应用于机场货站运输


  西井无人驾驶重卡Q-Truck 参与工厂及园区运输作业

  在实际海港场景应用中,SPT的检测能力得到了充分发挥。有了它的助力,西井自研的新能源商用车E-Truck(自动驾驶重卡)、Q-Truck(无人驾驶重卡)以及Q-Tractor(无人驾驶牵引车)等,不仅能看清远方的环境情况,还能及时识别周围空间并做出精准判断。这些车辆可以在空港、陆港、铁路港、工厂及工业园区等复杂场景中流畅运行,有效避免潜在的车辆或设备碰撞风险,确保运输任务的安全高效完成。

  产学研驱动自动驾驶向前

  西井科技与同济大学的产学研合作,是理论技术与实际应用的有效结合,确保了这项3D检测新技术的可靠性。这一创新方案在成本控制与精准度上取得了良好平衡,为未来的大规模应用奠定了基础。

  目前,SPT主要搭载在西井科技自主研发的双目摄像头,除了安装在自动驾驶及无人驾驶重卡上,还被应用于场景化智能识别的货物检测。随着软件系统不断迭代,这双敏锐的眼睛也将不断进化,提升感知识别的精准度及自动化效率。也对环境安全、可持续发展做出重要贡献。



  西井科技自研双目摄像头应用于车端及场景智能识别

  在全球大物流领域,西井科技以“智能化、绿色化”为目标,不断加强新智能、新能源的技术创新与场景应用,推动多场景的可持续转型与环保升级。SPT的实践成果,不但代表了西井在自动驾驶研发的竞争力,更是为绿色物流的高效进化提供了强大动力与安全保障。



鲜花

握手

雷人

路过

鸡蛋
| 收藏

最新评论(1)

Powered by 抚远百事通 X3.2  © 2015-2020 抚远百事通版权所有