盖世汽车讯 随着车载摄像头数量和复杂性的增加,以及机器和人类视觉对输出的要求不尽相同,高效且安全地转换图像数据需要更高的计算能力。为了在ADAS和自动驾驶中启用新功能,汽车行业将需要一种新的图像处理方法。

据外媒报道,Arm宣布推出全新车用影像讯号处理器Arm® Mali™-C78AE ISP,以进一步补充其专为满足车用效能与安全需求开发的IP产品。新增的Mali-C78AE搭配Cortex®-A78AE与Mali-G78AE,可提供先进驾驶辅助系统(ADAS)完整的视觉信息处理管线,以优化效能、降低功耗,并提供一致的方法达成功能性安全的要求,从而推动ADAS功能在市场的应用。

Arm推出全新图像处理器Mali-C78AE 用于驾驶员辅助和自动化

(图片来源:Arm)

Arm车用与物联网事业部副总裁Chet Babla表示:“Mali-C78AE满足业界对于全新图像处理方式的需求,并可助力实现ADAS与自动驾驶的全新功能。”

安全是人类与机器视觉最关键的部分

ADAS功能使用多个摄像头来支持各种人类和机器视觉应用。例如,环视系统使用来自车辆周围摄像头的数据,并以视觉方式向驾驶员显示信息,以帮助他们在停车时做出决策。另一方面,自适应巡航控制直接使用摄像头数据来解释环境,并做出独立于驾驶员的车辆控制决策,例如踩油门或刹车。Mali-C78AE专为各种人类和机器视觉安全应用设计,最高可处理来自实时4台摄像头或16台虚拟摄像头的数据。

开发初期,Mali-C78AE就具备硬件安全机制与软件诊断功能,因此系统设计人员可使产品设计满足ISO 26262 ASIL B功能性安全的要求。Mali-C78AE旨在预防或检测单个相机帧中可能导致帧数据处理不正确的故障。为此,该ISP具备380多个故障检测线路,持续内建自我检测,并可检测连接摄影头中的传感器及硬件的故障。

视觉需要大量数据,工作负载量极高

对安全和用户体验同样重要的是处理速度,这是Mali-C78AE的关键要素。在传感器处获取图像、通过ISP然后通过GPU处理,并将其显示在屏幕上供驾驶员使用,共需要150毫秒;例如,在使用停车辅助系统时,驾驶员会很容易发现影像延迟现象。在机器视觉应用中,车辆在获取摄像头图像和将其呈现给决策处理过程中,车辆得移动距应不超过250毫米;若超过该距离,代表机器视觉系统反应速度过慢,无法满足驾驶环境所需的精确与实时的决定要求。

为了使驾驶员和机器能够做出最佳决策,ADAS摄像头必须从每一帧中收集最相关的信息。Mali-C78AE采用先进的降噪技术和动态范围管理,通过调整画面过暗或过亮的区域,确保每一帧画面清晰且曝光适当。Mali-C78A可实时处理多达四台高分辨率、高帧率摄像头的数据,从而显著降低内存、通信和处理要求,从而提高系统效率。

如今,要实现多个ADAS功能,需要单独的摄像头设置,因为用于机器视觉应用的摄像头(例如车道偏离警告)不会产生适合人类视觉的图像(如环景影像)。为了降低实现多个ADAS功能的成本,Mali-C78AE通过缩小和颜色转换为机器视觉优化的传感器输出,以创建适合肉眼的图像,从而使摄像头传感器具有双重用途。通过避免摄像头及其相关电子设备和布线的重复,OEM可以节省成本并降低复杂性,因此可以在各种车型中更广泛地部署基于摄像头的ADAS功能,从而为驾驶员提供更安全、更好的用户体验。

为ADAS提供强大的视觉处理管线,并获业界先驱采用

Mali-C78AE是ADAS系统所需专业处理的重要元素。结合Cortex-A78AE和Mali-G78AE,Mali-C78AE的加入可提供完整的ADAS视觉管道,以优化性能、最小化功耗并提供一致的功能安全方法。

汽车视觉安全技术先驱Mobileye,率先在其下一代EyeQ技术中采用全新的Mali-C78AE ISP。当Mobileye开始着手开发Mobileye EyeQ Ultra与EyeQ6H时,便选择采用Mali-C78AE高效处理影像数据,并藉由搭配Mali-G78AE GPU,实现兼具安全性、流畅性、实时性与直觉性的图形渲染功能,从而满足严苛的车用要求。

Mobileye工程执行副总裁Elchanan Rushinek表示:“针对环景可视化功能,我们结合并使用Arm的ISP与GPU技术,可提供集中式的运算解决方案,藉由单颗系统单芯片,以提供最先进的ADAS与停车辅助系统。”