神经网络成就五大核心性能亮点

2020-11-19 11:43:10

Imagination Technologies发布了最新一代神经网络加速器IP核IMG Series4 NNA,并将于12月份正式向厂商提供。

芯东西独家获悉,已有汽车领域厂商率先获得IMG Series4 NNA IP授权。

作为NNA IP系列第四代产品,IMG Series4 NNA具备创新的多核架构、高扩展性&高灵活性、超高性能、超低延迟、节省带宽、车规级安全性等功能及特性,可满足汽车、移动设备、数据中心、PC等多种应用场景的AI加速要求。

在这背后,Imagination为IMG Series4 NNA融入了怎样的设计巧思?在神经网络加速成为各行各业普遍需求的当下,IMG Series4 NNA将为满足这一需求拿出怎样的解决方案?

为回答这些问题,芯东西独家专访Imagination人工智能业务高级总监Andrew Grant,以了解IMG Series4 NNA中蕴含的“黑科技”。

01

两年打磨:成就五大核心性能亮点

我们了解到,Imagination第二代、第三代神经网络加速器IP核Series2NX和Series3NX,分别于2017年和2018年推出,两款产品的发布时间相隔一年。

相比之下,最新推出的Series4 IP核与前代产品的推出相隔两年。Andrew Grant向我们透露,2018年以来,Imagination研发团队从软硬件两方面出发,对Series4 IP进行了细致的产品设计。

在硬件层面,Imagination团队在2018年启动对Series4 IP核的研发工作,同步开始对多核(multi-core)技术(IMG 4NX-MC2、MC4、MC6、MC8)进行研发。

同时,Imagination推出其专利的Imagination Tensor Tiling(ITT)技术,可将工作负载分割以获得最优效率。

实际应用时,昨日最新亮相的Series4 NNA IP可凭借多核多集群组合,提供600 TOPS甚至更高算力,同时可为大型神经网络工作负载节省带宽、降低延迟。

其性能优势可概括为五个方面:

1、高度灵活的可扩展方案。

前两代产品均采用单核架构,相比之下,最新推出的Series4 NNA采用多核架构,允许用户集成2个、4个、6个或8个单核,提供灵活的可扩展方案。

2、超高性能。

基于Series4 NNA IP,一个8核集群可提供100 TOPS算力,那么,6个8核集群的解决方案就可以提供600 TOPS算力。

3、超低延迟。

所有内核可以并行处理一个任务,进而相应地降低延迟、缩短响应时间。举例来说,相比单核独立执行的情况,理想状态下8核集群可以把延迟降低至前者的1/8。

4、节省带宽。

Imagination Tensor Tiling技术(ITT),可利用本地数据的依赖性将中间数据保存在片上存储器中,从而将带宽降低多达90%。

5、车规级安全性。

Series4包含IP级别的安全功能且设计流程符合ISO 26262标准(解决汽车电子产品风险的行业安全标准)。

此外,IMG Series4 NNA可运行一系列AI框架,包括Caffe、PyTorch、TensorFlow、PaddlePaddle、Chainer、Cognitive Toolkit、mxnet和Open Neural Network Exchange (ONNX)等。

对神经网络的支持方面,IMG Series4可为CNN、LSTM、RNN等多种神经网络加速,同时支持YOLO v3、Kittiseg等。

02

亮剑四大领域:从PC到汽车都能用

在应用场景上,除了延续前两代产品对移动设备、PC、数据中心等应用场景的支持,Series4 NNA IP特别针对自动驾驶领域、先进驾驶辅助系统(ADAS)等汽车领域应用进行了设计。

在与客户沟通的过程中,Imagination团队了解到,现有车载神经网络加速器IP解决方案存在功耗高等方面的痛点,这正给Imagination提供了“用武之地”。 Andrew说:“我们注意到,现有的多数IP厂商提供的是数据中心、桌面级CPU等解决方案,这些方案功耗比较严重,对车载场景不友好。但Imagination有做移动应用的基因,我们在控制功耗方面有优势。” 除了降低功耗以外,Imagination研发团队还综合考虑了自动驾驶等车载场景对能效、安全性等方面的需求。“(其中)最重要的是‘安全第一’的原则。”Andrew Grant强调。

Imagination研发团队在Series4 NNA独特的多核架构中加入控制器,以最大限度地提升使用效率。在保证功耗低、带宽低的情况下,把算力扩展到业界最大水平。

安全性方面,Series4 NNA采用硬件安全机制,可以保护编译后的网络、网络的执行和数据处理管道。

此外,Andrew Grant补充到,Series4 IP还能与Imagination的车用BXS GPU互补,以实现一个功能更加完善的异构计算平台。Imagination创新的AI协同(AI Synergy)技术,可充分利用NNA和GPU的资源与优势,使AI计算性能、效率再上新台阶。

03

未来4NX产品有望在更多领域落地

Andrew Grant向芯东西透露,目前已经有汽车领域的厂商率先获得了IMG Series4 NNA IP的授权,并正推动产品落地。

谈到Imagination三代NNA IP产品之间的关系,Imagination方面表示,前两代神经网络加速器IP已经达到了Imagination的市场预期,在移动、安防监控、IoT等对算力要求相对较低的应用场景中取得了较好成绩。

比如,展锐(UNISOC)的虎贲T710芯片搭载了2NX,在诸多AI评测中名列前茅,目前已落地于海信F50 5G智能手机、酷派X10 5G手机等;3NX相比2NX,在架构上有很大改良,其功耗、性能、PPA、灵活性均有提升,目前已应用在展锐的T7520芯片里。

相比之下,Series4 NNA IP是一款“Next Level”的产品,适用于更加广阔的场景。

三代产品形成矩阵,可提供不同层次的算力支持。“算力需求大的客户可选择多核心的4NX产品,对算力需求在10T以下的客户可选择3NX解决方案。”Andrew说。

同时,Andrew Grant称:“我们期待能将其(4NX产品)推广到云计算中心、移动边缘计算(MEC)、桌面、安防摄像头、工业自动化等应用领域。中国是一个非常大的市场,有许多芯片公司,我们期待能与这些公司一起有所作为,助力车载、数据中心等应用场景实现提升。”

04

结语:自动驾驶应用蓝海下,车载AI芯片IP迎来利好

5G、AI……一波波浪潮奔涌下,自动驾驶、远程医疗等应用逐渐从传说变为现实,这一过程中,Imagination等先进技术玩家,承担着助推产业浪潮奔涌的角色。

今年三月份,工信部网站公示《汽车驾驶自动化分级》推荐性国家标准报批稿。若该标准正式实施,将是我国第一份自动驾驶分级标准。这意味着国内自动驾驶发展将迎来政策性引导与保障。业内人士称,新的分级标准给行业带来利好,车联网路网基建有望加速,将带来十万亿级别的投资机会。

这一十万亿市场蓝海中,车载AI芯片IP无疑成为一大重要组成部分。

自动驾驶解决方案中,应对数以百计的复杂场景、处理大量的传感器数据、实现自动代客泊车等各类复杂功能,对车载AI芯片应用提出更高要求。 对此,Imagination最新发布的神经网络加速器IP在算力、降低延迟、提升能效等方面具备优势,或能助推自动驾驶应用快速落地。 有关Series4 NNA的更多信息, 请识别下方二维码观看 Imagination的主题会议。

关闭