构建芯片人工智能性能新标准！地平线提出MAPS测试方法

2020年，疫情过后，我们看到随着AI芯片的发展，智慧医疗、智能工厂、智能5G网络优化都已经成为可能。AI是新基建里的重要部分，而芯片则是AI新基建发力的重中之重。在AI应用的第一阶段，应用场景主要为训练和推理，在模型训练方面，算法模型需要对海量数据进行处理；随着算法模型应用趋于成熟，AI应用步入第二阶段，AI算力基建偏向于推理芯片的建设。AI芯片作为AI应用落地重要支撑，出货量与日俱增，但是对于行业的一些性能标准也急需要规范化。

 

8月8日，在2020全球人工智能和机器人峰会AI芯片专场上，地平线的联合创始人兼技术副总裁黄畅博士，正式提出了面向芯片AI性能的MAPS测试方法。针对AI芯片落地应用，黄畅也给出了前沿思考。

 

 

“纵观深度学习神经网络模型的发展演进，我们发现AI芯片面临的一大挑战，是算法演进速度远超硬件改进速度，致使评估芯片AI性能的方法与算法发展之间存在脱节的现象“，黄畅在演讲中表示。

 

黄畅指出，最近四年间AI算法精度和效率持续提升，2016年，语音合成革命性突破，机器和人声难以分辨计算量巨大，无法实时完成计算；2017年，WaveNet到Parallel WaveNet，计算效率提升1000倍，GPU可以20倍实时运行计算方式改变，RNN到Dilated CNN 产品化。2018年，计算方式变化，Dilated CNN到Sparse RNN，手机CPU（骁龙808）可用。

 

黄畅分享说，从2016年到2018年，ImageNet精度趋近饱和，2017年最后一届竞赛计算效率优化得到重视，在图像识别领域，出现新卷积Depthwise convolution, 该结构和常规卷积操作类似，可用来提取特征，但相比于常规卷积操作，其参数量和运算成本较低。业界推出SENet、DenseNet等轻量级网络，而且还出现了NASNet，网络结构自动搜索。这种技术导致第一次算法超越算法专家。2019年，EfficientNet（谷歌大脑）出世，震惊整个行业，其基准网络限定计算量，0.4GFLOPS，EfficientNet B0相对VGG19提升100%，每9个月翻番。

 

目前，业界尚缺乏一个与时俱进的，能够有效评估芯片AI性能的标准。业界惯常使用的芯片评测标准有两种，一是峰值算力，但峰值算力只反映AI芯片理论上的最大计算能力，而非在实际AI应用场景中的处理能力，具有很大的局限性；二是目前行业较为知名的基准测试组织MLPerf，其采用的模型少且更新速度滞后于算法演进的速度，无法及时反映算法效率的提升以及各种精度下芯片能够达到的计算速度，因而无法描述芯片AI性能的全貌。

 

为了推动芯片AI性能评估方式与时俱进，地平线提出MAPS评测方法，为行业提供一个评估芯片AI性能的视角。“评估芯片AI性能，本质上应该关注做AI任务的速度和精度，即‘多快’和‘多准’。”黄畅介绍说：“MAPS评测方法，关注真实的用户价值，将每颗芯片在‘快’和‘准’这两个关键维度上的取舍变化直观地展现出来，并在合理的精度范围内，评估芯片的平均处理速度。这个方法具有可视化和可量化的特点。”

 

作为 AI 领域的奥林匹克竞赛，ImageNet 比赛产生了几乎所有机器视觉中最重要的模型，它们在 ImageNet 上的精度可充分迁移到其他机器视觉任务（如物体检测、语义分割等）。在 ImageNet 的主流精度范围（75~80%）下，速度最快的模型所代表的点（由精度和帧率确定）所围多边形面积大小即为芯片处理ImageNet AI任务的能力大小，其公式为MAPS = 所围面积 /（最高精度-最低精度）。在演讲现场，黄畅还展示了MAPS评估方式在在ImageNet上的定义与主流芯片测试结果。

 

上图为MAPS评估方式下主流芯片测试结果，右一折线为地平线最新一代芯片测试结果

 

黄畅指出，芯片AI效能三要素，主要是峰值算力、有效利润率和AI算法效率的结合。算力部署在AI芯片上，根据架构特点，解决一个复杂的问题，得到算法在芯片上的实际利用率，整体软硬件架构的整体功耗，2019年，AI算法在新卷积神经网络技术推动下，效率得到明显提升。

 

黄畅举例分析，他说：“自动驾驶或者机器人领域的话，输入的数据是连续视频，连续视频之间有巨大冗余。那如何去利用这个冗余呢？算法就应该做相应的迭代，地平线采取的方法是把视频序列当成是一个流，然后用更高效的算法去有针对性的处理真正在这个视频中有变化的，有价值的信息，面对越来越复杂的场景的时候，算法还有持续的巨大的提升空间。”

 

人工智能与产业的结合，也需要让创造的价值真正体现出来。黄畅认为，AI有很多应用场景，大数据、医疗、金融，但地平线关注的是自动驾驶和自主机器人，比如最近地平线和新石器宣布达成战略合作，双方将面向低速自动驾驶场景开展深度合作，加速无人车的应用落地和规模化运营。按照计划，搭载地平线征程2芯片和感知算法的新石器无人车将于2020年下半年量产部署。中国是全球最大的物流市场，在疫情影响下，人们对无人车服务的社会价值认知加强，这一领域，也是将地平线在AI芯片和算法领域的前沿探索转化为赋能产业的落地实践。

 

在汽车领域，地平线首先取得突破的是智能座舱，后续的采访中黄畅指出：“长安的UNI-T车，采用了第四代人机交互系统，主动发起的人机交互系统，上面有很多蛮惊艳的东西，主持人用一个眼神便轻松唤醒了屏幕。” 据笔者了解，今年3月，长安汽车通过全球直播发布了主力新车 —— UNI-T，是首款搭载国产人工智能芯片的智能汽车，采用长安汽车和地平线联合开发的智能驾驶舱 NPU（Neural Processing Unit ，神经网络处理单元）计算平台，内置中国首款车规级 AI 芯片——地平线征程二代，具备每秒 4 万亿次的算力。在征程二代的赋能下，长安UNI-T 可全方位实现车内场景感知，并基于感知结果为用户提供更精准的智能推荐、智能车控等服务。一系列的落地结果是地平线鼓励行业树立对正确目标的统一认知，形成合力，更好地协同推动AI芯片产业发展。

 

作为边缘AI芯片领导者，地平线拥有扎实的技术积累和领先的商业探索，也正是基于这两点地平线提出了重新定义芯片 AI 性能的MAPS 评测方法。通过聚焦“快”和“准”两个关键评测维度，MAPS 关注真实用户价值，可为市场动态、直观的展现芯片 AI 性能，最终鼓励行业树立对正确目标的统一认知，形成合力，更好地协同推动AI芯片产业发展。