概览

R-Car V4H是一种车载用SoC，可以通过2至3级自动驾驶超低功耗实现最高级别的深度学习。这里介绍在AD/ADAS应用程序的计算机视觉中最大限度利用R-Car V4H的工具。

AD/ADAS应用通常采用深度学习 (Deep Learning) 进行识别，以实现高精度图像识别。随着拟处理信息量和所需精度的提升，在这种识别过程中执行的运算量正在逐年增加。

Convolutional Encoder-Decoder

另一方面，半导体器件正在进入后摩尔时代，与以往一样，我们需要通过功率、执行速度和半导体工艺满足逐年增加的庞大运算量需求。人们试图利用通用CPU和 GPU多核实现这点，却因其功耗巨大而不切实际。因此，这里需要一种异构AI设备，该设备具有多个专为应用程序而设计的专用硬件加速器。此外，我们需要掌握利用该设备的专用工具相关知识。

Hardware accelerators in heterogeneous multi-core system improve performance and reduce power consumption

软件列表

为了设计和验证神经网络并最大限度地利用专用HW需要用到专业的知识和工具，以下三种解决方案可以帮助我们。

  • R-Car NAS（神经结构搜索）是一种自动设计在R-Car上高效运行的深度学习模型的工具
  • R-Car DNN Compiler 是一种DNN编译器，可以自动应用深度学习模型中的R-Car V4H程序优化
  • R-Car DNN Simulator是一种面向深度学习模型中R-Car程序的快速模拟器

整体配置

Overview of tools for optimizing AI software for ADAS/AD for R-Car SoC

“R-Car NAS（神经结构搜索）”是一种为R-Car生成优化网络模型的工具

这是一种生成深度学习网络模型的工具，可以有效利用R-Car上搭载的CNN IP、DSP和内存。这样，即使用户缺乏R-Car相应的专业知识和理解，也可尽快开发满足识别精度和处理时间要求的轻量级网络模型。

用户使用自己的数据集输入包含规格等参数的配置文件，也可自动生成最宜在R-Car上运行的神经网络。

代表图例

R-Car NAS (Neural Architecture Search) - Typical Diagram

“R-Car DNN Compiler”是一种将网络模型编译为R-Car用模型的工具

该编译器可将优化的网络模型转换为程序以充分发挥R-Car性能。它还可将CNN IP转换为能够快速运行的程序，并优化内存以充分利用快速、小容量的SRAM。

我们的工具可将该结构扩展至开源编译器Apache TVM[1]后提供给用户。

代表图例

R-Car DNN Compiler - Typical Diagram

“R-Car DNN Simulator”是一种在计算机上高速模拟已编译程序的工具

该软件是一种模拟器，无需使用实际的R-Car芯片即可在计算机上高速运行。虽然用户的神经网络模型和实际的硬件输出之间识别结果会出现些许差异，但用户无需硬件也可借助高速模拟器确认该影响的大小。

代表图例

R-Car DNN Simulator - Typical Diagram
R-Car NAS（神经结构搜索）
该工具可自动设计在R-Car上高效运行的深度学习模型
 Model-Based Development 瑞萨电子
R-Car DNN Compiler
DNN编译器可自动应用深度学习模型中的R-Car V4H程序优化
 Compiler/Assembler 瑞萨电子
R-Car DNN Simulator
深度学习模型R-Car程序快速模拟器
 Simulator 瑞萨电子
3 items
Tools to Optimize AI Software for AD/ADAS on R-Car SoC
Video List
Tools to Optimize AI Software for AD/ADAS on R-Car SoC

新闻和博客

博客 2023年1月31日
博客 2022年12月20日
新闻 2022年12月15日