概览
描述
Renesas AI Model Deployer 图形用户界面 (GUI) 是一款直观的可在图形用户界面下使用的工具,集成了 NVIDIA 强大的 TAO 工具包。 使用该工具可为嵌入式开发人员扫除了传统开发方式的障碍。无论您是刚刚开始 AI 之旅,还是希望优化边缘部署,使用该工具均能提供一条简单且可扩展的实施路径。
Renesas AI Model Deployer 工具可以在本地的标准工作站运行,开发人员无需依赖云端服务器即可便捷地开展原型设计和测试工作。 该 GUI 工具支持三种方式实现端到端的视觉应用,使客户能够了解如何将 TAO 用于目标检测和图像分类应用场景。
Renesas AI Model Deployer 是一款专为嵌入式开发人员设计的实用型端到端工具,为管理视觉 AI 开发工作提供简洁高效的解决方案。 用户通过执行工具附带的 shell 脚本即可快速设置环境,且该 GUI 工具还可提供完整的端到端 AI 开发流程:
- 创建项目(选择模型、开发板和任务)
- 拆分与分析数据集
- 训练与优化模型(QAT 和剪枝)
- 可视化评估(mAP 或 Top-K 精度)
- 基于样本的推理测试
- 简化的硬件部署流程
该 GUI 工具还支持实时摄像头推理、USB 流传输和可视化的部署界面,为开发人员提供即时反馈,并确保其模型在真实场景中正常运行。 瑞萨电子通过将先进的 AI 技术融入仅通过点击式就可以完成操作的体验过程中,使客户能够更快、更轻松地构建更智能、更高效的边缘产品,并显著降低开发风险。
对于希望创建生产级系统的用户而言,我们可借助 GitHub 开放的 Jupyter Notebook 编辑界面实现灵活的编程。 开发人员可以通过自定义数据处理的工作流,探索 TAO 工具包的其他功能,如复杂的增强策略、高级超参数调整,甚至实现基于用户模型 (BYOM) 的方法。 这些脚本将 GUI 提供的基础模型转化为定制的模型,满足实际应用场景需求。
特性
- 技术集成示例:Renesas AI Model Deployer 工具集成了多个演示示例,完整呈现 AI 部署的具体流程。
- 基于 RZ/V2H 和 RZ/V2L 平台的 DetectNet v2 目标检测
- 模型:采用 ResNet-18 的 DetectNet v2
- 数据集:KITTI 数据集(车辆、行人、骑行者)
- 部署:通过 DRP-AI 部署量化模型,具有实时摄像头推理和边界框可视化功能。
- 基于 RA8D1 MCU 的 MobileNetV2 图像分类
- 模型:MobileNetV2
- 数据集:可降解医疗废弃物分类(10 个类别,如注射器、手套、移液管等)
- 部署:通过 TFLite 进行量化,并通过 e2 studio 完成部署。
- 基于 RZ/V2H 和 RZ/V2L 平台的 DetectNet v2 目标检测
- 除了上述即用型示例,开发人员还可使用 Jupyter Notebook 进行更深层次的实验性探索。 示例包括集成附加的数据集、高级模型再训练,甚至利用 客户自行实现模型 (BYOM) 流程实现完全定制化解决方案。
发布信息
有关更多信息和链接,请访问 GitHub。
目标设备
设计和开发
相关评估板和套件
RZ/V2H 四核 视觉 AI MPU 评测套件
RZ/V2H AI MPU 评测套件 (RTK0EF0168C04000BJ) 用于评测瑞萨电子 RZ/V2H 四核 视觉 AI MPU。 该套件包括 CPU 板和扩展(EXP)板。 支持 RZ/V2H 标准软件包,能轻松实现低功耗 AI 推理和视频流等软件开发任务。 此外,这款评测套件还支持图像信号处理器 (ISP)、3D 图形引擎 (GE3D) 和可信安全 IP 等可选功能。
RZ/V2L 评估板套件
该评估板套件适用于评估 RZ/V2L。 RZ/V2L 评估板套件由模块板 (SOM) 和扩展板组成。 此外,产品附带MIPI摄像头模块 (MIPI CSI)。 扩展板通常适用于按照 SMARC v2.1 标准制备的 RZ/G2L,RZ/G2LC,RZ/G2UL,RZ/V2L模块 (SOM)。 基于这种适用性,在使用这些设备时,您可以体验到无缝且灵活的评估。
远程测试该板卡
RA8D1 MCU 群组评估套件
EK-RA8D1 评估套件可通过瑞萨电子的灵活软件包 (FSP) 和 e2 studio IDE,帮助用户轻松评估 RA8D1 MCU 产品组的特性,并开发嵌入式系统应用程序。 用户可利用丰富的板载功能以及自选的热门生态系统插件来将丰富创意变为现实。
EK-RA8D1 套件由三块板组成:EK-RA8D1 板采用 RA8D1 MCU 和片上图形 LCD 控制器,MIPI 图形扩展板采用 4.5 英寸 TFT 彩色 LCD (480 x 854),带电容式触摸覆盖层,而摄像头扩展板则采用 300 万像素 CMOS 图像传感器。
入门
运行快速入门示例项目
- EK-RA8D1...
基于 RA8D1 的 AI 开发平台
AIK-RA8D1 为开发人员提供了多种灵活的外扩连接,以加快 AI/ML 系统的开发。 硬件平台便捷易用,适用于以 RA 系列 32 位 MCU 中 RA8D1 MCU 为基础的多种 AI/ML 解决方案。
该硬件平台旨在用于支持视觉、实时分析和音频等各种 AI/ML 使用案例。 它允许用户将不同的插件式传感器与板载的模拟麦克风、摄像头进行灵活多样的组合。
该套件由 Reality AI Software 支持进行实时分析,并由 Renesas Ready 合作伙伴网络 支持用于基于特定视觉和音频的使用案例。
AIK-RA8D1...