图像
Lv Shaosong
Lv Shaosong
Staff Applications Engineer
已发布: 2023年9月4日

缺陷检测在电子制造业中是非常重要的应用。 然而,由于存在的缺陷多种多样,传统的机器视觉算法很难对缺陷特征进行完全建模和迁移缺陷特征,致使传统机器视觉算法可重复使用性不是很大,并且需要区分工作条件,这将浪费大量的人力成本。 因此,越来越多的工程师开始将深度学习算法引入缺陷检测领域,因为深度学习在特征提取和定位方面取得了非常好的效果。

下面将介绍瑞萨电子深度学习算法在缺陷检测领域的应用,以PCB电路板缺陷检测为例。

在这里,我们提出了一种缺陷检测解决方案,使用YOLOv3-tiny深度学习算法。 YOLOv3-tiny 是一种轻量级的目标检测算法。 YOLOv3-tiny 的网络结构如下。

图像

与原来的YOLOv3模型相比,YOLOv3-tiny减少了一些层数和参数,提高了嵌入式设备上的推理速度和效率。 该算法具有较高的实时性和良好的精度,非常适合工业缺陷检测应用。

缺陷检测解决方案可以部署在RZ/V2LRZ/V2M  MPU芯片上。 部署过程如下图所示。

图像
Defect detection solution deployment process

ONNX 是一种用于表示机器学习模型的开放格式。
ONNX 定义了一组通用运算符,机器学习和深度学习模型的构建基块以及通用文件格式,使 AI 开发人员能够使用具有各种框架、工具、运行时和编译器的模型。

此应用程序在 RZ/V2M MPU 中的硬件设置如下。

图像
Hardware setup of the application in V2M

此应用程序在 RZ/V2L MPU 中的硬件设置如下。

图像
Hardware setup of the application in V2L

YOLOv3-tiny 缺陷检测解决方案部署在 RZ/V2M 和 RZ/V2L ,具有低功耗(小于5W)、高性能推理效果的特点,RZ/V2M为52fps,RZ/V2L为35fps(均不包括前处理和后处理)。

嵌入式缺陷检测不仅用于电子制造中的PCB缺陷检测,还具有广泛的应用场景,以下是一些常见示例:

  • 工业自动化:在制造过程中,可以实时检测产品中的缺陷,例如不正确的产品组装、零件缺失或损坏。
  • 农业领域:在农业生产中,它可用于检测作物或蔬菜中的缺陷,例如疾病,害虫或水果畸形。
  • 安防监控:可用于安防监控系统中的缺陷检测,如检测建筑物或公共场所的异常物体、入侵行为或安全隐患。
  • 医学成像:在医学领域,可应用于医学图像分析,检测疾病标志物、肿瘤或异常组织等。
  • 车辆检测:在智能交通系统中,可用于车辆检测,如交通流量监控、非法车辆检测或停车场管理。

随着人工智能技术的不断进步,我们期待在工业制造、安防、智能零售、服务机器人等多个领域推出更多应用和解决方案。