AOI炉前智能检测算法_卡奥斯COSMOPlat官网

背景

自动光学检测（Automated Optical Inspection, AOI）技术在电子制造业中发挥着重要作用，特别是在PCBA（Printed Circuit Board Assembly）生产线上。随着电子产品向小型化、高密度方向发展，传统的AOI检测技术有很多缺陷，如过于依赖人工经验，导致工厂招工难，培训难；检测算法仅为模板匹配，凡与模板“长得不一样”的都判定为不良，导致误报率高，人工复判成本高。AOI炉前智能检测算法，基于深度学习、计算机视觉机刷，可以智能甄别不同类型的元器件，并自动匹配缺陷类型，实现一键智能编程，提高AOI工位效率。

AOI质检流程

炉前AOI智能检测算法，通过孪生网络、目标检测、迁移学习、分割检测等AI模型，针对PCB板的元器件进行缺陷检测，可以识别的元件错误类型有：错件，缺件，多件，偏移，反向。采用windows10系统，C++写AOI检测程序与业务处理逻辑，AI模型以docker文件形式部署到win10系统中并发布成为https服务，通过triton服务进行推理加速。和传统方法相比检测速度得到了提升，泛化性也得到了增强，可以应用到多种场景，具体算法流程如下图所示。

首先，对待检测的板子制作金版，通过AI元器件一键搜索，智能生成元器件相关信息，保存为金版；其次实时检测时，首先获取到PCB板关键帧，其次将待检测板子与金版上的特征进行匹配，获取到待检测板子上元器件的box框，再通过上述的智能检测算法，识别各种缺陷类型。下面详细介绍使用的各种方法。
AOI元器件一键搜索，基于yolov8目标检测模型，并融合BiFPN（Bi-directional Feature Pyramid Network）和P2小目标检测层。其中引入BiFPN后，可使信息在不同分辨率级别之间双向传播，从而更好地融合多尺度信息，有助于模型更全面地理解不同大小的目标，提高了对多尺度物体的检测性能；小目标通常在图像中占据较少的像素，更容易被忽略或误判，引入P2小目标检测层可使YOLOv8能够更有效地检测小目标物体，提高了目标检测的准确性。
关键帧检测算法，由于在AOI质检过程中，相机会连续抓拍多张图片，通过关键帧检测算法，当PCB板移动至理想位置时，自动抓取并上传图片。随后对图片进行角度矫正，并将背景裁掉，此图片作为元器件缺陷检测算法的输入图片。关键帧检测的具体步骤如下：

初始化：设置图像中心点（通常是视频帧的几何中心）、检测框中心点（目标物体在帧中的位置）、距离阈值（用于判断目标是否移动了足够远的距离）以及冷却机制（防止频繁标记关键帧，确保两个关键帧之间至少有一定数量的非关键帧）。
目标检测：在每一帧中，通过旋转目标检测算法确定目标的位置，并计算出检测框中心点。
位置比较：将当前帧的检测框中心点与上一关键帧时检测框中心点的位置进行比较，计算两者之间的欧几里得距离。
阈值判断：如果计算出的距离超过了预设的距离阈值，则认为目标发生了显著移动，当前帧可能是一个关键帧。同时检查是否满足冷却机制的要求，即从上次标记关键帧以来已经经过了足够多的帧数。
关键帧标记：当同时满足距离阈值和冷却机制条件时，将当前帧标记为关键帧，并更新检测框中心点的位置作为下次比较的基准。
元器件错件检测算法，检测PCB板上的元器件是否插对位置，通过元器件在pcb板上的坐标位置信息，识别同一位置的元器件是否是正确的元器件。通过相似度比较算法，返回两个图片的相似度，当相似度大与一定的阈值认定为正确的元器件。具体算法流程如下：
基于孪生网络进行相似度的比较。首先将输入映射为一个特征向量，使用两个向量之间的“距离”（L1 Norm）来表示输入之间的差异（图像语义上的差距）。据此设计了Siamese Network。每次需要输入两个样本作为一个样本对，计算损失函数。在获得主干特征提取网络之后，可以获取到一个多维特征，然后使用flatten的方式将其平铺到一维上，再将这两个一维向量进行相减，并进行绝对值求和，相当于求取两个一维向量的距离，再对这个距离再进行两次全连接，第二次全连接到一个神经元上，对这个神经元的结果取sigmoid，使其值在0-1之间，代表两个输入图片的相似程度。
元器件反件检测算法，检测PCB板上的元器件是否插反，基于yolov8目标检测算法，检测出极性元器件的极性框，并计算该极性框相对整个元器件的位置，将该位置与金版中保存的极性位置相比较，判断是否为反件。

总结

AOI炉前质检算法，还有很大的提升空间，可通过引入其他更精准的深度学习模型，识别和分类缺陷，以降低误报率和漏报率。也可结合不同传感器（如红外、紫外等）的数据，通过多模态融合技术提高检测的全面性和准确性。并可引入在线学习和自适应算法，使检测系统能够根据生产过程中出现的新问题自动调整检测策略，提高系统的鲁棒性和灵活性。
通过高度自动化的检测流程，提升AOI设备检出率，降低误判率，提升直通率；提升质量管理技术与水平，质检效率；实现质检无人化，减少对人工检测的依赖，降低人力成本。提高整体生产效率。