5G+边缘 AI 的无线大带宽传输、智能化识别、低时延本地处理、安全稳定等特点,在一定程度上解决了工业质检检测难度高、人力成本居高不下、检测效率低下等问题。主要介绍 2 种常见的基于 5G+边缘 AI 的工业质检应用实现架构,并从多个维度进行对比,为实际应用提供选择建议。同时根据检测对象和环节的不同,总结了4类 5G+边缘 AI在工业质检中的应用。
工业质检现状及发展趋势
在汽车、3C 产品、芯片、光伏等领域,工业质检是不可或缺的环节,极大影响着产品产出质量和速度。工业质检目前存在以下痛点和挑战。
a)检测难度大:工业产品复杂度和精细化程度不断提高,主要体现在零部件体积变小、样式和种类众多、形状不规则化、更新换代频繁等多个方面,这些大大提高了质量检测和控制的难度。
b)人力成本居高不下:目前,工业质检仍大量依赖人工方式。通过人工长时间、大批量的流水检测来判断工业零部件和设备的质量,这样的方式受人工经验和主观因素的影响大,对质检人员的专业素质要求较高。虽然部分企业也陆续引入了高精度检测设备,但仍然要求操作人员具备一定的专业检测知识。为保证检测效果和质量,需进行大量的人员岗前培训。此外,高强度和重复性的流水检测,对质检人员的视力、体力造成极大的冲击,人员流失屡见不鲜。为维持企业正常运转,挽留质检人员,须进一步提升人力成本。
c)检测效率低下:工业质检速度和稳定性受质检人员技术水平、经验等限制存在不确定性。质检人员在长时间高强度工作环境下,容易出现精力分散、情绪波动等问题,影响检测效率。
随着行业竞争的日益激烈,劳动密集型的工业质检方式已经难以适应市场的发展变化。为实现更高效能的生产制造能力、更高品质的产品质量控制和更低的人力成本,获取竞争优势,智能化转型成为工业质检的发展趋势。
5G+边缘AI赋能工业质检
5G作为“新基建”之首,成为新一代智能制造系统的关键使能技术。5G 大带宽、低时延、高可靠等特性使无线技术能应用于高清图像传输及处理、现场设备实时控制等工业新应用,解决移动性传输需求,为工业质检奠定良好的网络基础。智能化应用不再受限于有形的电缆,灵活度大大提高。
2020 年,人工智能与 5G 一起列入“新基建”七大领域。AI 与 5G 的结合,催生了各种新型的智慧化应用,实现生产方式的改变和生产力的提升。目前,AI实现方式主要分为云端AI和边缘AI两种。云端AI通过公网将采集到的数据上传到云端处理,对网络带宽要求较高,一旦网络出现故障,就无法正常工作,且存在一定的安全隐患。边缘 AI将 AI从云端下沉到靠近用户的边缘位置,实现本地化的数据处理和AI智能检测,实时性高,具有极强的安全性,当网络出现故障,仍能正常工作,可靠性高。
工业质检为劳动密集型和作业密集型场景,一旦发生中断,极大影响工作效率,因此,实时、稳定、安全的智能检测尤为重要。基于 5G+边缘 AI 的工业质检应用,可以实现低时延、无接触式的智能化检测和大数据量本地处理,最大程度减少对现有设备和工艺的改造,有效提高工作效率,减轻回传网络负荷,保障数据安全,同时实现自动学习和不间断并行检测,降低人力成本,当业务数据积累到一定程度,可以发掘数据潜在的价值,为业务决策提供有力支撑。
基于5G+边缘AI的工业质检应用实现架构
在工业质检场景下,5G+边缘 AI应用根据边缘位置的不同,主要分为以下2种实现架构。
3.1 基于5G+边缘AI设备的实现架构
基于 5G+边缘 AI 设备的实现架构如图 1 所示,其将AI功能下沉到最靠近客户现场的边缘位置,即将摄像头、传感器、边缘 AI设备等部署于一线作业/检测位置。边缘 AI 设备基于摄像头或传感器采集的原始数据进行实时 AI 分析,第一时间将 AI 检测结果反馈至现场有线连接的展示和声音提醒设备,不受网络环境的影响,并通过5G网络将检测数据及结果回传至后端管理平台进行统计展示。
图1 基于5G+边缘AI设备的实现架构
该架构由数据采集、现场反馈、边缘处理、网络传输、管理平台等部分组成。
3.1.1 数据采集
原始数据采集是AI应用中最重要的部分,缺乏良好的原始数据,AI算法的效果将大打折扣。原始数据(图像、视频、音频、文本等)由在合适位置布放的各种类型摄像头和传感器获取,并通过有线传入边缘AI设备进行处理分析。在低照度情况下,可以加入外部光源以提高采集数据的清晰度,避免因光照不足影响输入数据的质量,同时营造稳定的环境色温,降低周围环境光照变化带来的影响。
3.1.2 边缘处理
边缘 AI 设备对输入的原始数据进行处理和智能分析,将分析结果实时反馈至现场展示和提醒设备,并通过5G网络回传至后端管理平台。
边缘AI设备需具备以下功能模块。
a)高性能处理器 CPU:具备多核高性能处理器,作为控制中枢,用于多摄像头调度、进程调度、软件程序控制、指令执行等。
b)GPU/NPU:集成图形处理器GPU或神经网络处理器 NPU,提供 TOPS 级及以上算力,支持 TensorFlow/Caffe/MXNet等主流深度学习框架及特定 AI模型的加载,用于摄像头视频、图像等原始数据的处理和 AI 分析。
c)I/O接口:配备多种I/O接口(见表1),并支持相关数据传输协议,以灵活适配应用场景。在实际应用过程中,可根据业务需求对接口进行删减或添加。
表1 边缘AI设备常用I/O接口
d)网络通信:集成5G模组或通过RJ45、USB等接口外接 5G 数据传输终端,具备 5G 传输能力。可根据需要内置或外接Wi-Fi、Bluetooth、4G等通信模块。
e)内存及存储:具备一定容量的内存及存储,用于临时数据存放、AI 模型存储等,其大小决定了设备的AI模型承载能力。在有限的存储空间下,AI模型应尽量做到轻量化、小型化。
f)视频编解码:支持 H.265、H.264、VP9、VC-1、MPEG-1/2/4等通用的视频编解码标准及相关带宽压缩技术,在保证视频质量的基础上尽可能降低传输速率。
g)供电及散热:配备电源、风扇等供电和散热模块,保证设备正常运转。
3.1.3 现场反馈
通过有线外接显示屏、扬声器等设备,对分析结果进行实时展示和声音告警提醒,为下一步处理提供及时、稳定的参考依据。
3.1.4 网络传输
通过5G无线空口将数据回传至覆盖该区域的5G基站及上联机房,在上联机房与后端云平台服务器之间搭建一条数据专线,提供专用数据传输链路,实现链路质量保障,保证数据安全性及稳定性。
3.1.5 管理平台
后端管理平台部署在公有云或企业私有云上,对前端边缘 AI 设备回传的检测数据和分析结果进行存储及统计展示。
特别说明的是,图1中数据采集、现场反馈和边缘处理这 3 部分所涉及的设备除了可以独立存在,也可以组合成一个整体,如 5G+边缘 AI 质检机器人,集成了 5G 模组、摄像头、传感器、交互显示屏及边缘 AI 处理所需的相关硬件和功能模块。
3.2 基于5G+MEC的实现架构
基于 5G+MEC 的实现架构将 AI 功能下沉到客户现场/边缘接入机房,搭建一个 5G+MEC 专网,将摄像头或传感器采集的原始数据分流至客户现场/边缘机房部署的MEC边缘云上,在MEC上部署AI服务器、管理平台等,对原始数据进行边缘处理、AI 分析和统计展示,同时接入厂区本地网,实现数据不出内网,保障数据安全性。实现架构如图2所示。
该实现架构由数据采集、网络传输、边缘处理及管理平台等部分组成。
图2 基于5G+MEC的实现架构
3.2.1 数据采集
通过在摄像头和传感器中集成5G模组或外接5G数据传输终端,将其采集的原始自然光、热成像或音频等数据进行 5G 无线回传。该数据采集部分所涉及的设备也可以组合成一个整体,如 5G 移动采集机器人。
3.2.2 网络传输
该实现架构采用 5G+MEC 专网进行数据传输。原始数据通过5G无线空口回传至5G基站,5G基站将该业务数据(下文统称专网数据)分流至MEC上,实现业务流量的本地卸载。
根据分流机制的不同可分为以下2种方案。
a)在客户现场/边缘接入机房部署下沉UPF/GWU 用户面网关。在 5G SA/NSA 环境下,基于核心网控制面与用户面相分离的思想,UPF/GW-U 用户面网关下沉部署至客户现场/边缘位置。在数据传输之前,5G基站上报控制面信令消息至核心网,核心网控制面网关SMF/GW-C根据专网终端携带的APN等信息,为专网数据选择下沉的专网 UPF/GW-U,建立默认承载。基站在收到专网终端发起的数据传输请求后,将专网数据通过默认承载转发至下沉的专网 UPF/GW-U;若非专网数据,5G 基站将其转发至公网用户面网关,从而控制数据的转发,实现专网数据分流。
b)在MEC部署DP分流模块,串接在5G基站与核心网之间。DP分流模块一般采用二层模式串接在5G基站与核心网之间的 S1 链路上,对 S1 流量进行包解析分流,将专网数据分流至 MEC 上,将非专网数据透传至核心网。
3.2.3 边缘处理及管理平台
在 MEC 上部署 AI服务器、媒体服务器、编解码服务器及业务管理平台,对分流至MEC的专网数据进行边缘AI分析和处理,并将分析结果和相关检测数据传至业务管理平台进行存储和展示。同时,在MEC上部署 MEP 边缘管理平台、VAS 增值服务等相关模块,实现对MEC的管理。
笔者将基于 5G+边缘 AI 设备的实现架构与基于5G+MEC 的实现架构进行对比发现前者在 AI 分析时延、稳定性、成本等方面较后者有一定优势,尤其适用于实时性和稳定性要求严格、成本受限的场景;后者在 AI 模型承载及扩展、安全性方面有突出优势,尤其适用于安全要求高的大型复杂工业质检场景。
5G+边缘AI在工业质检中的应用
5G与边缘 AI应用在工业质检领域已逐步开展探索和实践,不同场景下所采用的实现架构应综合质检业务类型、允许的检测时延、AI检测功能复杂度、稳定性及安全性要求、项目成本等各方面因素灵活选择。
根据检测对象和环节的不同,5G+边缘 AI在工业质检中的应用可分为以下几类。
4.1 零部件的AI智能检测
工业领域的零部件具有种类繁多、工艺精密、体积形状多样、检测标准不一的特点,人工质检难度大、复杂度高,很容易出现漏检、错检的情况。基于 5G 与边缘 AI 技术将零部件多角度、高清晰度的图像、视频等原始数据进行回传,通过边缘内置的AI智能检测算法,实现多标准、高准确度的实时零部件智能检测,提高检测效率,降低人工成本。
示例 1:手机玻璃盖板瑕疵智能检测。玻璃盖板是手机关键零部件,直接影响手机操作体验。通过多角度组合光源和高分辨率摄像头进行数据采集,可以实现点状缺陷(黑点、白点、凹凸点、点状划痕等)、线状缺陷(划痕、刮伤、脏污等)、气泡、边缘崩边、透光等各类微小瑕疵的智能检测。
示例 2:汽车曲轴连杆类型智能检测。发动机曲轴连杆的外形有很高的相似度,不同发动机所使用的连杆之间,甚至一个连杆的正反两面往往也只有几个特征点有明显不同。通过将摄像头、传感器应用在多种汽车发动机曲轴连杆的自动化生产线上,边缘内置的AI检测算法可以辨别不同类型的产品,助力自动化生产线的高效运行。
4.2 组装及成品的AI智能检测
在工业领域,各种零部件将遵循一定的规则和结构,组装成最终的产品。产品的整体质量检测和故障排查也是工业质检的重要一环。基于5G与边缘AI技术,实现对产品运转数据的采集、无线大带宽回传和实时AI分析,为产品整体性能和故障检测提供宝贵的参考依据。
示例 1:空调噪声智能检测。噪声大小是空调的一项重要指标。空调噪声在生产线上淹没于工厂内嘈杂的设备噪声之中,可以在生产线上增设音频采集设备,由音频采集设备事先采集工厂内的设备噪声数据,建立噪声库;然后通过边缘内置的 AI 检测算法对设备噪声进行识别,将设备噪声作为背景音从采集到的音频中剔除,并对剔除背景音的声音数据进行分析,实现空调噪声的智能检测。
示例 2:PCBA 故障智能检测。在印制电路板 PCBA生产组装过程中难免会出现缺陷或不良,如元器件错焊、漏焊、移位、裂纹、焊盘翘起等,售后产品也存在损坏返修的问题。PCBA 板为有源电路,发热异常是判断故障的重要依据。自然光和红外摄像头可以收集PCBA板自然光数据、上电过程的热成像数据,获取温度热图数据,边缘内置的AI检测算法将其与标准良品热图进行比较,实现异常点快速定位和失效分析,大大减少维修时间。
4.3 产线工人动作及状态智能监控
目前,智能质检尚未完全取代人工,产线工人与智能机器并存是常态。基于 5G 与边缘 AI 技术,对产线工人的动作行为、情绪状态等进行高清实时监控,若发现潜在的影响工作质量和效率的问题,进行实时预警,进而采取防范和改善措施,降低事故发生的风险和概率。
示例 1:产品装配操作智能监控。产线工人参与的产品装配作业中,通常包含固定的操作流程如伸手、抓取、移物、定位、装配等。操作人员在长时间工作或被干扰后,装配动作会出现遗漏、误操作等问题,影响产品质量。通过高清摄像头对产线工人的动作行为进行监控,边缘内置的AI检测算法可以自动识别人工装配过程中的工序是否正确,对错误操作进行实时报警提示,加快问题暴露,节省时间。
示例 2:质检人员情绪及精神状态监控。质检人员的情绪及精神状态会极大影响其工作效率和质量,极端情况下,甚至会威胁自身安全。基于 5G+高清摄像头可以对质检人员的面部表情、动作等进行实时AI监测,一旦发现疲劳、注意力不集中、悲伤、愤怒等现象,可以及时提醒相关人员,避免不必要的事故。
4.4 预测性维护及改进分析
通过 5G+边缘 AI智能质检,企业可以积累大量精确的、全面的质量检测数据,记录检验过程中的细节(如视频、缺陷图片、产品参数设置、生产流水线标记等)以及缺陷判断结果。以质量大数据为基础,企业可以进行质量趋势、缺陷成因、产能问题定位等智能AI 分析,反观生产工艺、产线设备中影响产品质量的问题,进而推动参数优化、工艺改进和设备维护升级,从源头减少或杜绝缺陷品的产生,做到质量管理事前控制,降低质检工作量,为产品制造打下良好的基础。此类应用需在质量大数据的基础上进行AI分析,提供预测性维护及改进指导意见,对时延不敏感,但对硬件算力、存储和数据安全性要求较高,一般采用基于5G+MEC的实现架构。
结束语
在工业质检领域,5G 与边缘 AI 因其大带宽、智能、实时、安全、稳定的特点受到青睐,目前已在零部件、组装及成品、产线工人动作及状态AI智能检测、预测性维护及改进分析等方面逐步开展应用探索和实践。根据业务实际需求,企业可灵活选择基于 5G+边缘AI设备或5G+MEC的实现架构。未来,随着技术的发展和行业探索的深入,5G+边缘 AI在工业质检领域将衍生出更多的应用类型,丰富应用场景,发挥更大的价值。
参考文献
[1] 网宿科技股份有限公司 . 基于边缘计算的 AI表面无人质检系统解决方案[J]. 自动化博览,2020(10):58-61.
[2] 侯大为 . 从 AI 质检机器人,到以质量大数据驱动的数字化工厂[J]. 人工智能,2020(3):74-83.
作者简介:
卢丽文,毕业于北京邮电大学,工程师,硕士,主要从事5G终端应用研究工作;
黄锦川,毕业于东南大学,工程师,硕士,主要从事5G终端应用研究工作;
王运付,毕业于电子科技大学,工程师,硕士,主要从事5G终端应用研究工作。