陳虎 王成 盧仁謙

(1.重慶忽米網(wǎng)絡(luò)科技有限公司，重慶 400000；2.西安電子科技大學(xué)，西安 710071)

0 引言

表面缺陷檢測(cè)是工業(yè)生產(chǎn)中極其重要的一環(huán)，在汽車、船舶、電子、國(guó)防軍工等諸多領(lǐng)域具有舉足輕重的作用，表面缺陷檢測(cè)的準(zhǔn)確程度會(huì)直接影響產(chǎn)品的質(zhì)量?jī)?yōu)劣。因此，對(duì)工業(yè)產(chǎn)品表面缺陷檢測(cè)系統(tǒng)的設(shè)計(jì)、制造、檢測(cè)算法等核心技術(shù)的研究尤為重要。

在我國(guó)大部分的工業(yè)生產(chǎn)環(huán)境中，仍然利用人口紅利，大量地使用人工等傳統(tǒng)手段進(jìn)行表面缺陷檢測(cè)。這種手段容易受到主觀判斷的影響，導(dǎo)致檢測(cè)精度不穩(wěn)定。與之相比的是，國(guó)外已經(jīng)廣泛使用機(jī)器人等自動(dòng)化技術(shù)進(jìn)行產(chǎn)業(yè)換代升級(jí)，實(shí)現(xiàn)了工業(yè)自動(dòng)化、提高了社會(huì)生產(chǎn)效率。

隨著我國(guó)人口紅利逐年減弱、工業(yè)轉(zhuǎn)型升級(jí)需求釋放和生產(chǎn)力成本上升等問題的凸顯，再加上科技進(jìn)步后的工業(yè)自動(dòng)化技術(shù)性價(jià)比臨近拐點(diǎn)、接受度逐漸增強(qiáng)，人工智能、機(jī)器視覺、云計(jì)算和5G等技術(shù)取得了巨大的發(fā)展，因此無接觸、無損傷的多技術(shù)融合自動(dòng)化表面缺陷檢測(cè)已在不少領(lǐng)域逐步形成替代人工的趨勢(shì)。

1 微觀缺陷檢測(cè)背景

1.1 微觀缺陷檢測(cè)的行業(yè)性概述

科學(xué)技術(shù)的發(fā)展帶來了工業(yè)4.0和智能制造的革命。微觀領(lǐng)域缺陷檢測(cè)隨著制造精度提高在各行各業(yè)得到迅猛發(fā)展。微觀缺陷檢測(cè)技術(shù)應(yīng)用領(lǐng)域非常廣泛，在航天航空、汽車制造、半導(dǎo)體工業(yè)、生物醫(yī)療、精密加工、新材料制造等行業(yè)已得到普遍應(yīng)用[1-3]。

高精度制造的發(fā)展離不開精密微觀檢測(cè)。精密微觀檢測(cè)包括超精密的屬性識(shí)別、超精密制造的設(shè)備檢測(cè)技術(shù)、微觀特征分析、超精密測(cè)量技術(shù)、誤差補(bǔ)償技術(shù)、超精密制造工作環(huán)境等，是保證高精度制造的基礎(chǔ)技術(shù)。

精密微觀缺陷檢測(cè)技術(shù)是對(duì)物體各種微觀表象特性進(jìn)行判定的過程[4]，檢測(cè)的對(duì)象尺寸精度高于0.1 μm，表面粗糙度Ra小于0.025 μm，屬于亞微米級(jí)檢測(cè)技術(shù)，且正在向納米級(jí)加工技術(shù)方向發(fā)展。這種技術(shù)具體應(yīng)用在制造業(yè)表面特征分析、生物醫(yī)療細(xì)胞檢測(cè)、半導(dǎo)體晶片制造、新材料結(jié)構(gòu)、熱處理金相組織比對(duì)、PCB焊接和漆包線表面絕緣層檢測(cè)等領(lǐng)域(見表1)。

建立在分子力學(xué)、分子運(yùn)動(dòng)學(xué)、熱力學(xué)、光學(xué)、電磁學(xué)和凝聚態(tài)物理等基礎(chǔ)物理學(xué)理論之上的工業(yè)機(jī)理分析對(duì)物質(zhì)的結(jié)構(gòu)特征有了更標(biāo)準(zhǔn)的定義；在工業(yè)機(jī)理之上的模型和組件的開發(fā)是應(yīng)用場(chǎng)景的保證；建立在多行業(yè)、多領(lǐng)域基礎(chǔ)上的應(yīng)用系統(tǒng)架構(gòu)支撐了眾多應(yīng)用場(chǎng)景。尤其近幾年隨著數(shù)字化和工業(yè)AI技術(shù)的發(fā)展，建立在云架構(gòu)上的多行業(yè)、跨領(lǐng)域的基礎(chǔ)模型庫(kù)和多場(chǎng)景的應(yīng)用組件得到了迅猛發(fā)展，這種互聯(lián)網(wǎng)云端架構(gòu)上的行業(yè)化、系統(tǒng)化、標(biāo)準(zhǔn)模塊化的知識(shí)圖庫(kù)建立使微觀視覺檢測(cè)得到了快速發(fā)展。在這種發(fā)展態(tài)勢(shì)下，跨行業(yè)、跨領(lǐng)域的云端應(yīng)用栩栩如生。

表1 微觀缺陷檢測(cè)技術(shù)應(yīng)用領(lǐng)域

1.2 微觀缺陷檢測(cè)技術(shù)概述

表面微觀缺陷檢測(cè)涵蓋技術(shù)繁多，涵蓋圖像數(shù)據(jù)采集技術(shù)和圖像數(shù)據(jù)處理技術(shù)，其整體流程為圖像數(shù)據(jù)采集、圖像數(shù)據(jù)預(yù)處理、缺陷分類以及缺陷評(píng)價(jià)等。

1.2.1 圖像數(shù)據(jù)采集技術(shù)

圖像數(shù)據(jù)采集技術(shù)根據(jù)所檢測(cè)的缺陷種類采取不同的采集方式，其中應(yīng)用廣泛的是二維圖像采集技術(shù)和三維點(diǎn)云圖像采集技術(shù)。二維圖像采集模式主要根據(jù)其采集精度和頻率劃分為電荷藕合器件圖像傳感器(Charge Coupled Device，CCD)和互補(bǔ)金屬氧化物半導(dǎo)體(Complementary Metal Oxide Semi-conductor，CMOS)，其中CCD具有成像質(zhì)量高且可高速成像，便于檢測(cè)移動(dòng)產(chǎn)品及檢測(cè)節(jié)拍快的產(chǎn)品；CMOS采用卷簾快門曝光方式，其主要用于檢測(cè)靜止產(chǎn)品。圖像數(shù)據(jù)采集技術(shù)根據(jù)其采集模式是以面或者以線為單位，分為面陣模式和線陣模式兩種。其中，面陣模式受視野影響，而線陣模式則可搭配伺服運(yùn)動(dòng)機(jī)構(gòu)可檢測(cè)長(zhǎng)寬比差距較大的情況。圖像數(shù)據(jù)采集技術(shù)搭配不同的打光系統(tǒng)，可獲得不同成像效果，其中光源根據(jù)波段的不同，可以分為白光、藍(lán)光、紅光以及紫外光，所成圖像可凸顯不同特征；而采用不同打光角度，可獲得不同特征圖像，便于后期處理分析。

二維圖像采集技術(shù)主要應(yīng)用于劃傷、碰傷、物品狀態(tài)、外觀色差和尺寸等檢測(cè)，不含深度信息的檢測(cè)。當(dāng)待檢缺陷出現(xiàn)多元化、多樣化及概率隨機(jī)性大的情況，且當(dāng)需要檢測(cè)深度缺陷如毛刺缺料凹坑等時(shí)，可采用三維點(diǎn)云采集技術(shù)，即通過獲得表面3D點(diǎn)云數(shù)據(jù)識(shí)別分析該類缺陷。三維點(diǎn)云采集技術(shù)可根據(jù)其激光波段不同分為藍(lán)光和紅外兩種，其中藍(lán)光精度高視野較小，紅光精度稍低但視野較大。

1.2.2 圖像數(shù)據(jù)處理技術(shù)

圖像數(shù)據(jù)處理技術(shù)主要分為傳統(tǒng)機(jī)器視覺和深度學(xué)習(xí)兩種，傳統(tǒng)機(jī)器視覺通過邊緣提取、聚類分析等方法可檢測(cè)缺陷大小及位置，然后進(jìn)行識(shí)別和分類，對(duì)缺陷進(jìn)行分析[5]。由于缺陷多種多樣，傳統(tǒng)的機(jī)器視覺算法很難做到對(duì)缺陷特征完整的建模和遷移，復(fù)用性不大，要求區(qū)分工況，這會(huì)浪費(fèi)大量的人力成本。深度學(xué)習(xí)在特征提取和定位上取得了非常好的效果，因其檢測(cè)精度、速度及泛化性，越來越多的學(xué)者和工程人員開始將深度學(xué)習(xí)算法引入到缺陷檢測(cè)領(lǐng)域中，并開始應(yīng)用于工業(yè)產(chǎn)品視覺檢測(cè)，其通過對(duì)缺陷樣本的大量訓(xùn)練，建立識(shí)別模型，從而達(dá)到強(qiáng)有力的識(shí)別速度及精度[6]。

2 微觀缺陷檢測(cè)的主體系統(tǒng)架構(gòu)

表面微觀缺陷檢測(cè)是對(duì)產(chǎn)品的各種微觀表象特性進(jìn)行判定的過程，本文提出了基于工業(yè)互聯(lián)網(wǎng)、大數(shù)據(jù)、云計(jì)算、AI和微服務(wù)等多技術(shù)融合的方法，構(gòu)建了表面微觀檢測(cè)應(yīng)用架構(gòu)體系，從信息物理層、邊緣層、工業(yè)基礎(chǔ)設(shè)施即服務(wù)(Infrastructure as a Service，IaaS)層、工業(yè)平臺(tái)即服務(wù)(Platform as a Service，PaaS)層、工業(yè)軟件即服務(wù)(Software-as-a-Service，SaaS)層五大層面，建立起從缺陷數(shù)據(jù)采集到應(yīng)用服務(wù)的完整閉環(huán)(見圖1)。

在多技術(shù)融合的表面微觀缺陷檢測(cè)架構(gòu)體系中，信息物理層可以實(shí)現(xiàn)產(chǎn)品表面缺陷檢測(cè)產(chǎn)品數(shù)據(jù)等全要素接入能力；邊緣層可以支撐邊緣計(jì)算的數(shù)據(jù)處理模式，提供對(duì)現(xiàn)場(chǎng)檢測(cè)數(shù)據(jù)的預(yù)處理能力；工業(yè)IaaS層可實(shí)現(xiàn)預(yù)處理檢測(cè)數(shù)據(jù)傳送至云端服務(wù)器并在云端進(jìn)行數(shù)據(jù)模型訓(xùn)練；工業(yè)PaaS層可提供模型訓(xùn)練算法、數(shù)據(jù)清洗、數(shù)據(jù)分析等能力，挖掘產(chǎn)品表面微觀缺陷特性數(shù)據(jù)，如形狀特征、力學(xué)特征、表面光干涉特征、分子能態(tài)熒光特征、電磁特征、應(yīng)力、液體表面張力等，基于大數(shù)據(jù)和云計(jì)算能力，構(gòu)建工業(yè)算法模型和工業(yè)AI組件；工業(yè)SaaS層則基于表面缺陷檢測(cè)算法和工業(yè)AI組件，提供表面缺陷檢測(cè)應(yīng)用服務(wù)，最終實(shí)現(xiàn)各大行業(yè)產(chǎn)品表面微觀缺陷檢測(cè)的整體智能化升級(jí)。

2.1 信息物理層

信息物理層的主要功能是對(duì)待檢產(chǎn)品的缺陷數(shù)據(jù)進(jìn)行采集和處理。通過采用二維圖像采集技術(shù)和三維點(diǎn)云數(shù)據(jù)采集技術(shù)相融合的方式進(jìn)行缺陷數(shù)據(jù)采集，對(duì)多元化多樣化出現(xiàn)概率隨機(jī)性大及深度類缺陷進(jìn)行數(shù)據(jù)采集，該方式可同時(shí)整合二維圖像分辨率高和三維點(diǎn)云數(shù)據(jù)深度信息Z方向精度高的特點(diǎn)，通過兩種采集技術(shù)的融合，可全方位解決表面微觀缺陷檢測(cè)。其中，二維圖像采集技術(shù)可應(yīng)用面陣相機(jī)獲取微小區(qū)域的圖像，線陣相機(jī)獲取長(zhǎng)寬比大的區(qū)域圖像。

采集設(shè)備搭載的非標(biāo)伺服驅(qū)動(dòng)系統(tǒng)，包含可編程邏輯控制器(Programmable Logic Controller，PLC)、伺服電機(jī)及非標(biāo)機(jī)械結(jié)構(gòu)件等。其中PLC可根據(jù)具體需求有較多品牌選擇，如美國(guó)GE、德國(guó)西門子、日本松下和國(guó)內(nèi)的浙大中控/臺(tái)達(dá)等；伺服電機(jī)選型可通過轉(zhuǎn)速、轉(zhuǎn)矩和慣量匹配進(jìn)行選擇；非標(biāo)機(jī)械結(jié)構(gòu)件可根據(jù)具體應(yīng)用場(chǎng)景進(jìn)行設(shè)計(jì)及加工。

信息物理層還包含其數(shù)據(jù)系統(tǒng)，如ERP、MES和WMS等。其中，企業(yè)資源計(jì)劃(Enterprise Resource Planning，ERP)將企業(yè)實(shí)際管理需求與先進(jìn)信息技術(shù)完美結(jié)合，打造企業(yè)全程一體化管理體系，打破各部門、各區(qū)域、各系統(tǒng)之間溝通和協(xié)作的壁壘，建立規(guī)范、靈捷、高效的業(yè)務(wù)流程，實(shí)現(xiàn)銷售、客戶、項(xiàng)目、生產(chǎn)、庫(kù)存、采購(gòu)、人資、財(cái)務(wù)、辦公等所有環(huán)節(jié)全程無縫管理，確保了數(shù)據(jù)信息在傳遞過程中的準(zhǔn)確性、時(shí)效性和有效性，幫助企業(yè)快速反應(yīng)、緊密協(xié)作、良好運(yùn)營(yíng)，更快推進(jìn)業(yè)務(wù)發(fā)展，全面提升核心競(jìng)爭(zhēng)力；制造企業(yè)生產(chǎn)過程執(zhí)行管理系統(tǒng)(Manufacturing Execution System，MES)是面向于制造業(yè)生產(chǎn)車間從計(jì)劃到執(zhí)行的全面生產(chǎn)信息化管理系統(tǒng)，可以為企業(yè)提供制造數(shù)據(jù)管理、計(jì)劃排程管理、生產(chǎn)調(diào)度管理、庫(kù)存管理、質(zhì)量管理、人力資源管理、工作中心/設(shè)備管理、工具工裝管理、采購(gòu)管理、成本管理、項(xiàng)目看板管理、生產(chǎn)過程控制、底層數(shù)據(jù)集成分析、上層數(shù)據(jù)集成分解等管理模塊，為企業(yè)打造一個(gè)生產(chǎn)全流程化的制造協(xié)同管理平臺(tái)；倉(cāng)庫(kù)管理系統(tǒng)(Warehouse Management System，WMS)是對(duì)企業(yè)的倉(cāng)儲(chǔ)過程業(yè)務(wù)進(jìn)行信息化輔助管理的系統(tǒng)，主要包括入庫(kù)業(yè)務(wù)、出庫(kù)業(yè)務(wù)、倉(cāng)庫(kù)調(diào)撥、庫(kù)存調(diào)撥和虛倉(cāng)管理等功能，是對(duì)批次管理、物料對(duì)應(yīng)、庫(kù)存盤點(diǎn)、質(zhì)檢管理、虛倉(cāng)管理和即時(shí)庫(kù)存管理等功能進(jìn)行綜合運(yùn)用的管理系統(tǒng)。

2.2 邊緣層

工業(yè)領(lǐng)域表面微觀缺陷檢測(cè)數(shù)據(jù)采集階段主要包括3個(gè)步驟。首先，利用高清相機(jī)對(duì)工業(yè)設(shè)備表面進(jìn)行取像；然后，對(duì)取得的圖像進(jìn)行預(yù)處理操作；最后，將預(yù)處理之后合適的數(shù)據(jù)集傳送至云端服務(wù)器供模型訓(xùn)練。整個(gè)過程具有采集難度高、圖像數(shù)據(jù)量大、數(shù)據(jù)預(yù)處理方法部署和維護(hù)成本高等特點(diǎn)。因此，為了更好地結(jié)合物聯(lián)網(wǎng)技術(shù)驅(qū)動(dòng)相機(jī)設(shè)備進(jìn)行更快更安全的圖像拍攝，及時(shí)有效地對(duì)拍攝圖像進(jìn)行預(yù)處理和分析，并對(duì)數(shù)據(jù)進(jìn)行快速、實(shí)時(shí)的上傳，一種高效的數(shù)據(jù)傳輸通信技術(shù)和邊緣計(jì)算顯得尤為重要。

第五代移動(dòng)通信技術(shù)(The 5th Generation Mobile Networks，5G)是最新一代蜂窩移動(dòng)通信技術(shù)，也是繼4G(LTE-A、WiMAX)、3G(UMTS、LTE)和2G(GSM)系統(tǒng)之后的技術(shù)延伸與創(chuàng)新。其無線覆蓋性能和系統(tǒng)安全性較4G技術(shù)、藍(lán)牙、Wi-Fi等無線通訊有了很大提高。表2例舉了幾種常見的無線傳輸方式的傳輸速度和優(yōu)缺點(diǎn)。另外，作為一種新型創(chuàng)新數(shù)據(jù)傳輸標(biāo)準(zhǔn)，5G因其速度高、功耗低、時(shí)延低及支持物聯(lián)網(wǎng)等優(yōu)點(diǎn)，越來越受到各行各業(yè)的青睞。在應(yīng)對(duì)未來全球網(wǎng)絡(luò)環(huán)境的發(fā)展趨勢(shì)大背景下，5G也更具靈活性[7]。

基于上文所述，本文采用5G邊緣計(jì)算層來實(shí)現(xiàn)對(duì)數(shù)據(jù)的采集和預(yù)處理。通過利用5G傳輸技術(shù)，使設(shè)備在采集和傳輸圖像數(shù)據(jù)的過程中，具有高速率、低延遲、低能源、低成本等優(yōu)點(diǎn)；通過結(jié)合5G邊緣計(jì)算技術(shù)，構(gòu)造5G邊緣計(jì)算器，內(nèi)置圖像數(shù)據(jù)處理和分析程序，實(shí)現(xiàn)快速實(shí)時(shí)的圖像數(shù)據(jù)采集和預(yù)處理操作。

2.3 工業(yè)PaaS層

通過深入研究工業(yè)產(chǎn)品表面缺陷產(chǎn)生過程及特征，使PaaS層通過大數(shù)據(jù)、云計(jì)算、圖像識(shí)別、3D點(diǎn)云、CCD等多技術(shù)融合，從圖像預(yù)處理、缺陷檢測(cè)和定位、特征提取和分類3個(gè)方面提取缺陷共性特征，如毛刺、碰傷、外觀色差、尺寸誤差等，以工業(yè)互聯(lián)網(wǎng)平臺(tái)底層能力為基礎(chǔ)，構(gòu)建工業(yè)生產(chǎn)成品表面微觀缺陷檢測(cè)算法和組件。PaaS層主要包括通用PaaS(General Platform as a Service，GPaaS)層和應(yīng)用PaaS(Application Platform as a Service，APaaS)層。

2.3.1 GPaaS層

GPaaS層基于IaaS層云基礎(chǔ)設(shè)施提供GPU超強(qiáng)的并行計(jì)算能力，服務(wù)于深度學(xué)習(xí)訓(xùn)練、圖形圖像處理、視頻編解碼等場(chǎng)景，從而實(shí)現(xiàn)表面微觀缺陷檢測(cè)海量數(shù)據(jù)訓(xùn)練和數(shù)據(jù)模型構(gòu)建。以SpringClound基礎(chǔ)架構(gòu)作為PaaS層底層支撐架構(gòu)，采用Docker和Kunbernetes的混合容器技術(shù)，通過容器化管理與微服務(wù)框架，提供容器調(diào)度、容器編排、集群管理和彈性調(diào)度等能力；以AI算法服務(wù)、緩存服務(wù)、搜索引擎服務(wù)、圖像處理服務(wù)、租戶管理服務(wù)、API網(wǎng)關(guān)服務(wù)等為主的通用類微服務(wù)組件，實(shí)現(xiàn)先進(jìn)技術(shù)的快速引入及使用，為表面微觀缺陷算法檢測(cè)提供先進(jìn)技術(shù)支撐。

2.3.2 APaaS層

APaaS層基于GPaaS層技術(shù)能力，構(gòu)建工業(yè)算法模型庫(kù)，采用多種算法融合，主要從產(chǎn)品毛刺缺陷、產(chǎn)品粗糙度、物體表面光衍射、焊接溶液表面張力等特征性數(shù)據(jù)分析方面，形成以缺陷檢測(cè)為主的工業(yè)算法模型庫(kù)并通過微服務(wù)組件化手段形成工業(yè)表面缺陷檢測(cè)AI組件。具體可采用如下算法。

(1)深度卷積神經(jīng)網(wǎng)絡(luò)最初是為圖像分析而設(shè)計(jì)，很適合基于圖像的表面缺陷檢測(cè)及識(shí)別[8-9]。通過利用計(jì)算機(jī)視覺模擬人類視覺的功能，從具體的實(shí)物進(jìn)行圖象的采集處理、計(jì)算、實(shí)際檢測(cè)、控制和應(yīng)用，可將物體表面缺陷的特征學(xué)習(xí)和檢測(cè)定位集成到一個(gè)模型中，從而快速準(zhǔn)確地進(jìn)行缺陷檢測(cè)。

(2)作為一種快速有效的數(shù)據(jù)分析方法，與傳統(tǒng)的機(jī)器視覺方法相比，基于深度學(xué)習(xí)的方法可以挖掘出圖像的深層結(jié)構(gòu)，自動(dòng)學(xué)習(xí)具有代表性的特征。其中，可以通過對(duì)輸入圖像進(jìn)行切片，然后把切片圖像送入深度學(xué)習(xí)網(wǎng)絡(luò)中做判斷。在推理時(shí)，通過滑窗檢測(cè)方式進(jìn)行缺陷的逐位置識(shí)別[10]。也可以采用階段式方式：首先使用目標(biāo)檢測(cè)算法定位感興趣結(jié)構(gòu)區(qū)域，然后同樣也采用目標(biāo)檢測(cè)的方式對(duì)上階段檢測(cè)出的各個(gè)感興趣區(qū)域圖像中的缺陷做分類和定位[11]。在數(shù)據(jù)量缺少的情況下，可以使用高斯金字塔結(jié)合語義分割的方式或者使用生成對(duì)抗網(wǎng)絡(luò)和自動(dòng)編碼器]來重建缺陷，推理階段通過結(jié)合多尺度結(jié)果進(jìn)行缺陷檢測(cè)，只需少量的無缺陷樣本就可以進(jìn)行訓(xùn)練[12-13]。這對(duì)于收集大量有缺陷樣品困難且不可行的情況尤其重要。

表2 常見無線傳輸方式速度和優(yōu)缺點(diǎn)

(3)在工業(yè)生產(chǎn)中，由于腐蝕和摩擦等原因，設(shè)備表面可能出現(xiàn)各種裂縫、凹凸點(diǎn)、孔洞和疵點(diǎn)等缺陷，缺陷的產(chǎn)生使得設(shè)備的性能受到影響，引起機(jī)械故障和安全事故，由此造成經(jīng)濟(jì)損失、環(huán)境污染和人員傷亡。因此，使用三維點(diǎn)云建模對(duì)物體表面三維重構(gòu)對(duì)缺陷檢測(cè)研究具有很大的必要性和重要的現(xiàn)實(shí)價(jià)值，比如可以基于k近鄰和八叉樹的三維點(diǎn)云數(shù)據(jù)的精簡(jiǎn)算法，針對(duì)規(guī)則或者不規(guī)則三維點(diǎn)云數(shù)據(jù)，實(shí)現(xiàn)缺陷的識(shí)別和量化計(jì)算[14]。

本層以數(shù)據(jù)+算法驅(qū)動(dòng)工業(yè)AI建模，為工業(yè)產(chǎn)品表面微觀缺陷檢測(cè)應(yīng)用提供多技術(shù)融合的檢測(cè)組件能力支撐；以微服務(wù)的方式實(shí)現(xiàn)檢測(cè)算法組件應(yīng)用并延伸到其他行業(yè)表面缺陷檢測(cè)應(yīng)用服務(wù)中。

2.4 工業(yè)SaaS層

工業(yè)SaaS層面向裝備制造業(yè)、電子信息、泛半導(dǎo)體和醫(yī)療器械等行業(yè)，為其提供表面缺陷檢測(cè)應(yīng)用服務(wù)，具有識(shí)別速度快、準(zhǔn)確率高、成本低、可追溯性強(qiáng)、數(shù)據(jù)分析、智能反控等優(yōu)勢(shì)，克服了傳統(tǒng)的檢測(cè)手段弊端，如單點(diǎn)檢測(cè)、準(zhǔn)確率低、成本高、反應(yīng)滯后、分析性不強(qiáng)、系統(tǒng)性弱等。基于大數(shù)據(jù)和云計(jì)算等先進(jìn)技術(shù)，通過缺陷數(shù)據(jù)特征分析構(gòu)建的工業(yè)算法模型和工業(yè)微服務(wù)組件，可應(yīng)用于各大行業(yè)領(lǐng)域。各行業(yè)表面缺陷檢測(cè)應(yīng)用可服務(wù)于半導(dǎo)體芯片缺陷檢測(cè)、工業(yè)熱處理金項(xiàng)組織對(duì)比檢測(cè)、細(xì)胞微觀特征比對(duì)檢測(cè)、SMT焊接缺陷檢測(cè)、精密鑄造表面缺陷檢測(cè)等方面。

比如為實(shí)現(xiàn)半導(dǎo)體芯片缺陷檢測(cè)，可通過基礎(chǔ)物理光譜學(xué)理論的光譜衍射原理，結(jié)合通用特征差異算法、物體表面光衍射算法、物體表面光干涉算法等，通過對(duì)表面缺陷檢測(cè)圖像進(jìn)行復(fù)雜轉(zhuǎn)換、多模版灰度匹配，實(shí)現(xiàn)半導(dǎo)體表面缺陷精準(zhǔn)化檢測(cè)。針對(duì)SMT焊接缺陷檢測(cè)，可根據(jù)熱力學(xué)的分子內(nèi)聚力基礎(chǔ)理論，結(jié)合工業(yè)Paas層圖像分析、焊接溶液表面張力算法、通用特征差異算法、物體表面光干涉算法等，對(duì)缺陷圖像進(jìn)行增強(qiáng)、平滑、圖像二值化、區(qū)域分割、圖像形態(tài)學(xué)處理，從而檢測(cè)SMT焊接缺陷情況。

3 微觀缺陷檢測(cè)的典型應(yīng)用場(chǎng)景

3.1 電子工業(yè)中的PCBA缺陷檢測(cè)

印制電路板組裝(Printed Circuit Board Assembly，PCBA)生產(chǎn)過程中的主要質(zhì)量控制難點(diǎn)是零部件狀態(tài)和焊接質(zhì)量檢測(cè)，傳統(tǒng)圖像處理通常是使用邊緣提取、模板匹配等方法進(jìn)行分析，這種檢測(cè)手段只能分析固定模式的缺陷，且魯棒性低，具有一定的局限性。

針對(duì)上述難點(diǎn)，可利用本文提出的基于多技術(shù)融合的表面微觀缺陷檢測(cè)方法，首先利用物理層分別對(duì)PCBA進(jìn)行2D和3D取像；然后在5G邊緣計(jì)算層中對(duì)圖像進(jìn)行降噪等預(yù)處理，并上傳至云端進(jìn)行計(jì)算；最后在PasS層中，結(jié)合焊接溶液表面張力模型、點(diǎn)云技術(shù)及深度學(xué)習(xí)模型對(duì)多種缺陷模式進(jìn)行學(xué)習(xí)，達(dá)到對(duì)器件中缺焊、漏焊和虛焊的準(zhǔn)確檢測(cè)。PCBA虛焊缺陷檢測(cè)結(jié)果如圖2所示。

3.2 壓鑄行業(yè)中的缺陷檢測(cè)應(yīng)用

精密壓鑄件在電子工業(yè)和微型自動(dòng)化控制領(lǐng)域有著廣泛的應(yīng)用，受精度指標(biāo)的影響，其表面的缺陷檢測(cè)顯得尤為重要。該行業(yè)的零部件缺陷特點(diǎn)為缺陷尺寸小、特征反差弱、表面缺陷點(diǎn)分布離散等，傳統(tǒng)的人工處理方式難以滿足現(xiàn)有工藝的要求。

針對(duì)上述難點(diǎn)，可利用本文提出的基于多技術(shù)融合的表面微觀缺陷檢測(cè)方法，利用物理層CCD相機(jī)取得高清圖像，在邊緣層使用5G技術(shù)以緩解龐大數(shù)據(jù)量所帶來的傳輸問題，并通過強(qiáng)大的云計(jì)算能力解決計(jì)算量的問題。然后在PaaS層中，通過基于工業(yè)機(jī)理分析的壓鑄件缺陷生成模型，并結(jié)合相關(guān)AI算法，達(dá)到對(duì)壓鑄件中表面缺陷的檢測(cè)。最終，壓鑄件判別檢測(cè)模型在SaaS層進(jìn)行系列壓鑄件表面微觀缺陷檢測(cè)的應(yīng)用服務(wù)。圖3(a)為具有缺陷的壓鑄件，通過本文提出的基于多技術(shù)融合表面微觀缺陷檢測(cè)方法構(gòu)建壓鑄件檢測(cè)模型，可得到了較高的檢測(cè)精度，結(jié)果如圖3(b)所示。

3.3 熱處理金相組織的自動(dòng)比對(duì)

金屬熱處理是制造過程中的重要控制工藝，由于受熱處理設(shè)備、工藝、環(huán)境等條件影響，金屬的結(jié)晶過程復(fù)雜多變，對(duì)金屬金相組織的準(zhǔn)確判定和物理特性的檢定尤為重要，圖4所示為金屬熱處理過程中的孿晶析出現(xiàn)象。

在熱處理金相組織自動(dòng)對(duì)比問題中，可以利用本文提出的基于多技術(shù)融合的表面微觀缺陷檢測(cè)方法，首先在物理層利用CCD高清相機(jī)設(shè)備對(duì)染色后的金相組織進(jìn)行取像，然后在5G邊緣計(jì)算層對(duì)圖像進(jìn)行直方圖均衡化處理，并上傳至云端訓(xùn)練模型，最后在PasS層中，結(jié)合基于物體表面光衍射特性算法分析孿晶的特性，然后通過深度特征提取器提取出金相圖像中孿晶析出的特征進(jìn)行訓(xùn)練，最終得到熱處理金相組織的自動(dòng)對(duì)比結(jié)果。

4 結(jié)束語

隨著成像技術(shù)、計(jì)算機(jī)技術(shù)、人工智能、云計(jì)算和5G等科學(xué)技術(shù)研究的不斷深入，基于這些前沿技術(shù)融合的表面缺陷檢測(cè)技術(shù)也取得了長(zhǎng)足的進(jìn)步。表面缺陷檢測(cè)的準(zhǔn)確程度直接影響產(chǎn)品質(zhì)量的優(yōu)劣，而基于多技術(shù)融合的表面微觀缺陷檢測(cè)方法，極大地提高了缺陷檢測(cè)的準(zhǔn)確率，提高了生產(chǎn)作業(yè)的效率，其廣泛應(yīng)用也將促進(jìn)企業(yè)工廠產(chǎn)品高質(zhì)量的生產(chǎn)與制造業(yè)智能自動(dòng)化的發(fā)展。