韓 冰， 劉貢平， 郝 巨， 杜坤鵬， 王彥哲， 魏燕定*

1.中航西安飛機(jī)工業(yè)集團(tuán)股份有限公司，陜西 西安 710089； 2.浙江大學(xué) 機(jī)械工程學(xué)院，浙江 杭州 310027)

飛機(jī)總裝配階段機(jī)載系統(tǒng)功能檢測是通過試驗(yàn)和檢測，獲取被測對象的光、電、聲、機(jī)械、理化等各類參數(shù)并感知其特性和功能信息的過程，實(shí)現(xiàn)對產(chǎn)品狀態(tài)和特性的獲取、傳輸、分析、處理和顯示等任務(wù)。飛機(jī)總裝測試技術(shù)用于獲取飛機(jī)在總裝階段試驗(yàn)過程定性、定量的數(shù)據(jù)和信息，確定和驗(yàn)證飛機(jī)的性能和狀態(tài)，其技術(shù)的先進(jìn)與否直接影響到航空產(chǎn)品的先進(jìn)性和可靠性，同時也會對產(chǎn)品的研制和生產(chǎn)周期產(chǎn)生影響。

顯示控制系統(tǒng)是飛行員與航電系統(tǒng)交互的人機(jī)接口，也是感知任務(wù)系統(tǒng)、飛控系統(tǒng)、機(jī)電系統(tǒng)和環(huán)控系統(tǒng)等非航電系統(tǒng)實(shí)時狀態(tài)的關(guān)鍵橋梁[1-3]。大量飛機(jī)機(jī)載系統(tǒng)功能測試先由外部信號激勵機(jī)載系統(tǒng)，再由駕駛艙內(nèi)顯示控制系統(tǒng)判讀飛機(jī)響應(yīng)狀態(tài)。傳統(tǒng)飛機(jī)總裝測試采用測試人員在環(huán)，由人工判讀和記錄的開環(huán)測試方法存在測試效率低、數(shù)據(jù)無法溯源、誤判風(fēng)險和無法記錄測試全部動態(tài)響應(yīng)過程等諸多問題。

為了解決上述問題，本文基于機(jī)器視覺方法，提出了一種飛機(jī)總裝測試顯控板顯示自動識別技術(shù)，可自動獲取和判讀機(jī)載系統(tǒng)測試過程中駕駛艙內(nèi)部顯示信息，構(gòu)建從外部測試激勵到機(jī)載系統(tǒng)信息反饋的閉環(huán)測試系統(tǒng)，能夠有效提高總裝測試效率。同時，本文所提出的自動化測試方法對相機(jī)的安裝布置無特殊要求，待識別顯控板畫面只需處于相機(jī)視野內(nèi)即可，算法自動將視野內(nèi)任意位置的畸變顯控畫面校正到標(biāo)準(zhǔn)狀態(tài)，故與一般的工業(yè)領(lǐng)域圖像識別系統(tǒng)相比，對安裝角度和位置沒有要求，極大降低了人工布置相機(jī)設(shè)備的難度，增加了相機(jī)在駕駛艙內(nèi)可用的布局空間和靈活性。

因此，本文對革新飛機(jī)總裝測試設(shè)備和測試方法，推動飛機(jī)總裝測試技術(shù)向集成化、程序化、少人化發(fā)展起到推動作用。

1 顯控板狀態(tài)識別方案設(shè)計(jì)

飛機(jī)總裝測試涵蓋飛控測試、航電測試和機(jī)電測試，現(xiàn)行的測試方法根據(jù)測試任務(wù)書或測試技術(shù)條件指導(dǎo)人工實(shí)際操作，測試步驟依據(jù)工藝人員編輯生成的紙質(zhì)測試用例。現(xiàn)場測試人員按文件中的測試步驟逐一操作對應(yīng)的外部設(shè)備或艙內(nèi)操縱機(jī)構(gòu)，觀察顯控板顯示畫面與其他外部測量設(shè)備反饋，判斷系統(tǒng)測試響應(yīng)的正確性和是否滿足功能要求，并填寫紙質(zhì)試驗(yàn)測試記錄。由此可見，傳統(tǒng)測試手段自動化程度較低，完全依賴人工評價測試響應(yīng)和記錄試驗(yàn)結(jié)果，降低了飛機(jī)總裝測試效率，且紙質(zhì)記錄無法復(fù)現(xiàn)和溯源原始測試過程界面，當(dāng)出現(xiàn)特定故障時，分析排故效率低。

飛機(jī)顯示控制板(顯示控制系統(tǒng))由顯示終端、顯示控制組件和顯示處理單元組成[2]。顯示控制組件根據(jù)不同系統(tǒng)功能和交聯(lián)的外系統(tǒng)模塊，由幾十種控制板組成。本文所述顯控板識別主要針對顯控系統(tǒng)的顯示終端識別，根據(jù)測試需求識別顯示終端上的顯示畫面，自動獲取對應(yīng)測試步驟的顯示反饋。圖1為某機(jī)型飛機(jī)駕駛艙及顯示終端畫面示意圖。如圖1所示，飛機(jī)駕駛艙前端紅色框區(qū)域?yàn)轱@示控制系統(tǒng)的顯示終端，其顯示畫面包含多功能顯示頁面、主飛行顯示頁面、發(fā)動機(jī)參數(shù)信息頁面、飛行管理頁面和主狀態(tài)顯示頁面等，可依據(jù)顯示需求進(jìn)行切換。

圖1 某機(jī)型飛機(jī)駕駛艙及顯示終端畫面示意圖

以飛機(jī)總裝測試中飛控系統(tǒng)的測試步驟為例，分析測試流程和人工判讀需求。首先，進(jìn)行舵面?zhèn)鲃颖扰c極性檢查，通過操作控制面板設(shè)置舵面處于不同工作狀態(tài)；之后操縱駕駛盤、駕駛柱或腳蹬等操縱機(jī)構(gòu)，使對應(yīng)舵面按一定方向旋轉(zhuǎn)至最大極限位置；最后，通過外部測量設(shè)備記錄舵面實(shí)際偏轉(zhuǎn)角度，并通過駕駛艙內(nèi)顯控板顯示終端，人工判讀舵面偏轉(zhuǎn)角度大小和極性是否正確。對某些功能進(jìn)行檢查測試時，通過設(shè)置能源、供電或系統(tǒng)處于特定模式下，人工判讀顯控板狀態(tài)是否達(dá)到顯示要求，并通過人工觸發(fā)某些特定故障，檢查顯控板顯示頁面是否出現(xiàn)相關(guān)故障顯示、告警和提示。與上述類似的測試用例和步驟，都存在大量人機(jī)交互的過程，判讀顯示頁面結(jié)果是飛機(jī)總裝測試檢驗(yàn)測試結(jié)果反饋正確性的必要手段。

為了實(shí)現(xiàn)飛機(jī)總裝測試的顯控板顯示頁面自動識別功能，需要明確測試相關(guān)的顯示頁面特點(diǎn)和自動判讀需求。以某型飛機(jī)顯控板顯示頁面為例，飛控系統(tǒng)、航電系統(tǒng)和機(jī)電系統(tǒng)相關(guān)顯示信息具有以下共同特點(diǎn)：

① 同一頁面的顯示內(nèi)容和顯示位置固定。

② 顯示頁面由圖塊、字符和指針等元素組成。

③ 通過頁面圖塊顏色、顯示字符內(nèi)容和指針位置等可判讀相關(guān)測試反饋。

根據(jù)上述頁面特點(diǎn)和識別需求，顯控板顯示頁面自動識別的整體方案如圖2所示。顯控板顯示頁面自動識別的過程為：首先，工業(yè)相機(jī)自動采集待識別顯控板區(qū)域圖像，圖像識別系統(tǒng)對原始圖像進(jìn)行特征提取，與待識別目標(biāo)頁面基準(zhǔn)圖像的特征向量進(jìn)行特征匹配，獲取頁面區(qū)域在原始圖像中的定位；然后，基于頁面定位參數(shù)，通過仿射校正提取出待識別頁面，并使其校正為標(biāo)準(zhǔn)大小的正視頁面圖像；由于該頁面上各個模塊顯示位置固定，根據(jù)每個模塊已知的區(qū)域位置，可準(zhǔn)確定位到待識別的目標(biāo)模塊，進(jìn)而從圖像中依據(jù)區(qū)域坐標(biāo)或雙向投影法查找區(qū)塊邊緣，并分割出待識別目標(biāo)模塊；最后，根據(jù)待識別目標(biāo)模塊類型，將分割好的待識別目標(biāo)輸入過對應(yīng)模型進(jìn)行識別。識別結(jié)果通過數(shù)據(jù)庫管理，可自動生成測試結(jié)果報告，顯著提高了測試效率。

圖2 顯控板顯示頁面自動識別的整體方案

2 關(guān)鍵技術(shù)分析

2.1 特征點(diǎn)提取算法

根據(jù)測試項(xiàng)目的需求，圖像采集設(shè)備布置在總裝生產(chǎn)線上的不同架次的飛機(jī)上。技術(shù)人員在布置相機(jī)安裝位置過程中，只能夠?qū)D像采集區(qū)域控制在一定范圍內(nèi)，使待識別目標(biāo)位于相機(jī)視野中，無法保證每一次安裝后拍攝目標(biāo)固定于圖像同一位置。為了降低技術(shù)人員配置圖像采集設(shè)備的操作要求，解決待識別目標(biāo)的旋轉(zhuǎn)、傾斜、縮放和光照變化等問題，提高顯控板顯示頁面識別的準(zhǔn)確性和魯棒性，本文采用具有尺度不變性和旋轉(zhuǎn)不變性的SIFT (Scale Invariant Feature Transform，尺度不變特征轉(zhuǎn)換)算法[4]進(jìn)行待識別頁面特征點(diǎn)的提取，為后續(xù)頁面定位和校正提供穩(wěn)定特征描述子。顯控板顯示頁面圖像的SIFT特征提取步驟如下。

2.1.1 構(gòu)建尺度空間

為了模擬圖像數(shù)據(jù)的多尺度特征，采用高斯核函數(shù)對圖像進(jìn)行尺度變換，獲得圖像在尺度空間下的多尺度序列表示。

定義輸入二維圖像為I(x,y)，尺度參數(shù)為σ，該圖像尺度空間L(x,y,σ)獲取過程可表示為

L(x,y,σ)=G(x,y,σ)*I(x,y)

(1)

式中：G(x,y,σ)為高斯平滑核函數(shù)；*為卷積符號。G(x,y,σ)表達(dá)式為

(2)

為了有效在尺度空間檢測圖像穩(wěn)定的關(guān)鍵點(diǎn)，采用高斯差分(Difference of Gaussian,DoG)尺度空間極值作為判斷依據(jù)。將高斯金字塔圖像中同一尺度相鄰的兩層圖像相減，可得DoG算子為

D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))*I(x,y)

=L(x,y,kσ)-L(x,y,σ)

(3)

式中：k為兩個相鄰尺度圖像的尺度比。

2.1.2 檢測極值點(diǎn)

在DoG空間中搜索圖像像素極值點(diǎn)，除DoG最頂層和最底層外，每層圖像的每個采樣像素點(diǎn)均要與周圍26個鄰域點(diǎn)進(jìn)行比較，這26個鄰域點(diǎn)包括：同尺度層相鄰的8個像素點(diǎn)、上下相鄰尺度層各9個像素點(diǎn)。當(dāng)采樣像素點(diǎn)較這26個點(diǎn)大或小時，則為極值點(diǎn)，將其視為候選的關(guān)鍵點(diǎn)，標(biāo)記其位置和相應(yīng)尺度空間。為了獲得穩(wěn)定的特征點(diǎn)，會對候選極值點(diǎn)的原圖精確位置進(jìn)行插值定位，剔除不穩(wěn)定點(diǎn)、消除邊緣響應(yīng)。

2.1.3 提取特征

為了保證獲得的描述符具備旋轉(zhuǎn)不變性，基于圖像局部特征為關(guān)鍵點(diǎn)分配基準(zhǔn)方向。采用圖像梯度法計(jì)算關(guān)鍵點(diǎn)鄰域內(nèi)所有點(diǎn)的梯度值和梯度方向：

(4)

(5)

其中：

fx(x,y)=L(x+1,y)-L(x-1,y)

fy(x,y)=L(x,y+1)-L(x,y-1)

式中：m(x,y)為點(diǎn)(x,y)處梯度模值；θ(x,y)為點(diǎn)(x,y)處梯度方向。

像素點(diǎn)在平面內(nèi)的梯度方向在0～360°量化為8個方向，選取關(guān)鍵的點(diǎn)8×8鄰域，統(tǒng)計(jì)鄰域內(nèi)各點(diǎn)梯度方向和幅值，利用梯度直方圖找到最大值最為關(guān)鍵的點(diǎn)鄰域內(nèi)的主方向，以此為SIFT特征關(guān)鍵點(diǎn)的基準(zhǔn)方向。利用關(guān)鍵點(diǎn)周圍鄰域內(nèi)的像素點(diǎn)描述關(guān)鍵點(diǎn)特征，在關(guān)鍵點(diǎn)8×8鄰域內(nèi)，將4×4劃分為一個區(qū)塊，使整個鄰域劃分為2×2個區(qū)塊。每個區(qū)塊由8個方向進(jìn)行描述，故關(guān)鍵點(diǎn)8×8鄰域可生成4×4×8=128維的特征描述子。這個128維特征向量具備尺度不變性、旋轉(zhuǎn)不變性，歸一化后具備光照不變性，能夠穩(wěn)定描述顯控板不同顯示頁面的圖像特征。

為了展示特征點(diǎn)計(jì)算結(jié)果，將檢測圖像轉(zhuǎn)為灰度圖，特征點(diǎn)通過彩色圓圈繪制在對應(yīng)圖像上，圓圈大小表示特征點(diǎn)大小，圓圈內(nèi)部線段表示特征點(diǎn)的方向。顯控板兩張顯示頁面特征點(diǎn)計(jì)算結(jié)果如圖3所示。

圖3 顯控板頁面特征點(diǎn)計(jì)算結(jié)果示意

2.2 特征點(diǎn)匹配算法

基于上文所述SIFT特征提取方法，可以獲得顯控板顯示頁面基準(zhǔn)圖像和相機(jī)采集的輸入圖像的特征描述子，通過對輸入圖像特征描述子進(jìn)行與基準(zhǔn)圖像特征描述子最近鄰搜索[5]，達(dá)到圖像特征點(diǎn)匹配的目的，即可找到顯示頁面基準(zhǔn)圖像在輸入圖像中的位置。為此，本文采用FLANN(Fast Library for Approximate Nearest Neighbors，快速近似最近鄰搜索庫)算法[6]，基于 K-D Tree在高維矢量之間進(jìn)行相似性檢索，n維空間的歐式距離定義式如式(6)所示，計(jì)算結(jié)果d(x,y)值越小，則說明特征點(diǎn)之間的相似程度越高。

(6)

將數(shù)據(jù)點(diǎn)在n維空間Rn進(jìn)行層次劃分，通過將數(shù)據(jù)點(diǎn)劃分成多個索引結(jié)構(gòu)能夠大大加快檢索速度，在K-D Tree中檢索數(shù)據(jù)點(diǎn)與查詢點(diǎn)距離最近的歐式距離。向量空間Rn中所有的歐式距離d(x,y)通過K-D Tree結(jié)構(gòu)存儲，與參考點(diǎn)距離最鄰近點(diǎn)的搜索過程是K-D Tree由上至下的遞歸過程[7]：首先以某一特定維數(shù)為基準(zhǔn)將目標(biāo)點(diǎn)和分割點(diǎn)的值進(jìn)行比較，判別目標(biāo)點(diǎn)是在左區(qū)域還是在右區(qū)域；然后循環(huán)與對應(yīng)節(jié)點(diǎn)進(jìn)行比較，直到目標(biāo)搜索成功為止。

為了展示特征點(diǎn)匹配效果，將基準(zhǔn)圖像(左側(cè))與相機(jī)采集的輸入圖像(右側(cè))水平排列，在符合算法要求的最佳匹配點(diǎn)之間繪制藍(lán)色直線，即從基準(zhǔn)圖像到輸入圖像對應(yīng)匹配點(diǎn)之間的匹配線。根據(jù)匹配點(diǎn)的對應(yīng)關(guān)系，可以在輸入圖像上準(zhǔn)確找到基準(zhǔn)圖像(檢測頁面)的位置(用紅色實(shí)線將頁面框出)。顯控板頁面特征點(diǎn)匹配結(jié)果如圖4所示，圖4中匹配點(diǎn)對應(yīng)準(zhǔn)確，匹配線平行無交叉，表明匹配算法適合顯控板頁面特征點(diǎn)匹配。

圖4 顯控板頁面特征點(diǎn)匹配結(jié)果示意

2.3 目標(biāo)提取

2.3.1 頁面校正

工業(yè)相機(jī)采集的原始圖像是將三維空間中顯控板顯示頁面投影到二維圖像平面上，透視投影使原本為矩形的標(biāo)準(zhǔn)顯示頁面在成像過程中發(fā)生透視變形，產(chǎn)生縮小效應(yīng)、滅點(diǎn)效應(yīng)和圖像信息失真[8]。為了便于對待識別目標(biāo)進(jìn)行分割和目標(biāo)識別，需要通過透視變換，把存在角度視差的顯示頁面圖像轉(zhuǎn)換為正視的標(biāo)準(zhǔn)顯示頁面，達(dá)到校正頁面的目的。透視變換數(shù)學(xué)模型[9]為

[x′,y′,1]=[u,v,1]A

(7)

式中:A為3×3的變換矩陣;[u,v,1]為變換前的圖像點(diǎn)坐標(biāo);[x′,y′,1]為變換后的圖像點(diǎn)坐標(biāo)。

變換矩陣A的參數(shù)包含了線性變換、平移變換和透視變換的轉(zhuǎn)換關(guān)系。由于處理目標(biāo)為二維圖像，所以a33恒為1。由每一對匹配點(diǎn)可得到兩個參數(shù)方程，通過提取源圖像4個點(diǎn)坐標(biāo)和目標(biāo)圖像4個點(diǎn)坐標(biāo)，可以構(gòu)造8個方程，故可以解出變換矩陣A的8個未知參數(shù)。根據(jù)求解出的透視變換矩陣能夠?qū)Ξa(chǎn)生透視變形的顯示頁面進(jìn)行校正，獲得標(biāo)準(zhǔn)尺寸的顯示頁面正視圖。顯控板頁面校正結(jié)果示意如圖5所示。

圖5 顯控板頁面校正結(jié)果示意

2.3.2 目標(biāo)定位與分割

基于上文算法可以準(zhǔn)確獲取顯控板待識別頁面標(biāo)準(zhǔn)尺寸的正視圖像，由于顯示頁面具有顯示內(nèi)容和顯示位置在同一頁面上固定的特點(diǎn)，可根據(jù)圖像區(qū)域坐標(biāo)分割頁面上的目標(biāo)區(qū)塊。通過制定目標(biāo)區(qū)域坐標(biāo)映射表，將不同頁面的坐標(biāo)參數(shù)與對應(yīng)頁面綁定，根據(jù)目標(biāo)頁面標(biāo)記能夠快速查找待識別目標(biāo)區(qū)塊位置，進(jìn)而進(jìn)行分割。為了保證目標(biāo)區(qū)塊位置準(zhǔn)確，通過快速檢索提取的圖像區(qū)塊需要進(jìn)行位置精確定位和分割。下面以顯控板顯示頁面字符精確分割為例介紹分割算法。

采用雙向投影法進(jìn)行字符的精確定位和分割，為后續(xù)字符識別做準(zhǔn)備。投影法分割[10]是將圖像分別在橫坐標(biāo)方向和縱坐標(biāo)方向進(jìn)行逐行掃描，求取相應(yīng)列和行的灰度累加和，再根據(jù)灰度累計(jì)分布，采用門限法或峰谷值法獲取單個字符。快速檢索提取的主飛控頁面下方字符ROI(Region of Interest,感興趣區(qū)域)示例如圖6(a)所示，灰度化后的字符ROI如圖6(b)所示。

圖6 主飛控頁面下方字符ROI區(qū)域及其灰度化

采用雙向投影法分別進(jìn)行水平方向掃描和豎直方向掃描，兩個方向上的投影曲線分別如圖7(a)和圖7(b)所示。根據(jù)投影曲線的峰谷值，可以確定每個字符在水平方向和豎直方向的分割線，圖7(c)和圖7(d)為兩個方向的字符分割線。從圖7可以明顯看出雙向投影的累積灰度值和字符間隔大小，故雙向投影法適用于顯控板顯示頁面字符分割。字符分割結(jié)果如圖8所示。

圖7 字符投影曲線和分割線

圖8 字符分割結(jié)果

2.4 目標(biāo)識別

2.4.1 圖塊顏色識別

飛機(jī)總裝測試過程中，測試人員需根據(jù)顯控板某些顯示頁面上的區(qū)域顏色進(jìn)行飛機(jī)狀態(tài)監(jiān)測。以主飛控系統(tǒng)測試為例，副翼狀態(tài)判定、水平安定面狀態(tài)判定和液壓系統(tǒng)狀態(tài)判定等測試內(nèi)容都需要根據(jù)對應(yīng)位置的顯示顏色進(jìn)行結(jié)果判讀。RGB顏色空間采用紅、綠、藍(lán)三原色表示，物理意義清晰，但表達(dá)的色度與感知有差距，且顏色分量受光照強(qiáng)度影響很大。HSV顏色空間基于相互獨(dú)立的色調(diào)(Hue)、飽和度(Saturation)和明度(Value)表達(dá)顏色，彩色信息(色調(diào)和飽和度)與明度分量無關(guān)聯(lián)，這種表示方式相對人眼自然且直觀[11-12]。為了使機(jī)器視覺判定顏色的過程更接近人眼感知、不受光照強(qiáng)度的影響，本文采用HSV顏色空間進(jìn)行顯控板顯示頁面圖塊顏色的識別。

顯控板顯示頁面的區(qū)塊主體顏色通常取決于中心區(qū)域的顏色，邊緣部分一般會與背景色產(chǎn)生模糊，因此在區(qū)塊顏色識別的過程中，首先將快速檢索提取的圖像區(qū)塊應(yīng)用數(shù)學(xué)形態(tài)學(xué)腐蝕縮小輪廓范圍，提取核心區(qū)域，以提高顏色識別準(zhǔn)確率。相機(jī)獲取的原始圖像是RGB圖像，在提取出待識別的核心區(qū)域后，將RGB圖像區(qū)塊的R、G、B分量轉(zhuǎn)換為H、S、V分量。無須關(guān)注V分量，根據(jù)H分量和S分量所處范圍區(qū)間判斷像素點(diǎn)顏色，最后通過顏色和顯示頁面目標(biāo)狀態(tài)的映射關(guān)系判斷識別結(jié)果。

定義max=max(R,G,B)，min=min(R,G,B)。當(dāng)max≠min時，RGB顏色空間到HSV顏色空間的映射過程為

(8)

2.4.2 指針位置識別

顯控板多功能顯示頁面中包含大量指針類型的圖塊，通過指針相對刻度尺的讀數(shù)反饋飛機(jī)相關(guān)的舵面偏轉(zhuǎn)角度、機(jī)構(gòu)位置信息和系統(tǒng)狀態(tài)參數(shù)等內(nèi)容。各頁面中此類型圖塊的具體細(xì)節(jié)并不相同，但主體組成元素一致，即包括三角形或類似等腰梯形的指針、指示讀數(shù)的刻度尺和量程參數(shù)，故可將其歸為一類目標(biāo)識別模型進(jìn)行設(shè)計(jì)。以主飛控頁面右副翼偏轉(zhuǎn)角度識別為例，描述本文提出的指針類型圖像自動識別算法。

為了實(shí)現(xiàn)自動判讀右副翼偏轉(zhuǎn)角度，需要準(zhǔn)確識別刻度尺的線段起止點(diǎn)坐標(biāo)和線段長度，以及指針三角塊的頂點(diǎn)坐標(biāo)，由已知量程即可自動判讀右副翼當(dāng)前偏轉(zhuǎn)角度。通過快速檢索提取的右副翼偏轉(zhuǎn)角度圖塊如圖9(a)所示。

刻度尺識別采用Canny變換與Hough變換的直線提取算法。首先基于Canny變換，對刻度尺指針圖塊區(qū)域進(jìn)行輪廓提取，將原始圖像轉(zhuǎn)換為鏤空線條圖像，如圖9(b)所示。然后，基于Hough變換，提取圖9(b)中的各個線段，通過設(shè)定參數(shù)、調(diào)節(jié)閾值，提取出滿足要求的刻度尺線段，并讀取該線段起始點(diǎn)和終止點(diǎn)的像素坐標(biāo)?？潭瘸呔€段提取結(jié)果如圖9(c)所示，紅色實(shí)線為識別出的刻度尺，起點(diǎn)像素坐標(biāo)為(23，25)，終點(diǎn)像素坐標(biāo)為(23,93)。

圖9 右副翼刻度尺識別示意

指針位置識別采用基于顏色的區(qū)域分割和輪廓極點(diǎn)提取算法。首先，根據(jù)指針顏色設(shè)定RGB閾值分割范圍，圖9(a)中所示的右副翼指針為黃色，根據(jù)黃色閾值范圍提取出的ROI區(qū)域如圖10(a)所示。將該圖灰度化，轉(zhuǎn)換為圖10(b)所示的灰度圖像。圖10(b)中可清晰看見大量干擾噪聲，運(yùn)用數(shù)學(xué)形態(tài)學(xué)的開運(yùn)算，除去此類離散微小顆粒。然后，對處理好的指針灰度圖像二值化，提取三角形指針輪廓的最左極點(diǎn)坐標(biāo)，即可得到指針頂點(diǎn)的像素坐標(biāo)。如圖10(c)所示，指針頂點(diǎn)的像素坐標(biāo)為(30,92)。

圖10 右副翼指針位置識別示意

刻度尺和指針圖像的坐標(biāo)系是相同的，若刻度尺起點(diǎn)像素坐標(biāo)為(23，25)，終點(diǎn)像素坐標(biāo)為(23,93)，指針頂點(diǎn)像素坐標(biāo)為(30,92)，可以計(jì)算出指針頂點(diǎn)相對于刻度尺的位置信息，易得示例中的指針讀數(shù)為18.35°。

2.4.3 顯示字符識別

顯示控制系統(tǒng)交聯(lián)邏輯復(fù)雜、顯控組件種類繁多，大量飛機(jī)狀態(tài)信息、系統(tǒng)參數(shù)和告警信息等內(nèi)容通過液晶屏顯示畫面反饋給駕駛員，這些字符畫面包括：數(shù)字、英文字符、漢字和其他相關(guān)符號。字符識別的方法有很多種，例如模板匹配法、自組織映射法、支持向量機(jī)[13]和神經(jīng)網(wǎng)絡(luò)等。其中，神經(jīng)網(wǎng)絡(luò)是目前成熟度較高、識別精度較好、應(yīng)用范圍較廣的機(jī)器學(xué)習(xí)方法，適用于圖像識別[14]、文本識別和語音識別[15]等多種應(yīng)用場景。

本文采用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)[16-17]訓(xùn)練字符識別模型。CNN是一種多層前饋網(wǎng)絡(luò)，屬于深度學(xué)習(xí)的一類代表算法，與一般神經(jīng)網(wǎng)絡(luò)的區(qū)別在于其不采用全連接，而是由包含卷積層和采樣層(池化層)的局部連接構(gòu)成。在卷積層后一般連接非線性化的采樣層，具有很強(qiáng)的泛化能力，能有效提取圖像特征。

CNN訓(xùn)練過程如下：首先，制作訓(xùn)練樣本集。在CNN訓(xùn)練過程中，訓(xùn)練數(shù)據(jù)的涵蓋范圍、制作樣本的采樣密度和樣本的真實(shí)度等條件決定了CNN訓(xùn)練模型的效果。利用上文所述投影法字符分割方法，可將顯控板顯示頁面上的各類字符分割為單個字符的小圖像，每個字符圖像尺寸轉(zhuǎn)換為標(biāo)準(zhǔn)的30像素×40像素，手動為樣本圖像添加對應(yīng)標(biāo)簽。隨后，利用CNN模型對樣本集進(jìn)行訓(xùn)練，訓(xùn)練過程中每隔固定迭代次數(shù)計(jì)算損失值，并從樣本集中隨機(jī)抽取測試樣本進(jìn)行識別精度檢測，直至網(wǎng)絡(luò)模型損失值逐漸收斂接近0，精度達(dá)到識別要求為止。

3 應(yīng)用驗(yàn)證

3.1 關(guān)鍵技術(shù)驗(yàn)證

為了驗(yàn)證本文顯控板狀態(tài)識別算法，在實(shí)驗(yàn)環(huán)境下搭建模擬飛機(jī)駕駛艙顯示系統(tǒng)進(jìn)行測試。模擬飛機(jī)駕駛艙顯示系統(tǒng)由駕駛艙模擬顯示終端、駕駛艙模擬操縱機(jī)構(gòu)、顯控板識別工業(yè)相機(jī)和圖像處理工作站組成。采用LCD顯示屏模擬飛機(jī)駕駛艙4塊顯控板顯示終端，顯示終端模擬顯示飛機(jī)多種多功能頁面，并在模擬操作操縱機(jī)構(gòu)的駕駛盤、駕駛柱和腳蹬時，實(shí)時顯示對應(yīng)操作反饋，例如模擬顯示各舵面運(yùn)動狀態(tài)、飛控系統(tǒng)狀態(tài)和交聯(lián)系統(tǒng)狀態(tài)等畫面。顯控板識別工業(yè)相機(jī)通過支架固定于模擬駕駛艙后端頂板，根據(jù)實(shí)際測試需要可調(diào)整安裝位置，保證能夠采集到完整、清晰的待識別顯示區(qū)域圖像。圖11(a)為模擬飛機(jī)駕駛艙顯示系統(tǒng)各組成部分與駕駛艙內(nèi)布局示意，實(shí)驗(yàn)針對主飛控系統(tǒng)測試，模擬顯示頁面中主飛控頁面的正常狀態(tài)，并以此圖像作為主飛控頁面的基準(zhǔn)圖像，如圖11(b)所示。

圖11 模擬飛機(jī)駕駛艙顯示系統(tǒng)與主飛控測試頁面

為了驗(yàn)證待識別頁面定位技術(shù)的準(zhǔn)確性和穩(wěn)定性，不斷改變工業(yè)相機(jī)的拍攝位置、角度和環(huán)境光照強(qiáng)度，重復(fù)測試待識別頁面定位的精度。圖12為待識別頁面定位技術(shù)實(shí)驗(yàn)驗(yàn)證結(jié)果示例，圖12(a)和圖12(b)為改變工業(yè)相機(jī)圖像采集角度、距離的測試結(jié)果，圖12(c)為降低環(huán)境光照強(qiáng)度的測試結(jié)果。從重復(fù)匹配定位測試的結(jié)果來看，所提出的定位方法適用于飛機(jī)總裝測試顯控板識別的環(huán)境，主飛控頁面定位準(zhǔn)確度具備尺度不變性和旋轉(zhuǎn)不變性，且對光照有良好的魯棒性。

同樣地，為了驗(yàn)證顯控板識別系統(tǒng)在顯控板或相機(jī)鏡頭部分遮擋情況下，待識別頁面匹配定位的準(zhǔn)確性，對待識別目標(biāo)進(jìn)行部分遮擋，結(jié)果如圖13所示。圖13中障礙物隨機(jī)遮擋主飛控測試頁面，系統(tǒng)根據(jù)未被遮擋部分的目標(biāo)特征推算完整顯示頁面位置，完成目標(biāo)頁面的匹配定位。實(shí)驗(yàn)結(jié)果表明，本文算法在待識別目標(biāo)部分遮擋情況下，仍能夠準(zhǔn)確定位目標(biāo)頁面，對目標(biāo)未遮擋的部分仍可以進(jìn)行識別。

圖13 待識別目標(biāo)部分遮擋實(shí)驗(yàn)

3.2 應(yīng)用實(shí)例

基于本文提出的飛機(jī)總裝測試顯控板狀態(tài)識別方法，設(shè)計(jì)出了基于機(jī)器視覺的某型飛機(jī)總裝測試顯控板狀態(tài)自動識別軟件，并將該測試系統(tǒng)應(yīng)用于某型飛機(jī)總裝系統(tǒng)測試中。該測試軟件主要功能包括：圖像采集設(shè)備配置管理、顯控板識別任務(wù)設(shè)計(jì)編輯、測試過程圖像視頻記錄和顯控板顯示頁面自動識別(包括：自動識別相機(jī)采集畫面中的顯示頁面種類、自動定位待識別目標(biāo)位置、自動校正和分割待識別目標(biāo)、自動識別目標(biāo)、顯示識別結(jié)果)。該軟件可識別某型飛機(jī)顯控板多功能顯示頁面、主飛行顯示頁面、發(fā)動機(jī)參數(shù)信息頁面、飛行管理頁面和主狀態(tài)顯示頁面等。

軟件系統(tǒng)采用B/S架構(gòu)，在測試網(wǎng)絡(luò)內(nèi)部，測試人員可通過任意移動終端獲取來自視覺服務(wù)器的執(zhí)行界面、下達(dá)測試項(xiàng)目的任務(wù)指令和查看自動識別的結(jié)果。該軟件測試圖片實(shí)時查看界面示例如圖14所示，測試執(zhí)行界面和結(jié)果查看界面示例如圖15所示。

圖14 軟件測試圖片實(shí)時查看界面示例

圖15 軟件測試執(zhí)行界面和結(jié)果查看界面示例

應(yīng)用本文圖像識別算法自動判讀，某次顯控頁面狀態(tài)識別測試界面示例如圖16所示，部分自動識別結(jié)果如表1所示。實(shí)驗(yàn)結(jié)果表明，本文所設(shè)計(jì)的算法在該應(yīng)用場景下，能夠準(zhǔn)確判讀顯控板顯示頁面狀態(tài)參數(shù)。

圖16 顯控頁面狀態(tài)識別測試界面示例

表1 部分識別結(jié)果

4 結(jié)束語

研究了基于機(jī)器視覺的飛機(jī)總裝測試顯控板狀態(tài)自動識別方法。采用SIFT與FLANN算法進(jìn)行待識別頁面特征匹配與定位，基于圖像區(qū)塊位置提取待識別目標(biāo)，并針對頁面上的圖塊區(qū)域顏色、指針位置和字符識別需求，分別建立了識別模型，可實(shí)現(xiàn)飛機(jī)總裝測試顯控頁面狀態(tài)的自動識別。針對本文方法，設(shè)計(jì)了某型飛機(jī)總裝測試顯控板狀態(tài)自動識別軟件，并通過關(guān)鍵技術(shù)驗(yàn)證和應(yīng)用實(shí)例測試，證明了本文方法的有效性，對飛機(jī)總裝測試技術(shù)向自動化和智能化發(fā)展起到了一定的推動作用。