龐占洲

（1.太原理工大學(xué)，山西 太原 030024；2.內(nèi)蒙古岱海發(fā)電有限責(zé)任公司，內(nèi)蒙古 烏蘭察布 013750）

0 引言

煤場運行時，需要利用視頻監(jiān)控系統(tǒng)獲取煤場全貌圖像。但傳統(tǒng)視頻監(jiān)控系統(tǒng)只能監(jiān)測攝像機附近一定范圍內(nèi)的圖像，無法覆蓋整個煤場，且視線相對狹窄；同時，要求視頻觀察人員對場景具有較高的熟悉度，工作人員需要頻繁切換視線，但各個圖像的相似度較高，導(dǎo)致工作負擔(dān)較重，影響其工作效率，并無法清晰觀察煤場全貌，可能會因無法及時發(fā)現(xiàn)安全隱患而導(dǎo)致安全事故的發(fā)生。斗輪機無人值守能夠解決以上問題，因此斗輪機無人值守技術(shù)的研究和應(yīng)用已經(jīng)成為工業(yè)自動化領(lǐng)域的熱門話題，其中視頻監(jiān)控系統(tǒng)是實現(xiàn)無人值守的重要手段。視頻拼接技術(shù)是指將多段視頻進行拼接，形成一個完整的視頻，可以對斗輪機進行全方位的監(jiān)控，提高生產(chǎn)效率和安全性。但是，如何解決視頻拼接過程中可能出現(xiàn)的畫面跳轉(zhuǎn)、分辨率不一致等問題，仍需要進一步研究和改進。

現(xiàn)階段，此研究領(lǐng)域?qū)＜依枚喾N方法已得到了較好的研究成果。文獻[1]針對破碎站設(shè)計了一種無人值守監(jiān)控系統(tǒng)，采用了視頻分析技術(shù)以及物聯(lián)網(wǎng)技術(shù)。該系統(tǒng)包括感知層、傳輸層、數(shù)據(jù)層、服務(wù)層和用戶層。文獻[2]提出了一種煤礦智能化主運輸系統(tǒng)無人值守關(guān)鍵技術(shù)研究方法。

以上方法雖然可以對無人值守的視頻畫面遠程監(jiān)控，并且不需要人工參與，減輕了工作壓力，但是無法實現(xiàn)空間層面大場景分割隔離與集成，因受到視頻監(jiān)控畫面重疊影響，存在過度累積特征點的問題，無法獲取全局監(jiān)測信息，因而不具備充分的應(yīng)用價值。為此，本文提出一種新的視頻拼接技術(shù)下斗輪機無人值守的可行性研究方法。

1 拼接視頻俯視投影變換

由于斗輪機通常是在礦山等露天場所進行作業(yè)，其操作區(qū)域較大，需要使用多個攝像頭進行全方位監(jiān)控，而不同的攝像頭角度和位置不同，拍攝到的畫面也存在差異，這就需要對拍攝到的視頻進行俯視投影變換，使得各個攝像頭拍攝到的畫面能夠拼接成一個完整的畫面，從而實現(xiàn)全方位監(jiān)控。只有經(jīng)過俯視投影變換，才能夠消除拍攝角度和位置帶來的影響，使得拼接后的視頻畫面更加連貫和準(zhǔn)確，提高無人值守的監(jiān)控效果。

本節(jié)通過視頻拼接融合技術(shù)實現(xiàn)煤場的全景展示，進而在多個圖像同步展示與拼接的基礎(chǔ)上，獲取更高的工作效率[3]。由于在無人值班情況下，需要在地面上形成一個完整的俯視全景圖，因此必須將影像投射在一個水平面上。利用單應(yīng)性矩陣對側(cè)視圖展開頂視投影變換處理，將側(cè)視圖轉(zhuǎn)化成俯視圖，從而得到以水平地面為基礎(chǔ)的立體圖像[4]。

設(shè)左右兩相機的核心坐標(biāo)系分別為Z1、Z2，尺度因子分別為λ1、λ2，參數(shù)矩陣分別為E1、E2，基于此，計算空間中左右兩相機下的像素坐標(biāo)點，可表示為：

基于此，單應(yīng)性矩陣可表示為：

單應(yīng)性矩陣不只是描述同一平面的像素點之間的關(guān)系，更是同一個平面在任意坐標(biāo)系之間都可以建立單應(yīng)性變換關(guān)系，如圖1 所示。

圖1 拼接視頻俯視投影變換示意圖

投影轉(zhuǎn)換是最常用的一種影像轉(zhuǎn)換方法，可以用來描述包括平移、旋轉(zhuǎn)、縮放等各種轉(zhuǎn)換的情形，在這樣的轉(zhuǎn)換之下，轉(zhuǎn)換之前和之后的平行線仍維持平行[5]?；诖耍疚奶岢隽艘环N基于矩陣線性的圖像轉(zhuǎn)換方法。仿射變換可以處理對象的一切與其位置有關(guān)的變化，但不能處理全部情形[6]。若被攝對象在三度空間中出現(xiàn)了轉(zhuǎn)動，則該對象將經(jīng)受一次投影轉(zhuǎn)換。在這樣的轉(zhuǎn)換中，轉(zhuǎn)換前后仍然是一條線，如此，二維向三維的轉(zhuǎn)換就可以用其投影轉(zhuǎn)換來表達[7?8]。

設(shè)a為平移矩陣元素，對于左右兩相機核心坐標(biāo)系z的點(x,y)進行投影變換映射后，得到的平面投影變換公式為：

結(jié)合圖1 可知，投影變換存在8 個獨立參數(shù)，對于該投影變換下的相應(yīng)點均可通過公式（3）被唯一確定[9]。

2 視頻無縫拼接的可行性研究

2.1 特征點提取

在一般情況下，常規(guī)的特征提取方法只能提取一張完整的圖片，而且所提取的特征點也不能完全覆蓋整幅圖像。然而，在實際應(yīng)用中，需要對交疊范圍內(nèi)的角點感興趣[10]。對疊加部分圖像的重疊區(qū)域或靠近重疊部分的外擴區(qū)進行檢測，不僅可以降低計算量和縮短計算時間，還可以大幅度地減少檢測到的角點數(shù)[11]。

為此，使用SIFT 算法確定特征點的候選點。該算法是通過圖像金字塔形式來構(gòu)建尺度空間的，在一幅圖像中，基于平面投影變換結(jié)果，尺度空間的高斯函數(shù)可表示為：

式中：δ表示尺度系數(shù)，該值越大說明圖像越模糊，反之則越清晰[12]。在確定尺度空間的高斯函數(shù)情況下，構(gòu)建尺度空間：

式中：“⊕”表示卷積運算；Im(x',y') 表示輸入的m個圖像[13]。通過改變尺度系數(shù)能夠獲取圖像金字塔不同尺度空間的圖像。

為了對特征點檢測區(qū)域進行限定，視頻圖像特征點檢測區(qū)域的大小需要根據(jù)具體的應(yīng)用場景來選擇，通常不少于源圖像的1/3，不超過源圖像的1/2。先通過柵格法對特征點進行預(yù)處理，再對各個柵格中的圖像進行檢測[14]。用4×4 的格子將一幅圖片分割成16 個小塊，在此基礎(chǔ)上，通過控制各柵格內(nèi)所能探測到的特征點數(shù)目，防止特征點的過多積累。

2.2 圖像融合

通過2.1 節(jié)的提取視頻特征點，可以對斗輪機進行精確定位和跟蹤，從而實現(xiàn)自動控制和無人值守。然而，在實際應(yīng)用中，由于斗輪機作業(yè)區(qū)域較大，不同的攝像頭拍攝到的畫面也存在差異，因此需要對監(jiān)控圖像進行融合，消除不同攝像頭之間的差異，使得監(jiān)控畫面更加連貫和準(zhǔn)確。

在圖像匹配時，需要考慮被匹配的2 幅圖像之間存在較大的交疊區(qū)域，保證有充足的公共特征可供配對。本文提出了一種基于面積的圖像拼接算法，該方法的加權(quán)平均法屬于對直接平均法的改良，對重疊區(qū)域的像素值不再是簡單疊加，而是先確定權(quán)重再疊加平均。

加權(quán)平均法的權(quán)重表達式如下：

式中：hi、gi分別表示輸入圖像的寬和高[15]。

將該權(quán)重表達式代入到如下公式，可得到融合后的圖像中各點像素值：

式中：ω1、ω2分別表示待融合圖像I1、I2的權(quán)重。加權(quán)平均法的優(yōu)點是避免了重疊區(qū)域灰度值的直接疊加，從而使得重疊部分不會有明顯的拼接痕跡。

2.3 拼接處理

對其中一路視頻圖像的關(guān)鍵幀選擇的方式是：先選取視頻圖像的第1 幀作為關(guān)鍵幀，接著判斷當(dāng)前幀和上一幀圖像的差值是否大于閾值，當(dāng)差值大于規(guī)定的閾值后，即確定該幀為視頻關(guān)鍵幀，并獲取該幀的視頻圖像數(shù)據(jù)。然而，如果在一段時間內(nèi)沒有關(guān)鍵幀出現(xiàn)，則說明拼接的視頻存在著畫面卡頓的問題。為了防止這種情況的發(fā)生，提出了視頻拼接技術(shù)下斗輪機無人值守的可行性研究方法，這樣可以保證拼接的視頻具有一定流暢度。融合視頻圖像的拼接處理流程如圖2 所示。

圖2 視頻拼接流程

先確定是否為視頻的首幀圖像，如果為首幀圖像，則對圖像進行配準(zhǔn)處理，求出單應(yīng)性矩陣，并對圖像加以融合；如果不是首幀圖像，可對選中的關(guān)鍵幀用首幀圖像運算出的單應(yīng)性矩陣加以拼接，并通過融合算法進行融合。待選出的所有關(guān)鍵幀圖像拼接完畢后，再將已拼接好的所有視頻幀輸出，從而產(chǎn)生視頻流，實現(xiàn)斗輪機無人值守下的視頻有效拼接。

3 可行性驗證

3.1 實驗樣本圖像獲取

斗輪機無人值守的裝備是4 個魚眼攝像機和1 個視頻圖像采集卡，在對攝像機選取時，首先攝像機的視野要盡量開闊，視角越大，所蘊含的信息就會越多，對輔助煤場操作的安全也會更有利。在視頻數(shù)據(jù)收集卡的選取方面，采用了一種能夠?qū)崿F(xiàn)4個信號的PCI總線的采集卡。

通過攝像頭采集的圖像如圖3 所示。

圖3 攝像頭采集的原始圖像

3.2 驗證指標(biāo)

設(shè)置匹配正確率為實驗研究的重要指標(biāo)。匹配正確率表示圖像配準(zhǔn)過程中正確匹配點對數(shù)目占全部匹配點對數(shù)目的百分比，計算公式為：

式中：N表示正確匹配點的數(shù)量；M表示全部匹配點的數(shù)量。匹配正確率的數(shù)值越大，表示正確匹配點對數(shù)目越多，則算法精度越高，性能越好。

3.3 驗證結(jié)果分析

使用文獻[1]提出的破碎站無人值守監(jiān)控方法、文獻[2]提出的煤礦智能化主運輸系統(tǒng)無人值守方法以及本文方法完成對比實驗。在性能驗證中對比匹配正確率指標(biāo)，對比結(jié)果如表1 所示。

表1 不同方法匹配正確率對比結(jié)果 %

由表1 可知，使用本文方法的特征點匹配正確率均高于95%，其余方法特征點匹配正確率均低于70%。

使用三種方法對比分析視頻拼接結(jié)果的峰值信噪比，對比結(jié)果如圖4 所示。

圖4 不同方法視頻拼接效果

由圖4 可知，使用文獻方法完成的視頻圖像拼接結(jié)果中不僅存在較大縫隙，而且圖像拼接錯亂，而本文方法的視頻圖像整體拼接效果更為理想。

4 結(jié)語

在本文研究的斗輪機無人值守系統(tǒng)中引入了視頻拼接技術(shù)，實現(xiàn)了視頻的無縫拼接與有效融合，增強了數(shù)據(jù)整合能力，并可實現(xiàn)數(shù)據(jù)動態(tài)分析，能夠?qū)Υ罅恳曨l信息展開實時處理。通過深度融合復(fù)雜視頻信息，能夠及時發(fā)現(xiàn)斗輪機運行故障問題，大幅提升斗輪機視頻監(jiān)控的質(zhì)量及效率。