任思陽

摘要：針對低照度、霧霾情況下的視頻信息有限，實時性要求高等問題，提出基于DSP的嵌入式實時視頻配準和網(wǎng)絡編碼傳輸方案。該系統(tǒng)以DM642開發(fā)板為硬件平臺，使用TI官方DSP/BIOS實時嵌入式系統(tǒng)。通過紅外與可見光攝像頭實時采集圖像數(shù)據(jù)，采用基于SURF算法的圖像配準，計算Hessian矩陣確定對應匹配點對，通過矩陣插值獲得最后配準圖像。該方法速度快，滿足實時配準需要，在配準后實現(xiàn)了H.264算法的實時視頻的編碼壓縮、解碼傳輸以及通過網(wǎng)絡進行發(fā)送。

關鍵詞：配準；DM642；H.264編碼；網(wǎng)絡傳輸

中圖分類號：TN919.81 文獻標識碼：A 文章編號：1007-9416（2017）11-0131-02

視頻監(jiān)控應用廣泛，本系統(tǒng)采用H.264 編碼標準，具有抗誤碼率強、壓縮比例大等優(yōu)點，通過網(wǎng)絡進行傳輸。常見的視頻監(jiān)控在低照度的傍晚、夜間或者霧霾天氣遠距離觀察情況下，作用距離和觀察效果受氣候影響較大，如果能將紅外與可見光的圖像信息進行配準，增加了所包含的信息量。本系統(tǒng)提出基于SURF算法做圖像配準，首先用SURF算子得到特征點，然后計算兩幅圖Hessian矩陣跡的正負性比較異同號來匹配興趣點，然后通過多項式變換求出變換矩陣，最后通過插值法獲得最終配準圖像。

1 系統(tǒng)的硬件及工作流程設計

DSP的VP1、VP2視頻端口通過兩片視頻解碼芯片和可見光與紅外攝像機獲得數(shù)據(jù)。輸入的模擬信號經(jīng)A/D轉換，形成兩路BT.656格式的數(shù)字信號，單幀視頻圖像經(jīng)SURF算法實現(xiàn)圖像配準，得到的配準結果再由H.264壓縮算法處理，經(jīng)EMAC模塊接到片外網(wǎng)絡芯片，通過網(wǎng)口傳送到PC機，在IE瀏覽器中看到通過網(wǎng)絡傳給PC的配準視頻，完成整個過程。

1.1 存儲器模塊

在DSP工作過程中，有3級存儲模塊，L1、L2與SDRAM模塊。本系統(tǒng)中使用了兩片64位數(shù)據(jù)寬度的SDRAM，用來作為DSP片內存儲的外擴。

1.2 雙通道輸入輸出模塊

視頻雙通道輸入模塊是對輸入的PAL制式視頻通過雙通道同時序標定并A/D轉換。從VP1與VP2端口得到的模擬信號分別在SAA 7113H內部經(jīng)過A/D 轉換、亮度、色度分離之后，轉換成BT.656標準數(shù)據(jù)流， 輸入到處理任務單元中進行視頻數(shù)據(jù)的配準和單幀編碼。

1.3 以太網(wǎng)模塊

在DM642內部集成三大網(wǎng)絡模塊。EMAC控制模塊：EMAC控制模塊是DSP內核與MDIO模塊的通信控制，通過DSP的存儲器傳輸控制器來讀取L1、L2與外部存儲器的數(shù)據(jù)并且支持百兆的全雙工數(shù)據(jù)傳輸。

2 系統(tǒng)的軟件設計

2.1 數(shù)據(jù)流程框圖（如圖1所示）

兩片解碼芯片的BT656標準圖像數(shù)據(jù)被采集到輸入緩存Cache， 由色差信號重采樣分離為YUV 4∶2∶0格式。在任務處理單元，先對兩幀圖像進行快速配準，對配準后的單幀視頻圖像進行H.264標準編碼壓縮，發(fā)送壓縮后的文件到網(wǎng)絡單元并同時建立網(wǎng)頁Java文件。同時序，壓縮數(shù)據(jù)發(fā)送到編碼器，編碼器產(chǎn)生一個YUV 4∶2∶0 的圖像，送到輸出任務模塊。轉換成YUV 4∶2∶2格式的圖像送至SAA7121H編碼處理并顯示。

2.1.1 視頻配準： 特征提取

特征點檢測需要計算矩形區(qū)域內像素和，通過三個加減法就可以計算出這幅圖像中任意矩形的像素和，這是SURF算法中重要的一步。在計算SURF算法中重要的Hessian矩陣的ΔH的值，計算公式如下：

用Hessian矩陣求出極值，在27個鄰域空間內采取對比法，當前區(qū)域內極大值要比26個領域范圍內相似度都高，將此點作為特征點。SURF 算法具有旋轉因子不變性，計算得到Haar小波的響應系數(shù)，在60°的扇形區(qū)域內求x和y方向上的系數(shù)之和，構建向量中最長向量的方向為特征點主方向。確定向量主方向后，構造一個以特征點為中心、邊長為 20δ、主方向的正方形子區(qū)域，把所有矢量V連在一起就得到了64維的向量描述子。

2.1.2 特征的匹配

在SURF算法中計算了Hessian矩陣的行列式，將兩個Hessian的跡比較，同號則有相似的對比度，異號則不相似，放棄后續(xù)的計算，節(jié)省算法運行的時間。在特征匹配后，選用多項式積變換法作為配準的變換模型，可用（2）式得到變換模型：

得到的特征點對后，采用最近鄰域法完成變換矩陣的插值運算，該算法結構簡單，插值速度快，滿足視頻圖像實時配準的需要。

2.2 DSP/BIOS嵌入式實時操作系統(tǒng)

系統(tǒng)采用TI官方推出的RF-5框架來結合SURF配準算法與H.264標準編解碼庫。DSP/BIOS實時內核大體由三部分組成：多線程RTOS內核；實時分析工具；芯片支持庫。利用開發(fā)程序對DSP及片上資源初始化， 外部存儲器接口模塊的CE0和CE1兩頁設置為高速緩存讀取，建立和啟動雙通道BT656數(shù)字采集和回放通道。

3 系統(tǒng)調試與試驗結果

實驗在霧霾天進行拍攝，場景包含近處的屋頂、積雪、遠處的街道與霧霾后面的高樓。紅外相機能夠拍攝到具有顯著特征的高樓建筑，但圖像背景模糊，可見光圖像中近景清楚，但遠景物體看不見?？梢姽庖曨l源如圖2，紅外視頻源如圖3所示。

在配準效果圖中，既可以看見可見光視頻源中的白色積雪，也能看見遠處霧霾后的高樓群，達到了比較好的配準效果。經(jīng)顯示屏回顯的配準傳輸視頻如圖4，經(jīng)以太網(wǎng)傳輸?shù)呐錅室曨l如圖5可見。

4 結語

本文對基于DSP硬件平臺的RTOS內核的嵌入式配置，H.264圖像壓縮算法的應用，完成多源視頻配準以太網(wǎng)傳輸監(jiān)控的分析研究并實現(xiàn)了多源視頻的配準壓縮編碼、解碼和以太網(wǎng)傳輸。endprint

參考文獻

[1]朱婧雅，王中元. 基于相似場景的低照度監(jiān)控圖像增強[J].計算機應用與軟件，2015，32（01）：203-205+210.

[2]劉衛(wèi)光，郭師紅，周利華. 紅外與可見光圖像實時配準融合系統(tǒng)[J].紅外技術，2004，（05）：66-71.

[3]章為川，程冬，朱磊. 基于各向異性高斯核的多尺度角點檢測[J].電子測量與儀器學報，2012，26（01）：37-42.

[4]劉永峰. 基于遠程視頻監(jiān)控的嵌入式系統(tǒng)的研究與設計[D].國防科學技術大學，2005.

[5]黃如昌，李國星. 基于DSP的多路視頻信號采集模塊設計[J].中國科技信息，2017，（11）：74-75.

[6]劉波，趙于前，劉彬旭. 基于SURF特征與邊緣信息的圖像配準[J].中國醫(yī)學物理學雜志，2011，28（06）：3000-3003+3024.

Abstract：Aiming at the problem of limited video information and high real-time requirement under low illumination and haze conditions， a real-time video registration and network coding transmission scheme based on DSP is proposed. The system uses DM642 development board as the hardware platform， and uses TI official DSP/BIOS real-time embedded system. The image data are collected in real time by infrared and visible camera. Image registration based on SURF algorithm is used to calculate Hessian matrix to determine the corresponding matching points. Finally， the final registration image is obtained through matrix interpolation. The method is fast and real-time registration. After registration， the real-time video coding， compression， decoding and transmission of H.264 algorithm and the transmission through the network are realized.

Key Words：Registration；DM642；H.264 coding；network transmissionendprint