張澤孜 譚大倫 王冬海

摘? ?要：主流的視頻結(jié)構(gòu)化處理方案大多是采用高性能GPU進行運算，功耗大，平臺架設(shè)費用成本高。海思推出一款視頻處理芯片Hi3559A，提供了一個可行的低成本、低功耗解決方案。對于監(jiān)控攝像機市場來說，攝像機更新?lián)Q代的成本較大，通過Hi3559A對現(xiàn)有攝像機的視頻流做結(jié)構(gòu)化處理，可在不更換現(xiàn)有攝像機的情形下，通過增加低成本視頻結(jié)構(gòu)化處理終端，提供更新?lián)Q代的過渡產(chǎn)品，降低更換設(shè)備的成本。

關(guān)鍵詞：視頻結(jié)構(gòu)化;Hi3559A;圖像識別

視頻結(jié)構(gòu)化，即視頻數(shù)據(jù)的標準化處理，就是通過對原始視頻進行智能分析，提取出關(guān)鍵信息，并進行文本的語義描述。簡單而言就是進行行為和特征提取，捕捉視頻中人、車、物的狀態(tài)，進行行為判斷[1]。和傳統(tǒng)人臉識別的區(qū)別是，結(jié)構(gòu)化信息傾向于反映事物的運行狀態(tài)，例如人是處于運動還是靜止狀態(tài)、有沒有戴帽子、車是直行還是拐彎等。視頻結(jié)構(gòu)化更多地是運用于現(xiàn)場安保管控、車輛違章、家庭長輩看護等。

在國內(nèi)，視頻監(jiān)控領(lǐng)域一直是保障民生的項目。通過視頻監(jiān)控能對部分違法犯罪進行記錄，對違法犯罪人員進行威懾，在一定程度上保障社會生活的有序進行。近年來流行的家庭視頻看護，也使外出工作人員對家庭的人、事、物能進行一定程度的感知。但是目前的產(chǎn)品都屬于被動感知型，需要當事人主動去獲取信息，不能提供實時的預警。雖然在視頻結(jié)構(gòu)化技術(shù)日益發(fā)展的背景下，通過服務(wù)器云端計算，架設(shè)專用服務(wù)器來實現(xiàn)結(jié)構(gòu)化數(shù)據(jù)提取已經(jīng)有了成熟方案，但是高昂的服務(wù)器建設(shè)費用和運維費用，并不利于該技術(shù)的普及?；诖耍疚奶峁┝艘环N通過海思Hi3559A芯片實現(xiàn)視頻實時結(jié)構(gòu)化處理的方案，可對現(xiàn)網(wǎng)中攝像頭進行快速功能升級改造。

1? ? Hi3559A簡介

Hi3559A是專業(yè)的8K Ultra HD Mobile CameraSOC，它提供了8K@30fps/4K@120fps廣播級圖像質(zhì)量的數(shù)字視頻錄制，支持H.265編碼輸出或影視級的RAW數(shù)據(jù)輸出，并集成高性能ISP處理[2]。支持業(yè)界領(lǐng)先的多路4K Sensor輸入，多路ISP圖像處理，支持HDR10高動態(tài)范圍技術(shù)標準，并支持多路全景硬件拼接，是多路拼接的超廣角相機、3D/全景VR相機的最佳方案[3]。在支持8K@30fps/4K@120fps視頻錄制下，Hi3559A提供硬化的6-Dof 數(shù)字防抖，減少了對機械云臺的依賴。

Hi3559A集成了海思獨有的SVP平臺，提供了高效且豐富的計算資源，支撐客戶開發(fā)各種計算機視覺應(yīng)用[4]，如無人機、機器人等消費類應(yīng)用和行業(yè)類應(yīng)用。Hi3559A集成了雙核A73和雙核A53，獨創(chuàng)性的大小核架構(gòu)和雙操作系統(tǒng)，使得功耗和啟動時間達到均衡。

Hi3559A中集成了兩個神經(jīng)網(wǎng)絡(luò)推理機（Neural Network Inference Engine，NNIE），是海思媒體SoC中專門針對神經(jīng)網(wǎng)絡(luò)特別是深度學習卷積神經(jīng)網(wǎng)絡(luò)進行加速處理的硬件單元，支持現(xiàn)有大部分的公開網(wǎng)絡(luò)，如Alexnet，VGG16，Googlenet，Resnet18，Resnet50等分類網(wǎng)絡(luò)，F(xiàn)aster R- CNN，YOLO，SSD，RFCN等檢測網(wǎng)絡(luò)以及SegNet，F(xiàn)CN等場景分割網(wǎng)絡(luò)。通過專用的NNIE，能將PC上耗費巨大資源的識別網(wǎng)絡(luò)集成到芯片上，使產(chǎn)品實現(xiàn)低功耗。而其體積小，易組裝架設(shè)等優(yōu)點，是對現(xiàn)網(wǎng)中大量攝像頭升級的一個優(yōu)選方案。

2? ? 視頻結(jié)構(gòu)化方案設(shè)計

視頻結(jié)構(gòu)化平臺可對2路視頻流進行實時人臉檢測與特征提取。可實時處理來自以太網(wǎng)接口的視頻流數(shù)據(jù)，視頻流解碼模塊將視頻流中的數(shù)據(jù)解碼為YUV或BGR圖片數(shù)據(jù)，圖片經(jīng)過圖片流變換的格式轉(zhuǎn)換和裁剪后送到NNIE引擎，由NNIE及外部的CPU一起實現(xiàn)人臉檢測算法計算，得到人臉的位置信息，然后通過人臉算法模塊的去重及軌跡跟蹤算法將最佳人臉數(shù)據(jù)提取出來，圖片截取編碼模塊根據(jù)人臉坐標信息從原圖中截取相應(yīng)照片進行人臉圖片編碼，最后將編碼后的圖片數(shù)據(jù)送到以太網(wǎng)接口[5]。

視頻圖像處理信號流程如圖1所示。圖1中視頻流以RTP over RTSP方式獲取，即網(wǎng)絡(luò)層使用傳輸控制協(xié)議（Transmission Control Protocol，TCP）方式，主要基于以下考慮：（1）Hi3559A與攝像機的物理連接線路處于有限交換路徑的局域網(wǎng)內(nèi)。（2）用戶數(shù)據(jù)報協(xié)議（User Datagram Protocol，UDP）方式的丟包、亂序造成處理方式的復雜度大量提升。（3）低帶寬模式下的網(wǎng)絡(luò)適應(yīng)性提升，TCP模式易于提升I幀保障效果。

3? ? Hi3559A硬件方案

Hi3559A硬件核心平臺設(shè)計主要考慮為現(xiàn)有攝像頭提供視頻處理及設(shè)備管理，并為后續(xù)設(shè)備的開發(fā)提供通用的處理平臺。平臺主要提供以太網(wǎng)接口模塊、視頻處理模塊、無線傳輸與通信模塊、電源管理模塊等。其他模塊為輔助或預留給后期產(chǎn)品開發(fā)使用。

考慮該平臺對后期產(chǎn)品的兼容設(shè)計，硬件平臺提供串口支持、預留USB接口擴展、添加HDMI接口和MIPI接口對視頻采集與圖像顯示的支持、預留GPIO接口為后期開發(fā)擴展。硬件框架如圖2所示。

4? ? 結(jié)語

通過Hi3559A的實時視頻結(jié)構(gòu)化處理方案，能夠以低成本的方式對現(xiàn)網(wǎng)中大量攝像頭進行升級改造，降低設(shè)備更新成本，延長現(xiàn)網(wǎng)攝像機的生命周期。同時，對現(xiàn)網(wǎng)視頻監(jiān)控流的視頻結(jié)構(gòu)化處理，為公共安全預警及突發(fā)狀況預警起到加強作用，豐富的預留接口也使得板卡在后續(xù)的升級中能夠提供更豐富的應(yīng)用。

[參考文獻]

[1]付敏.基于卷積神經(jīng)網(wǎng)絡(luò)的人群密度估計[D].成都：電子科技大學，2014.

[2]馬頌德.計算機視覺：計算理論與算法基礎(chǔ)[M].北京：科學出版社，1998.

[3]岡薩雷斯，伍茲，埃丁斯.數(shù)據(jù)圖像處理[M].3版.阮秋琦，譯.北京：電子工業(yè)出版社，2012.

[4]段峰，王耀南，雷曉峰，等.機器視覺技術(shù)及其應(yīng)用綜述[J].自動化博覽，2002（3）：59-61.

[5]王治，韓祥.視頻結(jié)構(gòu)化解析技術(shù)在公安警務(wù)實戰(zhàn)中的建設(shè)與應(yīng)用[J].警察技術(shù)，2018（5）：65-68.

Application of Hi3559A in video structured platform

Zhang Zezi， Tan Dalun， Wang Donghai

（Nexwise Intelligence China Limited， Guangzhou 510663， China）

Abstract：Most of the mainstream video structured processing schemes adopt high-performance GPU for computing， with high power consumption and high cost of platform setup. HiSilicon has introduced a video processing chip Hi3559A， which provides a feasible low-cost and low-power solution. For the surveillance camera market， the cost of camera upgrading is relatively large. Through the structured processing of the video stream of the existing camera through Hi3559A， the transition product of upgrading can be provided by adding low-cost video structured processing terminal without replacing the existing camera， so as to reduce the cost of equipment replacement.

Key words：video structurization; Hi3559A; image recognition