張 迪，魯 寧，李宜展，滕 飛，王 麗

1.中國科學(xué)院 文獻(xiàn)情報中心，北京 100190

2.中國科學(xué)院大學(xué)，北京 100190

3.中國科學(xué)院 自動化研究所，北京 100190

1 引言

視覺感知與理解是客觀事物通過人的視覺在人腦中形成的直接反映，以及進(jìn)一步的理解和認(rèn)識。智能視覺感知與理解研究利用計算機(jī)系統(tǒng)解釋視覺圖像，實(shí)現(xiàn)類似人類或其他高等生物視覺系統(tǒng)理解外部世界的行為，是當(dāng)前計算機(jī)領(lǐng)域的研究熱點(diǎn)和難點(diǎn)。從1966年學(xué)科建立（Summer Vision Project，MIT）至今，盡管智能視覺感知與理解領(lǐng)域仍有大量難以理解，尚待解決的問題，該技術(shù)還是取得了長足的進(jìn)步，尤其是隨著視頻內(nèi)容的井噴發(fā)展，智能視覺感知與理解研究獲得了大量的數(shù)據(jù)支撐，同時也獲得了重要的應(yīng)用場景。智能視覺感知與理解開始在智慧交通、智能安防、醫(yī)療影像分析、自動駕駛、機(jī)器人等領(lǐng)域獲得重要的應(yīng)用，各國也進(jìn)行了相應(yīng)的規(guī)劃制定和項目部署，數(shù)據(jù)量的增加使大范圍視覺感知和理解以及無人平臺的視覺感知與理解成為重要的研究方向，行業(yè)各相關(guān)公司也都推出了重要的視覺感知與理解相關(guān)產(chǎn)品。

2 政策規(guī)劃與項目部署

2.1 政策規(guī)劃

視覺感知與理解技術(shù)是人工智能、智慧城市、智慧交通、智能安防等領(lǐng)域的重要研究內(nèi)容。在人工智能、智慧城市、智慧交通、智能安防相關(guān)的規(guī)劃部署文件中，都不同程度地提到對視覺感知設(shè)備和理解方法的研發(fā)需求和培育要求。

人工智能是信息時代的尖端科技，各國政府皆不遺余力的推進(jìn)一系列人工智能戰(zhàn)略和產(chǎn)業(yè)規(guī)劃。美國在人工智能方面起步較早，科研機(jī)構(gòu)、企業(yè)和軍方為人工智能貢獻(xiàn)了大量的技術(shù)和應(yīng)用。智能視覺感知作為人工智能的主要研究領(lǐng)域，國家組織了大量的力量進(jìn)行研究攻關(guān)，其中，2015年底，美國國家科學(xué)基金會（NSF）“國家機(jī)器人計劃第四輪”聯(lián)合國防部（DOD）、國防部高級研究計劃局（DARPA）、國家航空航天局（NASA）、國立衛(wèi)生研究院（NIH）、農(nóng)業(yè)部（USDA）等聯(lián)邦機(jī)構(gòu)部門宣布，將投資3 700萬美元用于推動協(xié)作機(jī)器人（corobots）的開發(fā)與使用，其中感知和理解方面，就涉及傳感器/生物傳感器系統(tǒng)和網(wǎng)絡(luò)，針對特定目標(biāo)的高空間分辨率和高時間分辨率的實(shí)時環(huán)境感知系統(tǒng)，各種光照條件下的目標(biāo)識別感知系統(tǒng)和增強(qiáng)智能感知的策略等。2016年12月，白宮發(fā)布了一份名為《人工智能、自動化和經(jīng)濟(jì)》[1]報告，提出了聯(lián)邦政府對智能監(jiān)控方面的需求。韓國也非常重視人工智能領(lǐng)域的研究，韓國投資了引人矚目的人工智能計劃“Deep View”，該項目就是一項計算機(jī)視覺相關(guān)項目。我國人工智能雖然起步較晚，但政府也一直努力推進(jìn)人工智能的研究，《“十三五”國家科技創(chuàng)新規(guī)劃》明確人工智能作為發(fā)展新一代信息技術(shù)的主要方向，在圍繞新一代信息技術(shù)等十大領(lǐng)域構(gòu)建現(xiàn)代產(chǎn)業(yè)技術(shù)體系中明確指出“發(fā)展自然人機(jī)交互技術(shù)，重點(diǎn)是智能感知與認(rèn)知、虛實(shí)融合與自然交互、語義理解和智慧決策”[2]。2016年8月26日，國家發(fā)展改革委發(fā)布《關(guān)于請組織申報“互聯(lián)網(wǎng)+”領(lǐng)域創(chuàng)新能力建設(shè)專項的通知》[3]，批準(zhǔn)建立了由百度、清華大學(xué)、北京航空航天大學(xué)等組成的“深度學(xué)習(xí)國家隊”，該國家隊將在聽覺、視覺感知和語言理解三個人工智能基礎(chǔ)領(lǐng)域?qū)崿F(xiàn)技術(shù)突破。發(fā)改委推出的機(jī)器人產(chǎn)業(yè)發(fā)展規(guī)劃（2016—2020年）[4]提出重點(diǎn)圍繞人工智能、感知與識別、機(jī)構(gòu)與驅(qū)動、控制與交互等方面開展基礎(chǔ)和共性關(guān)鍵技術(shù)研究。除了美國、韓國和中國之外，歐盟發(fā)起的“藍(lán)腦計劃”“人類大腦工程”也引領(lǐng)了人工智能前沿技術(shù)的發(fā)展，英國的“數(shù)字英國戰(zhàn)略”、日本的“機(jī)器人新戰(zhàn)略”、人工智能產(chǎn)業(yè)化路線圖，都在國家層面對人工智能領(lǐng)域進(jìn)行了部署。這些人工智能項目都涉及感知與理解的相關(guān)研究和部署。

智慧城市方面，日本“第5期科技基本規(guī)劃”，提出名為“超級智能社會”[5]的未來社會構(gòu)想，要最大限度應(yīng)用物聯(lián)網(wǎng)、機(jī)器人、人工智能、大數(shù)據(jù)等信息通訊技術(shù)，建設(shè)繼狩獵社會、農(nóng)耕社會、工業(yè)社會、信息社會之后的超智慧社會（社會5.0）。美國國家科學(xué)基金會（NSF）利用“產(chǎn)業(yè)與高校合作研究中心項目”（IUCRC）[6]鼓勵以產(chǎn)研結(jié)合的方式加強(qiáng)物聯(lián)網(wǎng)平臺、智慧城市、交通及其管理系統(tǒng)方面的研究。智慧城市的建設(shè)離不開感知與理解技術(shù)的研發(fā)。

智慧交通方面，2017年2月，我國國務(wù)院印發(fā)了《“十三五”現(xiàn)代綜合交通運(yùn)輸體系發(fā)展規(guī)劃》[7]，在提升交通發(fā)展智能化水平方面，提出了檢測設(shè)備與交通設(shè)施同步建設(shè)，建立網(wǎng)絡(luò)平臺，形成動態(tài)感知、全面覆蓋、泛在互聯(lián)的交通運(yùn)輸運(yùn)行監(jiān)控體系。美國的《智能交通系統(tǒng)（ITS）戰(zhàn)略規(guī)劃2015—2019年》[8]提出包括實(shí)時監(jiān)測、探測區(qū)域性交通流運(yùn)行狀況，快速收集各種交通流運(yùn)行數(shù)據(jù)，及時分析交通流量運(yùn)行特征、預(yù)測變化，制訂最佳應(yīng)變措施和方案，將遠(yuǎn)程信息處理網(wǎng)絡(luò)連入車載裝置等感知理解相關(guān)內(nèi)容。

智能安防方面，我國《關(guān)于加強(qiáng)公共安全視頻監(jiān)控建設(shè)聯(lián)網(wǎng)應(yīng)用工作的若干意見》[9]提出截止2020年，相關(guān)部門將加大安防視頻監(jiān)控力度，使用人工智能等技術(shù)實(shí)現(xiàn)全網(wǎng)覆蓋、全網(wǎng)監(jiān)控，建立公共安全視頻監(jiān)控網(wǎng)和視頻分析平臺的指示。《中國安防行業(yè)“十三五”（2016—2020年）發(fā)展規(guī)劃》[10]提出用視頻結(jié)構(gòu)化描述技術(shù)改造傳統(tǒng)的視頻監(jiān)控系統(tǒng)，使之形成新一代的視頻監(jiān)控系統(tǒng)智慧化、語義化、情報化的語義視頻監(jiān)控系統(tǒng)，同時開展有關(guān)視頻結(jié)構(gòu)化描述數(shù)據(jù)的應(yīng)用服務(wù)模式研究，針對典型應(yīng)用環(huán)境制定視頻結(jié)構(gòu)化應(yīng)用的系統(tǒng)及解決方案。

綜合人工智能、智慧城市、智慧交通、智能安防方向的政策部署來看，視覺感知與理解都將在其中扮演重要的角色，政策著力點(diǎn)大多在于基礎(chǔ)設(shè)置的建設(shè)以及相關(guān)感知與理解技術(shù)的研發(fā)。

2.2 項目部署

利用國家自然科學(xué)基金NSFC數(shù)據(jù)庫數(shù)據(jù)對我國視覺感知與理解相關(guān)的項目進(jìn)行分析，可以看出我國國家自然科學(xué)基金對該領(lǐng)域的項目支持力度是非常大的，截止2016年（由于數(shù)據(jù)庫收錄2016年之前數(shù)據(jù)），項目數(shù)量1 186項，經(jīng)費(fèi)近5億。資助的項目從1988年開始，數(shù)量在2010年達(dá)到峰值。從項目類型來看，面上項目、青年科學(xué)基金項目、重大研究計劃項目和重點(diǎn)項目的經(jīng)費(fèi)超過總額的85%。覆蓋面也是較為廣泛的，除主要的面上項目、青年科學(xué)基金項目外，還支持了專項基金項目、聯(lián)合基金項目、地區(qū)科學(xué)基金項目、國際合作交流項目等，如圖1和表1所示。

圖1 國家自然科學(xué)基金項目資助趨勢

表1 國家自然科學(xué)基金資助項目類型分布

從項目所屬的學(xué)科來看（圖2），信息與通信工程、控制科學(xué)與工程、計算機(jī)科學(xué)與技術(shù)三大領(lǐng)域的項目數(shù)量最多，分別占總量的31%、21%和17%。在其他類型中，包含了地理學(xué)、生物、交通運(yùn)輸、管理工程、海洋等多個學(xué)科。從此也可以看出，視覺感知與理解領(lǐng)域的技術(shù)應(yīng)用前景廣闊。

圖2 國家自然科學(xué)基金資助項目所屬學(xué)科分布

從項目申請的機(jī)構(gòu)來看（圖3），西安電子科技大學(xué)以61個科研項目排名第一，經(jīng)費(fèi)為2 614萬元。中科院自動化研究所申請科研項目40項，雖然項目數(shù)不及西安電子科技大學(xué)，但經(jīng)費(fèi)數(shù)量2 885萬元，排名第一。

圖3 國家自然科學(xué)基金資助項目申請量TOP10機(jī)構(gòu)

3 大范圍視頻視覺感知與理解研究態(tài)勢

隨著數(shù)字視頻監(jiān)控技術(shù)的發(fā)展和國際安全形勢的日趨嚴(yán)峻，世界各國部署的視頻監(jiān)控系統(tǒng)越來越密集，攝像頭等設(shè)備數(shù)量上的增加帶來了大范圍視覺采集的可能，通過人工處理這些海量的視頻數(shù)據(jù)，變得很不現(xiàn)實(shí)的?；谟嬎銠C(jī)視覺的大范圍視頻內(nèi)容識別和理解，就成為了大范圍視頻解析平臺必不可少的核心技術(shù)。

黃凱奇等綜述認(rèn)為[11]基于視頻的視覺識別與解析理解技術(shù)方法主要包括目標(biāo)檢測、目標(biāo)分類、目標(biāo)跟蹤和行為分析四個方面，涉及特征選擇與提取、特征降維、融合增強(qiáng)、姿態(tài)識別、個體識別、行為識別、事件分析等眾多技術(shù)分支。單言虎[12]等綜述了人的視覺識別行為研究，認(rèn)為更為真實(shí)的使用場景，深度學(xué)習(xí)在時序數(shù)據(jù)中的應(yīng)用，新型傳感器數(shù)據(jù)將為視覺識別帶來契機(jī)。姜丹[13]等綜述了視頻處理在智能交通中的應(yīng)用現(xiàn)狀及發(fā)展趨勢，對基于內(nèi)容的視頻分析與檢索視頻檢索系統(tǒng)進(jìn)行了介紹。

本文通過對Web of Science數(shù)據(jù)庫收錄的大范圍視頻視覺感知與理解論文的計量分析，也可以觀察近年來大范圍視頻視覺感知與理解的研究動態(tài)和應(yīng)用情況。

從圖4可以看出，在20世紀(jì)90年代已經(jīng)出現(xiàn)涉及大范圍視頻視覺感知與理解技術(shù)的研究，近年來的年發(fā)文量增長顯著，尤其是在2013年之后，每年的增長量都在50篇左右（2017年數(shù)據(jù)不完整，僅供參考）。這說明視頻視覺感知與理解的研究成果越來越多，研究受到了越來越多的關(guān)注。

從發(fā)文國家來看（圖5），美國和中國的產(chǎn)出較多，分別占總量的35%和26%，其后是日本、英國、德國、加拿大、澳大利亞、法國、印度和韓國。從美、中兩國年度發(fā)文趨勢來看（圖6），美國的年發(fā)文量基本維持在年發(fā)文總量的30%～40%，而中國自2012年以來快速增長，出現(xiàn)明顯的趕超趨勢，其他國家的發(fā)文量保持緩慢增長的趨勢。

圖4 大范圍視頻視覺感知與理解方向發(fā)文趨勢

圖5 大范圍視頻視覺感知與理解方向論文國家分布

圖6 大范圍視頻視覺感知與理解方向各國發(fā)文趨勢

對發(fā)表論文的主要機(jī)構(gòu)進(jìn)行分析（圖7），可以看出，大范圍視頻視覺感知與理解方面重要的研究機(jī)構(gòu)是中國科學(xué)院、卡內(nèi)基-梅隆大學(xué)、清華大學(xué)、新加坡國立大學(xué)、哥倫比亞大學(xué)、南洋理工大學(xué)、北京郵電大學(xué)、香港大學(xué)、微軟亞洲研究院、北京大學(xué)和加州大學(xué)伯克利分校。

圖7 大范圍視頻視覺感知與理解論文發(fā)表主要機(jī)構(gòu)

基于此次構(gòu)建的數(shù)據(jù)集分析，該領(lǐng)域的相關(guān)工作約有三分之二（1 616/2 383）發(fā)布在國際級的學(xué)術(shù)會議上，表2是排名前7的會議及其近期主題詞。從這些會議的主題詞的變化歷程來看，研究內(nèi)容和熱點(diǎn)從目標(biāo)檢測與跟蹤等底層算法向高層的行為分析技術(shù)轉(zhuǎn)變，近年在復(fù)雜事件識別與分析、社會行為分析、人群分析等技術(shù)方向的研究熱度頗高。另外，面部識別、相似行為（跑步與慢跑）等的識別也對算法提出了更為精細(xì)化的要求。同時，隨著視頻數(shù)據(jù)獲取越來越容易，視頻資源越來多豐富，針對大型數(shù)據(jù)的，基于語義的快速檢索、去冗余、視頻注釋、摘要、字幕的生成技術(shù)也受到關(guān)注，在這些技術(shù)中也涉及到對圖片、音頻、屬性的靈活應(yīng)用，測試數(shù)據(jù)集也更為豐富和多元化，如Youtube、Google等。

從涉及的方法來看，對卷積神經(jīng)網(wǎng)絡(luò)（CNN）算法在精度、效率、新的輔助信息上的改進(jìn)較多，另外深度學(xué)習(xí)、學(xué)習(xí)轉(zhuǎn)移等方法在時序數(shù)據(jù)中的應(yīng)用研究成為熱點(diǎn)。

表2 大范圍視頻視覺感知與理解重要會議發(fā)文與主題分布

在應(yīng)用來看，會議中報道了與大范圍視覺感知相關(guān)的利用人的服裝細(xì)粒度屬性識別失蹤人口[14]；基于運(yùn)動信息語義、建筑物的車輛檢測[15]；基于人群分析的報警系統(tǒng)與誤報控制[16]；利用網(wǎng)絡(luò)視頻重構(gòu)近地尺度的圖像以替代衛(wèi)星數(shù)據(jù)[17]；基于3D重建技術(shù)的航空廣域運(yùn)動分析[18]；利用無人機(jī)視頻分析以彌合地面和航空影像之間的差距[19]；基于對象和場景解析技術(shù)的自動駕駛案例[20]；基于行為分析的烹飪、外科手術(shù)的監(jiān)控和評估[21]等等。可以看出，智能視頻監(jiān)控的應(yīng)用領(lǐng)域也在快速地擴(kuò)展。

4 無人平臺視覺感知與理解研究態(tài)勢

在攝影測量或遙感方面，原本需要靠高精度的地面控制點(diǎn)才能精確解算出影像的姿態(tài)信息和位置，隨著定位精度和IMU靈敏性的提高，無人平臺能夠在不利用地面控制點(diǎn)的情況下獲取精確的影像姿態(tài)位置信息[22]；在偵查領(lǐng)域方面，可進(jìn)行現(xiàn)場照片、指紋識別、手跡識別、印章識別等進(jìn)行處理和辨識模糊人像等。此外，在智能汽車[23]、消防救援[24]、在產(chǎn)品質(zhì)量檢測、生產(chǎn)過程的自動控制、CAD/CAM等方面都有應(yīng)用[25]。無人平臺圖像分析水平的高低直接決定了無人平臺應(yīng)用水平的高下，開發(fā)無人平臺影像高效、自動化處理系統(tǒng)，建立無人平臺圖像信息深度挖掘體系，是目前關(guān)注的熱點(diǎn)和研究的難點(diǎn)[26]。

如圖8，揭示了無人平臺視覺感知與理解技術(shù)Web of Science（2 997篇）收錄論文數(shù)量的年度統(tǒng)計情況，可以看該技術(shù)呈現(xiàn)遞增趨勢。引用率高達(dá)887次的無人平臺視覺識別技術(shù)出現(xiàn)在2007年，Davison等人在IEEE Transactions on Pattern Analysis and Machine Intelligence發(fā)表的“MonoSLAM：Real-time single camera SLAM”[27]，該論文提出了一種實(shí)時算法，是依靠一個單一控制相機(jī)的移動機(jī)器人在純視覺SLAM方法領(lǐng)域的首次成功應(yīng)用，實(shí)現(xiàn)了從結(jié)構(gòu)到運(yùn)動方法的實(shí)時但無漂移的性能。主要創(chuàng)新點(diǎn)包括運(yùn)用主動的方法來映射和測量，使用一般的運(yùn)動模型、平滑的攝像機(jī)運(yùn)動、單眼特征初始化和特征方向估計提供解決方案，目前的主要應(yīng)用有實(shí)時三維定位。

圖8 無人平臺視覺感知與理解技術(shù)論文發(fā)表趨勢

無人平臺的視覺感知與理解技術(shù)主要研發(fā)國家是美國、日本、中國和德國，美國處于絕對領(lǐng)先地位，日本、中國和德國研發(fā)量相當(dāng)。法國、西班牙、韓國、英國、意大利和加拿大緊隨其后，如表3所示。對主題分析可以看出，近年來，無人平臺視覺感知與理解的對象包括空中圖像和地面對象，靜態(tài)圖像和動態(tài)圖像；應(yīng)用目標(biāo)主要是靜態(tài)或動態(tài)目標(biāo)的檢測、識別、追蹤和分析，從而實(shí)現(xiàn)視覺導(dǎo)航和人機(jī)交互等功能；方法層面，差分法、光流法和統(tǒng)計學(xué)習(xí)模型依然是常用的方法，卷積神經(jīng)網(wǎng)絡(luò)算法的不斷改進(jìn)、語義理解和仿生視覺研究的加入也為無人機(jī)視覺感知與理解注入活力，3D定位和3D測量、3D目標(biāo)跟蹤等3D視覺技術(shù)在無人平臺研究熱點(diǎn)較高。形式層面，無人機(jī)、無人車、交互式機(jī)器人、并聯(lián)機(jī)器人、娛樂機(jī)器人、社交機(jī)器人、合作機(jī)器人等無人平臺形式拓寬了應(yīng)用的同時為視覺感知和理解提出了更高的要求。

表3 無人平臺視覺感知與理解技術(shù)論文發(fā)表國家分布情況（TOP10）

如圖9，揭示了無人平臺視覺感知與理解技術(shù)主要研究機(jī)構(gòu)。排名前10位的分別是慕尼黑理工大學(xué)、東京大學(xué)、中國科學(xué)院、卡耐基梅隆大學(xué)、麻省理工學(xué)院、上海交通大學(xué)、早稻田大學(xué)、韓國科學(xué)技術(shù)研究院、法國國家科研中心和香港大學(xué)。

圖9 無人平臺視覺感知與理解技術(shù)論文發(fā)表的機(jī)構(gòu)（TOP10）分布

5 產(chǎn)業(yè)應(yīng)用

智能視覺感知與理解在智慧城市、智能交通、智能安防方面已經(jīng)取得了一些好的應(yīng)用案例，如韓國松島智慧互聯(lián)城市[28]利用思科統(tǒng)一的服務(wù)平臺進(jìn)行，核心技術(shù)組件是思科相關(guān)視頻技術(shù)，這些嵌入街道和建筑物的傳感器，可以檢測從溫度、濕度到道路交通條件等問題，幫助城市提高反應(yīng)速度和運(yùn)行效率。智能交通方面，智能視覺感知與理解技術(shù)為智能交通系統(tǒng)提供了更為直觀方便的分析手段，可以在交通監(jiān)控系統(tǒng)、交通指揮與誘導(dǎo)系統(tǒng)、自動駕駛與導(dǎo)航系統(tǒng)、輔助駕駛系統(tǒng)、智能收費(fèi)系統(tǒng)、交通違章系統(tǒng)等方面開展應(yīng)用。上海平安浦東視頻聯(lián)網(wǎng)監(jiān)控[29]、蘇州工業(yè)園自適應(yīng)交通管控[30]、香港交通監(jiān)控[31]、倫敦交通[32]、東京交通[33]都已經(jīng)采用了智慧交通的理念。智能安防方面，波士頓爆炸案[34]中，社交媒體監(jiān)視、互聯(lián)網(wǎng)通訊分析、案發(fā)現(xiàn)場圖像視頻檢索分析、監(jiān)控攝像頭硬件供應(yīng)等技術(shù)發(fā)揮了強(qiáng)大的作用。

公司方面，大量行業(yè)相關(guān)公司研發(fā)或者布局了相關(guān)的技術(shù)和產(chǎn)品，表4舉例介紹了典型的大范圍視覺感知與理解和無人平臺視覺感知與理解相關(guān)公司產(chǎn)品。

大范圍視覺感知與理解方面，IBM公司[35]的Watson視覺識別圖像分類器（Watson Visual Recognition）使用深度學(xué)習(xí)算法來分析場景、對象、臉和其他內(nèi)容的圖像，可以通過訓(xùn)練自定義分類器創(chuàng)建專門類，其采用了圖形處理器（GPUs）的分布式網(wǎng)絡(luò)，將所有信息融合到具有數(shù)萬標(biāo)簽的卷積神經(jīng)網(wǎng)絡(luò)，并研發(fā)出利用語義推理優(yōu)化圖片描述的新推論方法。IBM智能視頻分析可與Genetec、Milestone、Cisco、Acti和Pelco等視頻管理軟件和網(wǎng)絡(luò)視頻錄制解決方案相集成，可輕松地集成其他支持Microsoft Direct Show Filter的解決方案，支持活動搜索、交叉關(guān)聯(lián)和趨勢分析，目前可以進(jìn)行移動攝像分析、高級人臉檢測與識別、支持CJIS密碼政策、權(quán)限管理和視頻文件的攝入。中國亦有大量公司推出相關(guān)的產(chǎn)品和服務(wù)，華為視頻云[36]解決方案通過VCN和OceanStor兩種方案實(shí)現(xiàn)城市監(jiān)控視頻的整體存儲、跨域共享，保護(hù)視頻數(shù)據(jù)安全，并支持彈性建設(shè)，平滑擴(kuò)容。華為VCN平臺將視頻接入、流媒體轉(zhuǎn)發(fā)、視頻存儲管理、錄像點(diǎn)播、設(shè)備業(yè)務(wù)管理、錄像備份、磁盤陣列各硬件設(shè)備單元合為一體，單臺支持最高256路視頻接入，并支持堆疊。不同警局單位的VCN節(jié)點(diǎn)可以通過網(wǎng)絡(luò)組成監(jiān)控云，最高支持20萬路視頻接入。華為OceanStor 9000視頻云存儲系統(tǒng)提供視頻流整合、智能預(yù)取、IO直通等技術(shù)，使視頻圖像檢索效率得到顯著提升，支持4∶1存儲讀寫比例。另外系統(tǒng)具有支持上千路視頻并行分析處理的能力，可以對來自前端數(shù)千個高清攝像機(jī)的并發(fā)視頻數(shù)據(jù)做到負(fù)載均衡、動態(tài)管理。針對原始視頻、分析過程視頻或圖片、涉案事件視頻或圖片的信息關(guān)聯(lián)管理，提供分布式并行檢索與關(guān)聯(lián)分析，讓刑偵辦案處于更有序的管理狀態(tài)，幫助公安客戶高效快速進(jìn)行事件過濾篩選。華為智能分析云平臺產(chǎn)品有VCM5020和VCM5010兩種型號。VCM5020單機(jī)支持816路并發(fā)智能分析，實(shí)現(xiàn)千倍速視頻采集摘要，視頻快速搜索，車牌識別，行為分析，視頻增強(qiáng)修復(fù)等豐富功能。VCM5010關(guān)鍵特征與VCM5020類似，單機(jī)支持96路并發(fā)智能分析。華為eLTE寬帶集群解決方案，基于最先進(jìn)的LTE無線寬帶技術(shù)，上行吞吐量可達(dá)50 Mb/s，下行吞吐量達(dá)100 Mb/s。一網(wǎng)支持多媒體集群語音、視頻調(diào)度，高清無線視頻監(jiān)控，遠(yuǎn)程數(shù)據(jù)采集和移動辦公業(yè)務(wù)。目前，華為視頻云解決方案已運(yùn)用于敦煌安全旅游城市、信息科技下的平安龍崗、上海嘉定高清平安城市等項目中。

無人平臺視覺感知與理解方面，行業(yè)領(lǐng)軍的Google無人駕駛視覺技術(shù)借助了美國工業(yè)知覺公司的3D視覺系統(tǒng)[37]，通過用OpenCV（計算機(jī)視覺和機(jī)器學(xué)習(xí)庫）等分析由激光傳感器等收集的圖像，例如追蹤物體的動態(tài)、物體識別、圖像縫合、抓取風(fēng)景提供虛擬現(xiàn)實(shí)功能等，來判斷安全行駛路線，實(shí)現(xiàn)自動駕駛汽車上的圖像識別和深度分析；Google通過與Jetpac公司在圖像識別技術(shù)上的融合，對行駛道路上的目標(biāo)障礙物的檢測和識別匹配得到改進(jìn)，體現(xiàn)在匹配識別時間的縮短和相關(guān)識別復(fù)雜程度的提升，并解決了在檢測圖像質(zhì)量不佳的情況下提升其道路標(biāo)示的可確定性，同時還增加了對行駛天氣環(huán)境的感知，進(jìn)一步獲取更多行蹤條件信息；對檢測部件的改進(jìn)體現(xiàn)在計算點(diǎn)陣、電控線路等方面。百度全資收購了專注于機(jī)器視覺軟硬件解決方案的美國科技公司xPerception[38]，面向機(jī)器人、AR/VR、智能導(dǎo)盲等行業(yè)客戶提供以立體慣性相機(jī)為核心的機(jī)器視覺軟硬件產(chǎn)品，其核心技術(shù)是慣性視覺定位與構(gòu)圖（Visual Inertial SLAM），其智能感知計算模塊，集成了感知、定位、避障和導(dǎo)航技術(shù)，為第三方手機(jī)、VR設(shè)備、機(jī)器人等提供包括定位、識別、3D重建等功能在內(nèi)的軟硬件一體化解決方案。美國3D Robotics公司與索尼和Autodesk等公司合作[39]，推出了直觀、功能強(qiáng)大、開放的空中分析平臺Site Scan，通過無人駕駛飛機(jī)提供易于執(zhí)行、高分辨率的現(xiàn)實(shí)捕捉，網(wǎng)站提供了掃描數(shù)據(jù)的一鍵采集、處理和分析，易于商業(yè)用戶從現(xiàn)場獲得高保真的數(shù)據(jù)。美國Knightscope公司的機(jī)器人K5[40]，可以使用其傳感器在指定區(qū)域收集車牌、面部識別和人的運(yùn)動等實(shí)時現(xiàn)場數(shù)據(jù)，分析數(shù)據(jù)時使用來自商界和政府的數(shù)據(jù)集作為參考，從而決定何時提醒社會和當(dāng)局的關(guān)注。一旦警報響起，K5將打開所有的傳感器，為整個社區(qū)審查數(shù)據(jù)和提供實(shí)時信息。Aeryon Labs公司的AeryonLive[41]是一個實(shí)時視頻&遙感和機(jī)隊管理的無人機(jī)系統(tǒng)平臺，它是一個集成解決方案，可以保障Aeryon SkyRanger的現(xiàn)場視頻和飛機(jī)遙測通過一個安全、可靠的結(jié)蜂窩網(wǎng)絡(luò)進(jìn)行在線傳輸，該公司的Vector?可用于實(shí)時高效的視頻處理，其基于NVDIA TK1（提供一個四核2.2 GHz處理器和專用GPU）芯片搭建，嵌入于Aeryon的payload系列產(chǎn)品中，其圖像處理功能提供運(yùn)動目標(biāo)的自動識別和跟蹤。跟蹤算法可實(shí)時鎖定目標(biāo)，即使目標(biāo)位置變化或被其它對象阻礙視線，操作者可以在視場內(nèi)直觀地標(biāo)注10個移動物體，顯示器自動高亮顯示目標(biāo)，同時數(shù)字圖像穩(wěn)定。MotionDSP公司的Ikena ISR[42]是一款實(shí)時視頻增強(qiáng)與二維繪圖軟件，ISR的圖像處理算法，解決了震動、灰霾、照明等帶來的問題，盡可能全部實(shí)時地獲取無人機(jī)和安全攝像頭的視頻，操作者可以實(shí)時進(jìn)行空中視頻流的處理和增強(qiáng)，幾分鐘內(nèi)從視頻創(chuàng)建二維地圖，檢測和跟蹤移動物體的精確到1～2像素。主要用于軍事和公共安全領(lǐng)域。優(yōu)必選公司的機(jī)器人產(chǎn)品Cruzr[43]，可以通過SLAM算法，自主規(guī)劃路徑移動到目標(biāo)位置，并能夠?qū)崟r避障。系統(tǒng)可以應(yīng)用在視頻監(jiān)控領(lǐng)域，能夠?qū)\(yùn)動物體進(jìn)行檢測，還可以對異常情況進(jìn)行拍照或錄影取證，并發(fā)送警報信息。另外，可以“行走”的機(jī)器人也能夠?qū)崿F(xiàn)動態(tài)的巡邏功能。

表4 智能視覺感知與理解典型公司與產(chǎn)品

6 總結(jié)與展望

智能視覺感知與理解技術(shù)作為人工智能、智慧城市、智慧交通、智能安防等領(lǐng)域的重要內(nèi)容，具有重大的戰(zhàn)略意義，近年來一直是戰(zhàn)略部署以及項目支持的重要方向，預(yù)計隨著智能社會的發(fā)展，其戰(zhàn)略地位將進(jìn)一步提升。

從學(xué)術(shù)角度來看，大范圍視頻視覺感知與理解的學(xué)術(shù)研究量呈現(xiàn)逐年增加的趨勢，研究內(nèi)容和熱點(diǎn)從目標(biāo)檢測與跟蹤等底層算法向高層的行為分析技術(shù)轉(zhuǎn)變，針對大型數(shù)據(jù)的、基于語義的快速檢索、去冗余、視頻注釋、摘要、字幕的生成技術(shù)也受到關(guān)注。理論方法方面，對卷積神經(jīng)網(wǎng)絡(luò)（CNN）算法在精度、效率、新的輔助信息上的改進(jìn)較多，另外深度學(xué)習(xí)、學(xué)習(xí)轉(zhuǎn)移等方法在時序數(shù)據(jù)中的應(yīng)用研究成為熱點(diǎn)。同時，亦可以看出應(yīng)用領(lǐng)域的快速擴(kuò)展，如失蹤人口識別、車輛檢測、烹飪、手術(shù)監(jiān)控等。研究開始加速提高洞悉大數(shù)據(jù)的能力，追求更高水平的數(shù)據(jù)細(xì)節(jié)，對于科學(xué)家而言仍然是一個挑戰(zhàn)，也將成為重要的突破方向。無人平臺視覺感知與理解的學(xué)術(shù)研究量也呈現(xiàn)逐年增加的趨勢，主題方面，差分法、光流法、統(tǒng)計學(xué)習(xí)模型一直在尋求改進(jìn)，與此同時，卷積神經(jīng)網(wǎng)絡(luò)算法、語義理解、仿生視覺研究成為無人機(jī)視覺感知與理解研究的熱點(diǎn)方法，3D視覺技術(shù)、無人機(jī)或機(jī)器人之間的交互協(xié)作成為熱點(diǎn)技術(shù)方向。然而，無人平臺視覺感知與理解的精確度、實(shí)時度、效率的提高依然需要探索的腳步?；谝曈X技術(shù)的無人平臺減少人為干預(yù)，實(shí)現(xiàn)多個無人設(shè)備之間的自主決策協(xié)同工作將是重要的發(fā)展目標(biāo)。

從產(chǎn)業(yè)角度來看，大量智能視覺感知與理解的應(yīng)用場景和公司產(chǎn)品促進(jìn)了行業(yè)的繁榮，基于大規(guī)模數(shù)據(jù)的視頻視覺感知與理解，以及無人平臺的視覺感知與理解也成為產(chǎn)業(yè)應(yīng)用的重要領(lǐng)域。大規(guī)模的深層學(xué)習(xí)和基于語義層面的可視化建模促進(jìn)了視覺識別能力的提高，云平臺等集成的產(chǎn)品形態(tài)和應(yīng)用模式，綜合的系統(tǒng)架構(gòu)促進(jìn)了應(yīng)用向更深更廣方向上的突破。無人平臺技術(shù)和視覺感知理解技術(shù)的進(jìn)一步融合，進(jìn)一步拓寬了應(yīng)用領(lǐng)域。然而，應(yīng)用場景和產(chǎn)品用戶的不同，硬件設(shè)備改造、軟件集成以及本地計算設(shè)施的部署要求就不同，呈現(xiàn)一定的個性化定制特征，算法、技術(shù)的實(shí)際功效均是建立在對客戶真實(shí)業(yè)務(wù)場景深層理解之上的針對性開發(fā)，開發(fā)成本高。缺乏標(biāo)注數(shù)據(jù)是幾乎所有應(yīng)用場景普遍存在的挑戰(zhàn)。雖然，將智能視覺感知與理解相關(guān)技術(shù)從實(shí)驗(yàn)室擴(kuò)展到工業(yè)化應(yīng)用的過程本身依然面臨很大的挑戰(zhàn)，但相信隨著技術(shù)的改進(jìn)，集成解決方案的發(fā)展，產(chǎn)業(yè)鏈的進(jìn)一步成熟，智能視覺感知與理解產(chǎn)業(yè)將催生出更多深入消費(fèi)者市場內(nèi)部的優(yōu)秀產(chǎn)品。