郝貴舉，楊洪臣，顏瑞彬

（1.中國刑事警察學院，沈陽 110035；2.中國人民公安大學，北京 100038）

超分辨率技術（super-resolution）就是將低分辨率（low-resolution）的單幅或同一場景的多幅圖像經(jīng)過一定的算法提升到高分辨率（high-resolution），增加圖像的像素密度，豐富細節(jié)信息，增強視覺效果。在公安刑偵工作中，高分辨率的視頻圖像對于后期進行針對性視頻分析工作至關重要。這項技術能夠克服硬件系統(tǒng)、拍攝環(huán)境的局限，能夠低成本、高效率為公安偵查工作提供可靠方向。

隨著圖像處理技術的發(fā)展，超分辨技術逐步得到國內(nèi)外學者的廣泛探索與深入研究，取得了豐碩的成果。目前，超分辨算法大致可以分為基于插值、基于重建以及基于學習三種[1]?；诓逯档姆椒ň褪峭ㄟ^低分辨率的像素點與周圍的信息進行插值，重構圖像，以達到高分辨重建的效果，是最傳統(tǒng)也是最簡單的方法。然而，放大倍數(shù)較大時，圖像出現(xiàn)明顯的邊緣模糊化，視覺效果較差?；谥亟ǖ姆椒?，就是依據(jù)低分辨率圖像的退化模糊的先驗原理，逆向推斷成像過程，進行超分辨重建?；趯W習的方法就是通過訓練數(shù)據(jù)，使機器學習高分辨率和低分辨率圖像的映射關系，然后針對低分辨率圖像，依據(jù)建立的映射關系獲得高分辨率圖像。目前，基于學習的方法結合神經(jīng)網(wǎng)絡對低分辨率圖像做處理，在重建質(zhì)量和速度方面表現(xiàn)出強大的優(yōu)勢，得到廣大學者的關注和認可。2016年香港中文大學Dong等[2]提出卷積神經(jīng)網(wǎng)絡模型（super-resolution convolutional neural network, SRCNN），首次將卷積神經(jīng)網(wǎng)絡應用于單幅圖像的超分辨率重建上，與傳統(tǒng)算法相比，SRCNN客觀性能指標和主觀視覺評價上有了很大的提高。為了達到實時超分辨效果，Dong 等[3]在改進SRCNN基礎上提出了一種更加緊湊的深度卷積神經(jīng)網(wǎng)絡模型（fast super-resolution convolutional neural network, FSRCNN)，在網(wǎng)絡的最后引入反卷積層。為了提高超分辨質(zhì)量，Wang[4]和Liu[5]提出了將稀硫編碼與深度學習相結合實現(xiàn)快速訓練，提升了圖像的魯棒性能。此外，在視頻超分辨研究領域，Liao[6]提出將光流方法與卷積神經(jīng)網(wǎng)絡相結合獲得高分辨率視頻幀，加快視頻重建速度。Caballero[7]提出了一種基于空間變壓器網(wǎng)絡的運動補償機制的時空亞像素卷積網(wǎng)絡（VESPCN），減少了時空網(wǎng)絡計算，提高了重建的準確度。Wang等[8]提出了一種結合殘差塊的增強型視頻超分辨網(wǎng)絡（EVSR），利用時空信息獲取連續(xù)幀之間運動關系，結合殘差學習提升網(wǎng)絡收斂速度，預測高頻細節(jié) 信息。

本文提出將視頻中相近時段的兩幀圖像代替雙目圖像，即截取視頻中同一運動物體不同時間的兩幀圖像作為視差不同的雙目圖像，輸入網(wǎng)絡模型中，利用雙目圖像的較大視差，結合殘差網(wǎng)絡結構，視差注意力機制，對輸入的低分辨率的圖像進行超分辨率重建，獲取高頻信息。與傳統(tǒng)方法相比，本文使用的網(wǎng)絡模型在客觀性能上和主觀視覺效果上均有顯著提升，為基于學習提升視頻圖像超分辨率提供一種思路，在公安實踐中有較大的運用前景。

1.2治療方法:兩組患者均進行血尿常規(guī)、肝腎功能、電解質(zhì)、心肌酶譜等常規(guī)檢查,記錄18導聯(lián)心電圖,查血型配血備用。嚼服阿司匹林300mg,以后改為75~150 mg/d,同時口服300mg氯吡格雷;結合患者病情給予患者合并癥進行對癥治療。

1 基礎理論

1.1 雙目立體視覺介紹

人眼從兩個不同角度觀察相同物體，會得到不同的物體信息，再經(jīng)過大腦進行處理可以獲得空間物體的三維信息。根據(jù)人眼原理，在計算機中建立雙目立體視覺系統(tǒng)，運用三維重建技術，對輸入物體的雙目圖像進行處理，得到物體空間信息。

2.2.4 反卷積

1.2 對極幾何

對極幾何就是表示兩幅圖像間的內(nèi)部射影關系，與外部環(huán)境無關。它表示圖像平面與平面束相交構成的幾何。

目前，超分辨評價準則標準包括主觀評價和客觀評價。主觀評價依據(jù)人眼的視覺感受，對圖像的優(yōu)劣作出主觀的評價?？陀^的量化方法包括峰值信噪比（PSNR）以及結構相似性（SSIM）。PSNR是計算圖像內(nèi)像素最大值與加性噪聲功率的比值，它基于處理后的圖像與原圖像對應像素點間誤差，PSNR值越高，表示圖像失真越小，說明超分辨重建圖像的質(zhì)量與高分辨圖像的質(zhì)量越接近，圖像效果越好，其計算方法如公式（1）所示：

如圖1a所示，如果得到三維空間點P在圖像I1上的投影點是P1，則這個點在圖像I2上的投影一定會在l2這條極線上。當P1在O1P向量上，其在I2的投影都在l2這條極線上，根據(jù)這個幾何特性，當已知P1時，可以在l2上找到P2。反之同理，這就是對極約束。將對極幾何中的極線約束應用在圖像超分辨的重建中，可以集成低分辨率雙目圖像的有效信息，但拍攝立體圖像對時，對環(huán)境光照非常敏感，受光照角度、強度變化的影響，拍攝的兩張圖片亮度差別會比較大，而且兩臺攝像機的位置要水平放置在同一基準面上，且需要同時拍攝，并保證兩臺攝像機的光軸是平行的，無疑為雙目圖像的獲取增加了難度。因此，提出截取視頻中同一運動物體相近時段的兩幀圖像作為雙目立體圖像的方法。

如圖1b所示，監(jiān)控視頻的攝像機固定在一點o，運動物體從P運動到P’，先截取運動物體在P點的圖像相當于傳統(tǒng)雙目立體圖像中右視角拍攝圖像，再截取物體運動到P’點處的圖像相當于傳統(tǒng)雙目立體圖像中左視角圖像，因此得到視差不同的雙目圖像。圖像點X和X’和攝像機中心o以及空間點P和P’五個點是共面的，構成平面π，是最本質(zhì)的約束。當已知圖像點X，由于X和X’一定在平面π上，π可以利用圖像點的反投影射線以及空間點運動基線PP’確定，圖像點X’是右側圖像平面上的點，因此，X’一定位于平面π與右側圖像平面的交線l2上，因此構成約束。

如圖2所示，所采用的總體方案主要由四部分構成，分別為多尺度特征提取、視差注意模塊、殘差學習、反卷積。

圖1 對極幾何（a）與仿對極幾何（b）約束圖Fig. 1 Illustration of constraint relationship about epipolar geometry (a) and its imitating alternative (b)

1.3 圖像質(zhì)量評價指標

增值稅費用的發(fā)生導致相關資產(chǎn)的減少或負債的增加，所以，增值稅費用=當期發(fā)生的應交增值稅+遞延增值稅負債的增加-遞延增值稅資產(chǎn)的減少。

為了給人們創(chuàng)造更好的生活，給社會生產(chǎn)帶來更大的效益，同時滿足國家發(fā)展綠色經(jīng)濟的戰(zhàn)略目標，利用太陽能光伏發(fā)電已成為必然趨勢。如何實現(xiàn)對太陽能光伏發(fā)電過程的監(jiān)控和管理，促進太陽能光伏發(fā)電系統(tǒng)的穩(wěn)定運行，電氣自動化成為不可或缺的技術。本文探索了電氣自動化與太陽能光伏發(fā)電存在的密不可分的聯(lián)系，實踐證明，電氣自動化可以推動可再生能源的發(fā)展，也有利于生態(tài)環(huán)境的保護，促進綠色產(chǎn)業(yè)經(jīng)濟的發(fā)展。

實驗所采用的仿真平臺為pycharm，硬件設備為Intel Core i5 型號的處理器和NVIDIA GeForce GTX 1080 Ti GPUFR 計算機，內(nèi)存為32 GB。CUDA Toolkit的版本為9.0，訓練數(shù)據(jù)集采用雙目圖像公開數(shù)據(jù)集Flickr1024數(shù)據(jù)集中的800張多場景圖像。

SSIM是評價原始圖像與處理圖像之間的結構度、亮度和對比度的相似性，SSIM值趨近于1，說明兩幅圖像相似，重建效果越好。其計算公式如下：

其中，μX和μY為圖像X、Y的像素均值，σX和σY為圖像X、Y的像素標準值，σXY表示圖像X和圖像Y的協(xié)方差。C1、C2、C3為常數(shù)。C1=(K1×L)2，，一 般 的，K1=0.01，K2=0.03，L=255。

2 基于雙目視差機制的視頻超分辨方法

2.1 圖像的預處理

網(wǎng)絡的訓練樣本包括輸入圖像的低分辨率以及高分辨率的標簽圖兩部分組成。首先要對原始樣本集進行下采樣，使用雙三次插值法獲取低分辨圖像集。其次，對原始樣本集和低分辨圖像集擴充，采用不同尺寸的滑動窗口對圖像切割，得到若干90×30的低分辨率圖像塊和360×120高分辨率圖像塊作為訓練集。

2.2 總體設計方案

該方法相對于傳統(tǒng)運用兩臺攝像機拍攝雙目圖像的方法，可以保證兩張圖像拍攝的相機內(nèi)部參數(shù)完全相同，可以更好地控制拍攝條件，確保拍攝環(huán)境的相對一致性，雙目圖像的獲取更加便利。

在加快融媒體融合改革的過程中，一些地市媒體大膽創(chuàng)新，實行采編與經(jīng)營分開、事業(yè)產(chǎn)業(yè)分開，打破僵化的用人和分配制度，激發(fā)全體員工的積極性，內(nèi)部活力顯著增強。浙江省余杭晨報社規(guī)范新媒體管理體制，并建立績效評估機制，在原有的機制及體制上進行創(chuàng)新，與時俱進，提出了新的思路，同時從制度上給予保障。福建省閩南日報社對報紙記者與網(wǎng)站記者實行統(tǒng)一招聘、統(tǒng)一培訓、統(tǒng)一發(fā)證，定期輪崗交。用人制度的創(chuàng)新，既推動了采編人員觀念上的融合，也提高了報網(wǎng)采編人員的業(yè)務能力，有力地推進了“全媒體人才”的培養(yǎng)。

2.2.1 多尺度特征提取

提取圖像的上下文信息在圖像的超分辨重建過程中至關重要，是有效恢復高頻信息的關鍵。Chen等[9]對空洞空間金字塔池化（atrous spatial pyramid pooling，ASPP）結構進行了改進，這樣可以更好處理特征大小的問題。

本文將改進的ASPP思路運用到圖像的超分辨的特征提取過程中，可以表達圖像的多尺度特征。

改進的ASPP模塊包括一個核為1×1的卷積層，三個核為3×3的卷積層，以及一個全局平均池化層。增加的1×1卷積層可以提取圖像的大范圍特征，這樣防止3×3卷積層的膨脹率過大丟失邊緣特征的信息；三個3×3的卷積通過采用不同的膨脹率（膨脹率分別采用1、4、8），得到圖像的多尺度特征；平均池化層可以獲取圖像的全局特征。這樣就可以獲取圖像的局部特征以及背景全局特征，為下一層網(wǎng)絡提供了圖像的多尺度特征信息。圖3為多尺度特征提取模塊流程圖。

圖2 總體設計方案流程圖Fig. 2 Flow chart of overall scheme about super-resolution into image

圖3 多尺度特征提取模塊流程圖Fig. 3 Operational mode of multi-scale feature extraction module

2.2.2 視差注意模塊

其中，x和y分別為殘差塊的輸入和輸出向量，Wi表示第i層卷積的權重（圖5示意為兩層），σ表示Relu激活函數(shù)，為方便起見，表達式中省略了偏置，采用恒等映射，這樣沒有引進額外參數(shù)。F(x,Wi)是要學習的殘差映射。為實現(xiàn)輸入與輸出同等映射，應使殘差趨近于0，這樣可以表示在深度網(wǎng)絡下，網(wǎng)絡的權重訓練已經(jīng)達到最優(yōu)，其余的網(wǎng)絡的層數(shù)不會使網(wǎng)絡的學習精度下降。因此，采用兩個卷積層組成一個殘差塊，每一層卷積由64個3×3的濾波器構成，激活函數(shù)采用LeakyRelu。圖5所示為殘差學習的基本思路。

針對雙目圖像，PASSRnet模型中提出一種視差注意力機制，其中視差提取模塊沿極線具有全局感受野，然后運用對極幾何中的極線約束，獲取雙目圖像之間無遮擋的有效信息[10]。如圖4是視差注意模塊的流程圖。

干氣密封二次密封氣和隔離氣采用0.6 MPa的低壓氮氣，低壓氮氣經(jīng)過濾后，再經(jīng)自力式控制閥控制壓力在0.4 MPa后分為兩路，一路作為二級密封氣再分為三路分別進入低壓缸、中壓缸、高壓缸的干氣密封的二級密封腔中。其中大部分通過梳齒密封進入主密封氣泄漏至火炬系統(tǒng)，少部分二級密封氣通過二級密封的動靜環(huán)之間的空隙進入二級密封氣泄漏至大氣；另一路作為隔離氣分為三路進入壓縮機低壓缸、中壓缸、高壓缸兩端的軸承與干氣密封之間的腔體中，部分隔離氣通過梳齒密封進入二級密封氣泄漏至大氣，部分隔離氣通過梳齒密封進入軸承箱中，通過呼吸閥排至大氣。

將獲取的特征圖左圖（ML）與右圖（MR）通過一個過渡殘差塊，得到ML’和MR’，再將ML’輸入1×1的卷積層得到L，MR’輸入1×1卷積層轉(zhuǎn)置后得到R。將L和R進行批次化矩陣相乘，得到視差注意力圖M。同時MR通過1×1卷積層得到A，再將M與A進行批次化矩陣相乘得到O。將左右圖交換，重復上述過程，最終將得到的特征圖通過1×1卷積融合，得到最終左右圖特征融合后的結果。

參觀完柏林的博物館島，稍稍休息一下，我們就啟程前往下一站——魯爾區(qū)。魯爾區(qū)曾經(jīng)是德國重工業(yè)集聚的地區(qū)。得益于魯爾區(qū)豐富的煤礦，這里上演過德國的工業(yè)神話，其單日產(chǎn)煤量曾居世界第一。隨著更清潔的油氣能源得到推廣，煤礦業(yè)衰落，魯爾區(qū)的煤礦也被廢棄。魯爾區(qū)的工業(yè)遺跡如今被改造成了公園，還被聯(lián)合國教科文組織指定為世界文化遺產(chǎn)之一呢！如今我們漫步其中，一座座巨大的工業(yè)機械如同雄偉的紀念碑，給人恍若隔世的感覺。

圖4 視差注意模塊流程圖Fig. 4 Work route of parallax attention module

2.2.3 殘差學習

超分辨重建過程采用了4個殘差模塊對特征融合后的張量進行卷積操作。由于神經(jīng)網(wǎng)絡的深度對圖像的重建效果會產(chǎn)生較大的影響，并不是神經(jīng)網(wǎng)絡的深度越深，結果越好。對于傳統(tǒng)的卷積神經(jīng)網(wǎng)絡隨著深度的不斷加深，梯度消失現(xiàn)象出現(xiàn)，數(shù)據(jù)訓練的準確性趨于平緩，訓練誤差會變大。為了解決這種退化現(xiàn)象，Kim等[11]提出了殘差學習（ResNet）。殘差學習的數(shù)學表達式如下：

深度學習中注意力機制是借鑒人類的注意力機制，關注所需要的目標區(qū)域，獲取圖像重點信息，抑制無關信息。注意力機制一般通過掩碼實現(xiàn)。掩碼（mask）就是利用一層新的權重，標識出圖片中重點細節(jié)信息，機器學習訓練后，使網(wǎng)絡模型學習到圖片中重點關注目標區(qū)域。

雙目立體視覺的原理就是將兩臺攝像機放置在不同位置，以不同視角同時拍攝同一空間物體，根據(jù)成像原理獲得兩個二維平面圖像，計算空間點映射到左圖與右圖像素上坐標偏差，獲得物體的三維空間信息。

“此在”之本真生存，是對本己能在的先行籌劃，是對身體本能需求的滿足，是不帶功利目的的生存活動。在有限的生命中，技術對人類自身所蘊含的內(nèi)在潛力進行揭示，承擔下“此在”之生存的意義去通達“存在”。隨著時代的發(fā)展，手工勞動被機器的大批量生產(chǎn)所取代，身體的能量因失去了勞動的排泄路徑而堆積體內(nèi)，過剩的能量沒有與自然及時地進行物質(zhì)交換，淤堵于身體之中以肥胖等病態(tài)面貌示之。人類需要體育技術技能找回原本的動物屬性，在體育的技術合理化使用的幫助之下呼喚“此在”之為生存的本真狀態(tài)。

反卷積也稱為轉(zhuǎn)置卷積。輸入圖像通過卷積網(wǎng)絡提取特征，輸入的尺寸會變小，圖像經(jīng)過超分辨重建后，輸出圖像需要將圖像恢復到原來的尺寸以便進行對比觀察，因此利用反卷積層將卷積過程可視化。反卷積過程首先對輸出圖像自動填充補0，增大圖像尺寸，再將卷積核旋轉(zhuǎn)，最后正向卷積。因此，通過反卷積層對特征張量進行反卷積操作，反卷積層由64個3×3的濾波器構成。反卷積層可以將特征張量映射到RGB空間，擴大圖像尺寸，最終得到可視化的輸出圖像。

圖5 殘差學習網(wǎng)絡圖Fig. 5 Convolutional evolution with residual learning network

3 實驗結果與分析

3.1 實驗環(huán)境與數(shù)據(jù)集

其中，MAX1表示圖像中像素值的最大值，MSE表示原始圖像X與處理后圖像Y之間的均方誤差，其公式計算如下：

測試數(shù)據(jù)集選用KITTI2012測試集中的100幅圖像、KITTI2015 測試集中的20幅圖像以及真實視頻中截取的20幅圖像。

采用Adam優(yōu)化函數(shù)對網(wǎng)絡進行優(yōu)化，迭代次數(shù)為90次，初始學習率設置為0.000 2，當訓練每間隔30次，學習率降低為原來的一半。

3.2 實驗結果及分析

現(xiàn)將本文算法分別與Bicubic算法、SRCNN算法、VSRnet[12]算法以及VESPCN算法進行主觀與客觀比較，驗證其有效性。將測試數(shù)據(jù)集圖像尺寸分別放大2倍和4倍后，圖像超分辨客觀比較結果如表1所示。

第一，樹立黨章意識，自覺尊崇黨章。十九大新修訂的黨章是推動全面從嚴治黨向縱深發(fā)展的根本遵循，要教育引導黨員干部自覺學習黨章、遵守黨章、貫徹黨章、維護黨章，深入學習新修訂黨章的新內(nèi)容，深刻領會新黨章的理論創(chuàng)新、思想創(chuàng)新和精神實質(zhì)，推動新黨章各項新思想、新要求、新規(guī)定在全面從嚴治黨中落細落實。

表1 測試集的平均PSNR（dB）和SSIM的比較Table 1 Comparison of different algorithms with test set about their resultant mean PSNRs (dB) and SSIMs

從表1中可以看出，本文方法對視頻圖像的超分辨重建中，放大倍數(shù)增大，PSNR和SSIM指標降低，重建質(zhì)量下降。與SRCNN方法比較，圖像放大2倍時PSNR提升1.27 dB，SSIM提升0.004，主要原因為相比于SRCNN針對單幅圖像進行超分辨，本文采用雙目圖像作為輸入圖像，可以充分利用左右目圖像信息，使特征更為豐富。相比于VSRnet和VESPCN在圖像放大2倍的情況下，本文的結果較好，其原因主要為采用ASPP網(wǎng)絡對輸入圖像進行多尺度特征提取，使得網(wǎng)絡可以學習不同感受野的特征信息，恢復更多的丟失細節(jié)信息。此外，采用的視差注意機制能有效集成雙目圖像中左圖的有用信息，同時采用殘差學習，使網(wǎng)絡具有泛化性能，可以學習不同維度殘差特征，從而獲得豐富的紋理信息，重建效果更好。

積極培養(yǎng)在聯(lián)合國決策、建議和管理機構工作的軍事以及外交人才，在維和行動建立與執(zhí)行的各個階段，與安理會盡可能保持經(jīng)常性的磋商，努力開拓多樣化渠道，把中國的維和見解整合到全球多邊和平的框架之中，用精湛的戰(zhàn)略和務實的態(tài)度維護國家利益。

為檢驗本文算法對于公安實踐中視頻圖像的應用價值，從實際案件中的監(jiān)控視頻畫面截取兩幀圖像作為實驗樣本，本文算法與其他幾種經(jīng)典的圖像和視頻超分辨算法重建效果進行對比，圖6為放大2倍的情況下不同算法的超分辨結果。

我報出了自己的大學校名。季經(jīng)理沉吟了一下，對白麗筠說，我們H公司只收211、985這類重點大學的畢業(yè)生，這一點你是知道的。

公安工作中另一種經(jīng)常出現(xiàn)的視頻圖像就是對人像的識別。例如，銀行的ATM取款機通過魚眼鏡頭所拍攝到的人像信息，受到拍攝環(huán)境的限制，得到的視頻圖像中曝光不足導致人像模糊，因此通過截取不同視差的雙目圖像作為網(wǎng)絡的輸入圖像，對低質(zhì)量的人像進行超分辨重建，為公安偵查工作提供方向。圖7為放大4倍的情況下不同算法的人像超分辨結果圖。

圖6 超分辨重建結果圖（放大2倍）Fig. 6 Super-resolution reconstruction into the image of a car’s registration plate (zoomed twice)

圖7 超分辨重建結果圖（放大4倍）Fig. 7 Super-resolution reconstruction into the image of one person’s face (zoomed four times)

對圖6、7中紅框表示的區(qū)域放大，進行細節(jié)紋理的對比，可以觀察出本文算法優(yōu)于VSRnet、VESPCN和SRCNN算法。圖6中車牌數(shù)字和字母的棱角邊緣可以觀察出，本文方法的重建視覺效果更為清晰，重建的車牌中棱角邊緣形狀更接近于真實圖像。圖7中由于是ATM機前鏡頭拍攝，圖像光線較暗，但可以看出本文算法相比于傳統(tǒng)算法，重建效果明顯清晰。因此，本文所采用的超分辨重建算法應用于視頻圖像可以恢復圖像更多的細節(jié)信息，視覺效果上增加了圖像的清晰度，超分辨效果較好。

4 結論

將視頻中相近時段截取的兩幀圖像代替雙目圖像，結合卷積神經(jīng)網(wǎng)絡進行超分辨為提高視頻圖像分辨率提供了一種新思路。雙目圖像的獲取方法更加便利、準確、便捷。實驗結果表明，相較于一些傳統(tǒng)的視頻超分辨重建方法，本文模型性能在客觀指標和主觀視覺效果上均有較好的結果，能恢復更多圖像的高頻信息，減少圖像邊緣模糊。在未來工作中，可以深度挖掘該模型的實用價值，應用到公安偵查工作中的人像監(jiān)控識別、車牌監(jiān)控識別、行車記錄儀等低分辨率的視頻圖像的重建，提高辦案效率。

本文提出的方法雖然在視頻圖像超分辨率重建上取得了較好的結果，但只采用視頻中的兩幀圖像，圖像特征提取范圍具有一定的局限。接下來研究中，考慮截取同一運動物體不同時段的多幀圖像，輸入網(wǎng)絡，多次迭代，進一步提高圖像分辨率。